● مجتمع
uditgoenka
⚡ فوري
Autoresearch (Karpathy-style)
بواسطة uditgoenka · uditgoenka/autoresearch
هدف للداخل، نتائج للخارج — Claude يقترح تغييراً ويشغّله ويقيسه ويحتفظ بالمكاسب ويُهمل الخسائر ويتكرر. حلقة autoresearch لـ Andrej Karpathy مُعبَّأة كمهارة.
يُحوّل Autoresearch Claude إلى باحث ذو حلقة مغلقة: تحدد هدفاً ومُحقِّقاً (مقياساً أو اختباراً أو prompt حكم)، والمهارة تتكرر بـ: تعديل → تحقق → احتفظ/اهمل مع ضوابط ميزانية. مستوحى من منشورات Karpathy عن autoresearch. مفيد عندما يكون الهدف قابلاً للقياس لكن فضاء البحث أكبر من أن يُخطَّط مسبقاً — ضبط prompt واختبار hyperparameters وإعادة هيكلة للأداء وA/B للنصوص.
لماذا تستخدمه
الميزات الأساسية
- تجريد الهدف + المُحقِّق — يعمل لأي هدف قابل للقياس
- ضوابط الميزانية (أقصى تكرارات، أقصى tokens، وقت)
- سجل احتفاظ/إهمال + تراجع تلقائي عند الانحدار
- مُحقِّقات قابلة للتوصيل: مقياس، مجموعة اختبار، حكم LLM
- مسار markdown لكل تكرار للفحص
- مجاني، مفتوح
عرض مباشر
كيف يبدو في الممارسة
جاهز
حالات الاستخدام
استخدامات عملية: Autoresearch (Karpathy-style)
متى تستخدمه: لديك prompt وbenchmark والصبر على حلقة.
الخطوات
-
صياغة الهدف
Use autoresearch. Goal: maximize score from /bench/run.sh on prompt at /prompts/system.md. Budget 30 iterations.✓ تم النسخ
→ الحلقة تبدأ؛ أول اقتراح قُدِّم
-
مراقبة المسار
Show me iterations 5–10 with deltas.✓ تم النسخ
→ مسار مع نقاء لكل تكرار؛ المحتفظ به/المُهمَل مُعلَّم
-
الإيقاف المبكر
If 3 consecutive iterations fail to improve > 1%, stop and report best.✓ تم النسخ
→ حارس التقارب يُطلَق؛ أفضل prompt مُبلَّغ عنه
النتيجة: prompt أفضل مع مسار يشرح السبب.
المزالق
- المُحقِّق قابل للتلاعب — النقاء يرتفع بدون جودة — أضف مُحقِّق صحة (حكم LLM أو مجموعة محتجزة)
متى تستخدمه: تعرف أي دالة بطيئة؛ تريد Claude يجد مكافئاً أسرع.
الخطوات
-
التعريف
Goal: minimize wall-time of /bench/perf.sh which exercises foo(). Constraint: tests must keep passing.✓ تم النسخ
→ الحلقة تبدأ؛ خط أساس مُلتقط
-
التكرار
Run 20 iterations. Show the top 3 improvements at the end.✓ تم النسخ
→ 3 مرشحات لإعادة هيكلة مع تسريع مقيس
النتيجة: تسريع ملموس مُتحقَّق منه.
المزالق
- التكرارات تُدخل مشكلة صحة خفية تفوّتها الاختبارات — أضف اختبارات قائمة على الخصائص كمُحقِّق إلى جانب اختبارات الوحدة
متى تستخدمه: لديك هدف CTR (أو prompt حكم يُحاكيه) ووقت للتكرار.
الخطوات
-
إعداد الحكم
Goal: maximize judge_score on /copy/headline.md. Judge prompt: 'rate likelihood a Series-B SaaS founder clicks this headline'.✓ تم النسخ
→ الخط الأساسي مُقيَّم؛ الحلقة تبدأ
-
التكرار
Run 15 iterations; keep top 3 distinct candidates.✓ تم النسخ
→ أفضل 3 عناوين متميزة
النتيجة: 3 مرشحات للعناوين للمراجعة البشرية.
المزالق
- الحكم لديه تفضيل أسلوبي قوي غير مرتبط بالنقر — ثبّت الحكم على ملف معايير مع محددات صريحة
التركيبات
اجمعها مع خوادم MCP أخرى لتحقيق نتائج x10
حفظ مسارات التكرار للفحص
Save trace to /research/traces/<ts>.md after each loop.✓ تم النسخ
فتح PR بالمرشح الفائز
When loop finishes, open PR titled 'autoresearch: <metric> +X%'.✓ تم النسخ
التكلفة والحدود
تكلفة التشغيل
- حصة API
- مرتبط بـ LLM الخاص بك
- الرموز لكل استدعاء
- ثقيل — الحلقة الكاملة يمكن أن تكون 100 ألف+ token
- التكلفة المالية
- مجاني؛ تكلفة LLM عليك
- نصيحة
- اضبط دائماً max_iter وbudget_tokens — الحلقات المفتوحة ستحرق المال
الأمان
الصلاحيات والأسرار ونطاق الأثر
تخزين بيانات الاعتماد: لا شيء
نقل البيانات الخارجي: مرتبط بمزوّد LLM الخاص بك
- الحلقات يمكن أن تكون مكلفة — لا تشغّل أبداً بدون ميزانية
استكشاف الأخطاء
الأخطاء الشائعة وحلولها
الحلقة عالقة — نفس الاقتراح في كل تكرار
زد حرارة الاستكشاف في المُقترِح؛ أو زرع مرشحات متنوعة
المُحقِّق يفشل بشكل غير متسق
تقلقل المُحقِّق يُبطل الحلقة — ثبّت البذور وكرّر التحقق N=3 لكل تكرار
الميزانية نفدت قبل التقارب
افحص المسار — إن كانت المكاسب رتيبة مستمرة، ارفع الميزانية؛ وإلا المُحقِّق أو المُقترِح هو الاختناق
البدائل
Autoresearch (Karpathy-style) مقابل البدائل
| البديل | متى تستخدمها | المقايضة |
|---|
| wanshuiyin/Auto-claude-code-research-in-sleep (ARIS) | تريد حلقات بحث ML غير متزامنة بين عشية وضحاها تحديداً | ARIS مُركَّز على ML؛ autoresearch عام |
| A/B يدوي مع تكرار نصي | الهدف صغير ولمرة واحدة | المهارة تزيل عبء التنسيق |