لفت تقرير صيني مؤرخ في 14 نوفمبر الانتباه إلى تصدّر Fable 5.2 لوحة جديدة في RoboColiseum. راجعنا البيانات العامة الأصلية والتقرير التقني الحالي وشرح الكود. تؤكد اللقطة جوهر الخبر: درجة Overall للنموذج في Season II هي 18.30، ويحتل المركز الأول إجمالا وبين Agents. هذه نتيجة لنظام تقييم محدد. أما القول إنه «الأول في الروبوتات» فيتجاوز المهام وظروف النشر والقدرات التي قيست فعلا.
لوحة RoboColiseum الأصلية · تقرير RoboColiseum التقني الحالي · إعادة نشر الخبر الصيني على BAAI
نميز أولا الأسماء والتواريخ، ثم نعيد حساب الأوزان ونفحص إطار التنفيذ والميزانيات. ونقدم أخيرا تدقيقا محليا لا يستدعي نموذجا ولا يتصل بروبوت. تعيد الجداول عرض النتائج العامة؛ أما الأوزان البديلة وقالب السجل وعملية القبول فهي تصاميم تحليلية من إعدادنا. لم نعد تشغيل الاختبارات ولم نختبر روبوتا حقيقيا ولم نصادق بصورة مستقلة على كل مشاركة.
حدد الاختبار وتاريخ النموذج وإصدار الأدلة
RoboColiseum Season II وRoboColosseum وRoboDojo اختبارات مختلفة. تشابه الأسماء لا يجعل المهام والدرجات وشروط التدريب قابلة للتبادل. أطلقت Anthropic نموذج Fable 5.2 في 9 نوفمبر. ونتيجة RoboDojo Sim البالغة 64.9% في إعلانها ناتجة عن تقييم داخلي مختلف بأعلى effort متاح؛ وليست درجة 18.30 التي نحللها هنا.
لوحة RoboColiseum الأصلية · تقرير RoboColiseum التقني الحالي · ورقة Agent2Act الأولية في 20 أكتوبر، الإصدار 1 · إعلان Anthropic عن Fable 5.2 وMythos 5.2 · ورقة RoboColosseum الأولية للتقييم الحقيقي الموزع · إعادة نشر الخبر الصيني على BAAI
تتضمن المشاركات الحالية سلاسل وقت تقديم بتاريخ 13 نوفمبر بلا منطقة زمنية معلنة. لا يجوز تحويلها تلقائيا إلى وقت نشر بتوقيت سنغافورة. و14 نوفمبر هو التاريخ المعروض على إعادة النشر الصينية التي قرأناها، لا دليل على أول ظهور للوحة الأصلية. نستخدم لقطة وصول بتاريخ 15 نوفمبر؛ ولا يوفر الموقع تاريخا كافيا لتحديد وقت الإطلاق الأول.
ورقة Agent2Act الأولية المؤرخة في 20 أكتوبر تقييم أقدم بين نماذج، ولا تتضمن Fable 5.2. عنوان التقرير الجديد الحالي هو «RoboColiseum: Co-evolution of Simulation, Evaluation, and Models»؛ ولم يقدم فهرس التقارير رابط arXiv متاحا عند الفحص. يجب فصل الورقة القديمة والتقرير الشبكي الجديد واللوحة الحالية، وعدم استخدام الورقة القديمة دليلا على قابلية إعادة إنتاج صف جديد.
| الاسم | الاستخدام هنا | موضع الفصل |
|---|---|---|
| RoboColiseum Season II | اللوحة الرئيسية هنا: أربعة مسارات محاكاة | 18.30 درجة على مقياس 0–100 |
| RoboColosseum | تقييم منفصل موزع على روبوتات حقيقية | لا تنقل تجاربه أو مراتبه |
| RoboDojo Sim | محاكاة أخرى في إعلان Anthropic | 64.9% من اختبارات داخلية للمورد |
لوحة RoboColiseum الأصلية · إعلان Anthropic عن Fable 5.2 وMythos 5.2 · ورقة RoboColosseum الأولية للتقييم الحقيقي الموزع
اقرأ المسارات الأربعة بجانب الترتيب العام
يعرض الجدول أفضل خمسة أنظمة إجمالا بمقياس الموقع 0–100. يتفوق Fable خصوصا في المناولة الدقيقة والنقل بين التجسيدات. لكنه أقل من Astra وOpus في تنسيق الجسم كله، وأقل من Gemini وOpus في المناولة البارعة. الصدارة العامة تعبر عن قاعدة التجميع هذه، ولا تعني الفوز في كل مسار.
لوحة RoboColiseum الأصلية · تقرير RoboColiseum التقني الحالي
| النظام | الفئة | الإجمالي | الدقة | النقل بين التجسيدات | الجسم كله | البراعة |
|---|---|---|---|---|---|---|
| Claude Fable 5.2 | Agent | 18.30 | 33.04 | 17.99 | 18.42 | 3.73 |
| GPT-6 Astra | Agent | 13.73 | 23.60 | 12.37 | 18.96 | 0.00 |
| Claude Opus 5.5 | Agent | 11.77 | 14.18 | 9.25 | 18.94 | 4.70 |
| π0.5 | Policy | 11.22 | 4.20 | 10.00 | 13.87 | 16.79 |
| Gemini 4 Argon | Agent | 10.74 | 11.49 | 8.86 | 17.42 | 5.19 |
لوحة RoboColiseum الأصلية · تقرير RoboColiseum التقني الحالي
درجة π0.5 الإجمالية أقل من Fable، لكن درجته في البراعة 16.79، أعلى من النماذج العامة المعروضة. تخضع أنظمة Policy في التقرير لضبط موجه مختلط المهام مع 200 عرض توضيحي لكل مهمة. يختلف التكيف والتدريب والاستدلال بين Agent وPolicy. استخدم العرض المشترك لاكتشاف ملفات القدرات، ثم قارن داخل الفئات وافحص التكلفة بصورة منفصلة.
تساوي أوزان المسارات لا يعني تساوي أوزان المهام
تعرف القواعد Overall بأنه المتوسط الحسابي لدرجات المسارات الأربعة. تعطي أرقام Fable المعروضة (33.04 + 17.99 + 18.42 + 3.73) / 4 = 18.295، أي 18.30 بعد التقريب. والقيمة الخام في اللوحة 0.18295، تعرضها الواجهة على مقياس 0–100. التخزين العشري أو التنسيق الشبيه بالنسبة المئوية لا يحول المقياس إلى حصة المحاولات الناجحة.
لوحة RoboColiseum الأصلية · تقرير RoboColiseum التقني الحالي · دليل RoboColiseum الرسمي وقواعد الدرجات
التغطية غير متساوية: يختبر النقل ست عائلات مهام عبر أربعة تجسيدات، أي 24 حالة؛ وتضم المسارات الأخرى ثماني وثماني وعشر مهام. يمثل النقل 48% من هذه الحالات الخمسين، لكنه يحصل على 25% من المتوسط الكلي للمسارات. تفضل هذه الأوزان توازن أبعاد القدرة. وعلى الباحث والمشتري التحقق من ملاءمتها لعبء العمل المستهدف.
| المسار | بنية المهام | عدد الحالات | الوزن الإجمالي |
|---|---|---|---|
| المناولة الدقيقة | 8 مهام | 8 | 25% |
| النقل بين التجسيدات | 6 عائلات مهام × 4 تجسيدات | 24 | 25% |
| تنسيق الجسم كله | 8 مهام | 8 | 25% |
| المناولة البارعة | 10 مهام | 10 | 25% |
تقرير RoboColiseum التقني الحالي · دليل RoboColiseum الرسمي وقواعد الدرجات
يعيد المثال التالي وزن المجاميع المنشورة بعدد المهام لينتج 17.6148. إنه تمرين رياضي لحساسية الأوزان، وليس متوسطا جزئيا رسميا على مستوى المهام ولا قياسا جديدا. أربعة مجاميع لا تحفظ كل قواعد الدرجات وأوزان العينات داخل المسار. يستخدم البرنامج مكتبة Python القياسية فقط، وقد تحققنا من حساباته محليا.
from decimal import Decimal, ROUND_HALF_UP
# Published rounded track scores; arithmetic only, no model or simulator call.
tracks = {
"precision": Decimal("33.04"),
"cross_embodiment": Decimal("17.99"),
"whole_body": Decimal("18.42"),
"dexterous": Decimal("3.73"),
}
macro = sum(tracks.values()) / Decimal(4)
print("macro_from_displayed_tracks:", macro) # 18.295
print("display:", macro.quantize(Decimal("0.01"), rounding=ROUND_HALF_UP))
# Counterfactual weighting exercise, NOT an official micro-average or a rerun.
counts = {"precision": 8, "cross_embodiment": 24, "whole_body": 8, "dexterous": 10}
weighted = sum(tracks[k] * counts[k] for k in tracks) / sum(counts.values())
print("counterfactual_weighting:", weighted) # 17.6148
assert sum(counts.values()) == 50
assert macro == Decimal("18.295")
assert weighted == Decimal("17.6148")التقدم ومكافأة الإنجاز والميزانية تؤثر جميعا في الدرجة
تمنح القواعد نقاط تقدم وفق حالة المهمة وأهداف فرعية محددة، تسلسلية أو متوازية بحسب المهمة. قد تنهي المهلة أو مغادرة المنطقة المسموحة أو إسقاط جسم الحلقة، فلا تحصل الأجزاء غير المنجزة على نقاط. ويضاف حافز عند إتمام المهمة كلها ضمن الميزانية. لذلك يجب الإبلاغ منفصلا عن التقدم الجزئي والنجاح الكامل والدرجة النهائية.
تقرير RoboColiseum التقني الحالي · دليل RoboColiseum الرسمي وقواعد الدرجات
تشتق حدود خطوات التنفيذ من بيانات التدريب الخاصة بالمهمة. ولـAgents أيضا ميزانية لاستدعاءات الاستدلال مع خصومات عند تجاوز الحد المعقول. زيادة المحاولات أو إطالة تسلسل الأفعال أو إضافة تغذية راجعة قد تغير مزيج القدرة والموارد المقاس. التفكير الأطول شرط تجريبي ذو كلفة، وليس تفصيلا يمكن إهماله.
لا تكشف اللوحة والملخص اللذان فحصناهما جميع معاملات العقوبات وقيم مكافآت الإنجاز وسجلات التشغيل اللازمة لإعادة بناء كل صف. لا نخترع صيغة كاملة. اطلب حقولا منفصلة للتقدم الخام ومكافأة الإنجاز وخصم الميزانية، ثم طابق الإجمالي؛ استنتاج نسبة نجاح من الدرجة وحدها غير موثوق.
وحدة التقييم هي النموذج مع إطار تنفيذه
يربط Agent2Act تعليمات النموذج متعدد الوسائط وملاحظاته البصرية وحالة الروبوت بتحويل الأفعال والتحقق المحلي والتغذية الراجعة. يقترح النموذج أهدافا، بينما تتولى طبقة التنفيذ تحويل الإحداثيات والحركيات العكسية أو توليد المسار. تؤدي الأفعال المرفوضة إلى إعادة تخطيط محدودة. إذن يقيس صف اللوحة النموذج مع واجهة الملاحظات والأدوات وطبقة التحكم.
كود Agent2Act الرسمي وREADME · مستودع منصة RoboColiseum الرسمي
يميز README الحالي بين الأفعال المقترحة والأوامر المرسلة والنتائج المرصودة. إنتاج أمر قابل للتنفيذ لا يثبت نجاح المناولة. ويذكر أن إعداد G2 المثال يعطل التحقق من السرعة، فلا يثبت المثال الامتثال لقيود السرعة أو الديناميكيات. هذا حد للمثال، وليس دليلا على أن تشغيل اللوحة استخدم الإعداد نفسه.
يفصل مستودع المنصة بين التقييم المستضاف والتنفيذ المحلي: النتائج المحلية لا تدخل اللوحة الإلكترونية تلقائيا. ما يلي عقد سجل تدقيق نقترحه، وليس مخطط استجابة رسميا. تعني null أن الدليل ما زال مطلوبا. ولا ينبغي ملء commit المستخدم فعلا في 13 نوفمبر بقيمة HEAD الحالية دون إثبات.
{
"record_type": "proposed_audit_contract_not_official_result",
"board": "RoboColiseum Season II",
"accessed_date": "2026-11-15",
"model_display_name": "Claude Fable 5.2",
"model_snapshot_id": null,
"harness_commit": null,
"simulator_commit": null,
"split_hash": null,
"task_id": null,
"embodiment": null,
"layout_id": null,
"seed": null,
"effort": null,
"temperature": null,
"observation_contract": null,
"control_step_limit": null,
"inference_call_limit": null,
"control_steps_used": null,
"inference_calls_used": null,
"partial_score": null,
"completion_bonus": null,
"budget_penalty": null,
"end_to_end_success": null,
"wall_time_seconds": null,
"cost_usd": null,
"termination_reason": null,
"artifact_sha256": null
}ماذا تعالج التخطيطات المخفية والمجموعة الديناميكية والمراجعة البشرية؟
يقول البروتوكول الرسمي إن تخطيطات التطوير العامة وتخطيطات الاختبار على الخادم عينات مختلفة من التوزيع نفسه. يحتفظ الخادم بمجموعة رسمية ثابتة وأخرى ديناميكية تتغير لكل مشاركة. لا تدخل درجات المجموعة الديناميكية في الإجمالي؛ تساعد مقارنتها بالرسمية على تقدير خطر فرط التكيف. وتضيف المراجعة البشرية فحص المعلومات المميزة والحيل المؤثرة في النتيجة.
تقرير RoboColiseum التقني الحالي · دليل RoboColiseum الرسمي وقواعد الدرجات · تحليل OpenRUA لتقييم وكلاء الروبوتات
تحسن هذه الآليات قابلية المقارنة. لكن وجود مجموعة مخفية لا يثبت غياب كل تسرب أو فرط تكيف. سجل ما إذا لامست عملية الضبط مهام الاختبار، وما إذا حسنت المهارات مرارا عليها، وما إذا تلقى الوكيل حكما فوريا على الإنجاز لا يتاح في النشر. إعلان البروتوكول ودليل التزام مشاركة محددة مستويان مختلفان.
يبحث تحليل OpenRUA المنهجي المنشور في 2 نوفمبر تفاوت الميزانيات وتسرب أحكام الإنجاز والمهارات المحسنة لمهام الاختبار. ويتعلق بتجارب وكلاء روبوتات أخرى ومخاطر عامة في البروتوكولات. نستخدمه لصياغة أسئلة مراجعة، لا لنقل اتهام غير مثبت إلى RoboColiseum أو Fable.
أبق عدم اليقين ظاهرا عند غياب العينات والفواصل
لا تحدد المجاميع العامة كل أعداد التكرار والتباينات لكل مهمة وفواصل الثقة لصف Fable. يذكر التقرير 240 حالة روبوت–مهمة في مسار النقل، لكن لا يمكن تحويلها إلى إجمالي rollout لكل المسارات أو استخدامها لافتراض بذور متطابقة وأعداد عينات مستقلة لكل نموذج.
لوحة RoboColiseum الأصلية · تقرير RoboColiseum التقني الحالي · دليل RoboColiseum الرسمي وقواعد الدرجات
مثلا، تبلغ درجة Astra في تنسيق الجسم 18.96 مقابل 18.94 لـOpus، بفارق معروض 0.02 نقطة فقط. من دون بيانات التشغيل لا نعرف استقرار الفرق؛ المنازل العشرية ليست دقة قياس. وقد ترتبط التكرارات داخل المهمة أو التجسيد نفسه. اعتبار كل إطار عينة مستقلة يصنع يقينا غير مبرر.
ثبت المهام والتخطيطات والميزانيات مسبقا في تقييمك، واقرن النظامين في ظروف متطابقة. احفظ كل نتيجة، وقدر عدم اليقين على مستوى مناسب للمهمة أو التخطيط، وافصل الفشل والمهل وأخطاء الخدمة. إذا شمل فاصل الفرق الصفر فالأدلة غير كافية لهذا الفرق. ويجب إظهار غياب أي نجاح كامل بدلا من إخفائه بتصفية العينات ذات التقدم الجزئي.
| السؤال | ما يثبت أو يسجل | دليل القبول |
|---|---|---|
| هل النموذج أقوى؟ | مهام وتخطيطات وملاحظات وتحكم وeffort وميزانيات متطابقة | نتائج مزدوجة وفواصل وسجلات فشل كاملة |
| هل هو أوفر؟ | الاستدعاءات الفعلية والتوكنات والزمن والمحاولات والرسوم | كلفة كل نجاح كامل وتأخير الذيل |
| هل يعمم بين التجسيدات؟ | تجسيدات لم تستخدم للتكيف وتقسيم مهام وواجهات إحداثيات | نتائج لكل تجسيد بجانب المجاميع |
| هل يبرر النشر الحقيقي؟ | عتاد وكاميرات ومعايرة وحدود أفعال وتدخل بشري | تجارب مستقلة منخفضة المخاطر وتوقف طارئ وسجلات تعاف |
القيمة 0.9686 في Real2Sim معامل ارتباط
يقارن التقرير الجديد 22 إعدادا مزدوجا للروبوت والمهمة يغطي 16 مهمة، ويذكر Pearson r = 0.9686 بين درجات الواقع والمحاكاة. ويستخدم كل زوج تعريف Score الخاص بمهمته. هذا ليس 96.86% أفعالا صحيحة، ولا نسبة نجاح مهام، ولا معدل تطابق بين الواقع والمحاكاة.
يقيس الارتباط تغير متغيرين معا، ولا يضمن تساوي القيم. قد تبالغ المحاكاة بانتظام في الأداء الحقيقي مع ارتباط مرتفع. افحص مخطط التشتت وخط التساوي والخط الملائم والفروق بين الأزواج وأخطاء المعايرة معا. وعند اختلاف مقاييس المهام، افحص الفروق بينها التي تدفع الارتباط.
تشجع النتائج على مزيد من دراسة العلاقة بين ترتيب المحاكاة والأداء الحقيقي. لكنها لا تقبل Fable 5.2 على عتادك وكاميراتك واحتكاكك وزمن التأخير وشروط السلامة لديك. يتطلب النشر تجارب مستقلة منخفضة المخاطر وحدود أفعال وإمكان تدخل بشري. لم ننفذ أيا من هذه الاختبارات.
حوّل قراءة الترتيب إلى تدقيق أدلة قابل للتكرار
أعط الطلب التالي لمساعد بحث مع لقطات التقرير والقواعد والنتائج المحملة. اطلب تدقيق «ادعاء—موضع مصدر—حساب—مجهول» بدلا من ملخص ترويجي يجمعه من الإنترنت. لا تقدم مفاتيح حساب أو معرفات شخصية أو واجهات تحكم بروبوت غير مأذون بها.
لوحة RoboColiseum الأصلية · تقرير RoboColiseum التقني الحالي · دليل RoboColiseum الرسمي وقواعد الدرجات · كود Agent2Act الرسمي وREADME · مستودع منصة RoboColiseum الرسمي
الدور: مدقق أدلة تقييم روبوتات. استخدم فقط اللقطات العامة التي أقدمها.
المهمة: تدقيق نتيجة Fable 5.2 في RoboColiseum Season II.
1. افصل اللوحة الأصلية والقواعد والتقرير الجديد والورقة القديمة والإعلام.
2. اسرد Overall ودرجات المسارات الأربعة وأعد حساب المتوسط متساوي الأوزان.
لا تعِد تسمية الدرجة نسبة نجاح.
3. حدد مواضع model snapshot وeffort والميزانيات والتكرار والبذور والفواصل.
4. اكتب unknown للحقول المفقودة. لا تملأ إعدادا تاريخيا من HEAD الحالي.
5. افصل ارتباط Real2Sim ومعايرته عن قبول هذا النموذج على روبوت حقيقي.
المخرجات: claim | source_locator | calculation | limitation.
اختم بثلاثة طلبات أدلة دنيا. لا تتهم بالغش ولا تدع إعادة الإنتاج.ينبغي أن يتضمن ناتج التدقيق تاريخ الوصول وبصمات ملفات المصادر ومرشحات الموسم والفئة ودرجات المسارات والصيغ والحقول المفقودة. عند تحديث الصفحة قارن التغييرات قبل تعديل الاستنتاج. لا تكفي لقطة شاشة لإعادة الحساب، ولا يكفي الكود الحالي لإثبات إعداد تشغيل تاريخي.
من إشارة الترتيب إلى أدلة النشر
- ثبت الاسم والموسم والفئة وتاريخ الوصول
- احفظ الأرقام الأصلية وإصدارات القواعد
- أعد حساب الأوزان وافحص الاستثناءات بين المسارات
- احصل على سجلات النموذج والإطار والميزانية والعينة
- نفذ مهامك المزدوجة وحلل الفشل
- تحقق مستقلا من النشر على روبوت حقيقي
خطط لجولة تقييم النماذج التالية
صدارة Fable 5.2 إشارة مفيدة لاختيار مرشح. تبرر درجات الدقة والنقل في النظام المقيم إعطاء الأولوية لبحث التخطيط والاستهداف البصري والتصحيح المقيد. لكن تفسير السبب يتطلب ضبط التنفيذ والملاحظات والميزانيات والتكرارات؛ تغيير اسم النموذج وحده لا يعزل قدرته.
لوحة RoboColiseum الأصلية · تقرير RoboColiseum التقني الحالي · إعلان Anthropic عن Fable 5.2 وMythos 5.2
لمهام التلامس متعدد الأصابع، ابدأ بمسار البراعة وسجلات الفشل وقارن Policies المتخصصة. وللمناولة المتحركة، افحص تنسيق الجسم وحدود السلامة. أما عمل الوثائق والكود والبحث، فلوحة الروبوتات إشارة غير مباشرة؛ ابن اختبارات مستقلة على مدخلاتك ومخرجاتك ومعايير قبولك.
أفضل ناتج لقراءة اللوحة خطة تجربة تالية: ما القدرة التي تستحق الاختبار، وما الأدلة الناقصة، وما المخاطر الفيزيائية غير المغطاة. لا تحول ترتيب بحث إلى قرار نشر إلا عند توافر أدلة متوافقة مع عبء العمل عن النجاح والكلفة والتأخير والتعافي من الفشل معا.
يدقق المقال قابلية تفسير الأدلة العامة. لم ينفذ محليا سوى المثال الحسابي. لم نعد تشغيل لوحة روبوتات أو نثبت الإعداد الداخلي لكل مشاركة أو نقس نسبة نجاح حقيقي جديدة لـFable 5.2. عند التحديث التالي، تكرار سلسلة الأدلة أنفع من حفظ اسم المتصدر.