أمسك الروبوت غطاء المروحة الأمامي. حاول دفعه إلى موضعه. انزلقت المروحة. تسجل ورقة Embodied First Exam هذه المحاولة لنموذج Opus 5.5.

في لوحة النتائج الأحدث، تصل Fable 5.2 إلى قرابة 80% عند السماح لها بقراءة حالة المحاكي وإعادة ضبطه. وعند تضييق الصلاحيات تنجح في أقل من نصف المهام نفسها.

المقارنة تبدأ بتوحيد المقام

يضم المشروع 1,156 مهمة في 35 مجموعة، و23 محاكيًا و47 روبوتًا. في 19 نوفمبر أعدنا حساب المهام الأساسية الـ391 التي توجد في الوضعين.

Claude Fable 5.2 مع Claude Code ومستوى استدلال مرتفع
النتيجةعدد المهام
النجاح في الوضعين175
النجاح فقط مع الامتيازات137
النجاح فقط في الوضع القياسي9
الفشل في الوضعين70

المحصلة 312/391 (79.8%) و184/391 (47.1%) بفارق يقارب 32.7 نقطة مئوية. ذكر المقال المرجعي 311 نجاحًا بالامتيازات. ووجدنا 312 في بيانات المشروع لكل مهمة. على كامل المهام القياسية الأساسية اجتازت Fable عدد 226 من 456 (49.6%)، واجتاز GPT‑6 Astra في Codex عدد 157 من 456 (34.4%). ورقة v1 تعرض مجموعة أقدم من الوكلاء.

Embodied First Exam · Official leaderboard · Embodied First Exam · Leaderboard data · Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Per-task results · 新智元 · Embodied First Exam report

الواجهة تغير ما يستطيع الوكيل فعله

يمكن للوكيل إصدار أفعال أو كتابة متحكم أو تدريب سياسة ضمن ميزانية محددة. ويقيّم المحاولة مدقق خارجي.

الملاحظة وإمكان التعافي
الوضعالمعلومات المتاحةما بعد الخطأ
ذو امتيازاتحالة المحاكاة الكاملةإعادة ضبط بلا حد
قياسيمستشعرات وحالة الروبوت نفسهعادة دون إعادة ضبط
زمن حقيقيالواجهة القياسية مع استمرار حركة العالمالتأخير قد يفوّت فرصة الحركة

من السهل نسبيًا فحص صورة لمشهد متوقف. أما عندما تتحرك الأشياء، فقد تصبح الصورة قديمة قبل صدور الأمر التالي. المهم هنا قياس ذيل زمن الاستجابة وطريقة عمل المتحكم بين الأوامر.

Embodied First Exam · Official leaderboard · Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Public task runner

فشل التركيب يبدأ عند زاوية صغيرة

في الشكل 12 من الورقة، انحرف غطاء Opus 5.5 عن محور المروحة بمقدار 36–39 درجة، بينما كان هامش التركيب نحو 5 درجات. غيّر الدفع التالي موقع المروحة. قولنا إن التركيب فشل وحده يخفي خطأ تقدير الوضع وصعوبة التعافي.

في تجربة منفصلة لـ GPT‑6 Astra في الورقة v1، بلغ الخط الأساسي 28%، ثم 45% مع الحالة الدقيقة، و53% مع إعادة الضبط والحالة المحفوظة، و68% مع السماح بهما معًا. تخص هذه الأرقام Astra. مقارنة Fable وحدها لا تحدد أثر كل امتياز على حدة.

Embodied First Exam · arXiv v1, Sections 2–3

كيف نعيد الاختبار على مثال بسيط؟

ابدأ بمهمة آمنة في محاكاة لطاولة، مثل وضع مكعب لين في صينية بزاوية محددة. ثبّت المشاهد والنموذج وبيئة التشغيل والميزانية والمدقق الخارجي.

  1. كرّر أربعة أوضاع: المستشعرات، الحالة الدقيقة، إعادة الضبط، والامتيازان معًا.
  2. سجّل مراحل الاقتراب والتلامس والإكمال والتحقق، وأول خطأ يتعذر تداركه، وعدد مرات التعافي.
  3. في المهام المتحركة أضف شرط الزمن الحقيقي. انشر عدد النجاحات والمحاولات وزمن P95 وتدخلات المشغل.

تسمح هذه السجلات باختيار موضع التحسين: الملاحظة أو التحكم أو التعافي أو التوقيت. ويتطلب الانتقال إلى معدات فعلية اختبار الحساسات والمتحكم في ظروف الاستخدام المقصودة.

Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Public task runner