أمسك الروبوت غطاء المروحة الأمامي. حاول دفعه إلى موضعه. انزلقت المروحة. تسجل ورقة Embodied First Exam هذه المحاولة لنموذج Opus 5.5.
في لوحة النتائج الأحدث، تصل Fable 5.2 إلى قرابة 80% عند السماح لها بقراءة حالة المحاكي وإعادة ضبطه. وعند تضييق الصلاحيات تنجح في أقل من نصف المهام نفسها.
المقارنة تبدأ بتوحيد المقام
يضم المشروع 1,156 مهمة في 35 مجموعة، و23 محاكيًا و47 روبوتًا. في 19 نوفمبر أعدنا حساب المهام الأساسية الـ391 التي توجد في الوضعين.
| النتيجة | عدد المهام |
|---|---|
| النجاح في الوضعين | 175 |
| النجاح فقط مع الامتيازات | 137 |
| النجاح فقط في الوضع القياسي | 9 |
| الفشل في الوضعين | 70 |
المحصلة 312/391 (79.8%) و184/391 (47.1%) بفارق يقارب 32.7 نقطة مئوية. ذكر المقال المرجعي 311 نجاحًا بالامتيازات. ووجدنا 312 في بيانات المشروع لكل مهمة. على كامل المهام القياسية الأساسية اجتازت Fable عدد 226 من 456 (49.6%)، واجتاز GPT‑6 Astra في Codex عدد 157 من 456 (34.4%). ورقة v1 تعرض مجموعة أقدم من الوكلاء.
Embodied First Exam · Official leaderboard · Embodied First Exam · Leaderboard data · Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Per-task results · 新智元 · Embodied First Exam report
الواجهة تغير ما يستطيع الوكيل فعله
يمكن للوكيل إصدار أفعال أو كتابة متحكم أو تدريب سياسة ضمن ميزانية محددة. ويقيّم المحاولة مدقق خارجي.
| الوضع | المعلومات المتاحة | ما بعد الخطأ |
|---|---|---|
| ذو امتيازات | حالة المحاكاة الكاملة | إعادة ضبط بلا حد |
| قياسي | مستشعرات وحالة الروبوت نفسه | عادة دون إعادة ضبط |
| زمن حقيقي | الواجهة القياسية مع استمرار حركة العالم | التأخير قد يفوّت فرصة الحركة |
من السهل نسبيًا فحص صورة لمشهد متوقف. أما عندما تتحرك الأشياء، فقد تصبح الصورة قديمة قبل صدور الأمر التالي. المهم هنا قياس ذيل زمن الاستجابة وطريقة عمل المتحكم بين الأوامر.
Embodied First Exam · Official leaderboard · Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Public task runner
فشل التركيب يبدأ عند زاوية صغيرة
في الشكل 12 من الورقة، انحرف غطاء Opus 5.5 عن محور المروحة بمقدار 36–39 درجة، بينما كان هامش التركيب نحو 5 درجات. غيّر الدفع التالي موقع المروحة. قولنا إن التركيب فشل وحده يخفي خطأ تقدير الوضع وصعوبة التعافي.
في تجربة منفصلة لـ GPT‑6 Astra في الورقة v1، بلغ الخط الأساسي 28%، ثم 45% مع الحالة الدقيقة، و53% مع إعادة الضبط والحالة المحفوظة، و68% مع السماح بهما معًا. تخص هذه الأرقام Astra. مقارنة Fable وحدها لا تحدد أثر كل امتياز على حدة.
كيف نعيد الاختبار على مثال بسيط؟
ابدأ بمهمة آمنة في محاكاة لطاولة، مثل وضع مكعب لين في صينية بزاوية محددة. ثبّت المشاهد والنموذج وبيئة التشغيل والميزانية والمدقق الخارجي.
- كرّر أربعة أوضاع: المستشعرات، الحالة الدقيقة، إعادة الضبط، والامتيازان معًا.
- سجّل مراحل الاقتراب والتلامس والإكمال والتحقق، وأول خطأ يتعذر تداركه، وعدد مرات التعافي.
- في المهام المتحركة أضف شرط الزمن الحقيقي. انشر عدد النجاحات والمحاولات وزمن P95 وتدخلات المشغل.
تسمح هذه السجلات باختيار موضع التحسين: الملاحظة أو التحكم أو التعافي أو التوقيت. ويتطلب الانتقال إلى معدات فعلية اختبار الحساسات والمتحكم في ظروف الاستخدام المقصودة.
Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Public task runner