Робот держал решетку вентилятора. Он попытался защелкнуть ее. Вентилятор поехал по столу. В статье Embodied First Exam этот эпизод записан для Opus 5.5.
На обновленной доске Fable 5.2 получила почти 80% с доступом к состоянию симулятора. При ограниченных наблюдениях и без штатного сброса проходят менее половины тех же задач.
Одна выборка, два результата
Проект включает 1 156 задач, 35 наборов, 23 симулятора и 47 роботов. На 19 ноября записи проекта дают следующие результаты для 391 базовой задачи, доступной в обоих режимах.
| Исход | Задач |
|---|---|
| Два успеха | 175 |
| Успех только с привилегиями | 137 |
| Успех только в стандартном режиме | 9 |
| Две неудачи | 70 |
Итого 312/391 (79,8%) и 184/391 (47,1%). В материале, с которого начался разбор, было 311 привилегированных успехов. Мы использовали 312 из опубликованных записей проекта. На полном стандартном наборе Fable получила 226/456 (49,6%), а GPT‑6 Astra в Codex — 157/456 (34,4%). Препринт v1 сравнивал более ранние восемь агентов.
Embodied First Exam · Official leaderboard · Embodied First Exam · Leaderboard data · Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Per-task results · 新智元 · Embodied First Exam report
Меняется интерфейс, меняется задача
Агент может выдавать действия, написать контроллер или обучить политику в рамках бюджета. Независимый верификатор оценивает итог.
| Режим | Информация | Восстановление |
|---|---|---|
| Привилегированный | Полное состояние симулятора | Неограниченный сброс |
| Стандартный | Наблюдения датчиков и состояние робота | Обычно без сброса |
| Реального времени | Стандартный интерфейс, среда продолжает двигаться | Задержка закрывает окно действия |
На паузе можно дольше оценивать позу объекта. Для движущегося объекта кадр может устареть еще до команды. Здесь полезно смотреть на хвост задержек, а также на поведение контроллера между командами.
Embodied First Exam · Official leaderboard · Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Public task runner
Что именно сломалось при сборке
У Opus 5.5 решетка отклонялась от оси на 36–39°, когда допуск был около 5°. После толчка изменилась поза всего вентилятора. За общим словом «неудача» скрылись ошибка оценки позы и затрудненное восстановление.
В отдельном опыте v1 для GPT‑6 Astra базовый результат 28% поднялся до 45% при доступе к точному состоянию, до 53% при разрешенном сбросе и сохранении состояния и до 68% при обоих изменениях. Это данные Astra. Парная статистика Fable сама по себе не измеряет эффект каждого разрешения.
Как повторить проверку у себя
Возьмите безопасную задачу в симуляторе, например укладку мягкого кубика в лоток. Зафиксируйте сцену, бюджет, модель, версию оболочки и внешний критерий успеха.
- Повторите четыре режима: датчики, точное состояние, доступный сброс, оба разрешения.
- Отметьте в журнале подход, контакт, завершение и проверку. Отдельно посчитайте восстановление после ошибок.
- Для динамических сцен запустите режим реального времени. Укажите число успехов, P95 задержки, тайм-ауты и вмешательства.
С такими данными можно выбирать, что улучшать в следующем цикле: оценку положения, управление, восстановление или сроки ответа. До перехода к реальному оборудованию нужна проверка на целевых датчиках и контроллере.
Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Public task runner