Робот держал решетку вентилятора. Он попытался защелкнуть ее. Вентилятор поехал по столу. В статье Embodied First Exam этот эпизод записан для Opus 5.5.

На обновленной доске Fable 5.2 получила почти 80% с доступом к состоянию симулятора. При ограниченных наблюдениях и без штатного сброса проходят менее половины тех же задач.

Одна выборка, два результата

Проект включает 1 156 задач, 35 наборов, 23 симулятора и 47 роботов. На 19 ноября записи проекта дают следующие результаты для 391 базовой задачи, доступной в обоих режимах.

Fable 5.2 + Claude Code, высокий уровень рассуждения
ИсходЗадач
Два успеха175
Успех только с привилегиями137
Успех только в стандартном режиме9
Две неудачи70

Итого 312/391 (79,8%) и 184/391 (47,1%). В материале, с которого начался разбор, было 311 привилегированных успехов. Мы использовали 312 из опубликованных записей проекта. На полном стандартном наборе Fable получила 226/456 (49,6%), а GPT‑6 Astra в Codex — 157/456 (34,4%). Препринт v1 сравнивал более ранние восемь агентов.

Embodied First Exam · Official leaderboard · Embodied First Exam · Leaderboard data · Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Per-task results · 新智元 · Embodied First Exam report

Меняется интерфейс, меняется задача

Агент может выдавать действия, написать контроллер или обучить политику в рамках бюджета. Независимый верификатор оценивает итог.

Что разрешено во время испытания
РежимИнформацияВосстановление
ПривилегированныйПолное состояние симулятораНеограниченный сброс
СтандартныйНаблюдения датчиков и состояние роботаОбычно без сброса
Реального времениСтандартный интерфейс, среда продолжает двигатьсяЗадержка закрывает окно действия

На паузе можно дольше оценивать позу объекта. Для движущегося объекта кадр может устареть еще до команды. Здесь полезно смотреть на хвост задержек, а также на поведение контроллера между командами.

Embodied First Exam · Official leaderboard · Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Public task runner

Что именно сломалось при сборке

У Opus 5.5 решетка отклонялась от оси на 36–39°, когда допуск был около 5°. После толчка изменилась поза всего вентилятора. За общим словом «неудача» скрылись ошибка оценки позы и затрудненное восстановление.

В отдельном опыте v1 для GPT‑6 Astra базовый результат 28% поднялся до 45% при доступе к точному состоянию, до 53% при разрешенном сбросе и сохранении состояния и до 68% при обоих изменениях. Это данные Astra. Парная статистика Fable сама по себе не измеряет эффект каждого разрешения.

Embodied First Exam · arXiv v1, Sections 2–3

Как повторить проверку у себя

Возьмите безопасную задачу в симуляторе, например укладку мягкого кубика в лоток. Зафиксируйте сцену, бюджет, модель, версию оболочки и внешний критерий успеха.

  1. Повторите четыре режима: датчики, точное состояние, доступный сброс, оба разрешения.
  2. Отметьте в журнале подход, контакт, завершение и проверку. Отдельно посчитайте восстановление после ошибок.
  3. Для динамических сцен запустите режим реального времени. Укажите число успехов, P95 задержки, тайм-ауты и вмешательства.

С такими данными можно выбирать, что улучшать в следующем цикле: оценку положения, управление, восстановление или сроки ответа. До перехода к реальному оборудованию нужна проверка на целевых датчиках и контроллере.

Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Public task runner