机器人已经把风扇前罩拿起来了。还差最后一下,轴线对准,卡进去。它继续推,风扇跟着往后挪。

这是 Embodied First Exam 论文记录的 Claude Opus 5.5 轨迹。新版项目榜单上,同样跑 Claude Code 的 Fable 5.2 把特权模式成绩推到了约八成。回到只能通过传感器观察、通常不能重来的那套规则,同题通过率又降到不足一半。

先对齐分母,再读成绩

项目收录 1,156 个任务,用 23 个仿真器覆盖 47 种机器人,共 35 个任务套件。这里先用其中 391 道同时提供特权与标准测试的核心题求配对差,然后另做 456 道核心标准题的横向比较。数据按榜单逐题记录在 11 月 19 日复算。

同一批 391 题,Fable 5.2 + Claude Code(高推理强度)
配对结果题数说明
两种模式都过175最一致的一组
仅特权模式过137占配对样本约 35.0%
仅标准模式过9单次尝试会出现反向结果
两种模式都失败70完整状态与重置也不足以解决

加总得到 312/391(79.8%)与 184/391(47.1%),相差约 32.7 个百分点。参考报道中给出的特权成功题数为 311。本文采用核查时项目公开逐题数据的 312。换到全部 456 道核心标准题,Fable 通过 226 道(49.6%),GPT‑6 Astra + Codex 通过 157 道(34.4%),GPT‑6.1 Sol 通过 147 道(32.2%)。50% 与 47% 的题集范围不同。公开预印本 v1 使用更早的八组模型,主要用来复核测试规则和机制实验。

Embodied First Exam · Official leaderboard · Embodied First Exam · Leaderboard data · Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Per-task results · 新智元 · Embodied First Exam report

开卷给了什么?先看接口

这个考试允许智能体直接输出动作、编写控制程序,或者在预算内训练策略。然后由智能体控制范围之外的验证器判分。成绩一起反映模型、工具封装和测试权限的表现。

评估模式决定可以读取和恢复什么
模式可以观测什么失败后怎么办
特权 Privileged可读完整仿真状态,包括物体真实位姿可重置并反复搜索,最终用提交轨迹接受验证
标准 Standard主要是相机、深度图或机器人的自身状态,依套件而异默认不可重置,只能从当前状态恢复
实时 Realtime沿用标准接口,推理时环境继续演化延迟可直接错过机会

同一个控制器在暂停的世界里可以慢慢定位杯口。球在实时模式里还在飞,下一张画面已经是另一个状态。此时平均推理延迟只透露一部分信息。长尾的慢请求、相机同步误差和下位机有没有保持安全状态,都会显现在一条轨迹上。

Embodied First Exam · Official leaderboard · Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Public task runner

装不上风扇罩,问题出在最后几度

论文图 12 里,Opus 5.5 在标准模式下让前罩相对轴线偏了 36–39°,装入条件只允许约 5°。后面的推进改变了整台风扇的位置。如果测试报告只写“装配失败”,感知、控制与恢复三个问题就被压成了一个词。

论文 v1 另用 GPT‑6 Astra + Codex 逐个恢复接口权限。配对任务上,基础条件 28%,增加精确物体状态 45%,增加重置与存态 53%,两项都给 68%。这是 Astra 在那套实验的结果;Fable 的 32.7 个百分点来自榜单配对,单凭这份数据无法把差距拆给感知或重置。

状态查询让智能体看得更清楚。重置让它回到失败之前。在窄公差的装配里,第一项帮助找到位置,第二项给了调整姿态、重新接触的机会。评估时必须分别开关。

Embodied First Exam · arXiv v1, Sections 2–3

把排行榜变成可以复跑的测试

先选一组安全的桌面仿真任务,例如把软垫摆入盒里,或把积木按指定方向放好。每个起点至少保留物体布局、允许观测、模型和运行框架版本、时间上限与验证规则。结果用同一外部验证器逐次判定。

  1. 同一初始场景跑传感器、精确状态、允许重置、两者都允许四种条件。固定预算,保留每个条件的多次运行和失败轨迹。
  2. 给轨迹标出定位、接近、接触、完成验证四个阶段。记录第一次不可恢复的错误;恢复成功也单独计数。
  3. 给有时序的任务另外跑实时条件。报告条件内的通过数与总数,以及 P95 响应延迟、超时、碰撞与人工干预。用保留场景检查结果能否复现。

把误判、装配卡住和回不到安全位置分开,就有了下一次迭代的入口。即使“八成”以后继续往上升,决定模型能否进入实物试验的,仍是它在权限收紧后留下的那些失败记录。

Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Public task runner