11 月 14 日的中文报道把 Fable 5.2 登顶 RoboColiseum 新榜单带到公众视野。我们核对原站公开榜单数据、当前技术报告和代码说明后,确认这条新闻的核心事实成立:截至本文查阅时,Fable 5.2 的 Season II Overall 为 18.30,在综合和 Agent 分类均居首。这里讨论的是具体评测系统的结果,不能把“机器人榜首”扩大为所有物理任务、所有部署条件或通用智能的第一。
下面先对齐名字与时间,再复算权重、拆解执行框架和预算,最后给出不调用模型、不连接机器人的离线核验方法。文中的数据表来自公开结果;替代权重计算、记录契约和验收流程是我们的分析设计。我们没有重跑榜单、测试真实机器人或独立认证每个提交。
先对齐榜单、模型发布日期与证据版本
RoboColiseum Season II、RoboColosseum 和 RoboDojo 是不同评测。名称相似,任务、分数与训练条件不能混用。Anthropic 11 月 9 日发布 Fable 5.2,发布文中的 RoboDojo Sim 64.9% 是厂商内部、最高可用 effort 的另一组实验;它不是这里的 18.30 分。
RoboColiseum 原始榜单 · RoboColiseum 当前技术报告 · 10 月 20 日 Agent2Act 预印本 v1 · Anthropic Fable 5.2 / Mythos 5.2 发布说明 · RoboColosseum 分布式实机评测预印本 · BAAI 中文报道转载页
当前榜单条目带有 11 月 13 日的提交时间字符串,但未标注时区;这不能自动转换为新加坡发布时间。11 月 14 日是所读中文转载页的显示日期,也不能代替原始榜单首发时间。本文使用 11 月 15 日访问快照,原站没有提供足以确认首次上线时刻的记录。
10 月 20 日的 Agent2Act 预印本是较早的跨模型评测,未包含 Fable 5.2。当前新报告题为《RoboColiseum: Co-evolution of Simulation, Evaluation, and Models》;查阅时报告列表未给出可用 arXiv 链接。应分别引用旧论文、新网页报告与当前榜单,不能让旧论文替新结果背书。
| 名称 | 本篇如何使用 | 防止混淆 |
|---|---|---|
| RoboColiseum Season II | 本文主榜;仿真四赛道综合分 | 18.30 是 0–100 分数 |
| RoboColosseum | 另一套分布式实机评测 | 不能导入其试验数或名次 |
| RoboDojo Sim | Anthropic 发布文中的另一仿真评测 | 64.9% 属厂商内部实验 |
RoboColiseum 原始榜单 · Anthropic Fable 5.2 / Mythos 5.2 发布说明 · RoboColosseum 分布式实机评测预印本
读综合分,也读四个赛道的反例
下表列出当前综合前五个系统,分数均按原站 0–100 显示。Fable 在精细操作与跨本体迁移表现突出,但全身协同低于 Astra 和 Opus,灵巧操作也低于 Gemini 与 Opus。综合第一描述的是此处的聚合规则,并不表示逐赛道占优。
| 系统 | 类别 | 综合 | 精细操作 | 跨本体 | 全身协同 | 灵巧操作 |
|---|---|---|---|---|---|---|
| Claude Fable 5.2 | Agent | 18.30 | 33.04 | 17.99 | 18.42 | 3.73 |
| GPT-6 Astra | Agent | 13.73 | 23.60 | 12.37 | 18.96 | 0.00 |
| Claude Opus 5.5 | Agent | 11.77 | 14.18 | 9.25 | 18.94 | 4.70 |
| π0.5 | Policy | 11.22 | 4.20 | 10.00 | 13.87 | 16.79 |
| Gemini 4 Argon | Agent | 10.74 | 11.49 | 8.86 | 17.42 | 5.19 |
π0.5 的综合分低于 Fable,但灵巧操作为 16.79,高于表内几个通用模型。报告中的 Policy 经过每任务 200 条示范的混合任务监督微调,Agent 与 Policy 的适配、训练和推理机制不同。综合页适合发现能力轮廓,类别内比较与成本对照仍要分开做。
四赛道等权,不等于 50 项任务逐项等权
官方定义 Overall 为四个赛道分数的算术平均。Fable 的显示分数可复算为 (33.04 + 17.99 + 18.42 + 3.73) / 4 = 18.295,四舍五入为 18.30。榜单原始总分为 0.18295,前端以 0–100 展示;不要把小数或百分号的显示方式误当成成功次数比例。
RoboColiseum 原始榜单 · RoboColiseum 当前技术报告 · RoboColiseum 官方使用与评分规则
任务覆盖并不相等:跨本体迁移的 6 类任务跨 4 种本体构成 24 项,其余三个赛道分别为 8、8、10 项。跨本体占这 50 项的 48%,在四赛道宏平均中仍占 25%。选择这种权重强调能力维度的平衡;采购或研究人员需要确认它是否符合自己的工作负载。
| 赛道 | 任务结构 | 项目数 | 综合权重 |
|---|---|---|---|
| 精细操作 | 8 项任务 | 8 | 25% |
| 跨本体迁移 | 6 类任务 × 4 本体 | 24 | 25% |
| 全身协同 | 8 项任务 | 8 | 25% |
| 灵巧操作 | 10 项任务 | 10 | 25% |
下面仅把已公布的赛道分数换成任务数权重,得到 17.6148。这是权重敏感性的数学练习,不是官方逐任务微平均,也不是另一轮实测:赛道内部的计分与样本权重没有被这些四个汇总值完整保留。脚本仅使用 Python 标准库,已离线验证算术。
from decimal import Decimal, ROUND_HALF_UP
# Published rounded track scores; arithmetic only, no model or simulator call.
tracks = {
"precision": Decimal("33.04"),
"cross_embodiment": Decimal("17.99"),
"whole_body": Decimal("18.42"),
"dexterous": Decimal("3.73"),
}
macro = sum(tracks.values()) / Decimal(4)
print("macro_from_displayed_tracks:", macro) # 18.295
print("display:", macro.quantize(Decimal("0.01"), rounding=ROUND_HALF_UP))
# Counterfactual weighting exercise, NOT an official micro-average or a rerun.
counts = {"precision": 8, "cross_embodiment": 24, "whole_body": 8, "dexterous": 10}
weighted = sum(tracks[k] * counts[k] for k in tracks) / sum(counts.values())
print("counterfactual_weighting:", weighted) # 17.6148
assert sum(counts.values()) == 50
assert macro == Decimal("18.295")
assert weighted == Decimal("17.6148")部分进度、完成奖励和预算共同决定分数
规则按任务状态和预定义子目标记录进度,任务可能采用顺序或并行里程碑。超时、越界、掉落等提前终止会使未完成部分得不到分数;在预算内完成整个任务还有额外奖励。因此,高部分进度、完整成功与最终总分是需要同时报告的三个量。
执行步数上限按任务训练数据确定,Agent 还受推理调用预算约束,超出合理调用预算会扣分。相同模型如果增加重试、延长动作序列或获得更多反馈,测到的能力与资源组合就可能变化。“想得更久”不是可以忽略的免费条件。
所查榜单和概述没有给出足以重建每条结果的全部惩罚系数、奖励数值及逐次日志。我们不据此编写完整计分公式。对复现者来说,先索取原始进度、完成奖励与预算扣分的独立字段,再核对合成结果,比根据总分反推成功率可靠。
被评测的单位是模型加执行框架
Agent2Act 将多模态模型的任务指令、视觉观测与机器人状态连接到动作转换、局部验证和执行反馈。模型提出目标,执行层完成坐标转换、逆运动学或轨迹编译等工作;动作被拒绝后进行有界重规划。排行榜行因而是模型、观测接口、工具和控制层的联合结果。
当前 README 特别区分提议动作、发出的命令与观测到的结果;能生成可执行命令不等于操作成功。示例 G2 配置还注明未启用速度验证,不能用它证明速度或动力学约束已满足。这是代码示例的边界,不能未经证据就断言榜单行采用了相同配置。
平台仓库也区分托管评测与本地运行:本地结果不会自动进入在线榜单。下面是我们建议的审计记录契约,不是官方响应格式。null 表示需要补证;尤其不能把当前仓库 HEAD 自动填成 11 月 13 日评测实际使用的 commit。
{
"record_type": "proposed_audit_contract_not_official_result",
"board": "RoboColiseum Season II",
"accessed_date": "2026-11-15",
"model_display_name": "Claude Fable 5.2",
"model_snapshot_id": null,
"harness_commit": null,
"simulator_commit": null,
"split_hash": null,
"task_id": null,
"embodiment": null,
"layout_id": null,
"seed": null,
"effort": null,
"temperature": null,
"observation_contract": null,
"control_step_limit": null,
"inference_call_limit": null,
"control_steps_used": null,
"inference_calls_used": null,
"partial_score": null,
"completion_bonus": null,
"budget_penalty": null,
"end_to_end_success": null,
"wall_time_seconds": null,
"cost_usd": null,
"termination_reason": null,
"artifact_sha256": null
}隐藏布局、动态集合与人工审查解决什么
官方说明公开开发布局与服务器测试布局来自同分布的不同实例。服务器还维护固定官方集合及每次提交变化的动态集合;动态分数不计入总分,而是与官方分数对照以检查过拟合风险,人工审查补充检查特权信息与影响结果的技巧。
RoboColiseum 当前技术报告 · RoboColiseum 官方使用与评分规则 · OpenRUA 机器人代理评测方法分析
这些机制提高可比性,却不能从“有隐藏集”直接推导“没有任何泄漏或过拟合”。应继续记录调参过程是否接触测试任务、技能是否在相同任务上反复优化、运行中是否得到真实部署无法获取的即时完成判定。协议声明与一次提交的合规证据是两层材料。
OpenRUA 11 月 2 日的方法分析提出预算不等、运行中完成判定泄漏和针对测试任务优化技能等问题。它讨论的是其他机器人代理实验及一般协议风险;这里把它作为评审问题来源,不把其批评未经验证地移植为 RoboColiseum 或 Fable 的违规结论。
没有样本与区间,就保留不确定性
当前公开汇总未提供足以确认 Fable 这一行全部重复次数、逐任务方差和置信区间的数据。报告对跨本体赛道写有 240 个 robot–task cases,但这不能直接外推成所有赛道的总 rollout 数,也不能替每个模型补出相同种子和独立样本数。
RoboColiseum 原始榜单 · RoboColiseum 当前技术报告 · RoboColiseum 官方使用与评分规则
例如,全身协同 Astra 为 18.96、Opus 为 18.94,显示差距只有 0.02 分。没有逐次数据,不能判断差异是否稳定,更不能把小数位当成测量精度。相同任务或相同本体中的重复通常存在相关性,简单把所有帧当独立样本会制造虚假的确定性。
自己的评估应预先固定任务、布局和预算,让两个系统配对使用相同测试条件。保存每次结果,按任务或布局的合理层级估计区间,同时单独列出失败、超时与服务错误。区间跨零应报告证据不足;零次完整成功也仍要公开,不能只留有进度的样本。
| 问题 | 应固定/记录 | 通过证据 |
|---|---|---|
| 模型是否更强 | 相同任务/布局、观测、控制层、effort 和预算 | 配对结果、区间、完整失败日志 |
| 是否更划算 | 实际调用、tokens、墙钟、重试与费用 | 单位完整成功的成本与尾部延迟 |
| 是否跨本体泛化 | 未用于适配的本体、任务划分和坐标接口 | 分本体成绩,不只汇总平均 |
| 能否上实机 | 硬件/相机/标定、动作限位与接管 | 独立低风险试验、异常停止和恢复记录 |
Real2Sim 的 0.9686 是相关系数
新报告比较 22 个机器人—任务配对配置,覆盖 16 个任务,报告实机与仿真任务分数的 Pearson r = 0.9686。每个配对使用对应任务自己的 Score 定义。这不是“96.86% 的动作正确”,也不是“96.86% 的任务成功或仿真实机一致”。
相关性衡量两个量如何共同变化,不保证数值相等。即便仿真系统性高估实机分数,相关仍可能很高。因此要同时看散点、等值线、拟合线、逐对差值与校准误差;跨任务评分尺度不同,还需核查哪些高低差异在驱动相关。
这组结果支持继续研究仿真排序与实机表现的联系,不构成 Fable 5.2 在自己硬件、相机、摩擦、延迟和安全条件下的部署验收。真实设备还需要独立的低风险测试、动作边界和人工接管;本文没有执行这些验证。
把读榜变成可复验的审计任务
可以把下列提示词交给研究助手,只提供下载的报告、规则和结果快照。要求它建立“断言—原文位置—计算—未知项”的对照,而不是联网拼出另一个宣传摘要。不要向它提供账户密钥、个人身份信息或未授权的机器人控制接口。
RoboColiseum 原始榜单 · RoboColiseum 当前技术报告 · RoboColiseum 官方使用与评分规则 · Agent2Act 官方代码与 README · RoboColiseum 平台官方仓库
角色:机器人评测证据审计员。只使用我提供的公开快照。
任务:核对 RoboColiseum Season II 的 Fable 5.2 结果。
1. 分清原始榜单、规则、新网页报告、旧论文与媒体转述。
2. 列出综合和四赛道分数,复算等权均值;不得改写为成功率。
3. 找出模型快照、effort、预算、重复次数、种子和区间的原文位置。
4. 未找到的字段写 unknown;不从当前仓库 HEAD 补历史配置。
5. 将 Real2Sim 的相关性、校准与该模型的实机验收分开。
输出:claim | source_locator | calculation | limitation。
末尾给三项最小补证请求;不推断作弊,不宣称已复现。审计产物至少应包括访问日期、原始文件哈希、赛季/类别过滤条件、逐赛道数值、公式以及未找到的字段。网页更新后先比较差异,再决定是否重做结论。仅保存截图不足以复算;仅保存当前代码也不足以证明历史运行配置。
从榜单线索走到自己的部署证据
- 确认名称、赛季、类别与访问日期
- 保存原始数值和规则版本
- 复算权重并检查各赛道反例
- 补齐模型/框架/预算/样本记录
- 做自己的配对任务与失败分析
- 独立实机验证后再决定部署
怎样据此安排下一轮模型评估
Fable 5.2 的榜首值得作为候选模型线索:当前系统在精细操作与跨本体任务上的分数更强,适合优先研究规划、视觉定位和受约束纠错。但要解释为何得分更高,仍需控制执行层、观测、预算和重复次数,不能只更换模型名称后归因。
RoboColiseum 原始榜单 · RoboColiseum 当前技术报告 · Anthropic Fable 5.2 / Mythos 5.2 发布说明
对多指接触任务,先看灵巧赛道与失败日志,再比较专用 Policy;对移动操作,先看全身协同及安全边界。若目标是文档、代码或研究工作,这张机器人榜单只能提供间接线索,应在自己的输入、产物与验收规则上另设测试,不能替代任务证据。
最有用的读榜结果是一张下一步实验计划:哪些能力值得验证、哪些字段必须补齐、哪些实机风险尚未覆盖。只有当匹配工作负载的成功、成本、延迟与失败恢复证据同时到位,才适合把研究排名转化为部署选择。
本文核验的是公开来源的可解释性,离线执行的只有算术示例。没有重跑机器人榜单,没有确认每个提交的内部配置,也没有获得 Fable 5.2 的新增实机成功率。下一次榜单更新时,沿同一证据链重新检查,比记住一个冠军名字更有价值。