11 月 14 日的中文报道把 Fable 5.2 登顶 RoboColiseum 新榜单带到公众视野。我们核对原站公开榜单数据、当前技术报告和代码说明后,确认这条新闻的核心事实成立:截至本文查阅时,Fable 5.2 的 Season II Overall 为 18.30,在综合和 Agent 分类均居首。这里讨论的是具体评测系统的结果,不能把“机器人榜首”扩大为所有物理任务、所有部署条件或通用智能的第一。

RoboColiseum 原始榜单 · RoboColiseum 当前技术报告 · BAAI 中文报道转载页

下面先对齐名字与时间,再复算权重、拆解执行框架和预算,最后给出不调用模型、不连接机器人的离线核验方法。文中的数据表来自公开结果;替代权重计算、记录契约和验收流程是我们的分析设计。我们没有重跑榜单、测试真实机器人或独立认证每个提交。

先对齐榜单、模型发布日期与证据版本

RoboColiseum Season II、RoboColosseum 和 RoboDojo 是不同评测。名称相似,任务、分数与训练条件不能混用。Anthropic 11 月 9 日发布 Fable 5.2,发布文中的 RoboDojo Sim 64.9% 是厂商内部、最高可用 effort 的另一组实验;它不是这里的 18.30 分。

RoboColiseum 原始榜单 · RoboColiseum 当前技术报告 · 10 月 20 日 Agent2Act 预印本 v1 · Anthropic Fable 5.2 / Mythos 5.2 发布说明 · RoboColosseum 分布式实机评测预印本 · BAAI 中文报道转载页

当前榜单条目带有 11 月 13 日的提交时间字符串,但未标注时区;这不能自动转换为新加坡发布时间。11 月 14 日是所读中文转载页的显示日期,也不能代替原始榜单首发时间。本文使用 11 月 15 日访问快照,原站没有提供足以确认首次上线时刻的记录。

10 月 20 日的 Agent2Act 预印本是较早的跨模型评测,未包含 Fable 5.2。当前新报告题为《RoboColiseum: Co-evolution of Simulation, Evaluation, and Models》;查阅时报告列表未给出可用 arXiv 链接。应分别引用旧论文、新网页报告与当前榜单,不能让旧论文替新结果背书。

相近名称不共享分数、样本或协议
名称本篇如何使用防止混淆
RoboColiseum Season II本文主榜;仿真四赛道综合分18.30 是 0–100 分数
RoboColosseum另一套分布式实机评测不能导入其试验数或名次
RoboDojo SimAnthropic 发布文中的另一仿真评测64.9% 属厂商内部实验

RoboColiseum 原始榜单 · Anthropic Fable 5.2 / Mythos 5.2 发布说明 · RoboColosseum 分布式实机评测预印本

读综合分,也读四个赛道的反例

下表列出当前综合前五个系统,分数均按原站 0–100 显示。Fable 在精细操作与跨本体迁移表现突出,但全身协同低于 Astra 和 Opus,灵巧操作也低于 Gemini 与 Opus。综合第一描述的是此处的聚合规则,并不表示逐赛道占优。

RoboColiseum 原始榜单 · RoboColiseum 当前技术报告

2026-11-15 查阅快照;综合前五,0–100 分,不是成功率
系统类别综合精细操作跨本体全身协同灵巧操作
Claude Fable 5.2Agent18.3033.0417.9918.423.73
GPT-6 AstraAgent13.7323.6012.3718.960.00
Claude Opus 5.5Agent11.7714.189.2518.944.70
π0.5Policy11.224.2010.0013.8716.79
Gemini 4 ArgonAgent10.7411.498.8617.425.19

RoboColiseum 原始榜单 · RoboColiseum 当前技术报告

π0.5 的综合分低于 Fable,但灵巧操作为 16.79,高于表内几个通用模型。报告中的 Policy 经过每任务 200 条示范的混合任务监督微调,Agent 与 Policy 的适配、训练和推理机制不同。综合页适合发现能力轮廓,类别内比较与成本对照仍要分开做。

四赛道等权,不等于 50 项任务逐项等权

官方定义 Overall 为四个赛道分数的算术平均。Fable 的显示分数可复算为 (33.04 + 17.99 + 18.42 + 3.73) / 4 = 18.295,四舍五入为 18.30。榜单原始总分为 0.18295,前端以 0–100 展示;不要把小数或百分号的显示方式误当成成功次数比例。

RoboColiseum 原始榜单 · RoboColiseum 当前技术报告 · RoboColiseum 官方使用与评分规则

任务覆盖并不相等:跨本体迁移的 6 类任务跨 4 种本体构成 24 项,其余三个赛道分别为 8、8、10 项。跨本体占这 50 项的 48%,在四赛道宏平均中仍占 25%。选择这种权重强调能力维度的平衡;采购或研究人员需要确认它是否符合自己的工作负载。

官方 Season II 任务结构与综合权重
赛道任务结构项目数综合权重
精细操作8 项任务825%
跨本体迁移6 类任务 × 4 本体2425%
全身协同8 项任务825%
灵巧操作10 项任务1025%

RoboColiseum 当前技术报告 · RoboColiseum 官方使用与评分规则

下面仅把已公布的赛道分数换成任务数权重,得到 17.6148。这是权重敏感性的数学练习,不是官方逐任务微平均,也不是另一轮实测:赛道内部的计分与样本权重没有被这些四个汇总值完整保留。脚本仅使用 Python 标准库,已离线验证算术。

已离线执行的算术示例;替代权重不是官方结果,也不调用模型
from decimal import Decimal, ROUND_HALF_UP

# Published rounded track scores; arithmetic only, no model or simulator call.
tracks = {
    "precision": Decimal("33.04"),
    "cross_embodiment": Decimal("17.99"),
    "whole_body": Decimal("18.42"),
    "dexterous": Decimal("3.73"),
}
macro = sum(tracks.values()) / Decimal(4)
print("macro_from_displayed_tracks:", macro)  # 18.295
print("display:", macro.quantize(Decimal("0.01"), rounding=ROUND_HALF_UP))

# Counterfactual weighting exercise, NOT an official micro-average or a rerun.
counts = {"precision": 8, "cross_embodiment": 24, "whole_body": 8, "dexterous": 10}
weighted = sum(tracks[k] * counts[k] for k in tracks) / sum(counts.values())
print("counterfactual_weighting:", weighted)  # 17.6148
assert sum(counts.values()) == 50
assert macro == Decimal("18.295")
assert weighted == Decimal("17.6148")

部分进度、完成奖励和预算共同决定分数

规则按任务状态和预定义子目标记录进度,任务可能采用顺序或并行里程碑。超时、越界、掉落等提前终止会使未完成部分得不到分数;在预算内完成整个任务还有额外奖励。因此,高部分进度、完整成功与最终总分是需要同时报告的三个量。

RoboColiseum 当前技术报告 · RoboColiseum 官方使用与评分规则

执行步数上限按任务训练数据确定,Agent 还受推理调用预算约束,超出合理调用预算会扣分。相同模型如果增加重试、延长动作序列或获得更多反馈,测到的能力与资源组合就可能变化。“想得更久”不是可以忽略的免费条件。

所查榜单和概述没有给出足以重建每条结果的全部惩罚系数、奖励数值及逐次日志。我们不据此编写完整计分公式。对复现者来说,先索取原始进度、完成奖励与预算扣分的独立字段,再核对合成结果,比根据总分反推成功率可靠。

被评测的单位是模型加执行框架

Agent2Act 将多模态模型的任务指令、视觉观测与机器人状态连接到动作转换、局部验证和执行反馈。模型提出目标,执行层完成坐标转换、逆运动学或轨迹编译等工作;动作被拒绝后进行有界重规划。排行榜行因而是模型、观测接口、工具和控制层的联合结果。

Agent2Act 官方代码与 README · RoboColiseum 平台官方仓库

当前 README 特别区分提议动作、发出的命令与观测到的结果;能生成可执行命令不等于操作成功。示例 G2 配置还注明未启用速度验证,不能用它证明速度或动力学约束已满足。这是代码示例的边界,不能未经证据就断言榜单行采用了相同配置。

平台仓库也区分托管评测与本地运行:本地结果不会自动进入在线榜单。下面是我们建议的审计记录契约,不是官方响应格式。null 表示需要补证;尤其不能把当前仓库 HEAD 自动填成 11 月 13 日评测实际使用的 commit。

自拟审计记录模板;未知字段保持 null,不是官方 API 响应
{
  "record_type": "proposed_audit_contract_not_official_result",
  "board": "RoboColiseum Season II",
  "accessed_date": "2026-11-15",
  "model_display_name": "Claude Fable 5.2",
  "model_snapshot_id": null,
  "harness_commit": null,
  "simulator_commit": null,
  "split_hash": null,
  "task_id": null,
  "embodiment": null,
  "layout_id": null,
  "seed": null,
  "effort": null,
  "temperature": null,
  "observation_contract": null,
  "control_step_limit": null,
  "inference_call_limit": null,
  "control_steps_used": null,
  "inference_calls_used": null,
  "partial_score": null,
  "completion_bonus": null,
  "budget_penalty": null,
  "end_to_end_success": null,
  "wall_time_seconds": null,
  "cost_usd": null,
  "termination_reason": null,
  "artifact_sha256": null
}

隐藏布局、动态集合与人工审查解决什么

官方说明公开开发布局与服务器测试布局来自同分布的不同实例。服务器还维护固定官方集合及每次提交变化的动态集合;动态分数不计入总分,而是与官方分数对照以检查过拟合风险,人工审查补充检查特权信息与影响结果的技巧。

RoboColiseum 当前技术报告 · RoboColiseum 官方使用与评分规则 · OpenRUA 机器人代理评测方法分析

这些机制提高可比性,却不能从“有隐藏集”直接推导“没有任何泄漏或过拟合”。应继续记录调参过程是否接触测试任务、技能是否在相同任务上反复优化、运行中是否得到真实部署无法获取的即时完成判定。协议声明与一次提交的合规证据是两层材料。

OpenRUA 11 月 2 日的方法分析提出预算不等、运行中完成判定泄漏和针对测试任务优化技能等问题。它讨论的是其他机器人代理实验及一般协议风险;这里把它作为评审问题来源,不把其批评未经验证地移植为 RoboColiseum 或 Fable 的违规结论。

没有样本与区间,就保留不确定性

当前公开汇总未提供足以确认 Fable 这一行全部重复次数、逐任务方差和置信区间的数据。报告对跨本体赛道写有 240 个 robot–task cases,但这不能直接外推成所有赛道的总 rollout 数,也不能替每个模型补出相同种子和独立样本数。

RoboColiseum 原始榜单 · RoboColiseum 当前技术报告 · RoboColiseum 官方使用与评分规则

例如,全身协同 Astra 为 18.96、Opus 为 18.94,显示差距只有 0.02 分。没有逐次数据,不能判断差异是否稳定,更不能把小数位当成测量精度。相同任务或相同本体中的重复通常存在相关性,简单把所有帧当独立样本会制造虚假的确定性。

自己的评估应预先固定任务、布局和预算,让两个系统配对使用相同测试条件。保存每次结果,按任务或布局的合理层级估计区间,同时单独列出失败、超时与服务错误。区间跨零应报告证据不足;零次完整成功也仍要公开,不能只留有进度的样本。

自拟验证矩阵:先冻结条件,再解释差异
问题应固定/记录通过证据
模型是否更强相同任务/布局、观测、控制层、effort 和预算配对结果、区间、完整失败日志
是否更划算实际调用、tokens、墙钟、重试与费用单位完整成功的成本与尾部延迟
是否跨本体泛化未用于适配的本体、任务划分和坐标接口分本体成绩,不只汇总平均
能否上实机硬件/相机/标定、动作限位与接管独立低风险试验、异常停止和恢复记录

Real2Sim 的 0.9686 是相关系数

新报告比较 22 个机器人—任务配对配置,覆盖 16 个任务,报告实机与仿真任务分数的 Pearson r = 0.9686。每个配对使用对应任务自己的 Score 定义。这不是“96.86% 的动作正确”,也不是“96.86% 的任务成功或仿真实机一致”。

RoboColiseum 当前技术报告

相关性衡量两个量如何共同变化,不保证数值相等。即便仿真系统性高估实机分数,相关仍可能很高。因此要同时看散点、等值线、拟合线、逐对差值与校准误差;跨任务评分尺度不同,还需核查哪些高低差异在驱动相关。

这组结果支持继续研究仿真排序与实机表现的联系,不构成 Fable 5.2 在自己硬件、相机、摩擦、延迟和安全条件下的部署验收。真实设备还需要独立的低风险测试、动作边界和人工接管;本文没有执行这些验证。

把读榜变成可复验的审计任务

可以把下列提示词交给研究助手,只提供下载的报告、规则和结果快照。要求它建立“断言—原文位置—计算—未知项”的对照,而不是联网拼出另一个宣传摘要。不要向它提供账户密钥、个人身份信息或未授权的机器人控制接口。

RoboColiseum 原始榜单 · RoboColiseum 当前技术报告 · RoboColiseum 官方使用与评分规则 · Agent2Act 官方代码与 README · RoboColiseum 平台官方仓库

可复制的证据审计提示词;未用真实模型执行
角色:机器人评测证据审计员。只使用我提供的公开快照。
任务:核对 RoboColiseum Season II 的 Fable 5.2 结果。
1. 分清原始榜单、规则、新网页报告、旧论文与媒体转述。
2. 列出综合和四赛道分数,复算等权均值;不得改写为成功率。
3. 找出模型快照、effort、预算、重复次数、种子和区间的原文位置。
4. 未找到的字段写 unknown;不从当前仓库 HEAD 补历史配置。
5. 将 Real2Sim 的相关性、校准与该模型的实机验收分开。
输出:claim | source_locator | calculation | limitation。
末尾给三项最小补证请求;不推断作弊,不宣称已复现。

审计产物至少应包括访问日期、原始文件哈希、赛季/类别过滤条件、逐赛道数值、公式以及未找到的字段。网页更新后先比较差异,再决定是否重做结论。仅保存截图不足以复算;仅保存当前代码也不足以证明历史运行配置。

从榜单线索走到自己的部署证据

  1. 确认名称、赛季、类别与访问日期
  2. 保存原始数值和规则版本
  3. 复算权重并检查各赛道反例
  4. 补齐模型/框架/预算/样本记录
  5. 做自己的配对任务与失败分析
  6. 独立实机验证后再决定部署
原创读榜流程:每一关都保留未知项,避免从名次跳到部署结论

怎样据此安排下一轮模型评估

Fable 5.2 的榜首值得作为候选模型线索:当前系统在精细操作与跨本体任务上的分数更强,适合优先研究规划、视觉定位和受约束纠错。但要解释为何得分更高,仍需控制执行层、观测、预算和重复次数,不能只更换模型名称后归因。

RoboColiseum 原始榜单 · RoboColiseum 当前技术报告 · Anthropic Fable 5.2 / Mythos 5.2 发布说明

对多指接触任务,先看灵巧赛道与失败日志,再比较专用 Policy;对移动操作,先看全身协同及安全边界。若目标是文档、代码或研究工作,这张机器人榜单只能提供间接线索,应在自己的输入、产物与验收规则上另设测试,不能替代任务证据。

最有用的读榜结果是一张下一步实验计划:哪些能力值得验证、哪些字段必须补齐、哪些实机风险尚未覆盖。只有当匹配工作负载的成功、成本、延迟与失败恢复证据同时到位,才适合把研究排名转化为部署选择。

本文核验的是公开来源的可解释性,离线执行的只有算术示例。没有重跑机器人榜单,没有确认每个提交的内部配置,也没有获得 Fable 5.2 的新增实机成功率。下一次榜单更新时,沿同一证据链重新检查,比记住一个冠军名字更有价值。