Китайская публикация от 14 ноября привлекла внимание к первому месту Fable 5.2 в новой таблице RoboColiseum. Мы проверили исходные публичные данные, текущий технический отчёт и описание кода. Основной факт подтверждается: в нашем снимке Overall модели за Season II равен 18.30, это первое место и в общем зачёте, и среди Agent. Речь идёт о конкретной системе оценки. Формулировка «первая в робототехнике» выходила бы за пределы измеренных задач, условий и возможностей.
Исходная таблица RoboColiseum · Текущий технический отчёт RoboColiseum · Китайская перепечатка новости на BAAI
Сначала разграничим названия и даты, затем восстановим веса и рассмотрим исполнительную среду и бюджеты. В конце предложим автономную проверку без вызова модели и подключения робота. Таблицы воспроизводят публичные результаты; альтернативные веса, контракт записи и процедура приёмки — наши аналитические предложения. Мы не повторяли испытания, не тестировали физических роботов и не удостоверяли независимо каждую заявку.
Уточните бенчмарк, дату выпуска и версию свидетельств
RoboColiseum Season II, RoboColosseum и RoboDojo — разные исследования. Сходство названий не делает взаимозаменяемыми задачи, метрики или обучение. Anthropic выпустила Fable 5.2 9 ноября. Указанные в анонсе 64.9% на RoboDojo Sim получены во внутренней оценке с максимальным доступным effort; это не рассматриваемые здесь 18.30 балла.
Исходная таблица RoboColiseum · Текущий технический отчёт RoboColiseum · Препринт Agent2Act от 20 октября, версия 1 · Анонс Fable 5.2 / Mythos 5.2 от Anthropic · Препринт распределённой физической оценки RoboColosseum · Китайская перепечатка новости на BAAI
Текущие строки содержат время подачи от 13 ноября без указания часового пояса. Его нельзя автоматически превращать во время публикации по Сингапуру. 14 ноября — дата прочитанной китайской перепечатки, а не доказательство первого появления исходной таблицы. Мы используем снимок доступа от 15 ноября: истории публикаций на сайте недостаточно для установления точного старта.
Препринт Agent2Act от 20 октября описывает более раннее сравнение и не содержит Fable 5.2. Новый веб-отчёт называется «RoboColiseum: Co-evolution of Simulation, Evaluation, and Models»; при проверке индекс отчётов не давал доступной ссылки arXiv. Старую работу, новый отчёт и живую таблицу следует цитировать раздельно: прежняя статья не подтверждает воспроизводимость новой строки.
| Название | Использование в статье | Что разграничивать |
|---|---|---|
| RoboColiseum Season II | Основная таблица: четыре трека симуляции | 18.30 — балл по шкале 0–100 |
| RoboColosseum | Отдельная распределённая оценка на реальных роботах | Не переносить её испытания и места |
| RoboDojo Sim | Другая симуляция в анонсе Anthropic | 64.9% получены во внутренних испытаниях |
Исходная таблица RoboColiseum · Анонс Fable 5.2 / Mythos 5.2 от Anthropic · Препринт распределённой физической оценки RoboColosseum
Смотрите на четыре трека вместе с общим местом
В таблице показаны пять лучших систем общего зачёта в шкале сайта 0–100. Fable особенно сильна в точных манипуляциях и переносе между воплощениями. По координации всего тела она уступает Astra и Opus, по ловким манипуляциям — Gemini и Opus. Общее лидерство относится к правилу агрегации, а не к победе в каждом треке.
Исходная таблица RoboColiseum · Текущий технический отчёт RoboColiseum
| Система | Категория | Общий | Точность | Перенос | Всё тело | Ловкость |
|---|---|---|---|---|---|---|
| Claude Fable 5.2 | Agent | 18.30 | 33.04 | 17.99 | 18.42 | 3.73 |
| GPT-6 Astra | Agent | 13.73 | 23.60 | 12.37 | 18.96 | 0.00 |
| Claude Opus 5.5 | Agent | 11.77 | 14.18 | 9.25 | 18.94 | 4.70 |
| π0.5 | Policy | 11.22 | 4.20 | 10.00 | 13.87 | 16.79 |
| Gemini 4 Argon | Agent | 10.74 | 11.49 | 8.86 | 17.42 | 5.19 |
Исходная таблица RoboColiseum · Текущий технический отчёт RoboColiseum
Общая оценка π0.5 ниже, чем у Fable, зато ловкие манипуляции оцениваются в 16.79, выше показанных универсальных моделей. Системы Policy в отчёте проходят совместное обучение с учителем по 200 демонстрациям на задачу. Адаптация, обучение и вывод у Agent и Policy различаются. Общая таблица помогает увидеть профили; сравнения внутри категорий и расходы требуют отдельного анализа.
Равные веса треков не означают равные веса задач
Официальный Overall — среднее арифметическое четырёх треков. Из отображаемых баллов Fable получается (33.04 + 17.99 + 18.42 + 3.73) / 4 = 18.295, после округления 18.30. Исходное значение в данных — 0.18295, интерфейс показывает шкалу 0–100. Десятичное хранение и похожий на проценты формат не превращают метрику в долю успешных попыток.
Исходная таблица RoboColiseum · Текущий технический отчёт RoboColiseum · Официальные правила использования и оценки RoboColiseum
Покрытие неодинаково: перенос проверяет шесть семейств задач на четырёх воплощениях, всего 24 случая; остальные треки содержат восемь, восемь и десять задач. Перенос составляет 48% этих 50 случаев, но получает 25% макросреднего по трекам. Такие веса выделяют баланс измерений способности. Исследователю важно проверить соответствие собственному набору работ.
| Трек | Структура задач | Число случаев | Вес |
|---|---|---|---|
| Точные манипуляции | 8 задач | 8 | 25% |
| Перенос между воплощениями | 6 семейств × 4 воплощения | 24 | 25% |
| Координация всего тела | 8 задач | 8 | 25% |
| Ловкие манипуляции | 10 задач | 10 | 25% |
Текущий технический отчёт RoboColiseum · Официальные правила использования и оценки RoboColiseum
Пример ниже перевзвешивает опубликованные агрегаты по числу задач и получает 17.6148. Это математический анализ чувствительности, а не официальное микросреднее по задачам и не новый замер. Четыре агрегата не сохраняют всех внутренних весов и правил. Программа использует только стандартную библиотеку Python; арифметику мы проверили локально без сети.
from decimal import Decimal, ROUND_HALF_UP
# Published rounded track scores; arithmetic only, no model or simulator call.
tracks = {
"precision": Decimal("33.04"),
"cross_embodiment": Decimal("17.99"),
"whole_body": Decimal("18.42"),
"dexterous": Decimal("3.73"),
}
macro = sum(tracks.values()) / Decimal(4)
print("macro_from_displayed_tracks:", macro) # 18.295
print("display:", macro.quantize(Decimal("0.01"), rounding=ROUND_HALF_UP))
# Counterfactual weighting exercise, NOT an official micro-average or a rerun.
counts = {"precision": 8, "cross_embodiment": 24, "whole_body": 8, "dexterous": 10}
weighted = sum(tracks[k] * counts[k] for k in tracks) / sum(counts.values())
print("counterfactual_weighting:", weighted) # 17.6148
assert sum(counts.values()) == 50
assert macro == Decimal("18.295")
assert weighted == Decimal("17.6148")На балл влияют прогресс, завершение и бюджеты
Правила начисляют прогресс по состоянию задачи и заданным подцелям, последовательно или параллельно в зависимости от задания. Тайм-аут, выход из разрешённой области или падение предмета могут завершить эпизод без баллов за невыполненные части. Полное завершение в пределах бюджета даёт дополнительную награду. Частичный прогресс, полный успех и итоговая оценка должны публиковаться отдельно.
Текущий технический отчёт RoboColiseum · Официальные правила использования и оценки RoboColiseum
Лимиты исполнительных шагов определяются по обучающим данным задачи. У Agent есть также бюджет вызовов вывода, превышение разумного числа вызовов уменьшает балл. Дополнительные повторы, длинные последовательности действий и новая обратная связь меняют измеряемое сочетание возможностей и ресурсов. Больше рассуждений — условие эксперимента с ценой, а не несущественная деталь.
В проверенных таблице и обзоре нет всех коэффициентов штрафов, величин бонусов и журналов запусков, необходимых для восстановления каждой строки. Мы не придумываем полную формулу. Сначала запросите отдельные поля прогресса, награды за завершение и бюджетных штрафов, затем сверяйте итог; вычислять успешность обратно из суммы ненадёжно.
Оценивается модель вместе с исполнительной средой
Agent2Act связывает инструкцию, визуальные наблюдения и состояние робота с преобразованием действий, локальной проверкой и обратной связью исполнения. Модель предлагает цели, исполнительный слой преобразует координаты, решает обратную кинематику или компилирует траекторию. Отклонённые действия вызывают ограниченное перепланирование. Строка рейтинга измеряет модель вместе с наблюдениями, инструментами и управлением.
Официальный код и README Agent2Act · Официальный репозиторий платформы RoboColiseum
README различает предложенное действие, отправленную команду и наблюдаемый результат. Исполнимая команда ещё не доказывает успешной манипуляции. В примере конфигурации G2 отключена проверка скорости: он не подтверждает соблюдение скоростных или динамических ограничений. Это граница примера; без свидетельств нельзя считать, что рейтинговый запуск использовал ту же конфигурацию.
Репозиторий платформы разделяет размещённые и локальные испытания: локальный результат не попадает в онлайн-рейтинг автоматически. Ниже — наш предлагаемый контракт аудита, а не официальный формат ответа. null означает недостающее свидетельство. Нельзя молча подставить текущий HEAD вместо commit, действительно использованного 13 ноября.
{
"record_type": "proposed_audit_contract_not_official_result",
"board": "RoboColiseum Season II",
"accessed_date": "2026-11-15",
"model_display_name": "Claude Fable 5.2",
"model_snapshot_id": null,
"harness_commit": null,
"simulator_commit": null,
"split_hash": null,
"task_id": null,
"embodiment": null,
"layout_id": null,
"seed": null,
"effort": null,
"temperature": null,
"observation_contract": null,
"control_step_limit": null,
"inference_call_limit": null,
"control_steps_used": null,
"inference_calls_used": null,
"partial_score": null,
"completion_bonus": null,
"budget_penalty": null,
"end_to_end_success": null,
"wall_time_seconds": null,
"cost_usd": null,
"termination_reason": null,
"artifact_sha256": null
}Что дают скрытые раскладки, динамический набор и проверка людьми
Официальный протокол указывает, что публичные раскладки для разработки и серверные тестовые раскладки — разные экземпляры одного распределения. Сервер хранит фиксированный официальный набор и динамический, меняющийся при каждой подаче. Динамический балл не входит в итог; расхождения с официальным набором помогают оценить риск переобучения. Люди дополнительно проверяют привилегированные сведения и приёмы, влияющие на результат.
Текущий технический отчёт RoboColiseum · Официальные правила использования и оценки RoboColiseum · Методологический анализ OpenRUA
Это улучшает сопоставимость. Наличие скрытого набора не доказывает отсутствие любой утечки или переобучения. Записывайте, использовались ли тестовые задачи при настройке, оптимизировались ли на них навыки и получал ли агент недоступную при эксплуатации живую оценку завершения. Заявленный протокол и подтверждение его соблюдения конкретной заявкой — разные материалы.
Методологическая работа OpenRUA от 2 ноября рассматривает неравные бюджеты, утечки текущего вердикта о завершении и навыки, настроенные под тестовые задачи. Она относится к другим экспериментам и общим рискам. Здесь это источник вопросов для аудита, а не основание без проверки обвинять RoboColiseum или Fable в нарушениях.
Сохраняйте неопределённость без выборок и интервалов
Публичные агрегаты не устанавливают все числа повторов, дисперсии по задачам и доверительные интервалы для строки Fable. Отчёт упоминает 240 случаев «робот—задача» в переносе между воплощениями. Это нельзя распространить на общее число rollout всех треков или использовать для дописывания одинаковых seed и независимых выборок каждой модели.
Исходная таблица RoboColiseum · Текущий технический отчёт RoboColiseum · Официальные правила использования и оценки RoboColiseum
Например, Astra получает 18.96, Opus — 18.94 за координацию тела: разница отображения всего 0.02 балла. Без отдельных запусков её устойчивость неизвестна; число знаков после точки не определяет точность измерения. Повторы одной задачи или одного воплощения могут коррелировать. Если считать каждый кадр независимым наблюдением, получится необоснованная уверенность.
В собственном исследовании заранее фиксируйте задачи, раскладки и бюджеты и запускайте системы попарно в одинаковых условиях. Храните каждый исход, оценивайте интервалы на подходящем уровне задач или раскладок, отдельно показывайте провалы, тайм-ауты и ошибки сервиса. Интервал разности, пересекающий ноль, означает недостаточность свидетельств. Ноль полных успехов нельзя скрывать фильтром по частичному прогрессу.
| Вопрос | Что фиксировать | Подтверждение |
|---|---|---|
| Сильнее ли модель? | Одинаковые задачи/раскладки, наблюдения, управление, effort и бюджеты | Парные исходы, интервалы, полный журнал провалов |
| Выгоднее ли она? | Реальные вызовы, токены, время, повторы и списания | Цена полного успеха и хвостовые задержки |
| Есть ли перенос между воплощениями? | Не использованные при адаптации воплощения, разделение задач, координатные интерфейсы | Результаты по воплощениям вместе с агрегатами |
| Можно ли внедрять на роботе? | Оборудование, камеры, калибровка, пределы действий, перехват | Независимые безопасные тесты, остановки и восстановление |
0.9686 в Real2Sim — коэффициент корреляции
Новый отчёт сравнивает 22 парные конфигурации «робот—задача», охватывающие 16 задач, и указывает Pearson r = 0.9686 между реальными и симулированными баллами. Каждая пара использует собственное определение Score задачи. Это не 96.86% правильных действий, не доля успешных задач и не процент совпадения симуляции с реальностью.
Корреляция показывает совместное изменение величин, но не равенство значений. Симулятор может систематически завышать результат и сохранять высокую корреляцию. Нужны диаграмма рассеяния, линия равенства, линия регрессии, парные разности и ошибка калибровки. При разных шкалах задач проверьте также, какие межзадачные различия определяют корреляцию.
Результат мотивирует дальнейшее изучение связи симуляции и физического поведения. Он не подтверждает Fable 5.2 на ваших устройствах, камерах, трении, задержках и условиях безопасности. Реальное внедрение требует независимых безопасных испытаний, границ действий и перехвата человеком. Мы таких проверок не выполняли.
Превратите чтение таблицы в воспроизводимый аудит
Передайте следующий запрос исследовательскому помощнику вместе со скачанными снимками отчёта, правил и результатов. Требуйте сопоставления «утверждение—место источника—расчёт—неизвестное», а не ещё одного рекламного пересказа из интернета. Не передавайте ключи аккаунтов, личные идентификаторы или неразрешённые интерфейсы управления роботами.
Исходная таблица RoboColiseum · Текущий технический отчёт RoboColiseum · Официальные правила использования и оценки RoboColiseum · Официальный код и README Agent2Act · Официальный репозиторий платформы RoboColiseum
Роль: аудитор свидетельств робототехнической оценки. Используй только переданные публичные снимки.
Задача: проверить результат Fable 5.2 в RoboColiseum Season II.
1. Раздели исходную таблицу, правила, новый веб-отчёт, старую статью и СМИ.
2. Укажи Overall и четыре трека, пересчитай среднее с равными весами.
Не называй балл долей успешных попыток.
3. Найди места с model snapshot, effort, бюджетами, повторами, seed и интервалами.
4. Пропуски обозначь unknown. Не восстанавливай историю по текущему HEAD.
5. Раздели корреляцию Real2Sim, калибровку и приёмку модели на реальном роботе.
Формат: claim | source_locator | calculation | limitation.
В конце три минимальных запроса недостающих свидетельств. Не обвиняй в обмане и не заявляй о воспроизведении.Артефакт аудита должен содержать дату доступа, хеши исходных файлов, фильтры сезона и категории, оценки треков, формулы и пропуски. После обновления страницы сначала сравните изменения, затем пересматривайте вывод. Одного скриншота недостаточно для расчёта; одного текущего кода недостаточно для подтверждения исторической конфигурации.
От сигнала таблицы к свидетельствам для внедрения
- Проверить название, сезон, категорию и дату доступа
- Сохранить исходные числа и версии правил
- Пересчитать веса и проверить исключения по трекам
- Получить записи модели, среды, бюджетов и выборки
- Выполнить свои парные задачи и анализ провалов
- Независимо проверить физическое внедрение
Как спланировать следующий этап оценки моделей
Первое место Fable 5.2 — полезный сигнал для отбора кандидата. Баллы точных манипуляций и переноса дают повод исследовать планирование, визуальное наведение и ограниченную коррекцию. Для причинного объяснения нужно контролировать исполнительный слой, наблюдения, бюджеты и повторы; одной замены названия модели недостаточно.
Исходная таблица RoboColiseum · Текущий технический отчёт RoboColiseum · Анонс Fable 5.2 / Mythos 5.2 от Anthropic
Для многопальцевого контакта начинайте с трека ловкости и журналов провалов, сравнивайте специализированные Policy. Для мобильных манипуляций изучайте координацию всего тела и безопасность. Для документов, кода и исследований робототехнический рейтинг — косвенный сигнал: нужны отдельные тесты своих входов, артефактов и критериев приёмки.
Полезный итог чтения рейтинга — план следующего эксперимента: что проверять, каких свидетельств не хватает и какие физические риски ещё не покрыты. Переводить исследовательское место в решение о внедрении стоит, когда одновременно доступны соответствующие работе данные об успехе, цене, задержках и восстановлении после ошибок.
Мы проверили интерпретируемость публичных свидетельств; локально исполнялся только арифметический пример. Мы не повторяли робототехнический рейтинг, не подтверждали внутренние настройки каждой заявки и не измеряли новую долю реальных успехов Fable 5.2. При следующем обновлении полезнее повторить цепочку проверки, чем запомнить имя победителя.