Китайская публикация от 14 ноября привлекла внимание к первому месту Fable 5.2 в новой таблице RoboColiseum. Мы проверили исходные публичные данные, текущий технический отчёт и описание кода. Основной факт подтверждается: в нашем снимке Overall модели за Season II равен 18.30, это первое место и в общем зачёте, и среди Agent. Речь идёт о конкретной системе оценки. Формулировка «первая в робототехнике» выходила бы за пределы измеренных задач, условий и возможностей.

Исходная таблица RoboColiseum · Текущий технический отчёт RoboColiseum · Китайская перепечатка новости на BAAI

Сначала разграничим названия и даты, затем восстановим веса и рассмотрим исполнительную среду и бюджеты. В конце предложим автономную проверку без вызова модели и подключения робота. Таблицы воспроизводят публичные результаты; альтернативные веса, контракт записи и процедура приёмки — наши аналитические предложения. Мы не повторяли испытания, не тестировали физических роботов и не удостоверяли независимо каждую заявку.

Уточните бенчмарк, дату выпуска и версию свидетельств

RoboColiseum Season II, RoboColosseum и RoboDojo — разные исследования. Сходство названий не делает взаимозаменяемыми задачи, метрики или обучение. Anthropic выпустила Fable 5.2 9 ноября. Указанные в анонсе 64.9% на RoboDojo Sim получены во внутренней оценке с максимальным доступным effort; это не рассматриваемые здесь 18.30 балла.

Исходная таблица RoboColiseum · Текущий технический отчёт RoboColiseum · Препринт Agent2Act от 20 октября, версия 1 · Анонс Fable 5.2 / Mythos 5.2 от Anthropic · Препринт распределённой физической оценки RoboColosseum · Китайская перепечатка новости на BAAI

Текущие строки содержат время подачи от 13 ноября без указания часового пояса. Его нельзя автоматически превращать во время публикации по Сингапуру. 14 ноября — дата прочитанной китайской перепечатки, а не доказательство первого появления исходной таблицы. Мы используем снимок доступа от 15 ноября: истории публикаций на сайте недостаточно для установления точного старта.

Препринт Agent2Act от 20 октября описывает более раннее сравнение и не содержит Fable 5.2. Новый веб-отчёт называется «RoboColiseum: Co-evolution of Simulation, Evaluation, and Models»; при проверке индекс отчётов не давал доступной ссылки arXiv. Старую работу, новый отчёт и живую таблицу следует цитировать раздельно: прежняя статья не подтверждает воспроизводимость новой строки.

Сходные названия не означают общие баллы, выборки и протоколы
НазваниеИспользование в статьеЧто разграничивать
RoboColiseum Season IIОсновная таблица: четыре трека симуляции18.30 — балл по шкале 0–100
RoboColosseumОтдельная распределённая оценка на реальных роботахНе переносить её испытания и места
RoboDojo SimДругая симуляция в анонсе Anthropic64.9% получены во внутренних испытаниях

Исходная таблица RoboColiseum · Анонс Fable 5.2 / Mythos 5.2 от Anthropic · Препринт распределённой физической оценки RoboColosseum

Смотрите на четыре трека вместе с общим местом

В таблице показаны пять лучших систем общего зачёта в шкале сайта 0–100. Fable особенно сильна в точных манипуляциях и переносе между воплощениями. По координации всего тела она уступает Astra и Opus, по ловким манипуляциям — Gemini и Opus. Общее лидерство относится к правилу агрегации, а не к победе в каждом треке.

Исходная таблица RoboColiseum · Текущий технический отчёт RoboColiseum

Снимок на 15 ноября 2026 года: первые пять; шкала 0–100, не доля успехов
СистемаКатегорияОбщийТочностьПереносВсё телоЛовкость
Claude Fable 5.2Agent18.3033.0417.9918.423.73
GPT-6 AstraAgent13.7323.6012.3718.960.00
Claude Opus 5.5Agent11.7714.189.2518.944.70
π0.5Policy11.224.2010.0013.8716.79
Gemini 4 ArgonAgent10.7411.498.8617.425.19

Исходная таблица RoboColiseum · Текущий технический отчёт RoboColiseum

Общая оценка π0.5 ниже, чем у Fable, зато ловкие манипуляции оцениваются в 16.79, выше показанных универсальных моделей. Системы Policy в отчёте проходят совместное обучение с учителем по 200 демонстрациям на задачу. Адаптация, обучение и вывод у Agent и Policy различаются. Общая таблица помогает увидеть профили; сравнения внутри категорий и расходы требуют отдельного анализа.

Равные веса треков не означают равные веса задач

Официальный Overall — среднее арифметическое четырёх треков. Из отображаемых баллов Fable получается (33.04 + 17.99 + 18.42 + 3.73) / 4 = 18.295, после округления 18.30. Исходное значение в данных — 0.18295, интерфейс показывает шкалу 0–100. Десятичное хранение и похожий на проценты формат не превращают метрику в долю успешных попыток.

Исходная таблица RoboColiseum · Текущий технический отчёт RoboColiseum · Официальные правила использования и оценки RoboColiseum

Покрытие неодинаково: перенос проверяет шесть семейств задач на четырёх воплощениях, всего 24 случая; остальные треки содержат восемь, восемь и десять задач. Перенос составляет 48% этих 50 случаев, но получает 25% макросреднего по трекам. Такие веса выделяют баланс измерений способности. Исследователю важно проверить соответствие собственному набору работ.

Официальная структура Season II и веса общего балла
ТрекСтруктура задачЧисло случаевВес
Точные манипуляции8 задач825%
Перенос между воплощениями6 семейств × 4 воплощения2425%
Координация всего тела8 задач825%
Ловкие манипуляции10 задач1025%

Текущий технический отчёт RoboColiseum · Официальные правила использования и оценки RoboColiseum

Пример ниже перевзвешивает опубликованные агрегаты по числу задач и получает 17.6148. Это математический анализ чувствительности, а не официальное микросреднее по задачам и не новый замер. Четыре агрегата не сохраняют всех внутренних весов и правил. Программа использует только стандартную библиотеку Python; арифметику мы проверили локально без сети.

Арифметика проверена локально; альтернативные веса — не официальный результат и не вызов модели
from decimal import Decimal, ROUND_HALF_UP

# Published rounded track scores; arithmetic only, no model or simulator call.
tracks = {
    "precision": Decimal("33.04"),
    "cross_embodiment": Decimal("17.99"),
    "whole_body": Decimal("18.42"),
    "dexterous": Decimal("3.73"),
}
macro = sum(tracks.values()) / Decimal(4)
print("macro_from_displayed_tracks:", macro)  # 18.295
print("display:", macro.quantize(Decimal("0.01"), rounding=ROUND_HALF_UP))

# Counterfactual weighting exercise, NOT an official micro-average or a rerun.
counts = {"precision": 8, "cross_embodiment": 24, "whole_body": 8, "dexterous": 10}
weighted = sum(tracks[k] * counts[k] for k in tracks) / sum(counts.values())
print("counterfactual_weighting:", weighted)  # 17.6148
assert sum(counts.values()) == 50
assert macro == Decimal("18.295")
assert weighted == Decimal("17.6148")

На балл влияют прогресс, завершение и бюджеты

Правила начисляют прогресс по состоянию задачи и заданным подцелям, последовательно или параллельно в зависимости от задания. Тайм-аут, выход из разрешённой области или падение предмета могут завершить эпизод без баллов за невыполненные части. Полное завершение в пределах бюджета даёт дополнительную награду. Частичный прогресс, полный успех и итоговая оценка должны публиковаться отдельно.

Текущий технический отчёт RoboColiseum · Официальные правила использования и оценки RoboColiseum

Лимиты исполнительных шагов определяются по обучающим данным задачи. У Agent есть также бюджет вызовов вывода, превышение разумного числа вызовов уменьшает балл. Дополнительные повторы, длинные последовательности действий и новая обратная связь меняют измеряемое сочетание возможностей и ресурсов. Больше рассуждений — условие эксперимента с ценой, а не несущественная деталь.

В проверенных таблице и обзоре нет всех коэффициентов штрафов, величин бонусов и журналов запусков, необходимых для восстановления каждой строки. Мы не придумываем полную формулу. Сначала запросите отдельные поля прогресса, награды за завершение и бюджетных штрафов, затем сверяйте итог; вычислять успешность обратно из суммы ненадёжно.

Оценивается модель вместе с исполнительной средой

Agent2Act связывает инструкцию, визуальные наблюдения и состояние робота с преобразованием действий, локальной проверкой и обратной связью исполнения. Модель предлагает цели, исполнительный слой преобразует координаты, решает обратную кинематику или компилирует траекторию. Отклонённые действия вызывают ограниченное перепланирование. Строка рейтинга измеряет модель вместе с наблюдениями, инструментами и управлением.

Официальный код и README Agent2Act · Официальный репозиторий платформы RoboColiseum

README различает предложенное действие, отправленную команду и наблюдаемый результат. Исполнимая команда ещё не доказывает успешной манипуляции. В примере конфигурации G2 отключена проверка скорости: он не подтверждает соблюдение скоростных или динамических ограничений. Это граница примера; без свидетельств нельзя считать, что рейтинговый запуск использовал ту же конфигурацию.

Репозиторий платформы разделяет размещённые и локальные испытания: локальный результат не попадает в онлайн-рейтинг автоматически. Ниже — наш предлагаемый контракт аудита, а не официальный формат ответа. null означает недостающее свидетельство. Нельзя молча подставить текущий HEAD вместо commit, действительно использованного 13 ноября.

Предлагаемая запись аудита: неизвестное остаётся null; это не официальный ответ API
{
  "record_type": "proposed_audit_contract_not_official_result",
  "board": "RoboColiseum Season II",
  "accessed_date": "2026-11-15",
  "model_display_name": "Claude Fable 5.2",
  "model_snapshot_id": null,
  "harness_commit": null,
  "simulator_commit": null,
  "split_hash": null,
  "task_id": null,
  "embodiment": null,
  "layout_id": null,
  "seed": null,
  "effort": null,
  "temperature": null,
  "observation_contract": null,
  "control_step_limit": null,
  "inference_call_limit": null,
  "control_steps_used": null,
  "inference_calls_used": null,
  "partial_score": null,
  "completion_bonus": null,
  "budget_penalty": null,
  "end_to_end_success": null,
  "wall_time_seconds": null,
  "cost_usd": null,
  "termination_reason": null,
  "artifact_sha256": null
}

Что дают скрытые раскладки, динамический набор и проверка людьми

Официальный протокол указывает, что публичные раскладки для разработки и серверные тестовые раскладки — разные экземпляры одного распределения. Сервер хранит фиксированный официальный набор и динамический, меняющийся при каждой подаче. Динамический балл не входит в итог; расхождения с официальным набором помогают оценить риск переобучения. Люди дополнительно проверяют привилегированные сведения и приёмы, влияющие на результат.

Текущий технический отчёт RoboColiseum · Официальные правила использования и оценки RoboColiseum · Методологический анализ OpenRUA

Это улучшает сопоставимость. Наличие скрытого набора не доказывает отсутствие любой утечки или переобучения. Записывайте, использовались ли тестовые задачи при настройке, оптимизировались ли на них навыки и получал ли агент недоступную при эксплуатации живую оценку завершения. Заявленный протокол и подтверждение его соблюдения конкретной заявкой — разные материалы.

Методологическая работа OpenRUA от 2 ноября рассматривает неравные бюджеты, утечки текущего вердикта о завершении и навыки, настроенные под тестовые задачи. Она относится к другим экспериментам и общим рискам. Здесь это источник вопросов для аудита, а не основание без проверки обвинять RoboColiseum или Fable в нарушениях.

Сохраняйте неопределённость без выборок и интервалов

Публичные агрегаты не устанавливают все числа повторов, дисперсии по задачам и доверительные интервалы для строки Fable. Отчёт упоминает 240 случаев «робот—задача» в переносе между воплощениями. Это нельзя распространить на общее число rollout всех треков или использовать для дописывания одинаковых seed и независимых выборок каждой модели.

Исходная таблица RoboColiseum · Текущий технический отчёт RoboColiseum · Официальные правила использования и оценки RoboColiseum

Например, Astra получает 18.96, Opus — 18.94 за координацию тела: разница отображения всего 0.02 балла. Без отдельных запусков её устойчивость неизвестна; число знаков после точки не определяет точность измерения. Повторы одной задачи или одного воплощения могут коррелировать. Если считать каждый кадр независимым наблюдением, получится необоснованная уверенность.

В собственном исследовании заранее фиксируйте задачи, раскладки и бюджеты и запускайте системы попарно в одинаковых условиях. Храните каждый исход, оценивайте интервалы на подходящем уровне задач или раскладок, отдельно показывайте провалы, тайм-ауты и ошибки сервиса. Интервал разности, пересекающий ноль, означает недостаточность свидетельств. Ноль полных успехов нельзя скрывать фильтром по частичному прогрессу.

Наша матрица проверки: фиксируйте условия до объяснения различий
ВопросЧто фиксироватьПодтверждение
Сильнее ли модель?Одинаковые задачи/раскладки, наблюдения, управление, effort и бюджетыПарные исходы, интервалы, полный журнал провалов
Выгоднее ли она?Реальные вызовы, токены, время, повторы и списанияЦена полного успеха и хвостовые задержки
Есть ли перенос между воплощениями?Не использованные при адаптации воплощения, разделение задач, координатные интерфейсыРезультаты по воплощениям вместе с агрегатами
Можно ли внедрять на роботе?Оборудование, камеры, калибровка, пределы действий, перехватНезависимые безопасные тесты, остановки и восстановление

0.9686 в Real2Sim — коэффициент корреляции

Новый отчёт сравнивает 22 парные конфигурации «робот—задача», охватывающие 16 задач, и указывает Pearson r = 0.9686 между реальными и симулированными баллами. Каждая пара использует собственное определение Score задачи. Это не 96.86% правильных действий, не доля успешных задач и не процент совпадения симуляции с реальностью.

Текущий технический отчёт RoboColiseum

Корреляция показывает совместное изменение величин, но не равенство значений. Симулятор может систематически завышать результат и сохранять высокую корреляцию. Нужны диаграмма рассеяния, линия равенства, линия регрессии, парные разности и ошибка калибровки. При разных шкалах задач проверьте также, какие межзадачные различия определяют корреляцию.

Результат мотивирует дальнейшее изучение связи симуляции и физического поведения. Он не подтверждает Fable 5.2 на ваших устройствах, камерах, трении, задержках и условиях безопасности. Реальное внедрение требует независимых безопасных испытаний, границ действий и перехвата человеком. Мы таких проверок не выполняли.

Превратите чтение таблицы в воспроизводимый аудит

Передайте следующий запрос исследовательскому помощнику вместе со скачанными снимками отчёта, правил и результатов. Требуйте сопоставления «утверждение—место источника—расчёт—неизвестное», а не ещё одного рекламного пересказа из интернета. Не передавайте ключи аккаунтов, личные идентификаторы или неразрешённые интерфейсы управления роботами.

Исходная таблица RoboColiseum · Текущий технический отчёт RoboColiseum · Официальные правила использования и оценки RoboColiseum · Официальный код и README Agent2Act · Официальный репозиторий платформы RoboColiseum

Копируемый запрос для аудита; на реальной модели не запускался
Роль: аудитор свидетельств робототехнической оценки. Используй только переданные публичные снимки.
Задача: проверить результат Fable 5.2 в RoboColiseum Season II.
1. Раздели исходную таблицу, правила, новый веб-отчёт, старую статью и СМИ.
2. Укажи Overall и четыре трека, пересчитай среднее с равными весами.
   Не называй балл долей успешных попыток.
3. Найди места с model snapshot, effort, бюджетами, повторами, seed и интервалами.
4. Пропуски обозначь unknown. Не восстанавливай историю по текущему HEAD.
5. Раздели корреляцию Real2Sim, калибровку и приёмку модели на реальном роботе.
Формат: claim | source_locator | calculation | limitation.
В конце три минимальных запроса недостающих свидетельств. Не обвиняй в обмане и не заявляй о воспроизведении.

Артефакт аудита должен содержать дату доступа, хеши исходных файлов, фильтры сезона и категории, оценки треков, формулы и пропуски. После обновления страницы сначала сравните изменения, затем пересматривайте вывод. Одного скриншота недостаточно для расчёта; одного текущего кода недостаточно для подтверждения исторической конфигурации.

От сигнала таблицы к свидетельствам для внедрения

  1. Проверить название, сезон, категорию и дату доступа
  2. Сохранить исходные числа и версии правил
  3. Пересчитать веса и проверить исключения по трекам
  4. Получить записи модели, среды, бюджетов и выборки
  5. Выполнить свои парные задачи и анализ провалов
  6. Независимо проверить физическое внедрение
Авторский процесс: сохраняйте неизвестное на каждом шаге до решения о внедрении

Как спланировать следующий этап оценки моделей

Первое место Fable 5.2 — полезный сигнал для отбора кандидата. Баллы точных манипуляций и переноса дают повод исследовать планирование, визуальное наведение и ограниченную коррекцию. Для причинного объяснения нужно контролировать исполнительный слой, наблюдения, бюджеты и повторы; одной замены названия модели недостаточно.

Исходная таблица RoboColiseum · Текущий технический отчёт RoboColiseum · Анонс Fable 5.2 / Mythos 5.2 от Anthropic

Для многопальцевого контакта начинайте с трека ловкости и журналов провалов, сравнивайте специализированные Policy. Для мобильных манипуляций изучайте координацию всего тела и безопасность. Для документов, кода и исследований робототехнический рейтинг — косвенный сигнал: нужны отдельные тесты своих входов, артефактов и критериев приёмки.

Полезный итог чтения рейтинга — план следующего эксперимента: что проверять, каких свидетельств не хватает и какие физические риски ещё не покрыты. Переводить исследовательское место в решение о внедрении стоит, когда одновременно доступны соответствующие работе данные об успехе, цене, задержках и восстановлении после ошибок.

Мы проверили интерпретируемость публичных свидетельств; локально исполнялся только арифметический пример. Мы не повторяли робототехнический рейтинг, не подтверждали внутренние настройки каждой заявки и не измеряли новую долю реальных успехов Fable 5.2. При следующем обновлении полезнее повторить цепочку проверки, чем запомнить имя победителя.