Una noticia china fechada el 14 de noviembre destacó el primer puesto de Fable 5.2 en una nueva clasificación de RoboColiseum. Contrastamos los datos públicos originales, el informe técnico actual y la documentación del código. El hecho central se confirma: en nuestra captura, Fable 5.2 obtiene 18.30 en Overall de Season II y ocupa el primer puesto tanto general como entre Agents. Es el resultado de un sistema de evaluación concreto. «Primero en robótica» extendería la conclusión más allá de las tareas, condiciones y capacidades medidas.
Clasificación original de RoboColiseum · Informe técnico actual de RoboColiseum · Republicación de la noticia china en BAAI
Primero distinguimos nombres y fechas; después reconstruimos la ponderación y examinamos el entorno de ejecución y los presupuestos. Finalmente ofrecemos una auditoría local sin llamadas a modelos ni conexión a robots. Las tablas reproducen resultados públicos; los pesos alternativos, el contrato de registro y el proceso de aceptación son propuestas analíticas nuestras. No hemos repetido la clasificación, probado robots físicos ni autenticado independientemente cada participación.
Identifica el benchmark, el lanzamiento y la versión de las evidencias
RoboColiseum Season II, RoboColosseum y RoboDojo son evaluaciones diferentes. Sus nombres parecidos no permiten intercambiar tareas, puntuaciones ni condiciones de entrenamiento. Anthropic lanzó Fable 5.2 el 9 de noviembre. El 64.9% de RoboDojo Sim de su anuncio corresponde a otra evaluación interna con el máximo effort disponible; no es el 18.30 que analizamos aquí.
Clasificación original de RoboColiseum · Informe técnico actual de RoboColiseum · Preprint Agent2Act del 20 de octubre, versión 1 · Anuncio de Fable 5.2 / Mythos 5.2 de Anthropic · Preprint de evaluación física distribuida RoboColosseum · Republicación de la noticia china en BAAI
Las filas actuales contienen cadenas de fecha de presentación del 13 de noviembre sin zona horaria indicada. No pueden convertirse automáticamente en una hora de publicación de Singapur. El 14 de noviembre es la fecha visible de la republicación china leída, no una prueba del estreno de la clasificación original. Utilizamos una captura de acceso del 15 de noviembre; el sitio no ofrece un historial suficiente para fijar su primera publicación.
El preprint de Agent2Act del 20 de octubre es una comparación anterior y no incluye Fable 5.2. El nuevo informe actual se titula «RoboColiseum: Co-evolution of Simulation, Evaluation, and Models»; al comprobarlo, su índice no ofrecía un enlace disponible a arXiv. Conviene citar por separado el trabajo anterior, el informe web nuevo y la clasificación actual, sin usar el primero como prueba de reproducción de una fila nueva.
| Nombre | Uso aquí | Qué separar |
|---|---|---|
| RoboColiseum Season II | Clasificación principal: cuatro categorías simuladas | 18.30 es una puntuación de 0–100 |
| RoboColosseum | Otra evaluación física distribuida | No importar sus ensayos ni puestos |
| RoboDojo Sim | Otra simulación en el anuncio de Anthropic | 64.9% procede de pruebas internas del proveedor |
Clasificación original de RoboColiseum · Anuncio de Fable 5.2 / Mythos 5.2 de Anthropic · Preprint de evaluación física distribuida RoboColosseum
Lee las cuatro categorías junto con el puesto general
La tabla muestra los cinco primeros sistemas generales en la escala 0–100 del sitio. Fable destaca en manipulación precisa y transferencia entre encarnaciones. En coordinación de cuerpo completo queda por debajo de Astra y Opus, y en manipulación diestra por debajo de Gemini y Opus. El liderazgo general describe esta agregación, no una victoria en todas las categorías.
Clasificación original de RoboColiseum · Informe técnico actual de RoboColiseum
| Sistema | Categoría | General | Precisión | Transferencia | Cuerpo completo | Destreza |
|---|---|---|---|---|---|---|
| Claude Fable 5.2 | Agent | 18.30 | 33.04 | 17.99 | 18.42 | 3.73 |
| GPT-6 Astra | Agent | 13.73 | 23.60 | 12.37 | 18.96 | 0.00 |
| Claude Opus 5.5 | Agent | 11.77 | 14.18 | 9.25 | 18.94 | 4.70 |
| π0.5 | Policy | 11.22 | 4.20 | 10.00 | 13.87 | 16.79 |
| Gemini 4 Argon | Agent | 10.74 | 11.49 | 8.86 | 17.42 | 5.19 |
Clasificación original de RoboColiseum · Informe técnico actual de RoboColiseum
π0.5 puntúa menos que Fable en general, pero obtiene 16.79 en destreza, por encima de los modelos generalistas mostrados. Los sistemas Policy del informe reciben ajuste supervisado conjunto con 200 demostraciones por tarea. Agent y Policy difieren en adaptación, entrenamiento e inferencia. La vista combinada ayuda a identificar perfiles; las comparaciones dentro de cada categoría y los costes requieren un análisis separado.
Ponderar categorías por igual no equivale a ponderar tareas por igual
Overall es oficialmente la media aritmética de las cuatro categorías. Los valores mostrados de Fable dan (33.04 + 17.99 + 18.42 + 3.73) / 4 = 18.295, que se redondea a 18.30. El total bruto de la clasificación es 0.18295, presentado en escala 0–100. El almacenamiento decimal o un formato parecido a porcentajes no convierten la métrica en proporción de intentos exitosos.
Clasificación original de RoboColiseum · Informe técnico actual de RoboColiseum · Uso y reglas oficiales de puntuación de RoboColiseum
La cobertura es desigual: la transferencia evalúa seis familias de tareas en cuatro encarnaciones, 24 casos; las otras categorías tienen ocho, ocho y diez tareas. La transferencia representa el 48% de estos 50 casos, pero recibe el 25% de la media por categorías. Esto favorece el equilibrio de dimensiones. Investigadores y compradores deben comprobar si esas dimensiones corresponden a su carga de trabajo.
| Categoría | Estructura | Casos | Peso general |
|---|---|---|---|
| Manipulación precisa | 8 tareas | 8 | 25% |
| Transferencia entre encarnaciones | 6 familias × 4 encarnaciones | 24 | 25% |
| Coordinación de cuerpo completo | 8 tareas | 8 | 25% |
| Manipulación diestra | 10 tareas | 10 | 25% |
Informe técnico actual de RoboColiseum · Uso y reglas oficiales de puntuación de RoboColiseum
El ejemplo siguiente repondera los agregados publicados por el número de tareas y obtiene 17.6148. Es un ejercicio matemático de sensibilidad, no una micromedia oficial por tareas ni otra medición. Cuatro agregados no conservan todos los pesos y reglas internos. El programa usa solo la biblioteca estándar de Python y hemos verificado su aritmética sin conexión.
from decimal import Decimal, ROUND_HALF_UP
# Published rounded track scores; arithmetic only, no model or simulator call.
tracks = {
"precision": Decimal("33.04"),
"cross_embodiment": Decimal("17.99"),
"whole_body": Decimal("18.42"),
"dexterous": Decimal("3.73"),
}
macro = sum(tracks.values()) / Decimal(4)
print("macro_from_displayed_tracks:", macro) # 18.295
print("display:", macro.quantize(Decimal("0.01"), rounding=ROUND_HALF_UP))
# Counterfactual weighting exercise, NOT an official micro-average or a rerun.
counts = {"precision": 8, "cross_embodiment": 24, "whole_body": 8, "dexterous": 10}
weighted = sum(tracks[k] * counts[k] for k in tracks) / sum(counts.values())
print("counterfactual_weighting:", weighted) # 17.6148
assert sum(counts.values()) == 50
assert macro == Decimal("18.295")
assert weighted == Decimal("17.6148")Progreso, finalización y presupuestos afectan a la puntuación
Las reglas asignan progreso a partir del estado de la tarea y de subobjetivos predefinidos, secuenciales o paralelos según el caso. Un tiempo agotado, salir del área permitida o soltar un objeto pueden terminar el episodio dejando partes sin puntuar. Completar toda la tarea dentro del presupuesto añade una recompensa. Por ello deben publicarse por separado progreso parcial, éxito completo y puntuación final.
Informe técnico actual de RoboColiseum · Uso y reglas oficiales de puntuación de RoboColiseum
Los límites de pasos se derivan de los datos de entrenamiento de cada tarea. Los Agents tienen además un presupuesto de llamadas de inferencia, con deducciones si exceden una cantidad razonable. Más reintentos, secuencias más largas o información adicional pueden cambiar la combinación de capacidad y recursos medida. Razonar más es una condición experimental con coste, no un detalle prescindible.
La clasificación y el resumen examinados no publican todos los coeficientes de penalización, bonos de finalización y registros necesarios para reconstruir cada fila. No inventamos una fórmula completa. Solicita campos independientes para progreso bruto, recompensa y penalización, y concilia el total; deducir una tasa de éxito de la suma es poco fiable.
La unidad evaluada es el modelo con su entorno de ejecución
Agent2Act conecta instrucciones, observaciones visuales y estado del robot con conversión de acciones, validación local y respuesta de ejecución. El modelo propone objetivos; la capa ejecutora convierte coordenadas, resuelve cinemática inversa o compila trayectorias. Las acciones rechazadas generan replanteamiento acotado. Una fila mide, por tanto, el modelo junto con interfaces de observación, herramientas y control.
Código oficial y README de Agent2Act · Repositorio oficial de la plataforma RoboColiseum
El README actual diferencia acciones propuestas, órdenes emitidas y resultados observados. Generar órdenes ejecutables no demuestra una manipulación correcta. También indica que la configuración G2 de ejemplo desactiva la validación de velocidad: ese ejemplo no demuestra cumplimiento de límites de velocidad o dinámica. Es una limitación del ejemplo, no una prueba de que la ejecución clasificada usara la misma configuración.
El repositorio distingue evaluación alojada y ejecución local: los resultados locales no entran automáticamente en la clasificación en línea. Este es nuestro contrato de auditoría propuesto, no un esquema de respuesta oficial. null significa que falta evidencia. En particular, no debe sustituirse silenciosamente el commit realmente usado el 13 de noviembre por el HEAD actual.
{
"record_type": "proposed_audit_contract_not_official_result",
"board": "RoboColiseum Season II",
"accessed_date": "2026-11-15",
"model_display_name": "Claude Fable 5.2",
"model_snapshot_id": null,
"harness_commit": null,
"simulator_commit": null,
"split_hash": null,
"task_id": null,
"embodiment": null,
"layout_id": null,
"seed": null,
"effort": null,
"temperature": null,
"observation_contract": null,
"control_step_limit": null,
"inference_call_limit": null,
"control_steps_used": null,
"inference_calls_used": null,
"partial_score": null,
"completion_bonus": null,
"budget_penalty": null,
"end_to_end_success": null,
"wall_time_seconds": null,
"cost_usd": null,
"termination_reason": null,
"artifact_sha256": null
}Qué aportan los escenarios ocultos, el conjunto dinámico y la revisión humana
El protocolo oficial dice que los escenarios públicos de desarrollo y los del servidor son instancias distintas de la misma distribución. El servidor mantiene un conjunto oficial fijo y otro dinámico que cambia por participación. Los resultados dinámicos no entran en el total; sus discrepancias respecto al conjunto oficial ayudan a detectar riesgo de sobreajuste. La revisión humana añade controles sobre información privilegiada y técnicas que afectan al resultado.
Informe técnico actual de RoboColiseum · Uso y reglas oficiales de puntuación de RoboColiseum · Análisis metodológico de OpenRUA
Estos mecanismos mejoran la comparabilidad. Tener un conjunto oculto no demuestra ausencia de toda filtración o sobreajuste. Registra si el ajuste accedió a tareas de prueba, si se optimizaron habilidades repetidamente sobre ellas y si el agente recibió un veredicto de finalización en vivo que no tendría en producción. La declaración del protocolo y la evidencia de cumplimiento de una participación son materiales distintos.
El análisis metodológico de OpenRUA del 2 de noviembre estudia presupuestos desiguales, filtración de veredictos de finalización y habilidades optimizadas para las tareas de prueba. Se refiere a otros experimentos y riesgos generales. Lo usamos para formular preguntas de revisión, no para trasladar sin pruebas una acusación a RoboColiseum o Fable.
Mantén la incertidumbre visible cuando faltan muestras e intervalos
Los agregados públicos no determinan todas las repeticiones, varianzas por tarea e intervalos de confianza de la fila Fable. El informe menciona 240 casos robot–tarea en transferencia, pero no permite extrapolar el total de rollouts de todas las categorías ni completar semillas y tamaños de muestra independientes de cada modelo.
Clasificación original de RoboColiseum · Informe técnico actual de RoboColiseum · Uso y reglas oficiales de puntuación de RoboColiseum
Por ejemplo, Astra obtiene 18.96 y Opus 18.94 en coordinación corporal, una diferencia visible de apenas 0.02 puntos. Sin datos por ejecución, no sabemos si es estable; los decimales no son precisión de medida. Las repeticiones de una misma tarea o encarnación pueden estar correlacionadas. Tratar cada fotograma como muestra independiente produciría una certeza injustificada.
En tu evaluación, fija de antemano tareas, escenarios y presupuestos y empareja sistemas bajo condiciones idénticas. Guarda cada resultado, estima incertidumbre al nivel adecuado de tarea o escenario y separa fallos, tiempos agotados y errores del servicio. Un intervalo de diferencia que cruza cero indica evidencia insuficiente para esa diferencia. Cero éxitos completos también debe verse, sin ocultarlo filtrando solo muestras con progreso.
| Pregunta | Fijar o registrar | Evidencia de aceptación |
|---|---|---|
| ¿Es mejor el modelo? | Tareas/escenarios, observaciones, control, effort y presupuestos iguales | Resultados emparejados, intervalos y fallos completos |
| ¿Es más económico? | Llamadas reales, tokens, tiempo, reintentos y cargos | Coste por éxito completo y latencia de cola |
| ¿Generaliza entre encarnaciones? | Encarnaciones excluidas de adaptación, partición e interfaces de coordenadas | Resultados por encarnación además de agregados |
| ¿Se justifica desplegarlo físicamente? | Hardware, cámaras, calibración, límites e intervención | Pruebas independientes de bajo riesgo, paradas y recuperación |
El 0.9686 de Real2Sim es un coeficiente de correlación
El informe nuevo compara 22 configuraciones emparejadas robot–tarea, que abarcan 16 tareas, y comunica Pearson r = 0.9686 entre puntuaciones reales y simuladas. Cada pareja usa la definición Score de su tarea. No equivale a un 96.86% de acciones correctas, de tareas exitosas o de concordancia entre simulación y realidad.
La correlación describe cómo varían juntas dos cantidades; no garantiza valores iguales. Un simulador puede sobreestimar sistemáticamente el rendimiento físico y mantener una correlación alta. Examina conjuntamente dispersión, línea de igualdad, ajuste, diferencias por pareja y errores de calibración. Con escalas diferentes entre tareas, comprueba qué diferencias están impulsando la correlación.
Los resultados justifican seguir investigando la relación entre simulación y rendimiento físico. No validan Fable 5.2 en tu hardware, cámaras, fricción, latencia o condiciones de seguridad. El despliegue físico necesita pruebas independientes de bajo riesgo, límites de acción e intervención humana. No hemos realizado esas validaciones.
Convierte la lectura de la clasificación en una auditoría reproducible
Entrega el siguiente prompt a un asistente de investigación con las capturas descargadas del informe, reglas y resultados. Pide una auditoría «afirmación—localización—cálculo—desconocidos», no otro resumen promocional reconstruido en internet. No aportes claves, identificadores personales ni interfaces de control robótico sin autorización.
Clasificación original de RoboColiseum · Informe técnico actual de RoboColiseum · Uso y reglas oficiales de puntuación de RoboColiseum · Código oficial y README de Agent2Act · Repositorio oficial de la plataforma RoboColiseum
Rol: auditor de evidencias de evaluación robótica. Usa solo las capturas públicas que te proporcione.
Tarea: auditar el resultado de Fable 5.2 en RoboColiseum Season II.
1. Separa tabla original, reglas, informe nuevo, artículo anterior y medios.
2. Lista Overall y las cuatro categorías; recalcula la media con pesos iguales.
No cambies la puntuación por una tasa de éxito.
3. Localiza model snapshot, effort, presupuestos, repeticiones, semillas e intervalos.
4. Marca los campos ausentes como unknown. No completes la historia con HEAD actual.
5. Separa correlación Real2Sim, calibración y aceptación física de este modelo.
Salida: claim | source_locator | calculation | limitation.
Termina con tres peticiones mínimas de evidencia. No acuses de fraude ni afirmes haber reproducido el resultado.El artefacto debe incluir fecha de acceso, hashes de los archivos, filtros de temporada y categoría, resultados por prueba, fórmulas y campos ausentes. Cuando cambie una página, compara primero los cambios y después revisa la conclusión. Una captura visual no basta para recalcular; el código actual tampoco prueba una configuración histórica.
De una señal de la clasificación a evidencias para desplegar
- Confirmar nombre, temporada, categoría y fecha
- Guardar valores originales y versiones de reglas
- Recalcular pesos y revisar contraejemplos por categoría
- Obtener registros de modelo, entorno, presupuesto y muestra
- Hacer pruebas propias emparejadas y analizar fallos
- Validar el despliegue físico de forma independiente
Planifica la siguiente evaluación de modelos
El liderazgo de Fable 5.2 es una señal útil para seleccionar candidatos. Los resultados de precisión y transferencia del sistema evaluado justifican priorizar estudios de planificación, localización visual y corrección restringida. Explicar la causa sigue exigiendo controlar ejecución, observaciones, presupuestos y repeticiones; cambiar solo la etiqueta del modelo no aísla su capacidad.
Clasificación original de RoboColiseum · Informe técnico actual de RoboColiseum · Anuncio de Fable 5.2 / Mythos 5.2 de Anthropic
Para contacto con varios dedos, empieza por destreza y registros de fallo y compara Policies especializadas. Para manipulación móvil, revisa coordinación corporal y límites de seguridad. Si tu trabajo es documentación, código o investigación, este ranking robótico es una señal indirecta: construye pruebas propias con tus entradas, entregables y criterios de aceptación.
El resultado más útil es un plan del siguiente experimento: qué capacidad comprobar, qué evidencias faltan y qué riesgos físicos siguen sin cubrirse. Una clasificación de investigación debe orientar el despliegue cuando existan conjuntamente pruebas adaptadas al trabajo sobre éxito, coste, latencia y recuperación tras fallos.
El artículo audita la interpretación de evidencias públicas. Solo ejecutamos localmente el ejemplo aritmético. No repetimos una clasificación robótica, verificamos todas las configuraciones internas ni medimos una nueva tasa de éxito físico de Fable 5.2. En la próxima actualización, repetir esta cadena de evidencias será más útil que recordar un campeón.