El robot tenía la rejilla del ventilador en la mano. Empujó para encajarla. El ventilador se deslizó. El artículo de Embodied First Exam documenta ese intento de Opus 5.5.

Fable 5.2 alcanza cerca del 80% en el modo que permite leer el estado completo del simulador. Con sensores y, por defecto, sin reinicios, aprueba menos de la mitad de las mismas pruebas.

El denominador decide qué cifra citar

El proyecto reúne 1.156 tareas, 35 suites, 23 simuladores y 47 robots. El 19 de noviembre recalculamos las 391 tareas centrales disponibles en los dos modos.

Fable 5.2 + Claude Code con razonamiento alto
ResultadoTareas
Supera ambos modos175
Solo privilegiado137
Solo estándar9
Falla en ambos70

Los totales son 312/391 (79,8%) y 184/391 (47,1%), separados por 32,7 puntos. El medio de referencia publicó 311 éxitos privilegiados. Las fichas públicas consultadas arrojan 312. En las 456 tareas estándar del núcleo, Fable obtuvo 226 (49,6%) y GPT‑6 Astra en Codex obtuvo 157 (34,4%). El preprint v1 describe una cohorte anterior.

Embodied First Exam · Official leaderboard · Embodied First Exam · Leaderboard data · Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Per-task results · 新智元 · Embodied First Exam report

Qué permisos hacen el trabajo diferente

Los agentes pueden emitir acciones, programar un controlador o entrenar una política dentro del presupuesto. Un verificador externo puntúa el resultado.

Cómo cambia el acceso a la escena
ModoObservaciónRecuperación
PrivilegiadoEstado exacto del simuladorReinicios ilimitados
EstándarSensores y estado propio del robotSin reinicio por defecto
Tiempo realInterfaz estándar con el mundo en movimientoLa latencia puede agotar el plazo

En pausa se puede estimar con calma la posición de un objeto. Con un objeto en movimiento, una imagen antigua puede invalidar el siguiente comando. Por eso conviene medir la cola de latencias y la reacción del controlador entre comandos.

Embodied First Exam · Official leaderboard · Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Public task runner

Un error de pocos grados cambia la trayectoria

En la figura 12, la rejilla de Opus 5.5 está desviada 36–39° frente a una tolerancia de unos 5°. Empujar cambió la posición del ventilador. Informar solo de un fallo de montaje oculta qué ocurrió antes del contacto y si el robot podía recuperarse.

Con GPT‑6 Astra, el estudio v1 obtuvo 28% de base, 45% al añadir estado exacto, 53% con reinicios y estados guardados y 68% con ambos. La ablación corresponde a Astra. La comparación de Fable no estima por separado el efecto de cada permiso.

Embodied First Exam · arXiv v1, Sections 2–3

Del marcador a una prueba reproducible

Usa una tarea segura de mesa en simulación, como orientar un bloque blando en una bandeja. Fija escenas, modelo, entorno de ejecución, presupuesto y verificador.

  1. Repite cuatro condiciones: sensores, estado exacto, reinicios, ambos. Conserva también los intentos fallidos.
  2. Marca aproximación, contacto, finalización y verificación. Registra el primer error irreversible y las recuperaciones.
  3. Para tareas dinámicas publica éxitos sobre intentos, latencia P95, tiempos agotados e intervenciones. Repite en escenas reservadas.

El resultado debe indicar qué corregir: observación, control, recuperación o tiempo de respuesta. La transición al equipo físico requiere verificar la configuración real.

Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Public task runner