El robot tenía la rejilla del ventilador en la mano. Empujó para encajarla. El ventilador se deslizó. El artículo de Embodied First Exam documenta ese intento de Opus 5.5.
Fable 5.2 alcanza cerca del 80% en el modo que permite leer el estado completo del simulador. Con sensores y, por defecto, sin reinicios, aprueba menos de la mitad de las mismas pruebas.
El denominador decide qué cifra citar
El proyecto reúne 1.156 tareas, 35 suites, 23 simuladores y 47 robots. El 19 de noviembre recalculamos las 391 tareas centrales disponibles en los dos modos.
| Resultado | Tareas |
|---|---|
| Supera ambos modos | 175 |
| Solo privilegiado | 137 |
| Solo estándar | 9 |
| Falla en ambos | 70 |
Los totales son 312/391 (79,8%) y 184/391 (47,1%), separados por 32,7 puntos. El medio de referencia publicó 311 éxitos privilegiados. Las fichas públicas consultadas arrojan 312. En las 456 tareas estándar del núcleo, Fable obtuvo 226 (49,6%) y GPT‑6 Astra en Codex obtuvo 157 (34,4%). El preprint v1 describe una cohorte anterior.
Embodied First Exam · Official leaderboard · Embodied First Exam · Leaderboard data · Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Per-task results · 新智元 · Embodied First Exam report
Qué permisos hacen el trabajo diferente
Los agentes pueden emitir acciones, programar un controlador o entrenar una política dentro del presupuesto. Un verificador externo puntúa el resultado.
| Modo | Observación | Recuperación |
|---|---|---|
| Privilegiado | Estado exacto del simulador | Reinicios ilimitados |
| Estándar | Sensores y estado propio del robot | Sin reinicio por defecto |
| Tiempo real | Interfaz estándar con el mundo en movimiento | La latencia puede agotar el plazo |
En pausa se puede estimar con calma la posición de un objeto. Con un objeto en movimiento, una imagen antigua puede invalidar el siguiente comando. Por eso conviene medir la cola de latencias y la reacción del controlador entre comandos.
Embodied First Exam · Official leaderboard · Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Public task runner
Un error de pocos grados cambia la trayectoria
En la figura 12, la rejilla de Opus 5.5 está desviada 36–39° frente a una tolerancia de unos 5°. Empujar cambió la posición del ventilador. Informar solo de un fallo de montaje oculta qué ocurrió antes del contacto y si el robot podía recuperarse.
Con GPT‑6 Astra, el estudio v1 obtuvo 28% de base, 45% al añadir estado exacto, 53% con reinicios y estados guardados y 68% con ambos. La ablación corresponde a Astra. La comparación de Fable no estima por separado el efecto de cada permiso.
Del marcador a una prueba reproducible
Usa una tarea segura de mesa en simulación, como orientar un bloque blando en una bandeja. Fija escenas, modelo, entorno de ejecución, presupuesto y verificador.
- Repite cuatro condiciones: sensores, estado exacto, reinicios, ambos. Conserva también los intentos fallidos.
- Marca aproximación, contacto, finalización y verificación. Registra el primer error irreversible y las recuperaciones.
- Para tareas dinámicas publica éxitos sobre intentos, latencia P95, tiempos agotados e intervenciones. Repite en escenas reservadas.
El resultado debe indicar qué corregir: observación, control, recuperación o tiempo de respuesta. La transición al equipo físico requiere verificar la configuración real.
Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Public task runner