Robot vantilatörün ön ızgarasını tutuyordu. Yerine oturtmak için itti. Vantilatör kaydı. Embodied First Exam makalesi, bu Opus 5.5 denemesini belgeliyor.

Fable 5.2 yeni sıralamada simülatörün durumuna ve sıfırlamaya eriştiğinde %80’e yaklaşıyor. Aynı görevlerde standart arayüz kullanıldığında sonuç yarının altında.

Yüzdeleri karşılaştırmadan önce görevleri eşleştirin

Projede 35 görev grubu, 23 simülatör ve 47 robot üzerinde 1.156 görev var. 19 Kasım’da iki modda da bulunan 391 çekirdek görevin kayıtlarını yeniden saydık.

Fable 5.2 + Claude Code, yüksek akıl yürütme
SonuçGörev
İki modda da başarılı175
Yalnızca ayrıcalıklı modda başarılı137
Yalnızca standart modda başarılı9
İki modda da başarısız70

Sonuç 312/391 (%79,8) ve 184/391 (%47,1). Aradaki fark yaklaşık 32,7 yüzde puanı. Referans haberinde 311 ayrıcalıklı başarı yer alıyordu. İncelediğimiz proje verisi 312 gösteriyor. 456 standart çekirdek görevin tümünde Fable 226 (%49,6), Codex içindeki GPT‑6 Astra ise 157 (%34,4) görev geçti. Ön baskının v1 sürümü daha erken bir model grubunu kapsıyor.

Embodied First Exam · Official leaderboard · Embodied First Exam · Leaderboard data · Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Per-task results · 新智元 · Embodied First Exam report

Hangi bilgiye, hangi anda erişiliyor?

Ajan doğrudan komut verebilir, kontrolcü yazabilir veya bütçesi içinde politika eğitebilir. Puanlamayı harici bir doğrulayıcı yapar.

Üç arayüzün farkı
ModGözlemHata sonrası
AyrıcalıklıSimülatörün tam durumuSınırsız sıfırlama
StandartSensörler ve robotun kendi durumuVarsayılan olarak sıfırlama yok
Gerçek zamanlıStandart arayüz, dünya hareket etmeye devam ederGecikme hareket fırsatını kaçırabilir

Duraklatılan sahnede görüntüyü incelemek için zaman vardır. Hareketli bir nesneye müdahalede uzun gecikmeler, görüntünün eskimesi ve kontrolcünün komutlar arasında yaptığı iş belirleyici olabilir.

Embodied First Exam · Official leaderboard · Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Public task runner

Birkaç derecelik fark nerede büyüdü?

Makalenin 12. şekline göre Opus 5.5, ızgarayı eksenden 36–39° sapmış tuttu. Montaj toleransı yaklaşık 5° idi. İtme işlemi bütün vantilatörü hareket ettirdi. Tek bir başarısızlık etiketi nerede düzeltme yapılabileceğini saklar.

v1’in GPT‑6 Astra deneyinde temel skor %28, kesin durum eklenince %45, sıfırlama ve kayıtlı durum eklenince %53, ikisi eklenince %68 oldu. Bu değerler Astra’ya ait. Fable’ın eşleştirilmiş puanları tek tek izinlerin etkisini ölçmüyor.

Embodied First Exam · arXiv v1, Sections 2–3

Kendi deneyinizi aynı başlangıçla tekrarlayın

Simülasyonda yumuşak bir bloğu tabağa yerleştirmek gibi güvenli bir görev seçin. Aynı başlangıç sahnelerini, model ve çalışma ortamı sürümünü, bütçeyi ve doğrulayıcıyı kullanın.

  1. Sensör, kesin durum, sıfırlama ve iki iznin birlikte olduğu koşulları tekrarlayın.
  2. Yaklaşma, temas, tamamlama ve doğrulama aşamalarını işaretleyin. İlk geri döndürülemez hatayı ve toparlanmaları sayın.
  3. Dinamik görevlerde gerçek zamanlı sonuçları, P95 gecikmeyi, süre aşımlarını ve operatör müdahalelerini bildirin.

Skor, hangi sorunu çözmeniz gerektiğini söyleyebildiği zaman değerlidir. Gerçek donanımda ilerlemeden önce seçilen sensör ve kontrol döngüsüyle ayrı doğrulama gerekir.

Embodied First Exam · arXiv v1, Sections 2–3 · Embodied First Exam · Public task runner