14 Kasım tarihli bir Çince haber, Fable 5.2’nin yeni RoboColiseum tablosunda ilk sıraya çıkmasını gündeme taşıdı. Özgün kamuya açık sonuçları, güncel teknik raporu ve kod belgelerini inceledik. Haberin temel iddiası doğrulanıyor: erişimimizde Fable 5.2’nin Season II Overall puanı 18.30 ve hem genelde hem Agent kategorisinde birinci. Bu, belirli bir değerlendirme sisteminin sonucu. “Robotikte birinci” demek, ölçülen görevlerin, dağıtım koşullarının ve yeteneklerin ötesine geçer.
RoboColiseum özgün sıralaması · RoboColiseum güncel teknik raporu · BAAI Çince haber yeniden yayını
Önce isimleri ve tarihleri ayırıyor, sonra ağırlıkları yeniden hesaplayıp yürütme çerçevesi ile bütçeleri inceliyoruz. Son olarak model çağırmayan ve robota bağlanmayan çevrimdışı bir denetim sunuyoruz. Tablolar açık sonuçları aktarır; alternatif ağırlık, kayıt sözleşmesi ve kabul süreci kendi analiz tasarımlarımızdır. Sıralama deneylerini tekrarlamadık, fiziksel robot test etmedik ve her başvuruyu bağımsız biçimde doğrulamadık.
Kıyaslamayı, model çıkışını ve kanıt sürümünü eşleştirin
RoboColiseum Season II, RoboColosseum ve RoboDojo farklı değerlendirmelerdir. Benzer isimler, görevleri, puanları ve eğitim koşullarını birbirinin yerine kullanılabilir kılmaz. Anthropic, Fable 5.2’yi 9 Kasım’da yayımladı. Duyurudaki %64.9 RoboDojo Sim sonucu, kullanılabilir en yüksek effort ile yapılan ayrı bir kurum içi değerlendirmedir; burada incelenen 18.30 puan değildir.
RoboColiseum özgün sıralaması · RoboColiseum güncel teknik raporu · 20 Ekim Agent2Act ön baskısı, sürüm 1 · Anthropic Fable 5.2 / Mythos 5.2 duyurusu · RoboColosseum dağıtık fiziksel değerlendirme ön baskısı · BAAI Çince haber yeniden yayını
Güncel satırlarda saat dilimi belirtilmeyen 13 Kasım başvuru zamanları var. Bunlar otomatik olarak Singapur yayın saatine çevrilemez. 14 Kasım, okuduğumuz Çince yeniden yayının gösterdiği tarihtir; özgün tablonun ilk yayınını kanıtlamaz. 15 Kasım erişim görünümünü kullanıyoruz; site ilk yayın anını kesinleştirecek yeterli geçmiş sunmuyor.
20 Ekim tarihli Agent2Act ön baskısı daha eski bir modeller arası değerlendirmedir ve Fable 5.2’yi içermez. Yeni güncel raporun adı “RoboColiseum: Co-evolution of Simulation, Evaluation, and Models”; incelemede rapor dizini kullanılabilir bir arXiv bağlantısı sunmuyordu. Eski makale, yeni web raporu ve canlı tablo ayrı kaynaklardır; eski makale yeni satırın tekrarlanabilirlik kanıtı olarak kullanılamaz.
| İsim | Bu yazıdaki yeri | Ayırılması gereken |
|---|---|---|
| RoboColiseum Season II | Buradaki ana tablo: dört simülasyon parkuru | 18.30, 0–100 ölçeğinde puan |
| RoboColosseum | Ayrı dağıtık gerçek robot değerlendirmesi | Denemelerini veya sıralarını aktarmayın |
| RoboDojo Sim | Anthropic duyurusundaki başka simülasyon | %64.9, üreticinin kurum içi testlerinden |
RoboColiseum özgün sıralaması · Anthropic Fable 5.2 / Mythos 5.2 duyurusu · RoboColosseum dağıtık fiziksel değerlendirme ön baskısı
Genel sıranın yanında dört parkuru okuyun
Tablo, sitenin 0–100 ölçeğiyle genel sıralamadaki ilk beş sistemi gösteriyor. Fable özellikle hassas manipülasyon ve gövdeler arası aktarımda güçlü. Tüm vücut koordinasyonunda Astra ve Opus’un, becerikli manipülasyonda Gemini ve Opus’un altında. Genel liderlik, bu birleştirme kuralını anlatır; her parkurda galibiyet değildir.
RoboColiseum özgün sıralaması · RoboColiseum güncel teknik raporu
| Sistem | Kategori | Genel | Hassasiyet | Gövdeler arası | Tüm vücut | El becerisi |
|---|---|---|---|---|---|---|
| Claude Fable 5.2 | Agent | 18.30 | 33.04 | 17.99 | 18.42 | 3.73 |
| GPT-6 Astra | Agent | 13.73 | 23.60 | 12.37 | 18.96 | 0.00 |
| Claude Opus 5.5 | Agent | 11.77 | 14.18 | 9.25 | 18.94 | 4.70 |
| π0.5 | Policy | 11.22 | 4.20 | 10.00 | 13.87 | 16.79 |
| Gemini 4 Argon | Agent | 10.74 | 11.49 | 8.86 | 17.42 | 5.19 |
RoboColiseum özgün sıralaması · RoboColiseum güncel teknik raporu
π0.5’in genel puanı Fable’dan düşük, fakat el becerisi puanı 16.79 ile gösterilen genel amaçlı modellerden yüksek. Rapordaki Policy sistemleri, görev başına 200 gösterimle karma görevli gözetimli ince ayar alıyor. Agent ve Policy’nin uyarlama, eğitim ve çıkarımı farklı. Birleşik görünümü yetenek profillerini bulmak için kullanın; kategori içi karşılaştırmayı ve maliyetleri ayrıca inceleyin.
Eşit parkur ağırlığı, eşit görev ağırlığı değildir
Resmî Overall, dört parkur puanının aritmetik ortalamasıdır. Fable’ın gösterilen değerleri (33.04 + 17.99 + 18.42 + 3.73) / 4 = 18.295 verir; yuvarlandığında 18.30 olur. Ham toplam 0.18295, arayüzde 0–100 ölçeğinde sunulur. Ondalık depolama veya yüzdeye benzeyen biçim, metriği başarılı deneme oranına dönüştürmez.
RoboColiseum özgün sıralaması · RoboColiseum güncel teknik raporu · RoboColiseum resmî kullanım ve puanlama kuralları
Kapsam eşit değil: aktarım parkuru altı görev ailesini dört gövdede değerlendirir, toplam 24 durum; diğer parkurlar sekiz, sekiz ve on görev içerir. Aktarım, bu 50 durumun %48’ini oluşturur ama dört parkurlu makro ortalamada %25 ağırlık alır. Bu tercih yetenek boyutlarını dengeler. Araştırmacı ve alıcı, boyutların kendi iş yüküne uyup uymadığını sorgulamalı.
| Parkur | Görev yapısı | Durum sayısı | Genel ağırlık |
|---|---|---|---|
| Hassas manipülasyon | 8 görev | 8 | 25% |
| Gövdeler arası aktarım | 6 görev ailesi × 4 gövde | 24 | 25% |
| Tüm vücut koordinasyonu | 8 görev | 8 | 25% |
| Becerikli manipülasyon | 10 görev | 10 | 25% |
RoboColiseum güncel teknik raporu · RoboColiseum resmî kullanım ve puanlama kuralları
Aşağıdaki örnek, yayımlanmış parkur toplamlarını görev sayısıyla yeniden ağırlıklandırıp 17.6148 bulur. Bu bir matematiksel duyarlılık alıştırmasıdır; resmî görev düzeyi mikro ortalama veya yeni ölçüm değildir. Dört toplam, parkur içi bütün puanlama ve örnek ağırlıklarını korumaz. Program yalnızca Python standart kitaplığını kullanır; hesabını çevrimdışı doğruladık.
from decimal import Decimal, ROUND_HALF_UP
# Published rounded track scores; arithmetic only, no model or simulator call.
tracks = {
"precision": Decimal("33.04"),
"cross_embodiment": Decimal("17.99"),
"whole_body": Decimal("18.42"),
"dexterous": Decimal("3.73"),
}
macro = sum(tracks.values()) / Decimal(4)
print("macro_from_displayed_tracks:", macro) # 18.295
print("display:", macro.quantize(Decimal("0.01"), rounding=ROUND_HALF_UP))
# Counterfactual weighting exercise, NOT an official micro-average or a rerun.
counts = {"precision": 8, "cross_embodiment": 24, "whole_body": 8, "dexterous": 10}
weighted = sum(tracks[k] * counts[k] for k in tracks) / sum(counts.values())
print("counterfactual_weighting:", weighted) # 17.6148
assert sum(counts.values()) == 50
assert macro == Decimal("18.295")
assert weighted == Decimal("17.6148")İlerleme, tamamlama ödülü ve bütçe puanı birlikte etkiler
Kurallar, görev durumuna ve önceden belirlenmiş alt hedeflere göre ilerleme puanı verir; göreve bağlı olarak sıralı veya paralel aşamalar olabilir. Zaman aşımı, izin verilen alanın dışına çıkma veya nesne düşürme bölümü sonlandırıp tamamlanmamış kısımları puansız bırakabilir. Görevin bütçe içinde tamamen bitmesi ek ödül getirir. Kısmi ilerleme, tam başarı ve son puan ayrı raporlanmalı.
RoboColiseum güncel teknik raporu · RoboColiseum resmî kullanım ve puanlama kuralları
Yürütme adımı sınırları görevin eğitim verilerinden türetilir. Agent için ayrıca çıkarım çağrısı bütçesi vardır; makul sınırın aşılması puan kesintisine yol açar. Ek deneme, daha uzun eylem dizisi veya fazla geri bildirim, ölçülen yetenek ve kaynak bileşimini değiştirebilir. Daha fazla düşünme, maliyeti olan deney koşuludur; göz ardı edilecek ayrıntı değildir.
İncelediğimiz tablo ve özet, her satırı yeniden kuracak bütün ceza katsayılarını, bitirme ödüllerini ve çalıştırma günlüklerini açıklamıyor. Tam bir formül uydurmuyoruz. Ham ilerleme, tamamlama ödülü ve bütçe kesintisini ayrı alanlar olarak isteyin, sonra toplamı uzlaştırın; toplamdan başarı oranı çıkarmak güvenilir değildir.
Ölçülen birim model ve yürütme çerçevesidir
Agent2Act, çok kipli modelin talimatını, görsel gözlemleri ve robot durumunu eylem dönüştürme, yerel doğrulama ve yürütme geri bildirimine bağlar. Model hedef önerir; yürütme katmanı koordinat dönüşümü, ters kinematik veya yörünge derlemesini yapar. Reddedilen eylem sınırlı yeniden planlamaya yol açar. Sıralama satırı bu nedenle modeli gözlem arayüzü, araçlar ve kontrol katmanıyla birlikte ölçer.
Agent2Act resmî kodu ve README · RoboColiseum resmî platform deposu
Güncel README; önerilen eylemi, gönderilen komutu ve gözlenen sonucu ayırır. Yürütülebilir komut üretmek başarılı manipülasyon kanıtı değildir. G2 örnek ayarında hız doğrulamasının kapalı olduğunu da belirtir; bu örnek hız veya dinamik kısıt uyumunu kanıtlamaz. Bu, örneğin sınırıdır; sıralama çalıştırmasının aynı ayarı kullandığını kanıtsız göstermez.
Platform deposu barındırılan değerlendirmeyi yerel çalıştırmadan ayırır: yerel sonuçlar otomatik olarak çevrimiçi tabloya girmez. Aşağıdaki kayıt, önerdiğimiz denetim sözleşmesidir; resmî yanıt şeması değildir. null, kanıt gerektiğini belirtir. Özellikle 13 Kasım’da gerçekten kullanılan commit yerine güncel HEAD sessizce yazılmamalı.
{
"record_type": "proposed_audit_contract_not_official_result",
"board": "RoboColiseum Season II",
"accessed_date": "2026-11-15",
"model_display_name": "Claude Fable 5.2",
"model_snapshot_id": null,
"harness_commit": null,
"simulator_commit": null,
"split_hash": null,
"task_id": null,
"embodiment": null,
"layout_id": null,
"seed": null,
"effort": null,
"temperature": null,
"observation_contract": null,
"control_step_limit": null,
"inference_call_limit": null,
"control_steps_used": null,
"inference_calls_used": null,
"partial_score": null,
"completion_bonus": null,
"budget_penalty": null,
"end_to_end_success": null,
"wall_time_seconds": null,
"cost_usd": null,
"termination_reason": null,
"artifact_sha256": null
}Gizli düzenler, dinamik küme ve insan incelemesi neyi çözer?
Resmî protokole göre açık geliştirme düzenleri ve sunucu test düzenleri aynı dağılımın farklı örnekleridir. Sunucu, sabit resmî küme ve her başvuruda değişen dinamik küme tutar. Dinamik puanlar toplama girmez; resmî kümeyle farkları aşırı uyum riskini değerlendirmeye yarar. İnsan incelemesi ayrıcalıklı bilgi ve sonucu etkileyen teknikleri ayrıca kontrol eder.
RoboColiseum güncel teknik raporu · RoboColiseum resmî kullanım ve puanlama kuralları · OpenRUA robot ajanı değerlendirme analizi
Bu mekanizmalar karşılaştırılabilirliği geliştirir. Gizli kümenin varlığı her tür sızıntı veya aşırı uyumun yokluğunu kanıtlamaz. Ayarlamanın test görevlerine dokunup dokunmadığını, becerilerin bunlarda tekrar tekrar optimize edilip edilmediğini ve ajanın dağıtımda bulunmayacak anlık bitirme kararı alıp almadığını kaydedin. Protokol beyanı ile belirli başvurunun uyum kanıtı farklı belgelerdir.
OpenRUA’nın 2 Kasım yöntem analizi; eşit olmayan bütçeleri, sızan tamamlama kararlarını ve test görevlerine uyarlanmış becerileri ele alıyor. Diğer robot ajanı deneyleri ve genel protokol riskleri hakkındadır. Bunu inceleme soruları üretmek için kullanıyoruz; kanıtsız biçimde RoboColiseum’a veya Fable’a ihlal suçlaması taşımıyoruz.
Örnekler ve aralıklar yoksa belirsizliği koruyun
Açık toplamlar, Fable satırı için bütün tekrar sayılarını, görev varyanslarını ve güven aralıklarını belirlemiyor. Rapor, gövdeler arası aktarımda 240 robot–görev durumu bildiriyor; bu, tüm parkurların rollout toplamına genişletilemez veya her model için eşit seed ve bağımsız örnek sayısını doldurmakta kullanılamaz.
RoboColiseum özgün sıralaması · RoboColiseum güncel teknik raporu · RoboColiseum resmî kullanım ve puanlama kuralları
Örneğin tüm vücut koordinasyonunda Astra 18.96, Opus 18.94; görünen fark yalnızca 0.02 puan. Tekil çalıştırma verisi olmadan farkın kararlılığı bilinmez; ondalık basamaklar ölçüm hassasiyeti değildir. Aynı görev veya gövde içindeki tekrarlar ilişkili olabilir. Her kareyi bağımsız örnek saymak gerekçesiz kesinlik üretir.
Kendi değerlendirmenizde görevleri, düzenleri ve bütçeleri önceden sabitleyin; sistemleri eşleşen koşullarda çiftleyin. Her sonucu saklayın, belirsizliği uygun görev veya düzen düzeyinde hesaplayın; başarısızlık, zaman aşımı ve hizmet hatalarını ayırın. Fark aralığı sıfırı kesiyorsa o fark için kanıt yetersizdir. Hiç tam başarı olmaması da görünür kalmalı; kısmi ilerleme filtresiyle kaybolmamalı.
| Soru | Sabitlenecek veya kaydedilecek | Kabul kanıtı |
|---|---|---|
| Model daha güçlü mü? | Eşleşen görev/düzen, gözlem, kontrol, effort ve bütçe | Çiftli sonuç, aralık ve eksiksiz hata günlükleri |
| Daha ekonomik mi? | Gerçek çağrı, token, süre, tekrar ve ücretler | Tam başarı başına maliyet ve kuyruk gecikmesi |
| Gövdeler arasında genelliyor mu? | Uyarlamada tutulmuş gövdeler, görev ayrımı ve koordinat arayüzleri | Toplamla birlikte gövde başına sonuç |
| Fiziksel dağıtım uygun mu? | Donanım, kamera, kalibrasyon, eylem sınırı ve devralma | Bağımsız düşük riskli test, acil duruş ve kurtarma kayıtları |
Real2Sim’deki 0.9686 bir korelasyon katsayısıdır
Yeni rapor, 16 görevi kapsayan 22 eşleşmiş robot–görev yapılandırmasını karşılaştırıyor ve gerçek ile simülasyon puanları arasında Pearson r = 0.9686 bildiriyor. Her çift kendi görevinin Score tanımını kullanıyor. Bu; %96.86 doğru eylem, başarılı görev veya simülasyon-gerçek uyuşma oranı değildir.
Korelasyon iki büyüklüğün birlikte nasıl değiştiğini ölçer, değerlerin eşitliğini garanti etmez. Simülatör gerçek performansı sistematik fazla tahmin ederken yüksek korelasyon koruyabilir. Saçılımı, eşitlik çizgisini, uyum çizgisini, çift farklarını ve kalibrasyon hatasını birlikte inceleyin. Görev ölçekleri farklıysa korelasyonu hangi görevler arası farkların sürüklediğine de bakın.
Sonuçlar, simülasyon sıralamasıyla fiziksel performans arasındaki ilişkiyi araştırmayı destekler. Fable 5.2’yi sizin donanım, kamera, sürtünme, gecikme ve güvenlik koşullarınızda doğrulamaz. Fiziksel dağıtım bağımsız düşük riskli denemeler, eylem sınırları ve insan devralması gerektirir. Bunların hiçbirini yürütmedik.
Sıralamayı okumayı tekrarlanabilir kanıt denetimine dönüştürün
Aşağıdaki istemi, indirdiğiniz rapor, kural ve sonuç görüntüleriyle araştırma yardımcısına verin. İnternetten bir tanıtım özeti daha oluşturmak yerine “iddia—kaynak konumu—hesap—bilinmeyenler” denetimi isteyin. Hesap anahtarı, kişisel kimlik veya izinsiz robot kontrol arayüzü vermeyin.
RoboColiseum özgün sıralaması · RoboColiseum güncel teknik raporu · RoboColiseum resmî kullanım ve puanlama kuralları · Agent2Act resmî kodu ve README · RoboColiseum resmî platform deposu
Rol: robotik değerlendirme kanıt denetçisi. Yalnızca verdiğim açık görüntüleri kullan.
Görev: RoboColiseum Season II içindeki Fable 5.2 sonucunu denetle.
1. Özgün tablo, kurallar, yeni web raporu, eski makale ve medyayı ayır.
2. Overall ve dört parkur puanını listele; eşit ağırlıklı ortalamayı hesapla.
Puanı başarı oranı diye yeniden adlandırma.
3. Model snapshot, effort, bütçe, tekrar, seed ve aralıkların kaynak yerini bul.
4. Eksik alanlara unknown yaz. Geçmiş ayarı güncel HEAD ile doldurma.
5. Real2Sim korelasyonu, kalibrasyon ve modelin fiziksel kabulünü ayır.
Çıktı: claim | source_locator | calculation | limitation.
Sonunda üç asgari kanıt isteği ver. Hile suçlaması veya yeniden üretim iddiası yapma.Denetim çıktısı erişim tarihini, kaynak dosya özetlerini, sezon ve kategori filtrelerini, parkur puanlarını, formülleri ve eksik alanları içermeli. Sayfa değişince sonucu değiştirmeden önce farkları karşılaştırın. Ekran görüntüsü tek başına hesaplama için yetmez; güncel kod da tarihsel çalıştırma ayarını kanıtlamaz.
Sıralama sinyalinden dağıtım kanıtına ilerleyin
- İsim, sezon, kategori ve erişim tarihini doğrula
- Özgün değerleri ve kural sürümlerini sakla
- Ağırlıkları hesapla, parkur istisnalarını incele
- Model, çerçeve, bütçe ve örnek kayıtlarını edin
- Kendi çiftli görevlerini ve hata analizini yap
- Fiziksel dağıtımı bağımsız doğrula
Sonraki model değerlendirmesini planlayın
Fable 5.2’nin liderliği aday seçimi için yararlı bir sinyal. Değerlendirilen sistemin hassasiyet ve aktarım puanları; planlama, görsel hedefleme ve kısıtlı düzeltmeyi öncelikle araştırmayı destekliyor. Nedeni açıklamak için yürütme katmanı, gözlem, bütçe ve tekrarları kontrol etmek gerekir; yalnızca model etiketini değiştirmek yeteneği ayrıştırmaz.
RoboColiseum özgün sıralaması · RoboColiseum güncel teknik raporu · Anthropic Fable 5.2 / Mythos 5.2 duyurusu
Çok parmaklı temas için beceri parkuru ve başarısızlık günlükleriyle başlayıp özel Policy sistemlerini karşılaştırın. Hareketli manipülasyonda tüm vücut koordinasyonu ve güvenlik sınırlarını inceleyin. İşiniz belge, kod veya araştırmaysa robotik sıralaması dolaylı sinyaldir; kendi girdiniz, çıktınız ve kabul ölçütlerinizle ayrı test kurun.
En yararlı okuma sonucu sonraki deneyin planıdır: hangi yetenek sınanmalı, hangi kanıt eksik ve hangi fiziksel risk açıkta? Araştırma sıralaması, işe uygun başarı, maliyet, gecikme ve hatadan kurtarma kanıtı birlikte hazır olduğunda dağıtım seçimine dönüştürülmeli.
Bu yazı açık kanıtın yorumlanabilirliğini denetler. Yalnızca hesap örneği çevrimdışı çalıştırıldı. Robotik sıralamasını tekrarlamadık, her başvurunun iç ayarını doğrulamadık ve Fable 5.2 için yeni fiziksel başarı oranı ölçmedik. Sonraki güncellemede bu kanıt zincirini yeniden izlemek, şampiyon adını hatırlamaktan daha yararlı.