По состоянию на 16 ноября 2026 года мы открыли официальные анонсы, актуальную документацию Claude Code, первичные независимые исследования и противоположные публичные отзывы. Мы не вызывали платные модели, не входили в аккаунты и не измеряли лимиты подписок. Запросы и журнал задач — авторские синтетические примеры; локальный расчёт проверяет арифметику, а не качество модели. Публичные случаи специально подобраны так, чтобы показать успехи, разочарования и конкретные ошибки; по ним нельзя оценить удовлетворённость пользователей.
Актуальная модель и задачи, ради которых стоит обновляться
Последний подтверждённый общий релиз — Fable 5.2 от 9 ноября. Anthropic по-прежнему рекомендует начинать повседневное программирование и интеллектуальную работу с Opus 5.5, а Fable выбирать для более сложных открытых проектов. Дата посещения новостей 16 ноября не является датой релиза.
При покупке или миграции полезнее спросить, сокращает ли новая модель самые дорогие ошибки: забытое ограничение совместимости при изменении нескольких модулей, потерянную цель длинной задачи, исправление без проверки прежнего поведения. Такие потери часто возникают ближе к концу работы. Более гладкий диалог ещё не доказывает надёжность поставки. Выберите задачи, которые сейчас застревают, требуют переделки или участия опытного коллеги: это даст содержательную базу для сравнения.
| Кандидат | Официальная роль или граница | Вопрос для собственной приёмки |
|---|---|---|
| Opus 5.5 | Отправная точка для повседневной работы | Завершаются ли текущие задачи надёжно? |
| Fable 5.2 | Более сложные технические проекты | Меньше ли переделок в трудных задачах? |
| Mythos 5.2 | Та же базовая модель, другие защитные меры и доступ | Допуск к исследовательской программе проверяется отдельно от Fable |
Сначала сохраните параметры запуска, затем сравнивайте ответы
Псевдоним fable не всегда указывает на одну версию: у Claude apps gateway отдельное соответствие. Фиксируйте полный model ID, провайдера, версию клиента, фактический effort и fallback. Обзор моделей и настройки Code описывают разные способы доступа.
Добавляйте эти сведения в запись каждого запуска, а не полагайтесь на слово «новейший» в заголовке. Также закрепите коммит, доступные файлы, разрешения инструментов, запрос, тайм-аут и дополнения человека. Любое изменение требует новой строки, неудачные строки сохраняются. Если запись не подтверждает модель, пометьте её как неустановленную, не приписывая результат конкретной версии. При недоступности сначала проверяйте интерфейс и права; ослаблять защиту ради завершения сравнения не следует.
task_id,arm,model_id,effort,provider,toolset,commit,attempt,status,api_usd,review_min,fallback
fixture-01,A,claude-opus-5-5,medium,synthetic,offline,fixture-v1,1,accepted,0.40,6,none
fixture-01,B,claude-fable-5-2,high,synthetic,offline,fixture-v1,1,accepted,0.80,3,noneEffort — переменная эксперимента, а max не универсальный стандарт
Текущая документация Code указывает medium как стандартный effort для Fable 5.2 и предупреждает об избыточных рассуждениях на max. Artificial Analysis публикует качество и время для разных уровней на странице одной модели.
Claude Code: настройка моделей · Artificial Analysis: Fable 5.2
| effort | Балл индекса | Минут на задачу индекса |
|---|---|---|
| low | 54 | 5.5 |
| high | 62 | 15.3 |
| max | 65 | 41.8 |
Это опубликованные результаты соответствующих конфигураций, включая метку Default Fallback. Балл интеллектуального индекса не равен доле успешных повседневных задач, а время max не позволяет вычислить число сообщений по подписке. Наша инженерная рекомендация — начать с приемлемого уровня и повышать его для неудачных задач. Если дополнительное рассуждение не улучшает внешнюю приёмку, оно лишь увеличивает ожидание. При сравнении effort закрепляйте модель; при сравнении моделей сначала закрепите effort, а оптимальную конфигурацию каждой исследуйте отдельно. Это разные вопросы.
Artificial Analysis: Fable 5.2 · Artificial Analysis: методика интеллектуального индекса
Четыре независимых результата измеряют разные объекты
| Источник | Что измеряется | Ограничение интерпретации |
|---|---|---|
| Artificial Analysis | Общие возможности и эффективность | Сохранять версию индекса и метку fallback |
| Snorkel | Сложная терминальная работа | Сопоставленные задачи и отбор чистых запусков |
| Vals | Взвешенные профессиональные области | Место зависит от весов и неопределённости |
| Plotly | Рабочий процесс аналитического агента | Один запуск и конкретная среда выполнения |
Artificial Analysis: Fable 5.2 · Snorkel: тест терминальных задач Fable · Vals Index: методика и результаты · Plotly: тест аналитики данных
Эти источники дополняют друг друга, но их нельзя сложить в единую долю успеха. Общий индекс шире, а сквозной продуктовый тест ближе к инструментам конкретного продукта. Сначала выясните, похожи ли задания на вашу работу, затем — достаточно ли велик разрыв. Неуказанные параметры модели, кеширование и бюджет времени остаются неизвестными. Догадки вместо них создают ложную сопоставимость.
У AA Coding Agent Index v2.1 собственные три компонента и правила оценки; это не Intelligence Index v5.0.1. Даже одна организация поддерживает несколько «индексов». Сохраняйте полное название метрики, чтобы общие рассуждения, терминальные операции и изменения кода, пригодные для принятия, не превращались в одну взаимозаменяемую величину.
Snorkel: лучшее исполнение не исключает стратегических регрессий
12 ноября Snorkel сообщил о росте взвешенного по задачам pass@1 с 53.1% до 71.4% на 26 сопоставленных задачах. Включено соответственно 106 и 121 чистых запусков; сбои окружения и конечной точки исключались.
Поэтому деление успешных попыток на все попытки не обязательно воспроизведёт взвешенный результат: число валидных повторов по задачам различается. Более полезно разделять уменьшение механических ошибок и правильное понимание цели. В анализе неудач по-прежнему встречается старательная проверка решения, основанного на неверном толковании. Когда реализация и самотесты разделяют одну предпосылку, повторные проверки продолжают подтверждать неправильный стандарт.
Для миграции сопровождающий должен заранее определить инварианты и проверять их отдельным набором тестов, а не только просить агента подтвердить отсутствие проблем. Сохраняйте задачи, которые проходили до обновления и перестали проходить после него. Выбор лишь новых побед скрывает регрессии. Отбор чистых запусков и неполно описанная конфигурация исследования ограничивают перенос результата на другие проекты.
Vals: лидерство в сводном индексе не решает вопрос областей и погрешности
| Конфигурация или объект | Опубликованное значение | Сохраняемое условие |
|---|---|---|
| Fable 5.2 high | 71.31 ±0.96 | Сводный Vals Index |
| Sonnet 5.5 max | 70.85 ±0.93 | Малого разрыва и места недостаточно |
| Состав областей | Финансы, код, право, налоги | Веса по ВВП — методологическое предположение |
Vals: страница модели Fable 5.2 · Vals Index: методика и результаты · Vals: страница Sonnet 5.5
Взвешенный индекс сначала решает, какая работа важнее, а затем определяет лидера. Команде разработки следует изучить свои типы ошибок, прежде чем перенимать веса экономических отраслей. При близких результатах важна и указанная неопределённость: одно место не доказывает устойчивого преимущества во всех задачах. Оно само по себе не доказывает и эквивалентности. Здесь Fable использует high, а Sonnet — max: это не эксперимент с одинаковым effort, изолирующий саму модель.
На странице модели и в разбивке индекса мы обнаружили разные значения одного показателя миграции, поэтому не приводим его. Проверка внутренней согласованности полезнее лишних десятичных знаков, создающих видимость точности. При расхождении сохраняйте датированные снимки и ждите объяснения; выбор большей цифры превратил бы нерешённый вопрос в утверждение.
Vals: страница модели Fable 5.2 · Vals Index: методика и результаты
Plotly: идеальный результат может сопровождаться более дорогим прогоном
| Модель | Пройдено вопросов | Стоимость всего прогона USD |
|---|---|---|
| Fable 5.2 | 43/43 | 35.74 |
| Opus 5.5 | 41/43 | 13.31 |
| GPT-6.1 Sol | 43/43 | 2.61 |
Это один запуск с определённым провайдером и инструментами. Автор отмечает колебания при повторах. Разницу в два вопроса нельзя превращать в устойчивое преимущество, а счёт за весь экзамен — в цену сообщения. Практический вывод: снижение цены токена не гарантирует удешевления задачи, если растут контекст, запись кеша или объём рассуждений.
Разделяйте два сценария покупки. Анализ с дорогими ошибками может оправдать дополнительную проверку и более высокую завершённость. Массовые обычные отчёты, которые легко проверить, сильнее зависят от цены принятого результата. В обоих случаях сохраняйте ход выполнения и проверяйте смысл графика: его успешное построение показывает, что программа создала изображение, но не подтверждает фильтры, единицы и деловой вывод.
Почему пользователи одновременно хвалят и разочаровываются
| Первоисточник | Заявленный опыт | Граница доказательства |
|---|---|---|
| Положительный пост Reddit | Хороший результат на max, быстрый расход лимита | Автор затем пишет, что не использовал Code; это не тест CLI |
| Отрицательный пост Reddit | Поспешные выводы и поверхностный план | Нет контролируемого сравнения одинаковых настроек |
| Технический комментарий HN | Пограничные случаи и сложность модуля regex | Независимо не повторено; уязвимость не подтверждена |
| Игра NotesByLex | Инструменты помогли завершить длинный игровой проект | Был ранний прототип, затем ручные игровые проверки и доработки |
Reddit: положительный опыт max · Reddit: отрицательный опыт планирования · Hacker News: комментарий о regex · NotesByLex: игровой проект
У этих случаев разные задачи, интерфейсы и критерии завершения. Они дают проверяемые гипотезы, но не долю пользователей с улучшениями и не доказательство ухудшения модели. Автор игры прямо пишет, что не сравнивал Opus 5.5. Завершить проект и показать, что его могла завершить только новая модель, — разные выводы. Относительное время на форуме не устанавливает точный UTC; здесь используется дата сбора без выдуманного времени публикации.
Переводите оценочные слова в наблюдаемые вопросы. «Ленивая» означает пропущенное требование, сбой инструмента, раннюю остановку или пробел в итоговой приёмке? «Потрясающая» включает много вызовов инструментов, повторов и правок человека? После фиксации этих переменных эмоциональное описание становится основанием для следующего эксперимента.
Advisor и fallback меняют оцениваемую систему
Экспериментальный Advisor читает весь разговор и добавляет расходы на модель; поддержка зависит от провайдера. После включения сравнивается составная система, поэтому результат нельзя приписывать только основной модели.
Также фиксируйте переключения по причинам безопасности и доступности. Официальная системная карта и текущая документация Code описывают защитные меры и связанное поведение. Выбор основной модели не доказывает, что она выполнила каждый шаг. Такие события помогают объяснить различия в завершении, времени и отказах; устранение «мешающего фактора» не оправдывает обход защиты.
Claude Code: настройка моделей · Системная карта Fable/Mythos 5.2
Минимально необходимый контекст советника должен оставаться в пределах разрешённого. Весь разговор может содержать вывод инструментов и рабочие материалы; сначала обезличьте и сократите их. Полезная последовательность — одна модель, повышенный effort той же модели, затем советник. Меняйте по одной переменной, чтобы понимать пользу доплаты. Если записи недостаточно прозрачны, храните результаты составной системы отдельно.
Практика первая: договор о приёмке для офлайн-репозитория
Используйте запрос только для своей или разрешённой локальной копии. Она не должна обращаться к продакшену, удалённым сервисам и реальным клиентским данным. Сначала закрепите коммит и создайте минимальные синтетические данные; набор приёмки хранит сопровождающий отдельно. Модель видит требования и учебные примеры. Начать можно с плана только для чтения, затем отдельно разрешить изменение временной ветки.
Вы работаете во временном офлайн-репозитории Python. Не используйте сеть, не устанавливайте зависимости и не читайте файлы вне копии.
Цель: реализовать normalize_rows(rows). Элементы входа содержат sku и quantity.
Правила: удалить крайние пробелы sku, сохранив регистр; quantity — текст неотрицательного целого числа. Некорректные строки отклонять, не пропускать молча.
Для одинаковых sku суммировать количество, сохранить порядок первого появления; вход не изменять.
Сначала изучите реализацию только для чтения. Перечислите неизвестное, затронутые файлы и минимальный план исправления; ждите разрешения на изменения.
Передайте объяснение правок, фактически выполненные проверки и непокрытые риски. Не меняйте приёмочные тесты и не объявляйте невыполненные проверки успешными.Это пример проектирования требований, а не измерение Fable. В реальном сравнении обе группы получают одинаковые условия, файлы и инструменты; парные задачи выполняются в случайном порядке. Отдельно учитывайте тайм-ауты, отказы и ошибки инструментов, заранее определив, что считается провалом поставки. Если одной группе достались более лёгкие задачи, стоимость и успешность перестают быть объяснимыми.
Практика вторая: отделите приёмку от уверенности агента
| Область | Признак входа | Обязательная проверка |
|---|---|---|
| Требования | Пробелы и sku с разным регистром | Удалить лишь пробелы, разные регистры не объединять |
| Ошибки | Отрицательные, дробные и пустые количества | Явный отказ без незаметно частичного результата |
| Инварианты | Повторы и повторное использование объектов входа | Стабильный порядок объединения и неизменный вход |
| Масштаб | Постепенное увеличение синтетических строк | Тренд ресурсов и заранее заданный порог остановки |
Проверяйте только договор задачи, предлагаемый патч и вывод независимых тестов. Не читайте самооценку первого агента.
Сопоставьте каждое требование с путём кода и тестовым утверждением.
Разделяйте наблюдаемые ошибки, воспроизводимые гипотезы и текущие неизвестные.
Проверьте молчаливое поглощение некорректного входа, изменение входа, регистр и порядок первого появления.
Опишите минимальные синтетические контрпримеры. Без доказательства выполнения не пишите, что проблема воспроизведена.
Не подгоняйте критерии приёмки под реализацию. Проверка человеком остаётся необходимой.Модель-рецензент тоже может пропустить дефект, поэтому итоговый контроль включает детерминированные проверки и выборочную проверку человеком. Успех относится только к тестовому набору; один тренд ресурсов не доказывает уязвимость. Если новая модель лучше объясняет открытые вопросы, но проваливает прежние границы, сохранить текущий подход часто разумнее.
Считайте стоимость принятого результата, а не одного ответа
Ниже обе группы — условные наборы по 10 задач. В A принято 8, API стоит 4 USD, проверка занимает 60 минут. В B принято 9, API стоит 8 USD, проверка — 30 минут. Оценка времени в 30 USD/час — параметр примера, а не рекомендация по оплате труда или измерение модели.
runs = [
{"arm": "A", "tasks": 10, "accepted": 8, "api_usd": 4, "review_min": 60},
{"arm": "B", "tasks": 10, "accepted": 9, "api_usd": 8, "review_min": 30},
]
hourly_usd = 30
for run in runs:
accepted = run["accepted"]
api = run["api_usd"] / accepted
total = (run["api_usd"] + run["review_min"] / 60 * hourly_usd) / accepted
print(run["arm"], f"{api:.2f}", f"{total:.2f}")Для A получаются 0.50 USD расходов API на принятый результат и 4.25 USD с проверкой; для B — 0.89 и 2.56 USD. Пример показывает лишь возможность смены вывода при иной границе затрат. В реальном журнале стоимость включает все провалы и повторы, а знаменатель — только независимо принятые результаты. Повторная сдача одной задачи не создаёт несколько успехов. Ожидание и сроки учитывайте отдельно, не превращая всё прошедшее время в оплачиваемый труд.
Покупка или повышение тарифа: сначала нагрузка и границы прав
Текущая официальная страница личных планов относит Fable на Pro к usage credits, а на Max и Ultra действует подлимит Fable в половину недельного лимита. Отмена пятичасового лимита Ultra требует verified-аккаунта. Это не означает безлимитный Fable или общий баланс во всех интерфейсах.
Если повседневные задачи уже проходят приёмку, сохраните конфигурацию и применяйте Fable в самых дорогих точках отказа. Если мешает лимит, сначала запишите фактический расход и интерфейс. Если нет допуска или одобрения, одно повышение плана не гарантирует решения. Отдельно проверяйте API-оплату, включённое использование подписки и условия поставки на этом сайте. Актуальные цены, наличие и объём поставки определяются живой страницей товара.
| Наблюдаемая проблема | Первый эксперимент | Порог обновления |
|---|---|---|
| Понимание требований или межмодульные ошибки | Разные модели, одинаковые входы и приёмка | Меньше существенных переделок без критичных регрессий |
| Недостаточная глубина | Уровни effort на одной модели | Внешняя приёмка оправдывает добавочные расходы |
| Нестабильность длинных задач | Закрепить инструменты и тайм-аут, записать fallback | Надёжная поставка при повторах |
| Лимиты или интерфейс | Проверить официальный план и реальные записи | Ясное покрытие нужного интерфейса правами |
Сделайте обновление обратимым циклом оценки
Используйте следующий цикл. Расширяйте набор работ лишь после достижения заранее заданных порогов внешней приёмки и полной стоимости. Сохраняйте прежнюю модель, входы и неудачи. С появлением новой версии сначала повторяйте известные трудные случаи и регрессии. Открытые тесты помогают выбрать эксперимент, а ваши парные задачи — решить, расширять ли использование.
- Закрепить задачи, коммит, инструменты и приёмку
- Записать полную модель, effort, интерфейс и fallback
- Случайный порядок пар; менять одну переменную
- Независимая оценка с сохранением провалов и повторов
- Считать стоимость принятого результата и сроки
- Расширять после порога, иначе сохранить базовый вариант
Проверяемая область: актуальные официальные страницы, первичные независимые тесты и перечисленные публичные случаи. Мы не измеряли настроение сообщества и не повторяли платные бенчмарки. Неуказанные настройки, противоречивые частные баллы и доступность конкретного аккаунта остаются неизвестными; обновлять выводы следует по сохранённым конфигурациям и внешней приёмке.