1. Что изменилось и кому доступно?
Официальная история изменений датирует кеш на 12 часов 20 октября, Terra — 26 октября, кредиты API для подходящих подписок — 28 октября, GPT-6 Rosalind — 30 октября. Для Rosalind действуют специальные требования доступа к исследованиям; объявление не означает доступ для обычного аккаунта разработчика.
Мы рассматриваем решения для обычных приложений: Terra, повторно используемый контекст и учёт кредитов. Расчёты и схема приёмки ниже — наш анализ. Для статьи мы не вызывали платные API и не проводили сравнительный тест моделей.
2. Оценивайте Terra на целой задаче
Карточка модели описывает Terra как модель для визуальных рассуждений, работы с компьютером и письма. Для вызова инструментов требуется Responses. Цены Standard за миллион токенов: $1 за ввод, $0.05 за чтение кеша и $5 за вывод. Для запросов с вводом свыше 272K токенов действуют другие тарифы длинного контекста.
Предлагаемая единица оценки — завершённая бизнес-задача: извлечь поля со скриншота товара и сверить их с каталогом. Зафиксируйте изображение, контракт вывода, права инструментов и условия остановки. Учитывайте неверные структуры, неудачные действия и каждый повтор. Более дешёвый успешный запрос может привести к более дорогой завершённой задаче, если восстановление требуется чаще.
3. Организуйте ввод по частоте изменений
Руководство по кешу описывает prompt_cache_options.ttl: запись 30m стоит 1.25 обычного ввода, запись 12h — 2.5. Это полные тарифы записи. Время жизни задаёт минимальный срок хранения, а не момент удаления. Для более ранних моделей действуют отдельные правила параметров.
Практичная структура ввода: стабильные инструкции и контракты инструментов, версионированные справочные материалы, контекст сеанса и текущий вопрос. Меняющиеся отметки времени и идентификаторы запросов размещайте после повторно используемой части. Каждому выпуску справочника присваивайте явную версию в своих журналах. История клиента по-прежнему требует контроля доступа в приложении; ключ учёта кеша не является системой авторизации.
Правила / инструменты → Версия справочника → История сеанса → Текущий вопрос
Кандидат для повторного использования Краткосрочно Переменно4. Пример: десять использований префикса на 20,000 токенов
Допущения: тариф Terra Standard, одна запись префикса и девять полных попаданий, без перезаписи; полная длина запроса ниже порога длинного контекста. Расчёт охватывает только ввод префикса. Выводы, меняющиеся окончания, инструменты, хранение и другие начисления исключены.
| Стратегия | Расчёт | Итого за десять вызовов |
|---|---|---|
| Всегда обычный ввод | 10 × $0.02 | $0.200 |
| Одна запись на 30 минут | $0.025 + 9 × $0.001 | $0.034 |
| Одна запись на 12 часов | $0.050 + 9 × $0.001 | $0.059 |
При этих допущениях стандартная стратегия дешевле ввода без кеша уже после двух вызовов суммарно; более длительное хранение требует трёх. Если короткий кеш продолжает давать попадания, продление срока повышает стоимость. Если он действительно истекает и требует повторных записей, вывод может измениться. До выбора срока измерьте число повторных использований и распределение интервалов для каждой версии справочника.
5. Ведите раздельный учёт потребления ресурсов и кредитов
Правила кредитов от подписки требуют подходящей подписки и связи с принадлежащей вам организацией API. У кредитов есть срок действия и ограничения области применения. Они не увеличивают лимиты ChatGPT или Codex со входом в аккаунт и не покрывают Codex через ключи API.
Записывайте стоимость до кредитов и сумму к оплате после их применения. Первая показывает эффективность архитектуры, вторая помогает планировать денежные расходы. Временный грант может скрывать неэффективность процесса до своего истечения. Прежде чем учитывать преимущество подписки в бюджете, проверьте владение и фактическую активацию, не принимая рекламируемый максимум за выданный баланс.
6. Спроектируйте оценку, способную отклонить миграцию
Сначала сравните стратегии кеширования на одной модели. Затем сравнивайте модели при неизменном кешировании. Одновременная смена обоих факторов мешает понять, вызвана ли разница поведением модели, повторным использованием контекста или повторами. Включите стабильные и изменённые справочники, отложенные повторы и случаи восстановления.
- Для каждой задачи фиксируйте приёмку, все попытки, объём ввода и вывода, чтение и запись кеша, плату за инструменты и стоимость до кредитов.
- Измеряйте время до первого вывода и полную длительность задачи; изучайте медленные случаи вместе со средними значениями.
- Повторно используйте одну версию справочника, затем замените её и проверьте, влияет ли устаревший материал на результаты.
- Сохраняйте прежний маршрут доступным, если снижение затрат сопровождается ростом числа сбоев.
Диагностика кеша помогает объяснить различия префиксов, но классификация выполняется по возможности и не гарантирует точность. Проверяйте фактические токены чтения и записи и общие затраты. Расширяйте внедрение только после подтверждения ваших критериев приёмки.