1. 本次更新的时间与适用范围
官方更新日志列出:10 月 20 日增加 12 小时提示词缓存,26 日发布 GPT-6.1 Terra,28 日推出符合条件的订阅用户 API credits 权益,30 日发布面向获批生命科学研究组织的 GPT-6 Rosalind。最后一项具有专门访问条件,不能作为普通开发账号已开放的功能。官方时间线说明了这些变化的日期和边界。
本文选取通用应用最直接涉及的 Terra、缓存与 credits 分析。下面的成本算例与验收流程是本站的工程推导;没有调用付费 API、运行厂商对比测试,也没有证明某模型在你的任务上更优。
2. Terra 的试用单位应是一项完整任务
Terra 模型文档将其定位于视觉推理、电脑操作和写作;工具调用要求使用 Responses API。标准文本价格按每百万 token 计:普通输入 $1、缓存读取 $0.05、输出 $5。超过 272K 输入的请求另有长上下文费率,不能直接套用短上下文算例。
我们的建议是选取已有验收结果的真实任务,例如从产品截图提取字段,再核对数据库记录。固定截图、输出结构、工具定义与停止条件,只改变候选模型。模型回答正确但执行失败、输出格式错误或反复重试,都应计入这一次任务的结果。这样才能判断便宜的单次请求有没有降低交付成本。
3. 稳定前缀、会话状态与当前问题分开组织
当前缓存文档使用 prompt_cache_options.ttl 设置 30m 或 12h;相应写入总费率分别为普通输入的 1.25 倍和 2.5 倍。生命周期表示最少保留时间,不能理解为到点删除。旧模型的参数规则须单独核对。
可将输入组织为“固定规则与工具 → 版本化参考资料 → 会话历史 → 当前问题”。把每次变化的请求编号和时间戳放在可复用部分之后。对客服系统而言,产品说明书版本可以成为前缀版本;每位客户的历史则按自己的数据权限组织。缓存键只能辅助账务划分,应用自身仍须执行访问控制。
固定规则 / 工具契约 → 资料版本 → 会话上下文 → 当前问题
长期复用候选 短期复用候选 逐次变化4. 原创算例:20,000 token 前缀调用十次
假设使用 Terra 标准费率:同一个 20,000 token 前缀首次写入,之后九次全部命中,不重复写入;请求总长度未触发长上下文加价。这里只算前缀输入,排除输出、变化后缀、工具、存储与其他费用。
| 方案 | 前缀费用推导 | 十次合计 |
|---|---|---|
| 全部普通输入 | 10 × 0.02 | $0.200 |
| 一次 30 分钟写入 | 0.025 + 9 × 0.001 | $0.034 |
| 一次 12 小时写入 | 0.050 + 9 × 0.001 | $0.059 |
在这组理想假设下,默认缓存两次总调用即可比完全不缓存省钱;12 小时方案需要三次。若默认缓存一直能命中,延长生命周期增加支出;如果较短缓存实际失效造成多次重写,结果可能反转。我们建议先画出“每个资料版本复用多少次、间隔多久”的分布,再决定生命周期。
5. credits 改变应付账单,资源消耗仍要记录
订阅 API credits 官方说明要求符合资格的付费 Pro/Business 订阅与自己拥有的 API 组织关联;权益有有效期,也有组织和使用范围限制。它不会提高 ChatGPT 或登录态 Codex 的用量上限,API key 模式的 Codex 也不在覆盖范围内。
因此应同时保留“抵扣前消耗”和“抵扣后应付”两本账。前者用于比较架构效率,后者用于现金预算。若拿到抵扣就把某条工作流标成零成本,权益到期或配额用尽时会失去可解释的容量计划。采购订阅时也应先确认权益归属和资格,不能把宣传上限当成每个账号都已到账的额度。
6. 让实验能够推翻最初的判断
先在同一模型上比较不缓存、默认缓存和长生命周期缓存;再固定缓存配置比较候选模型。把两个变量同时改变,会无法判断差异来自模型、复用还是重试。测试任务同时覆盖稳定资料、资料升级、隔时重复和错误恢复。
- 每项任务记录验收结果、全部尝试次数、输入与输出量、缓存读写量、工具费和抵扣前总额。
- 记录首个输出耗时与完整任务耗时,观察较慢的一组请求是否抵消平均收益。
- 用相同资料版本重放,再更换版本;检查旧资料是否继续影响答案。
- 如果成本降低却出现更多失败,保留原路由并缩小试用范围。
官方缓存诊断可辅助定位前缀变化等原因,但诊断是尽力而为的,仍应核对实际读写 token 与总费用。只有这组测量完成后,才有依据决定是否扩大上线。