本文截至2026年11月16日,实际打开官方发布说明、当前Claude Code文档、独立评测原文及正反公开讨论。我们没有调用付费模型、登录账户或测量真实套餐额度。提示词和任务账本均为原创合成示例;文中的离线算式只验证计算,不构成模型实测。社区案例采用有意覆盖正面、负面和具体失败的选择方式,不能据此统计满意度。
当前的新模型与应该升级的任务
核验到的最新通用发布是11月9日的Fable 5.2。Anthropic仍建议多数日常编码与知识工作先用Opus 5.5,难度更高、范围开放的项目再考虑Fable。11月16日访问新闻页的时间,不能替代模型发布日期。
这给购买和迁移提供了一个更有用的问题:新模型能否减少你最贵的失败?例如跨模块迁移中漏掉兼容约束、长任务中丢失目标、修复后未检查旧功能。这些损失常出现在任务后半程;聊天时文字更流畅,尚不能证明交付更可靠。先选出目前会卡住、返工或需要资深同事介入的工作,才有升级的判断基线。
| 对象 | 官方定位或边界 | 自己的验收重点 |
|---|---|---|
| Opus 5.5 | 日常工作的起点 | 现有任务能否稳定完成 |
| Fable 5.2 | 更复杂的技术任务 | 困难任务是否减少返工 |
| Mythos 5.2 | 相同基础模型、不同安全措施与准入 | 另核研究项目权限,不由Fable资格推定 |
先保存运行身份,再比较输出
同一个fable别名不一定解析到同一版本;Claude apps gateway有单独映射。正式比较时记录完整model ID、提供方、客户端版本、实际effort及回退。模型概览与Code配置是不同入口的对照依据。
把这些信息放进每次试验的回执,比在文章标题里写“最新版”更可靠。还应固定仓库提交、可见文件、工具权限、提示词、超时和人工补充。只要其中一项改变,就为结果新增一行,保留失败行。若回执无法确认实际模型,把结果标成身份未确认;不要将它归入指定快照的胜率。遇到不可用时先诊断入口和权限,不通过放开安全控制来凑齐测试。
task_id,arm,model_id,effort,provider,toolset,commit,attempt,status,api_usd,review_min,fallback
fixture-01,A,claude-opus-5-5,medium,synthetic,offline,fixture-v1,1,accepted,0.40,6,none
fixture-01,B,claude-fable-5-2,high,synthetic,offline,fixture-v1,1,accepted,0.80,3,noneeffort是一项实验变量,max并非默认答案
当前Code文档把Fable 5.2默认effort列为medium,并提醒max可能过度推理。Artificial Analysis的同一模型页面展示了随档位变化的能力与耗时。
| effort | 指数分 | 每项指数任务分钟 |
|---|---|---|
| low | 54 | 5.5 |
| high | 62 | 15.3 |
| max | 65 | 41.8 |
表中是Max/Default Fallback等对应配置的公开评测记录,不能把独立指数分当成日常编码成功率,也不能用max耗时推算订阅消息数。我们的工程建议是从当前可接受档位开始,只对失败任务升一档。更长思考如果没有转化为外部验收改善,就只是增加等待。比较档位时固定模型;比较模型时先固定档位,再单独测试各自最优配置,避免把两个问题混成一个。
四类独立结果,四种不同的测量对象
| 来源 | 测量对象 | 阅读限制 |
|---|---|---|
| Artificial Analysis | 综合能力与效率 | 保留指数版本和fallback标签 |
| Snorkel | 复杂终端工作 | 任务匹配与干净运行筛选 |
| Vals | 按领域加权的专业任务 | 权重和不确定性影响名次 |
| Plotly | 数据分析代理工作流 | 单次运行、特定执行框架 |
Artificial Analysis:Fable 5.2 · Snorkel:Fable终端任务测试 · Vals Index方法与结果 · Plotly:数据分析测试
这些来源能互相补充,却不能相加成一个总胜率。综合指数覆盖面广,特定产品的端到端测试更接近该产品的工具链。首先问“试卷像不像我的任务”,再问“分差够不够大”。公开页面未交代的模型参数、缓存策略或时间预算,应写入未知项;用自己猜测的配置补齐它们,会制造虚假的可比性。
AA的Coding Agent Index v2.1另有自己的三部分构成和评分规则,与Intelligence Index v5.0.1不同。连同一机构也可能同时维护多套“指数”。复制图表时应保留完整指标名称,避免把综合推理、终端执行和可合并代码修改当成同一个量。
Snorkel:进步集中在完成过程,也有策略回归
Snorkel于11月12日报告:匹配26项任务后,任务加权pass@1从53.1%升至71.4%。两模型纳入的干净运行数分别为106和121,环境或端点失败被排除。
因此不能直接拿成功运行数除以运行总数,期待复算出同一个任务加权结果;每道题的有效重复次数并不相同。更重要的工程启发是区分“机械失误减少”和“理解目标正确”。其失败分析仍展示了选错方向后认真自测的情况。自测与实现共享同一错误假设时,再多测试轮次也可能通过自己的错误标准。
迁移验收应由维护者事先定义不变量,再让另一套测试检查,而不是仅要求代理“确认没有问题”。同时保留原先能通过、升级后失败的任务。只挑新模型胜出的样例,会隐藏回归。该研究的有效运行筛选和未完整报告的配置,也限制了我们把涨幅推广到任意项目的能力。
Vals:综合榜首不能替代领域与不确定性
| 配置或对象 | 公布读数 | 应保留的限定 |
|---|---|---|
| Fable 5.2 high | 71.31 ±0.96 | Vals Index综合结果 |
| Sonnet 5.5 max | 70.85 ±0.93 | 小分差不能单凭名次定胜负 |
| 领域组合 | 金融、编码、法律、税务 | GDP权重是方法假设 |
加权指数先决定哪些工作更重要,再决定谁排名靠前。团队如果主要维护软件,应先看对应任务的失败模式,而不是照搬经济领域的权重。上述不确定性也提醒我们:名次相邻时,不能从排名直接推出稳定、普遍的优势;它同样不足以单独证明两模型等效。 这里Fable为high、Sonnet为max,不能视为隔离模型本身的同档位实验。
我们读取到同一站点模型页与指数分项页的一项迁移分数不一致,因此不转载该数值。对公开榜单做这种一致性检查,比用更多小数位增加精确感更有意义。出现冲突时保留网页快照与日期,等待来源说明;不能挑更高的一项替代未知。
Plotly:满分改善与更高整场账单可以同时发生
| 模型 | 通过题数 | 整场成本USD |
|---|---|---|
| Fable 5.2 | 43/43 | 35.74 |
| Opus 5.5 | 41/43 | 13.31 |
| GPT-6.1 Sol | 43/43 | 2.61 |
这是特定供应商、工具和单次运行的结果。作者指出重复运行会有分数波动。读者不应把两题之差视为稳定优势,也不能把整场成本当成单次聊天价。它说明一个实际问题:更低的标价未必带来更低的任务成本;更多上下文、缓存写入和推理输出会改变账单。
采购时可以先区分两种任务。不可犯错的分析可能值得为额外复核和更高完成率支付成本;容易抽检、数量巨大的常规报表,更看重单位合格产物成本。无论哪一种,都应保留执行轨迹与最终图表的语义核对:图表成功生成,只证明程序产出了图,并不证明筛选范围、单位和业务结论正确。
社区为什么同时出现惊喜与失望
| 原始来源 | 自述体验 | 证据边界 |
|---|---|---|
| Reddit正面帖 | max效果好、消耗快 | 作者后续说未用Code,不能当CLI测试 |
| Reddit负面帖 | 推断过快、计划浅 | 未提供受控同配置对照 |
| HN技术评论 | 正则模块存在边界和复杂度问题 | 未独立复现,不能认定漏洞 |
| NotesByLex游戏项目 | 工具链完成可玩的长项目 | 有前期原型、后续人工试玩与迭代 |
Reddit:max正面体验 · Reddit:规划与推断负面体验 · Hacker News:正则模块评论 · NotesByLex:游戏项目
这四个案例的任务、入口与完成标准不同。它们提出值得测试的假设,但不能计算“多少用户觉得变好”,也不能据此断言模型被削弱。游戏作者还明确未对照Opus 5.5;因此“成功完成”与“只有新模型才能完成”是两种不同的结论。论坛相对时间不能还原精确UTC,这里使用收集日期,不补造发帖时间。
可以把评价翻译成可测问题:所谓“懒”究竟是未读要求、工具失败、提前停止还是最终验收遗漏?所谓“惊艳”是否包含大量工具调用、重试和人工改稿?当这些变量可记录,情绪词才能转化为下一次试验的设计。
Advisor与回退会改变实际运行系统
实验性Advisor会读取完整对话,并增加调用成本;不同提供方的支持范围不同。将其打开后,比较对象已经是组合系统,不能继续把结果只归给主模型。
配置中还应记录是否发生安全或可用性回退。官方系统卡与当前Code文档都讨论了安全措施及相关行为;主模型被选中不意味着每一步都由它完成。评测时保留这些事件,可以解释成功率、时长和拒绝差异,不能为了去掉“干扰”而尝试绕过安全机制。
给顾问的最小必要上下文也应在授权范围内。完整对话可能包含工具输出与业务材料;先脱敏和裁剪,再决定是否启用。一个实用的对照顺序是:单模型基线、单模型提高effort、再加入顾问。每次只改一项,才能知道额外花费换到了什么。若实际回执不够透明,把组合结果单独归档。
实操一:给离线仓库一份可验收的任务合同
以下提示词用于自己的或获授权的本地副本;不连接生产、远程服务或真实客户数据。先冻结提交、生成最小合成数据,再由维护者保留验收集。模型只能看到任务合同和开发样例。第一轮可以只读评估计划,确认理解后才在可丢弃分支允许改动。
你在一个可丢弃的离线Python仓库中工作。不得联网、安装依赖或读取副本外文件。
目标:实现 normalize_rows(rows)。输入项含 sku 和 quantity。
规则:sku 去除两端空白,但区分大小写;quantity 必须是非负整数文本;非法行报错,不能静默跳过。
相同 sku 的数量累加,输出顺序按首次出现;不得修改输入。
先只读检查现有实现,列出不确定项、受影响文件和最小修复方案,等待我授权修改。
最终交付:变更说明、实际执行的检查、未覆盖风险。不得修改验收测试或声称未运行的检查已通过。这是任务规范设计,不是对Fable能力的实测。真正比较时,给两个试验组同一份规范、文件和可用工具;按随机顺序运行成对任务。把超时、拒绝与工具失败分开记账,预先约定哪些算交付失败。否则一组被分配了更容易的任务,后面的成本和胜率都会失去解释力。
实操二:把验收标准从代理的自信中独立出来
| 测试面 | 输入特征 | 必须检查 |
|---|---|---|
| 规范 | 带空白与大小写不同的sku | 只修剪空白,不合并不同大小写 |
| 错误路径 | 负数、小数、空数量 | 显式报错,无部分静默输出 |
| 不变量 | 重复项、输入对象复用 | 合并顺序稳定,输入不变 |
| 规模 | 逐步增加合成行数 | 观测资源变化,先定停止阈值 |
只审查提供的任务合同、候选补丁和独立测试输出。不要读取第一个代理的自我评价。
逐条把需求映射到代码路径和测试断言。
区分:已观察的失败、可复现假设、当前未知。
重点检查非法输入是否被静默吞掉、是否修改输入、大小写和首次出现顺序。
给出最小反例的合成描述;没有运行证据时不得写“已复现”。
不得修改验收标准来迁就实现。输出仍需人工审阅。复核模型也可能漏错,所以最终门禁应包含确定性断言和人的抽检。测试通过只覆盖测试集;资源趋势异常也不自动证明算法有漏洞。若新模型只在开放题上显得更会解释,却在相同边界条件下继续失败,保留旧方案通常比立即升级更合理。
按合格产物计成本,而不是按一次回答计价
下面两组均是假设的10项任务:A合格8项、API成本4美元、人工复核60分钟;B合格9项、API成本8美元、复核30分钟。人工时间按30美元/小时估值只是演示参数。它不是薪酬建议,也不是任何模型的测量结果。
runs = [
{"arm": "A", "tasks": 10, "accepted": 8, "api_usd": 4, "review_min": 60},
{"arm": "B", "tasks": 10, "accepted": 9, "api_usd": 8, "review_min": 30},
]
hourly_usd = 30
for run in runs:
accepted = run["accepted"]
api = run["api_usd"] / accepted
total = (run["api_usd"] + run["review_min"] / 60 * hourly_usd) / accepted
print(run["arm"], f"{api:.2f}", f"{total:.2f}")输出A的API成本/合格产物为0.50美元,含人工为4.25美元;B分别为0.89和2.56美元。这个例子只说明结论可能随成本口径反转。正式账本应包含所有失败和重试的成本,分母只数独立验收合格的产物;同一任务重复提交不能当多个成功。对等待时间另列截止期限,不随意折算成同一笔人工费。
是否购买或升级:先确认工作负载和权益边界
当前官方个人计划把Pro的Fable列为usage credits,Max与Ultra包含的Fable受每周额度一半的子上限约束;Ultra取消五小时限制带verified条件。这些是官方订阅规则,并不等于无限Fable或所有入口同一余额。
若日常工作已经合格,先保留现有配置,把Fable用于最贵的失败点。若主要瓶颈是消息上限,先记录具体消耗与使用入口;若是审批或模型不可用,升套餐本身不能保证解决。API调用、订阅内使用和本站商品交付条件要分别核对,本站页面的实时说明才是商品价格、库存和交付范围的依据。
| 观察到的瓶颈 | 先做的实验 | 升级门槛 |
|---|---|---|
| 规范理解或跨模块错误 | 同输入、同验收比较模型 | 减少实质返工且无关键回归 |
| 推理不够深入 | 同模型逐档比较effort | 外部验收改善超过新增成本 |
| 长任务质量不稳定 | 固定工具与超时,记录回退 | 重复任务仍可稳定交付 |
| 额度或入口限制 | 核对官方计划与实际回执 | 明确权益覆盖自己的使用入口 |
把升级变成可回滚的持续评估
建议采用以下闭环。只有外部验收和总成本都符合预先门槛,才扩大到下一组工作。保留原模型、输入和失败记录;新版本上线后,先重跑既有难题与回归集。公开评测帮助选择实验方向,自己的成对任务决定是否扩大使用。
- 冻结任务、提交、工具与验收
- 记录完整模型、effort、入口与回退
- 成对任务随机顺序,仅改一个变量
- 独立验收并保存失败及重试
- 计算合格产物成本与截止期限
- 达到门槛再扩大,否则保留基线
可复核范围:官方当前页面、独立机构原始测试和列出的公开个案。我们没有抽样统计社区情绪,也未复跑付费模型评测。未报告的参数、相互冲突的分项读数与实际账户可用性仍是未知;后续应以保留配置和外部验收的复测更新结论。