最近把线上的一个 AI Agent 从 GPT-4.8 迁移到了 GPT-5.6，跑了几天下来数据还挺有意思的——不是跑分，不是 benchmark，是真实生产环境的 ROI 对比。
先说结论：同样的业务逻辑、同样的 prompt 设计、同样的后处理管道，切到 GPT-5.6 之后：
- 端到端延迟从平均 3.8s 降到 1.7s（约 2.2x）
- 每万次调用的 token 费用从 $47 降到 $34（约 27%）
- 错误率（重试/超时比例）从 2.1% 降到 0.8%
这个 Agent 做的事情不算太复杂：接收用户输入 → 拆解成子任务 → 调用多个工具（搜索、数据库、代码执行）-> 汇总结果。典型的工具链编排场景。
几个观察：
1. 速度提升主要来自首 token 延迟的改善
GPT-5.6 的 prefill 阶段做了优化。对于 Agent 这种需要多次小 token 输出的场景（每次工具调用就是一轮短的 LLM 调用），首 token 时间从原来的 ~600ms 降到了 ~200ms。几轮工具链下来，累积效果很明显。
2. 成本下降不是单纯因为模型更便宜
虽然 GPT-5.6 Sol 的单价确实比 GPT-4.8 低了约 15%，但这只解释了成本下降的一部分。更大的原因是新模型在相同的 prompt 设计下完成了更多工作——之前需要 2~3 轮 retry 的复杂工具调用，现在一次就过了。重试少了，浪费的 token 自然就少了。
（配图：ploy.ai 官方展示的迁移前后延迟对比图——左列旧模型、右列新模型，每行代表一种工具调用场景）
3. 迁移中最需要留意的是工具调用格式
GPT-5.6 的 tool calling 格式和之前版本有细微差异。原来返回的 function_call 参数是一个 JSON 对象，新版在某些 edge case 下会把参数塞进 content 字段的 markdown code block 里。我们的解析层做了一次适配，大概花了两天调试。
4. 要不要为新模型重新设计 prompt
迁移初期我们试图保持 prompt 不变来 A/B 对比。效果 OK 之后发现，如果稍微调整 prompt 结构（把 model 身份的说明从 system prompt 移到 user message 里），还能再省约 8% 的 token。这个是在迁移稳定后做的第二轮优化。
总体来说，这次迁移的 ROI 很正面。对于正在用 GPT-4.8 跑生产 Agent 的团队，GPT-5.6 的性价比提升是实打实的，不只是 benchmark 上的数字好看。
不过也要提醒一点：如果你们的 Agent 依赖大量自定义 tool calling 格式或者有很复杂的 chain-of-thought 引导，建议先在 staging 环境跑一周——tool calling 的格式差异容易被忽视，上了生产再回滚就麻烦了。
内容来源：
ploy.ai blog: Migrating a production AI agent to GPT-5.6
HN 讨论页（110 点，80+ 评论）