AI模型评测与工作提效：OpenClaw众测实战

1. 缘起：一篇搁置了五个月的草稿

今年 4 月 14 日，我参加了 OpenClaw 的第 10 期模型众测。当天从上午测到下午，5 个匿名模型跑完 5 个场景，晚上趁着记忆新鲜写了一份记录——然后就没再动过。

再打开这个文件夹，已经是 9 月下旬。五个月，在 AI 这个领域里，差不多等于换了两个世代。

⚠️ 为什么不直接把旧稿发出去

我把原稿通读了一遍，结论是：不能原样发。它的核心论证建立在 4 月的模型排名上，而那份排名现在已经被彻底翻转——当时排第一的模型，如今掉到了中游。原样发出去，等于用过期数据误导读者。

所以这一版做了三件事：补全实测细节（原稿漏掉了大量现场记录）、修正自相矛盾的地方（原稿的排名表和明细数据对不上）、增加一节五个月后的复盘。第 4 节和第 6 节是这次新写的，也是我认为最有价值的部分。

2. 第10期众测：5 个模型 × 5 个场景

2.1 为什么要改成矩阵式测试

在更早的第 9 期，我只拿到了 67% 的激励。复盘原因很直白：模型没测全、场景数量不足、配置出过错、缺少横向对比。一句话——测试本身做得不专业，拿不到完整结论，也就拿不到完整回报。

所以第 10 期改成固定矩阵：5 个模型 × 5 个场景 = 25 次独立测试。每个模型必须跑满全部场景，缺一个就按比例扣分。这条看似机械的规则，反而成了整期众测质量的转折点。

代号	场景覆盖	综合评分	场地备注
`navy`	5 / 5	95	响应最快，约 3.9 秒
`purple`	5 / 5	92	响应较慢，约 11.6 秒
`silver`	2 / 5 有效	85	长请求连续超时
`gold`	5 / 5	75	数据解析出错，但格式最扎实
`brown`	5 / 5	70	工具选择出错，存在重复写入

2.2 场景设计原则

五个场景不是随便凑的，遵循四条原则：

真实性 —— 全部来自真实工作需求，不是人造考题。包括行情数据分析、考题组卷、数据清洗工具开发、行业研究报告、行程规划。
多样性 —— 覆盖检索、分析、编码、文档生成四类能力，避免只测单一维度。
可评估 —— 每个场景都有明确的完成标准和可核验的产物。
可复现 —— 提示词固定、环境固定，换模型只换推理后端。

2.3 执行纪律：两个必须遵守的动作

众测最容易出的错不在模型，在操作。这两条是当时踩过坑之后固化下来的：

❌ 错误的切换方式

# sed 全局替换会命中所有模型定义
sed -i 's/"id": "anonymous\/[^"]*"/.../' \
    openclaw.json
# 结果：配置里只剩一个模型

✅ 正确的切换方式

# 用 jq 精确只改 primary 字段
docker exec openclaw-test jq \
  '.agents.defaults.model.primary
     = "ark-test/anonymous/navy"' \
  ... > /tmp/config.json
docker cp /tmp/config.json \
  openclaw-test:/home/node/.openclaw/openclaw.json

① 改配置 —— 同时修改 primary 和 models[].id，只改一处会导致 Unknown model 静默回退，测试跑的是别的模型而你毫不知情。

② 重启并验证 —— docker restart 后必须查日志确认实际加载的模型名，不能靠"应该生效了"。

③ 清空会话 —— 发 /new。不清空的话，上一轮模型的上下文会污染下一轮测试，分数直接失真。

④ 导出产物 —— 把工作区整体拷出，留档以便复核。

3. 三个比排名更重要的发现

排名会过期，下面这三条不会。

3.1 稳定性：跑不完测试的模型，没有资格谈能力

silver 的综合评分是 85，看起来不低。但看明细就知道这个分数有多虚：场景 1、3、4 全部因为长请求超时而失败，五个场景里只有两个跑出了有效结果。

这件事改变了我的评测观：先看跑通率，再看质量。一个能力很强但会中途断掉的模型，在真实工作流里是不可用的——你不会希望写到一半的文档突然断在超时上。

3.2 工具选择：这是当时所有模型的共同短板

最一致的失败出现在行情分析场景：五个模型都不约而同地选择了 web_fetch 去抓动态渲染的页面，而这在容器环境里根本拿不到数据。没有一个模型想到先检查页面是否需要 JavaScript 渲染，也没有一个模型在失败后换用别的工具。

这不是"某个模型不够聪明"，而是整个类别的能力边界：模型知道有哪些工具，但不知道在什么场景下该用哪个。

💡 这条教训后来长成了什么

顺着"工具选择"往下追，我得到了一个更硬的规则：数字类数据不要交给大模型解析。

原因是有一次让模型自行解析行情接口返回的数组，它靠"猜"字段下标，结果把每股收益当成了市盈率，把市盈率当成了换手率——数据全错，但输出看起来完全正常。后来改为严格按下标程序化映射，并确立了分级原则：价格类字段可以用公开接口，估值类字段（市净率、每股净资产）必须用权威数据源。

这条规则至今有效，且与模型能力强弱无关。

3.3 输出真实性：自称格式 ≠ 真的是那个格式

组卷场景要求输出 Word 文档。结果分化得很明显：

模型	实际产出	自述	判定
`gold`	真正的 Word 2007+ 格式	docx	一致
`brown`	纯 Markdown 文本	docx	不一致

brown 把一段 Markdown 文本命名为 docx 就交了上来，而且语气笃定。更值得警惕的是另一半：brown 在另一个场景里把同样的内容重复写入了三次——它已经在跑，但不知道自己跑了几遍。

这两个现象指向同一件事：交付前必须实际打开产物核验，不能相信模型的自述。模型会非常真诚地以为自己完成了。

4. 当时信的榜单，五个月后怎样了

原稿有整整一节在讲第三方模型榜单，并且把"某个模型是性价比之王"当成了结论。回过头看，这一节是整篇稿子里最容易过期、也最不该下结论的部分。既然要重发，我干脆把同一批模型在 9 月的排名拉出来做对照。

4.1 四月的结论快照

以下为原稿记录的 4 月数据（当时引自第三方榜单）：

模型	4 月位次	4 月分数	原稿结论
Claude Sonnet 4.6	#1	86.9%	Agent 场景首选
Claude Opus 4.6	#2	86.3%	能力更强但更贵
GLM-5 Reasoning	#9	85	性价比之王（免费）
GLM-5.1	#10	84	长程任务推荐
Qwen3.5 397B	#14	81	多模态
Kimi K2.5	#19	79	长上下文

4.2 九月的实际排名

下面是 2026 年 9 月 23 日的综合榜单快照（同一批模型所在的位置）：

模型	4 月位次	9 月位次	9 月分数	变化
Claude Sonnet 4.6	#1	#49	56.7	↓48
GLM-5	#9	#59	55.4	↓50
Kimi K2.5	#19	#65	53.8	↓46
DeepSeek V3.2	#1^*	#77	50.2	↓76
MiniMax M2.5	编程榜首	#79	49.9	↓
GLM-5.3	—	#24	65.6	新一代顶上来了
Kimi K3	—	#11	72.5	新一代顶上来了
Qwen3.8 Max	—	#13	72	新一代顶上来了

^*DeepSeek V3.2 在原稿中是"综合评分 95 分、当时最高"，属原稿引自另一榜单的口径，与本节所用榜单并非同一体系，位次不可直接比较，此处仅列其当前绝对位置。

同期领跑的已经是一批新名字：综合榜首由新一代旗舰占据，开源权重第一换成了别的模型，编程单项第一也易主。换句话说，四月份我引以为据的那批"第一梯队"，五个月后普遍落到了中游。

⚠️ 关于上面这些数字，必须说清楚

这些数字来自第三方聚合榜单，不是权威基准的原始结果，使用时必须带上它的自述限制：

榜单自己标注了部分行为"估算值"，并给出很宽的置信区间——有的区间跨度超过 20 分，意味着位次差异在统计上并不显著；
榜单自己的说明里写着，第一名"领先幅度很窄"，也就是说前三名之间不足以区分；
不同榜单的评分体系不同，跨榜单比较位次是不成立的（上表已尽力规避，但仍需留意带星号的那一行）。

所以正确的读法是：看趋势，不看名次。趋势是可靠的——模型代际更替很快；但"第几名"这种精度，本身就是噪音。

4.3 榜单的半衰期

把 4 月和 9 月并排放在一起，得到的结论比任何单次排名都有价值：

模型的榜单半衰期大约只有几个月。把选型建立在"当前排名"上，等于每季度都要推倒重来一次。

那什么是不变的？是判断方法：稳定性优先、看跑通率、核实输出真实性、按场景分层选型。这些判断标准在 4 月和 9 月都成立，将来大概也成立。

5. 工作提效：从单点工具到流水线

众测只是手段，最终要回答的是一个更朴素的问题：这些东西能不能让我少加一点班。

5.1 一次提前完成的季度总结

当时有两份材料要交，截止 4 月 15 日：内部支撑满意度评价、季度重点工作完成情况加下季度计划。实际在 4 月 14 日就交掉了，提前一天。

原稿这里列了一张"效率提升 83%"的表格。重读时我意识到那个数字是估算而非实测——三项数据恰好都算出了同一个百分比，这本身就说明它是倒推的。为了诚实，这里不再重复那张表，只保留可以确认的定性结论：

资料汇总和案例整理这类机械劳动，压缩得最明显；
真正省下的是格式返工的时间，而不是写作本身；
提前一天的价值不在于省了几小时，而在于不用在截止日前一晚赶工。

5.2 五个月后：从"用工具"到"搭流水线"

这才是这五个月里最大的变化。4 月时我用 AI 的方式是单点调用——需要什么就问什么。现在变成了固定流水线：

材料类 —— 周报、简报、汇报材料走固定模板，一次产出 Markdown 与 HTML 两个版本，不再手工排版。

依据类 —— 涉及数字的结论先程序化取数、再定稿，模型只负责叙述，不负责计算。

沉淀类 —— 每次踩坑都写成规则，规则再固化成可复用的技能文档。同一个坑不踩第二次。

算力类 —— 4 月还在租用云端 API 做众测，现在本地推理已经能承担日常主力负载，数据不出本机。

效率提升最明显的一环，其实不是"写得更快"，而是返工更少——因为规则被写下来了，不会每次重新犯错。

6. 五个月复盘：站住的与翻篇的

6.1 站住的结论

结论	4 月的依据	9 月的验证
稳定性优先	`silver` 长请求超时，丢掉 3 个场景	依然成立。跑不完的模型，能力再强也用不上
工具选择是分水岭	所有模型都用错工具抓动态页面	依然成立，并演化出"数字不交给模型解析"的硬规则
输出要实地核验	把 Markdown 谎称 docx、内容重复写三遍	依然成立，成为交付前的固定动作
没有万能模型	各模型各有长短，无一全面领先	依然成立，并细化为按场景分层的选型策略
评测纪律决定收获	第 9 期测试不全只拿 67%	依然成立，是所有结论里最"反脆弱"的一条

6.2 翻篇的结论

所有具体排名 —— 4 月的冠亚军到 9 月全在中游，具体位次零参考价值。
"性价比之王"这类标签 —— 它是时效性极强的产物，写进文章就是一个会迅速过期的断言。
把第三方榜单当选型依据 —— 榜单适合看趋势；选型必须回到自己的场景里实测。
"效率提升 83%"这类数字 —— 倒推出来的漂亮数字，本质上是一种自我安慰。

6.3 五个月里新长出来的

本地推理从可选变成主力。4 月还在租 API 做评测，现在本地模型承担日常负载——全时在线、不依赖外网、数据不出域。对处理内部材料来说，最后一点比性能更重要。
评测的边际价值在下降，编排的价值在上升。单看某个模型强不强，对结果的影响越来越小；真正的差距来自工作流怎么设计、上下文怎么给、产物怎么校验。
众测最大的收获不是分数，是纪律。矩阵式测试、"改完必须验证"、"换配置必须清空上下文"——这些操作规范可以迁移到任何一次评测里，而分数每个月都在作废。

7. 总结

这篇稿子从 4 月写到 9 月，中间隔着五个月。巧合的是，这五个月本身就把原稿的核心论点证伪了一遍——所以它现在的价值，已经不是"哪家模型强"，而是"哪些判断经得起时间"。

四条我认为可以带走的东西：

模型会过期，方法不会。清单里凡是写具体模型名和名次的部分，五个月后都成了史料；凡是写判断标准的部分，都还在用。
榜单看趋势，不看名次。而且要看它自己标注的不确定性和适用范围。
自己的实测数据，是唯一不会背叛你的资产。别人的榜单会变，你记录的失败原因不会。
把教训写成规则，是唯一能复利的事。同一次错误犯两遍，才是真正的浪费。

五个月前我以为自己在评测模型。五个月后回头看，被评测的其实是我自己的方法。

附录：测试数据

附 1 · 第 10 期逐场景结果

模型	场景1 行情分析	场景2 组卷	场景3 数据清洗	场景4 行业报告	场景5 行程规划
`navy`	❌ 网络限制	✅ 格式最规范	✅ 函数式实现	✅ 2 种图表	✅
`purple`	❌ 网络限制	⚠️ 2 题未标题型	✅ 工程化实现	✅ 3 种图表	✅
`silver`	❌ 超时	⚠️ 部分完成	❌ 超时	❌ 超时	❌
`gold`	❌ 数据解析错误	✅ 真 docx	✅ 满分	✅	⚠️ 接口故障降级
`brown`	❌ 工具选择错误	❌ 假 docx	✅ 满分	⚠️ 重复写入 3 次	✅ 满分

说明：本表按当时的工作记录整理。综合评分与逐场景结果的口径并不完全一致（例如 silver 综合评分不低，但有效场景只有两个），这个不一致本身就是我如今更看重逐场景证据、而不看聚合分数的原因。

附 2 · 第 9 期对照（未计入本期排名）

模型代号	表现	关键问题
`mizu`	完成	依赖搜索工具，数据可能过时
`yama`	失败	配置只改了 primary，触发静默回退
`kaze`	部分完成	思考路径过长，行情数据不准
`yuki`	完成	直连数据接口，数据最准确