背景:包裹模型运行的智能体外壳(harness)越来越被看作与模型本身同等重要的变量,已有独立榜单在同一批模型上横向比较不同外壳。相关数据来自社区维护的外壳排行榜。
要点
- DeepSeek 的外壳在任务结束时终止后台进程,其文档写明这类任务应与外壳进程共存亡。
- Terminal-Bench 的 36 次尝试中,该外壳仅 2 次通过;OpenCode、Pi 与 Nous Research 的 Hermes Agent 全部 36 次通过。
- 文章测算这一习惯带来约 1.5 至 1.7 个百分点的损失,超过 DeepSeek-V4.1-Flash 在高推理强度下与榜首约 1.3 个百分点的差距。
- 在榜单覆盖的多项评测上,DeepSeek 的外壳总体与榜首处于同一水平,但单看 Terminal-Bench 仅排第 6。
- 榜单同时给出成本差异:Pi 约每解出一题 0.29 美元,OpenCode 约 3.35 美元。
对企业 IT 的意义
智能体的进程与资源回收策略既改变可测量的能力表现,也改变生产环境的稳定性特征。选型时不能只看模型分数,需要把外壳的清理策略、权限边界与副作用处理纳入评测口径,否则基准结果与实际部署体验会系统性偏离。
出处:原文(The New Stack 报道)。