研究发现编码智能体工具链增加成本但不提升性能

一项研究表明，不同编码智能体工具链(harnesses)之间的性能差异主要来自评测噪声，而非实际能力差异。研究团队测试了Claude Code、OpenCode和mini-SWE-agent三种工具链，发现除OpenCode外，其他工具链性能相当，但成本差异可达三倍。研究建议发布工具链比较时应同时提供相同设置的重新运行结果，以区分真实差异与噪声。