小开源模型能否完成真实编程工作？超越基准测试的实证研究

作者通过实证研究分析了小开源模型在真实编程任务中的表现，包括4,165个编程代理网关回合和623个调试任务。研究发现，直接编码比委托给量化模型更可靠，在45项任务中直接编码完成45/45，而量化模型完成12/45。冷请求的首个token生成时间约为69.4秒，高复用请求仅需2.8秒。