ATEST：自适应资源感知的 LLM 推理时扩展框架

ATEST 通过联合评估额外样本的预期值和当前 GPU 成本，实现动态推理时扩展。在 Phi-3-mini 和 Qwen2.5-3B 测试中，ATEST-Online 在高负载下将 GSM8K 准确率提升至 60.0%，且无任务延迟，同时比 ATEST-Calibrated 节省 42 倍 GPU 时间和 48 倍能耗。