AWS SageMaker AI多轮强化学习实践指南
AWS发布多轮强化学习(MTRL)教程，指导用户如何在SageMaker AI上训练AgentCore智能体，使其能够处理需要序列决策的任务。教程以Wordle游戏为例，展示了从环境部署、数据准备到模型训练和评估的完整流程，使用GPT-OSS-20B模型将解决率从61%提升到84%，训练成本约339美元。
推荐理由：多轮强化学习让模型从单次回答转向序列决策，AWS教程展示了如何用SageMaker训练AgentCore智能体。
#部署/工程科技财经热点 · 每日精选
自动盯住上百个信源，用模型摘要、打分、精选，把同一件事的多篇报道归到一起，每天早上出一份日报。聚焦机器人、AI 与财经投资。
今日脉搏
具身智能专栏 →268今日入库
2 条进入精选
44/47 信源在线· 3 异常
近 14 天入库走势
近 7 天分类构成
行业 1375财经 1145硬件本体 984AI 产品 740AI 模型 266其他 395
AWS Machine Learning Blog精选AI 评分7575
Hugging Face Blog精选AI 评分8181 VocabX：通过词汇专业化降低小模型推理成本77%
Hugging Face 博客介绍了 VocabX 方法，通过按成本而非频率重构词汇表，在保持基础模型不变的情况下，将葡萄牙语作文评分系统的推理成本降低77%，同时提高了评分质量。该方法在多个领域和模型家族中都优于现有参考方法。
推荐理由：通过按成本而非频率重构词汇表，VocabX 在保持模型不变的情况下降低推理成本77%，为小模型领域专业化提供新思路。
TechCrunch · AI精选AI 评分7676 谷歌推出TorchTPU，加入亚马逊阵营挑战NVIDIA在AI开发者中的主导地位
谷歌宣布开源TorchTPU，这是其长期期待的PyTorch版本，允许AI应用在谷歌TPU芯片上运行。亚马逊此前也发布了TorchNeuron，使AI应用可移植到其Trainium芯片和AWS。
推荐理由：谷歌开源TorchTPU，与亚马逊联手打破NVIDIA在AI开发者中的垄断地位，这场芯片战争的关键在于生态迁移的便利性。
Hugging Face Blog精选AI 评分7575 Hugging Face 发布 TorchTPU：PyTorch 原生支持 TPU
Hugging Face 发布 TorchTPU，为 PyTorch 添加原生 TPU 后端，使开发者可以直接在 TPU 上运行 Transformers、Diffusers 和 Kernels 库。
推荐理由：TorchTPU 让 PyTorch 原生支持 TPU，开发者无需学习 JAX 或使用 torch_xla，只需一行代码即可将模型迁移到 TPU。
Hugging Face Blog精选AI 评分6565 PyTorch 2.15 为 Mac 带来 MPS 性能大幅提升
PyTorch 2.15 为 Apple Silicon Mac 带来多项性能提升：FP8 支持让模型占用内存减半，MoE 模型解码速度提升 5-6.5 倍，视频解码内存占用从 270GB 降至 8GB，线性层和 softmax 运算速度显著提高。
推荐理由：FP8和Metal内核优化让Mac上的模型推理速度提升5-6.5倍，内存占用从270GB降至8GB，开源生态在端侧持续突破性能边界。
AWS Machine Learning Blog精选AI 评分7070 AWS 推出基于推送的KV传输技术提升vLLM推理性能
AWS 机器学习博客介绍了基于推送的KV传输技术，用于改进vLLM中解耦推理的TTFT和TPOT。在Amazon EC2 P5en实例上测试，推送模式相比拉取模式实现了最高3倍的TTFT提升和30%的TPOT改善。该技术通过将传输协调工作移至预填充端的后台线程，避免了关键路径上的延迟。
推荐理由：将KV传输从拉取模式改为推送模式，使解码端准备与预填充计算重叠，显著降低了高请求率下的TTFT和TPOT。
IT之家精选AI 评分7676 亚马逊推出开源工具 TorchNeuron，支持自研 Trainium 芯片运行 PyTorch 代码
亚马逊宣布推出开源工具 TorchNeuron，允许开发者编写的 PyTorch 代码只需更改一次配置即可在自研 Trainium 芯片上本地运行，无需重写代码。该工具将于 10 月 20 日在北美 PyTorch 大会上以开源许可形式发布，旨在为开发者提供除英伟达 CUDA 外的可行选择。
推荐理由：开源工具让 PyTorch 代码无需重写即可在自研芯片上运行，挑战英伟达 CUDA 垄断地位。
NVIDIA Blog精选AI 评分8383 NVIDIA 发布 Nemotron 3.5 Super VL 和 Bolt 模型
NVIDIA 发布了 1200 亿参数的开放模型 Nemotron 3.5 Super VL，以及两个边缘模型 Bolt 74B-A9B 24GB 和 Bolt E4B 4GB，覆盖从企业服务器到边缘设备的全范围智能体部署。Super VL 在多模态智能体任务上达到前沿准确度，同时速度比同类模型快 5 倍；Bolt 系列则针对本地硬件优化，平衡智能与速度。
推荐理由：NVIDIA 推出覆盖从数据中心到边缘设备的全系列智能体模型，开放权重让企业能自主定制部署。
AWS Machine Learning Blog精选AI 评分7070 AWS在Amazon SageMaker AI上实现MoE模型的内核工程优化
AWS详细介绍了在Amazon SageMaker AI上对Mixture-of-Experts (MoE)模型的内核优化技术，包括Swap-AB矩阵转置优化、FP8张量量化后端路由选择以及Triton JIT重新编译消除等方法，这些优化使MoE模型在H200上实现了高达10%的吞吐量提升和9%的首个token生成速度提升。
推荐理由：原文详细介绍了AWS在SageMaker AI上对MoE模型的内核优化技术，提供了具体实现方法和性能提升数据。
已经到底了