谷歌宣布面向 TPU 的原生 PyTorch 框架 TorchTPU 已在 GitHub 开源，允许开发者无需重写代码即可将现有 PyTorch 应用迁移到谷歌 TPU 和谷歌云。亚马逊同期也发布了类似产品 TorchNeuron，用于将应用移植到 Trainium 芯片和 AWS。两家公司正努力削弱英伟达在 AI 硬件和生态中的主导地位。
同一件事，精选收录的是《谷歌推出TorchTPU，加入亚马逊阵营挑战NVIDIA在AI开发者中的主导地位》
DeepSeek宣布全面开源内部推理框架DeepInfer及Token编解码组件deepseek-recipe，支持英伟达与华为昇腾平台，单集群日吞吐达155万亿Token，每卡每小时收入38美元。
同一件事，精选收录的是《DeepSeek开源DeepInfer高性能推理框架》
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，旨在帮助开发者与企业优化大规模推理的吞吐与延迟，降低算力成本和能源消耗。该框架集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码等能力，兼容英伟达与华为昇腾平台。
SonicBoom是一个全新的AI运行时框架，采用GPLv3许可证，提供语言无关的C API接口。它利用LLVM MLIR优化计算图，在保持PyTorch灵活性的同时获得类似TensorFlow的静态图性能，在RTX 3050 8G上提升原始性能20%。
推荐理由：SonicBoom 通过图编译器优化而非手工调优提升推理性能，实现了动态图灵活性与静态图性能的统一。