跳到正文
10月21日周三
  1. NVIDIA Blog70

    NVIDIA发布Vera CPU助力欧洲构建本地基础设施

    NVIDIA推出Vera CPU,被Nebius、Nscale等云服务商采用,用于构建支持智能体计算的新一代基础设施。Vera CPU专为智能体工作负载设计,能在处理数千个任务时保持高速响应,支持AI代理执行代码、运行工具和测试结果。服务器制造商Bull、Dell、HPE等已基于Vera构建系统,数据公司ClickHouse、Elastic等测试显示其在分析、ETL和语义搜索工作负载上表现优异。

    推荐理由:Vera CPU专为智能体计算设计,在千级并发下保持响应速度,正在重构数据中心与AI基础设施的底层架构。

  2. NVIDIA Blog73

    NVIDIA 推出欧洲云合作伙伴计划,构建主权、开放、安全的 AI 智能体基础设施

    NVIDIA 宣布扩大欧洲云合作伙伴网络,提供区域化计算能力、开放模型和安全智能体架构。合作伙伴包括 Nscale、Crusoe、Nebius 等公司,将部署 NVIDIA DSX AI Factory 平台和 Vera Rubin 基础设施,支持模型训练、推理和智能体应用开发。NVIDIA 还推出 OpenShell 参考架构,为智能体部署提供安全边界控制。

    同一件事,精选收录的是《NVIDIA 推出多领域开源模型家族》

  3. 财联社电报65

    英伟达、诺基亚与全球主要电信运营商推动通信网络转型为分布式智能平台

    英伟达宣布全球主要电信运营商正将加速计算技术扩展至通信网络,T-Mobile已完成全球首次商用网络AI-RAN通话,德国电信、英国电信和Elisa宣布开展AI-RAN试点。英伟达还推出两种Aerial RAN Computer配置,面向高容量站点的智能计算和无线接入网络工作负载。

  4. IT之家73

    AMD 与英特尔联手统一 x86 AI 开发路径

    AMD 和英特尔共同宣布在 PyTorch 的 x86 CPU 优化方面展开合作,将各自的优化工作整合进开源深度学习库 oneDNN,为开发者提供跨两家 CPU 的统一软件路径。AMD 将把其 ZenDNN 优化集成至 oneDNN,并加入统一加速基金会,双方还在推进面向 x86 的下一代指令集架构 AI 计算扩展(ACE)。

  5. 量子位72

    是石科技发布TokenFleet集群调度框架,国产推理效率再提升

    是石科技发布TokenFleet分布式调度框架,通过请求路由、跨机房容量协同和混合负载治理,在GLM5.3测试中实现P95首Token延迟降低32.4%,达标输出吞吐提高约29.4%。该框架包含TokenPilot智能推理路由、FleetMind跨机房执行和SLOMax分类队列三项核心技术,旨在提高GPU集群的有效Token产出。

  6. IT之家76

    谷歌开源 TorchTPU,挑战英伟达 AI 生态主导地位

    谷歌宣布面向 TPU 的原生 PyTorch 框架 TorchTPU 已在 GitHub 开源,允许开发者无需重写代码即可将现有 PyTorch 应用迁移到谷歌 TPU 和谷歌云。亚马逊同期也发布了类似产品 TorchNeuron,用于将应用移植到 Trainium 芯片和 AWS。两家公司正努力削弱英伟达在 AI 硬件和生态中的主导地位。

    同一件事,精选收录的是《谷歌推出TorchTPU,加入亚马逊阵营挑战NVIDIA在AI开发者中的主导地位》

  7. TechCrunch · AI76

    谷歌推出TorchTPU,加入亚马逊阵营挑战NVIDIA在AI开发者中的主导地位

    谷歌宣布开源TorchTPU,这是其长期期待的PyTorch版本,允许AI应用在谷歌TPU芯片上运行。亚马逊此前也发布了TorchNeuron,使AI应用可移植到其Trainium芯片和AWS。

    推荐理由:谷歌开源TorchTPU,与亚马逊联手打破NVIDIA在AI开发者中的垄断地位,这场芯片战争的关键在于生态迁移的便利性。

  8. AWS Machine Learning Blog65

    Octave如何在Amazon Bedrock上构建安全的多租户AI基础架构

    Octave Reliance在AWS上构建了一个安全的多租户AI基础架构,解决了医疗设备、制药和食品制造等监管行业中的数据隔离与语义搜索需求。该架构包含数据准备、安全执行和内容保护三层,使用Cohere Embed v4模型和Amazon Bedrock AgentCore,实现了2亿文档的嵌入处理和投诉分类助手功能,将每个用例的部署时间减少了50%。

    推荐理由:在医疗设备等强监管领域,Octave通过构建三层AI基础架构,实现了多租户数据隔离与高效语义搜索,为SaaS平台AI落地提供了可复用的安全模式。

  9. AWS Machine Learning Blog70

    Eon 如何在 Amazon Bedrock AgentCore 上构建多云调查功能

    Eon 使用 Amazon Bedrock AgentCore 构建了单一认证网关,替代了多工具凭证和本地 Model Context Protocol (MCP) 进程。该架构实现了基于 Cedar 的身份分离、跨账户连接,以及超过100名开发人员和自主代理在三个云上的统一工具访问。新工程师现在可以在约两分钟内访问其角色允许的所有工具,而之前需要两天时间配置凭证和本地 MCP 服务器。

    推荐理由:用单一网关替代多工具凭证和本地MCP进程,将工程师入职时间从两天缩短到两分钟。

  10. MIT Technology Review · AI35

    企业 AI 新经济:从成本到有效成果的效率革命

    企业 AI 正从孤立实验转向基础设施层,核心问题从 token 或 GPU 小时成本转向有效成果的单位成本。HPE Private Cloud AI 通过集成平台实现调度、模型选择和缓存管理优化,在高负载下单位 token 成本低于租赁等效容量。企业需根据工作负载选择部署模式,并跟踪业务相关成果的单位成本以提升经济性。

10月20日周二
  1. Hugging Face Blog75

    Hugging Face 发布 AnyLanguageModel 1.0:支持苹果平台本地模型

    Hugging Face 发布 AnyLanguageModel 1.0,这是一个苹果 Foundation Models 框架的替代方案,允许开发者选择应用使用的模型和提供商。该版本支持本地模型(llama.cpp、MLX、Core ML)和云端模型(OpenAI、Anthropic、Google Gemini等),提供工具调用、引导生成、图像支持等功能,并加速模型下载。

    推荐理由:统一API让本地与云端模型无缝切换,开发者无需重构代码即可灵活部署,这可能是跨平台AI应用落地的关键一步。

  2. Hugging Face Blog65

    PyTorch 2.15 为 Mac 带来 MPS 性能大幅提升

    PyTorch 2.15 为 Apple Silicon Mac 带来多项性能提升:FP8 支持让模型占用内存减半,MoE 模型解码速度提升 5-6.5 倍,视频解码内存占用从 270GB 降至 8GB,线性层和 softmax 运算速度显著提高。

    推荐理由:FP8和Metal内核优化让Mac上的模型推理速度提升5-6.5倍,内存占用从270GB降至8GB,开源生态在端侧持续突破性能边界。

  3. IT之家76

    亚马逊推出开源工具 TorchNeuron,支持自研 Trainium 芯片运行 PyTorch 代码

    亚马逊宣布推出开源工具 TorchNeuron,允许开发者编写的 PyTorch 代码只需更改一次配置即可在自研 Trainium 芯片上本地运行,无需重写代码。该工具将于 10 月 20 日在北美 PyTorch 大会上以开源许可形式发布,旨在为开发者提供除英伟达 CUDA 外的可行选择。

    推荐理由:开源工具让 PyTorch 代码无需重写即可在自研芯片上运行,挑战英伟达 CUDA 垄断地位。

  4. AWS Machine Learning Blog75

    AWS 在 Amazon Bedrock 上支持 Anthropic Claude 模型的结构化输出

    AWS 宣布 Amazon Bedrock 现已支持所有 Anthropic Claude 模型的结构化输出功能,用户可通过 bedrock-runtime 和 bedrock-mantle 端点获取符合 JSON schema 的响应,无需自定义解析或重试逻辑。该功能通过约束解码确保输出符合预定义结构,适用于数据提取、报告生成、API 响应和智能工单路由等场景,并支持批量推理和跨区域推理。

    推荐理由:结构化输出将 Claude 响应从概率性转为确定性,减少解析成本的同时提升生产环境可靠性。

  5. Hugging Face Blog75

    Hugging Face发布TorchNeuron,简化在AWS Trainium上运行模型

    Hugging Face发布TorchNeuron,为PyTorch提供AWS Trainium的新原生后端。从2026年10月20日起,研究人员和开发者可通过pip install torch-neuronx安装使用。TorchNeuron使Transformers、Diffusers等库直接支持Trainium,文本生成模型支持率从Optimum Neuron的46%提升至89%。

    推荐理由:TorchNeuron让AWS Trainium支持PyTorch原生接口,模型支持率从46%提升至89%,降低了AI芯片的使用门槛。

  6. GitHub Blog · AI & ML70

    GitHub Copilot 应用会话如何在 VS Code 中继续

    GitHub 发布教程,介绍如何将 Copilot 应用中的会话直接在 VS Code 中打开,保持对话、代码更改和工作上下文不变。用户可以在 VS Code 中审查代理的更改、继续对话、手动修改代码、本地测试并推送更新到关联的拉取请求。

    推荐理由:打通 Copilot 应用与 VS Code 的会话流转,让 AI 辅助开发与人工调试无缝衔接。

  7. AWS Machine Learning Blog65

    vLLM实现双向KV传输提升多轮智能体工作负载TTFT性能

    AWS展示了vLLM中的双向KV缓存传输技术,通过在预填充和解码节点间共享KV缓存,减少多轮对话中的重复计算。在Amazon EC2 P5en实例测试中,Qwen3-32B和GLM-5-FP8模型的TTFT分别降低1.6倍和3.3倍。该技术需要配置块保留TTL和重新计算阈值,并通过KV缓存感知路由器协调。

    同一件事,精选收录的是《AWS 推出基于推送的KV传输技术提升vLLM推理性能》

  8. AWS Machine Learning Blog70

    AWS 推出基于推送的KV传输技术提升vLLM推理性能

    AWS 机器学习博客介绍了基于推送的KV传输技术,用于改进vLLM中解耦推理的TTFT和TPOT。在Amazon EC2 P5en实例上测试,推送模式相比拉取模式实现了最高3倍的TTFT提升和30%的TPOT改善。该技术通过将传输协调工作移至预填充端的后台线程,避免了关键路径上的延迟。

    推荐理由:将KV传输从拉取模式改为推送模式,使解码端准备与预填充计算重叠,显著降低了高请求率下的TTFT和TPOT。

10月19日周一
  1. Solidot68

    SonicBoom发布:AI框架告别手工调优

    SonicBoom是一个全新的AI运行时框架,采用GPLv3许可证,提供语言无关的C API接口。它利用LLVM MLIR优化计算图,在保持PyTorch灵活性的同时获得类似TensorFlow的静态图性能,在RTX 3050 8G上提升原始性能20%。

    推荐理由:SonicBoom 通过图编译器优化而非手工调优提升推理性能,实现了动态图灵活性与静态图性能的统一。

10月18日周日