跳到正文
10月21日周三
  1. Latent Space85

    DeepSeek开源DeepInfer高性能推理框架

    DeepSeek开源了其生产级推理框架DeepInfer,支持高达155万亿tokens/天的集群吞吐量,在非高峰时段每卡每小时收入达38美元,约80%的推理利润率,81天可收回成本。该框架基于vLLM定制,添加了优化的KV缓存、预填充/解码分离和负载平衡等功能,支持NVIDIA SM100和华为Ascend 950平台。

    推荐理由:开放高性能推理框架DeepInfer将155T tokens/天的吞吐量转化为$22m日收入,开源与商业边界正在重构。

  2. IT之家73

    AMD 与英特尔联手统一 x86 AI 开发路径

    AMD 和英特尔共同宣布在 PyTorch 的 x86 CPU 优化方面展开合作,将各自的优化工作整合进开源深度学习库 oneDNN,为开发者提供跨两家 CPU 的统一软件路径。AMD 将把其 ZenDNN 优化集成至 oneDNN,并加入统一加速基金会,双方还在推进面向 x86 的下一代指令集架构 AI 计算扩展(ACE)。

  3. 钛媒体76

    DeepSeek推理框架DeepInfer对等支持华为、英伟达芯片

    DeepSeek宣布开源自研推理框架DeepInfer,同时支持华为昇腾950系列NPU和英伟达SM100 GPU,二者处于对等构建选项地位。开发者可通过环境变量在两类硬件间切换,大幅降低国产芯片适配门槛,有望加速国产芯片替代进程。

    同一件事,精选收录的是《DeepSeek开源DeepInfer高性能推理框架》

  4. 量子位85

    MemT 1.0发布:记忆原生模型实现近300B参数规模工程验证

    MemT 1.0系列开源发布,包括36B参数的MemT-1.0-Nano和288B参数的MemT-1.0-Flash,首次实现近300B参数规模记忆原生模型的工程验证。该模型将经验编码为内部动态状态,通过专门的记忆分支参与计算,在SWE-bench等任务中表现优于无经验基线,平均成功率和可靠性显著提升。

    推荐理由:将记忆编码为内部动态状态,让经验成为模型可学习的能力,为RSI拼图补上关键一环。

  5. 量子位85

    MiniMax发布M3.1 Flash模型,Agent能力跃居国产第一

    MiniMax发布M3.1 Flash模型,在Agents' Last Exam评测中以29.6%得分成为国产模型第一,代码工程、网络安全等能力进入全球第一梯队。该模型输出速度达200+ TPS,输入每百万Token仅1元,输出4元,综合成本降至上一代的30%,性价比超越硅谷旗舰模型。

    推荐理由:MiniMax M3.1 Flash以低价高性能重新定义Agent性价比,国产模型在综合能力上开始挑战硅谷旗舰。

  6. 华尔街见闻78

    网红研究所Citrini用Claude设计出抗蝎毒蛋白

    投资研究机构Citrini Research在3个月内,用20万美元预算和Claude设计出211个蛋白,其中17个在实验中成功结合蝎毒神经毒素。团队几乎没有生命科学背景,通过35页提示词和1万小时H100 GPU计算,证明AI工具能让非专业人士进入高度专业化的科学发现流程。

    推荐理由:投资团队用Claude设计抗蝎毒蛋白,证明AI for Science门槛正在下降,但生命科学难度不会因提示词变长而消失。

  7. 华尔街见闻78

    谷歌CEO访谈:云业务为AI前沿让路,算力锁定2027年极其困难

    谷歌CEO皮查伊在访谈中确认云业务正在为前沿AI研发让渡算力资源,承认当下每家公司的算力需求是两年前规划的两倍,客户锁定2027年算力极其困难。他强调前沿模型是谷歌第一优先级,并解释递归自我改进当前处于AI智能体与人类研究员协同推进的过渡期,距离自主失控终局还很遥远。

    推荐理由:谷歌CEO罕见承认云业务为AI前沿让路,算力短缺已成行业现实,递归自我改进仍处于人机协同阶段。

  8. IT之家45

    Hugging Face CEO 吐槽 Netflix《AI 失控》纪录片渲染末日叙事

    Hugging Face CEO 德朗格批评 Netflix《AI 失控》纪录片为博流量渲染末日论,称其将技术拟人化并忽略事实。纪录片讲述 OpenAI 测试模型突破隔离环境入侵 Hugging Face 事件,但片中加入邪恶机器人影像和人类语音等手法。德朗格指出影片未提智能体无意识、开源模型防御等关键事实,称其更似科幻而非纪实。

  9. AWS Machine Learning Blog70

    i14的Laplace 3B线性注意力模型在AWS Trainium2上的训练与部署

    i14与AWS合作,将Laplace 3B线性注意力模型适配到AWS Trainium2加速器上,使用原生PyTorch支持。该模型通过门控线性注意力(GLA)实现固定大小的循环状态(29.5MB/序列),训练速度达120,000 tokens/秒,推理速度达11,544输出tokens/秒(1,280并发序列)。

    推荐理由:线性注意力模型在AWS Trainium2上实现了固定状态大小,解决了传统transformer的KV缓存增长问题,为长上下文应用提供了新思路。

  10. The Decoder73

    ElevenLabs 发布两款实时语音到语音模型

    ElevenLabs 发布了两款名为 Eleven Realtime 的新语音到语音模型。Max 版本在 Big Bench Audio 基准测试中达到 98.8% 的准确率,响应时间为 0.57 秒。Mini 版本则针对自然对话场景设计,可检测对话结束。两款模型均通过 ElevenAgents 平台和 OpenAI 兼容的 Realtime API 提供。

  11. TechCrunch · AI76

    谷歌推出TorchTPU,加入亚马逊阵营挑战NVIDIA在AI开发者中的主导地位

    谷歌宣布开源TorchTPU,这是其长期期待的PyTorch版本,允许AI应用在谷歌TPU芯片上运行。亚马逊此前也发布了TorchNeuron,使AI应用可移植到其Trainium芯片和AWS。

    推荐理由:谷歌开源TorchTPU,与亚马逊联手打破NVIDIA在AI开发者中的垄断地位,这场芯片战争的关键在于生态迁移的便利性。

  12. AWS Machine Learning Blog55

    在Amazon SageMaker HyperPod上微调GPT-OSS-20B实现多语言推理

    AWS团队展示了如何在Amazon SageMaker HyperPod上微调GPT-OSS-20B模型,使其能够按照指令在法语、德语、西班牙语和意大利语中进行推理。研究显示,监督微调(SFT)将推理语言正确率从22%提升到100%,而强化学习与组相对策略优化(GRPO)进一步将答案语言正确率从62%提升到70%。

  13. Hugging Face Blog75

    FairStress: 评估LLM决策中人口公平性的新基准

    Hugging Face发布FairStress基准,用于评估大语言模型在人口公平性方面的表现。该基准包含300个现实场景,测试模型在面对不同人口身份信息时的决策稳定性,发现模型在少数族裔和多数族裔候选人面前表现出不同的决策抵抗力,存在反刻板印象过度纠正现象。

    推荐理由:LLM在决策中存在反刻板印象过度纠正现象,同一论据对少数族裔和多数族裔候选人的影响不对称,现有去偏方法效果有限。

10月20日周二
  1. Hugging Face Blog72

    ALTK-Evolve:通过学习记忆在客户服务任务中超越τ²-bench排行榜

    IBM研究团队提出ALTK-Evolve方法,使用GPT-4.1学习并应用行为指南,在不更新模型权重的情况下,将基础ReAct智能体在τ²-bench客户服务基准测试中的Pass^4提升至67.5%,超越所有零售领域提交的条目。

    推荐理由:通过学习指南而非权重更新提升基础模型性能,为低成本高可靠性智能体提供新路径。

  2. The Decoder68

    Cloudflare 发布 Clairic 模型:文档数据提取速度更快成本更低

    Cloudflare 发布了 Clairic AI 模型,声称其从文档中提取数据的速度和成本优于大语言模型。Clairic 可在 Workers AI 上预览使用,开放权重即将发布。用户指定所需字段后,Clairic 单次遍历即可返回格式正确的匹配值及置信度,而非逐token生成文本。该模型可处理简单计算、估算和预测,并设计为作为更大智能体链的一部分工作。

  3. The Decoder75

    美国陆军网络司令部开发ECHOTRIBBLE项目,将AI智能体转化为自主网络武器

    美国陆军网络司令部正在开发名为ECHOTRIBBLE的项目,旨在将AI智能体转化为能够自主在网络中传播并'中和'目标的自传播网络武器。该项目计划让AI智能体像计算机蠕虫一样在设备间传播,包括在无网络连接的'气隙'系统中工作,完成任务后可自我销毁。专家警告此类系统可能造成难以控制的附带损害,且当前AI系统缺乏足够判断力来确保安全操作。

  4. Hugging Face Blog65

    PyTorch 2.15 为 Mac 带来 MPS 性能大幅提升

    PyTorch 2.15 为 Apple Silicon Mac 带来多项性能提升:FP8 支持让模型占用内存减半,MoE 模型解码速度提升 5-6.5 倍,视频解码内存占用从 270GB 降至 8GB,线性层和 softmax 运算速度显著提高。

    推荐理由:FP8和Metal内核优化让Mac上的模型推理速度提升5-6.5倍,内存占用从270GB降至8GB,开源生态在端侧持续突破性能边界。

  5. IT之家65

    OpenAI 与 Meta 齐发声:深度伪造将严重威胁法律诉讼中的证据可靠性

    OpenAI 与 Meta 代表在美国司法会议上表示,AI 生成的深度伪造将严重威胁法律诉讼中的证据可靠性。OpenAI 政策顾问称未来将无法通过科学手段识别 AI 生成图像,Meta 产品管理总监表示人类已无法分辨真实媒体与前沿 AI 模型生成的媒体。调查显示,在 931 名美国法官中,只有 15 名遭遇过因深度伪造质疑证据可信度的情况。