跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

57 条精选近 30 天 52 条共收录 199 条

更新

精选归档 · 第 2 页

10月16日周五第 21–40 条
  1. 华尔街见闻85

    SpaceX与英伟达联合开发Star Mind太空服务器,2027年量产

    SpaceX与英伟达联合开发的Star Mind太空服务器采用Vera CPU与Rubin GPU组合架构,算力约为H100的25倍,将于2027年在德克萨斯州量产。该项目旨在将数据中心部署至近地轨道,利用太空环境解决能源与散热问题。

    推荐理由:原文给出了太空服务器架构细节和量产时间,读者可据此了解太空数据中心的发展进程。

  2. GitHub Blog73

    GitHub 推出环境智能界面:Copilot 与罗技 MX Keypad 整合

    GitHub 宣布将 Copilot 智能体功能与罗技 MX Keypad 硬件整合,开发者可通过物理快捷键触发参数化提示、启动 Copilot 会话或执行多步骤序列。这一整合旨在减少开发过程中的摩擦,保持专注,同时保留开发者对代码质量的最终决策权。

    推荐理由:GitHub Copilot 与罗技 MX Keypad 结合,将智能体从对话窗推进到物理控制,开发者可自定义快捷键触发工作流。

10月15日周四
  1. NVIDIA Blog83

    NVIDIA 发布 Nemotron 3.5 Super VL 和 Bolt 模型

    NVIDIA 发布了 1200 亿参数的开放模型 Nemotron 3.5 Super VL,以及两个边缘模型 Bolt 74B-A9B 24GB 和 Bolt E4B 4GB,覆盖从企业服务器到边缘设备的全范围智能体部署。Super VL 在多模态智能体任务上达到前沿准确度,同时速度比同类模型快 5 倍;Bolt 系列则针对本地硬件优化,平衡智能与速度。

    推荐理由:NVIDIA 推出覆盖从数据中心到边缘设备的全系列智能体模型,开放权重让企业能自主定制部署。

  2. NVIDIA Blog65

    NVIDIA加入欧洲AI科学促进计划,提供开放模型、计算资源和培训

    NVIDIA加入欧洲委员会的AI科学促进计划,承诺提供250多个开放模型、1400多个开源软件项目、计算资源、培训课程和技术支持,以加速欧洲科学研究和创新。

    推荐理由:原文详细描述了NVIDIA为欧洲科学界提供的技术支持计划,包括开放模型、计算资源和培训项目。

10月14日周三
  1. NVIDIA Blog70

    NVIDIA助力欧洲城市部署AI智能体优化城市运营

    NVIDIA加速计算技术被欧洲多城市用于构建物理AI智能体和数字孪生系统,支持城市决策、维护预测和公共服务优化。合作伙伴包括ABA Technology、Akila、Galene AI等公司,应用案例覆盖比利时、芬兰、法国、意大利等国家的城市,涉及交通管理、能源效率、公共安全等多个领域。

    推荐理由:原文展示了NVIDIA技术如何支持欧洲城市部署AI智能体,提供了具体应用案例和合作伙伴信息。

  2. GitHub Blog · AI & ML68

    GitHub 发布密钥检测模型:在更少噪音中发现更多密钥

    GitHub 发布了基于 ModernBERT 的密钥检测模型,采用两阶段管道(候选生成和上下文感知分类),相比之前的 LLM 管道,用户接受度提高 11.5%,推送后扫描执行时间减少 86%,服务成本降低 98%以上。该模型通过结合正则表达式的高召回率和 ModernBERT 的上下文理解能力,有效区分真实密钥和假阳性,提高了检测精度和效率。

    推荐理由:GitHub 发布了基于 ModernBERT 的密钥检测模型,通过两阶段管道显著提高了检测精度并降低了成本。

  3. AWS Machine Learning Blog70

    AWS在Amazon SageMaker AI上实现MoE模型的内核工程优化

    AWS详细介绍了在Amazon SageMaker AI上对Mixture-of-Experts (MoE)模型的内核优化技术,包括Swap-AB矩阵转置优化、FP8张量量化后端路由选择以及Triton JIT重新编译消除等方法,这些优化使MoE模型在H200上实现了高达10%的吞吐量提升和9%的首个token生成速度提升。

    推荐理由:原文详细介绍了AWS在SageMaker AI上对MoE模型的内核优化技术,提供了具体实现方法和性能提升数据。

10月13日周二
  1. 钛媒体85

    138场工业级翻车实录:企业Agent落地之道

    产业家基于138个工业级案例,分析了企业AI智能体从概念到落地的工程挑战,指出大模型仅是引擎,传统软件工程底座才是关键。文章提出了智能体架构设计的四大职能范式和五条工程生存法则,强调不存在通用架构,必须根据业务环境特性进行设计。

    推荐理由:原文基于138个工业案例,揭示了企业级AI智能体落地的工程挑战与架构设计范式。

  2. 钛媒体78

    谷歌调整Gemini策略:从可选模型到统一入口

    谷歌正在将Gemini从"一个可以挑的模型"改造成"一个不用挑的模型入口",面向个人收回选模型权力,面向企业提供智能体功能。旗舰Gemini 4 Argon仅向Fairwind计划的650多家成员开放,免费账号仅保留Auto一项,企业智能体则获得邮箱、跨系统连接和记忆功能。

    推荐理由:原文详细描述了谷歌Gemini的功能变化和策略调整,读者可以据此了解谷歌AI产品的发展方向。

  3. AWS Machine Learning Blog65

    AWS使用Ray LLM Deep Learning Containers实现多节点推理工作负载

    AWS展示了如何在Amazon EKS上使用多节点Ray LLM Deep Learning Containers部署一个大语言模型,通过分离prefill和decode阶段到两个GPU节点来提高推理性能。文章详细介绍了架构设计、部署步骤和配置方法,包括使用NIXL和EFA进行节点间KV缓存传输。

    推荐理由:原文提供了在AWS EKS上使用Ray LLM容器实现多节点推理的具体步骤和配置方法。

10月10日周六
  1. AWS Machine Learning Blog75

    Postman如何在Amazon Bedrock上为4000万开发者运行Agent模式

    Postman在Amazon Bedrock上运行Agent模式,为4000万开发者提供服务。文章介绍了控制工具扩散、基于模式的读取和上下文工程等架构模式,以及如何利用Amazon Bedrock的模型灵活性、跨区域推理、零数据保留和提示缓存等功能。

    推荐理由:原文详细介绍了Postman如何在Amazon Bedrock上运行Agent模式,提供了可扩展的架构模式和最佳实践。

10月9日周五
  1. Hugging Face Blog70

    AI2发布GPU集群高效调度系统

    AI2发布了新的GPU集群调度系统,采用GPU时间预算、分层公平共享分配和时间切片合约,解决了GPU资源分配中的"公地悲剧"问题。新系统使团队获得98%的分配GPU时间,集群占用率保持在98%,调试工作队列等待时间从2小时降至30秒,维修人工干预减少74%。

    推荐理由:原文提供了GPU集群调度系统的具体改进方案和实际效果,读者可借鉴其预算分配和公平共享机制。

  2. NVIDIA Blog80

    NVIDIA展示如何通过前沿AI智能体将想法转化为模拟应用

    NVIDIA展示了开发者如何结合前沿AI模型与Omniverse库构建模拟应用,包括仓库模拟、机器人控制、人形机器人模拟和自动驾驶测试等场景。开发者通过自然语言指令指导AI智能体,利用GPU加速的物理、渲染和传感器模拟功能,完成从设计到测试的全流程。

    推荐理由:原文展示了前沿AI模型如何与Omniverse结合,帮助开发者构建复杂模拟应用。

  3. AWS Machine Learning Blog65

    使用Amazon SageMaker HyperPod实现团队间GPU集群共享

    AWS发布了一种多租户架构方案,使多个团队能够在共享的Amazon SageMaker HyperPod集群上安全高效地工作,同时保持资源隔离和公平分配。该方案结合了AWS IAM Identity Center认证、Kubernetes命名空间隔离、HyperPod任务治理和命名空间级成本分配等功能。

    推荐理由:原文提供了多租户架构的完整实现方案,读者可以据此在自己的组织中构建共享GPU集群。

10月8日周四
  1. 钛媒体85

    Edge AI Daily 早报:AI行业多领域动态

    Edge AI Daily早报报道了AI行业多个领域的最新动态,包括Chrome启用JPEG XL解码、微软VS Code转向AI智能体管理、谷歌与Unity联合发布AI游戏创作平台。

    推荐理由:原文提供了AI行业多个领域的最新动态,包括产品发布、企业合作和市场趋势。

  2. NVIDIA Blog85

    NVIDIA与Microsoft联合推出RTX Spark和AI智能体功能

    NVIDIA与Microsoft在旧金山活动中宣布合作开发Windows PC上的AI智能体硬件和软件方案,推出RTX Spark笔记本电脑和紧凑型桌面,以及DGX Station for Windows企业级AI工作站。

    推荐理由:原文给出了硬件和软件协同方案,读者可以据此了解AI智能体在Windows PC上的本地化部署路径。

10月7日周三
  1. AWS Machine Learning Blog72

    Cornerstone OnDemand 如何使用 Amazon Bedrock 将数据库诊断时间减少 78%

    Cornerstone OnDemand 构建了名为 Orion AI 的多智能体系统,将数据库诊断时间从 45 分钟减少到 10 分钟,减少了 78%。该系统使用 Amazon Bedrock 和 Strands Agents 框架,通过领域特定的智能体实现了自动化数据库操作,减少了手动步骤并减少了冗余警报。

    推荐理由:原文详细介绍了企业如何构建多智能体系统解决数据库诊断问题,提供了可复用的设计原则和架构方案。

  2. 华尔街见闻85

    谷歌AI基建主管谈Agent重塑基建与未来算力形态

    谷歌AI基础设施负责人Amin Vahdat表示,长程Agent的崛起正在重塑数据中心设计,推高加速器、CPU与存储需求。谷歌今年首次将TPU拆分为训练与推理双产品线,并通过光路交换技术优化网络与容错。未来十年,AI算力将走向单机架多兆瓦的高度集成形态,甚至可能向轨道数据中心拓展。

    推荐理由:谷歌AI基建主管分享了Agent对数据中心设计的影响和未来算力形态的预判。