跳到正文

#部署/工程科技财经热点 · 每日精选

251今日入库
1 条进入精选
44/47 信源在线· 3 异常
近 14 天入库走势
近 7 天分类构成
行业 1376财经 1144硬件本体 976AI 产品 742AI 模型 264其他 394
  1. AWS Machine Learning Blog75

    AWS SageMaker AI多轮强化学习实践指南

    AWS发布多轮强化学习(MTRL)教程,指导用户如何在SageMaker AI上训练AgentCore智能体,使其能够处理需要序列决策的任务。教程以Wordle游戏为例,展示了从环境部署、数据准备到模型训练和评估的完整流程,使用GPT-OSS-20B模型将解决率从61%提升到84%,训练成本约339美元。

    推荐理由:多轮强化学习让模型从单次回答转向序列决策,AWS教程展示了如何用SageMaker训练AgentCore智能体。

  1. AWS Machine Learning Blog75

    AWS 推出 SageMaker 训练会话 API,无需管理 GPU 即可编写自定义训练循环

    AWS 发布 Amazon SageMaker 训练会话 API,允许开发者编写自定义训练循环,同时由服务管理 GPU 资源、分布式执行、故障恢复和检查点存储。

    推荐理由:将训练抽象从算法层下沉到计算层,让开发者专注算法创新而无需管理GPU资源,这种服务模式可能重塑大模型定制化开发流程。

  2. AWS Machine Learning Blog73

    AWS博客:使用Amazon SageMaker AI上的Kokoro TTS实现AI语音代理的流式低延迟语音

    AWS发布教程,展示如何通过流式文本到语音(TTS)技术解决AI语音代理的响应延迟问题。文章介绍了在Amazon SageMaker AI上部署Kokoro-82M模型,实现句子级别的语音合成,将首次音频输出时间从329.3毫秒减少到156.7毫秒,提升52.4%。同时比较了不同传输方式的成本和性能,包括base64编码SSE和二进制JSON混合传输方案。

    推荐理由:通过流式合成解决AI语音助手响应延迟问题,将首次音频输出时间减少一半以上,展示了如何在SageMaker上实现低延迟语音流。

  3. AWS Machine Learning Blog65

    Rescale 如何使用 Strands Agents 和 AI-DLC 构建 AI 分类智能体

    Rescale 使用 AWS 的 AI-Driven Development Lifecycle (AI-DLC) 框架,在五天内构建了一个智能分类智能体,用于自动分类和路由夜间端到端测试失败。

    推荐理由:五天从概念到测试环境,AI-DLC方法论让智能体开发既快又稳,关键在于人机协作而非完全自动化。

  1. AWS Machine Learning Blog68

    AWS发布基于Strands Agents的自适应智能体智能框架

    AWS发布了基于Strands Agents的自适应智能体智能框架(AAIF),通过本地小模型处理常规任务,云端大模型处理复杂分析,降低API成本并减少延迟。该框架采用三层架构:智能调度层使用轻量级SLM作为决策层,本地处理层通过Ollama运行SLM处理常规任务,云处理层通过Amazon Bedrock处理复杂模式分析和战略建议。

    推荐理由:通过本地小模型与云端大模型协同,AAIF框架解决了AI智能体全依赖大模型导致的成本与延迟问题,展示了智能路由的实用价值。

  2. Hugging Face Blog81

    VocabX:通过词汇专业化降低小模型推理成本77%

    Hugging Face 博客介绍了 VocabX 方法,通过按成本而非频率重构词汇表,在保持基础模型不变的情况下,将葡萄牙语作文评分系统的推理成本降低77%,同时提高了评分质量。该方法在多个领域和模型家族中都优于现有参考方法。

    推荐理由:通过按成本而非频率重构词汇表,VocabX 在保持模型不变的情况下降低推理成本77%,为小模型领域专业化提供新思路。

  1. NVIDIA Blog65

    NVIDIA cuDSS 正式发布,加速工程与科学仿真

    NVIDIA cuDSS 今日正式发布,这是一款 CUDA-X 库,可将工程和科学仿真中的关键部分转移到 GPU 上执行。cuDSS 加速大型稀疏系统求解,使应用程序减少结果时间并提高仿真吞吐量,使用户能够以更低成本探索更大、更真实的模型。Applied Materials、COMSOL、Cadence 等行业领导者已将 cuDSS 集成到其工具中,实现最高 10 倍的加速。

    推荐理由:cuDSS 将稀疏系统求解加速10倍,让工程仿真从工作站扩展到计算集群,降低设计验证成本。

  2. NVIDIA Blog70

    NVIDIA发布Vera CPU助力欧洲构建本地基础设施

    NVIDIA推出Vera CPU,被Nebius、Nscale等云服务商采用,用于构建支持智能体计算的新一代基础设施。Vera CPU专为智能体工作负载设计,能在处理数千个任务时保持高速响应,支持AI代理执行代码、运行工具和测试结果。服务器制造商Bull、Dell、HPE等已基于Vera构建系统,数据公司ClickHouse、Elastic等测试显示其在分析、ETL和语义搜索工作负载上表现优异。

    推荐理由:Vera CPU专为智能体计算设计,在千级并发下保持响应速度,正在重构数据中心与AI基础设施的底层架构。

  3. NVIDIA Blog73

    NVIDIA 推出欧洲云合作伙伴计划,构建主权、开放、安全的 AI 智能体基础设施

    NVIDIA 宣布扩大欧洲云合作伙伴网络,提供区域化计算能力、开放模型和安全智能体架构。合作伙伴包括 Nscale、Crusoe、Nebius 等公司,将部署 NVIDIA DSX AI Factory 平台和 Vera Rubin 基础设施,支持模型训练、推理和智能体应用开发。NVIDIA 还推出 OpenShell 参考架构,为智能体部署提供安全边界控制。

    推荐理由:欧洲云厂商联手构建主权AI基础设施,开放模型与安全边界并行推进,区域化算力布局成新焦点。

  4. TechCrunch · AI76

    谷歌推出TorchTPU,加入亚马逊阵营挑战NVIDIA在AI开发者中的主导地位

    谷歌宣布开源TorchTPU,这是其长期期待的PyTorch版本,允许AI应用在谷歌TPU芯片上运行。亚马逊此前也发布了TorchNeuron,使AI应用可移植到其Trainium芯片和AWS。

    推荐理由:谷歌开源TorchTPU,与亚马逊联手打破NVIDIA在AI开发者中的垄断地位,这场芯片战争的关键在于生态迁移的便利性。

  5. AWS Machine Learning Blog65

    Octave如何在Amazon Bedrock上构建安全的多租户AI基础架构

    Octave Reliance在AWS上构建了一个安全的多租户AI基础架构,解决了医疗设备、制药和食品制造等监管行业中的数据隔离与语义搜索需求。该架构包含数据准备、安全执行和内容保护三层,使用Cohere Embed v4模型和Amazon Bedrock AgentCore,实现了2亿文档的嵌入处理和投诉分类助手功能,将每个用例的部署时间减少了50%。

    推荐理由:在医疗设备等强监管领域,Octave通过构建三层AI基础架构,实现了多租户数据隔离与高效语义搜索,为SaaS平台AI落地提供了可复用的安全模式。

  1. Hugging Face Blog75

    Hugging Face 发布 TorchTPU:PyTorch 原生支持 TPU

    Hugging Face 发布 TorchTPU,为 PyTorch 添加原生 TPU 后端,使开发者可以直接在 TPU 上运行 Transformers、Diffusers 和 Kernels 库。

    推荐理由:TorchTPU 让 PyTorch 原生支持 TPU,开发者无需学习 JAX 或使用 torch_xla,只需一行代码即可将模型迁移到 TPU。

  2. AWS Machine Learning Blog70

    Eon 如何在 Amazon Bedrock AgentCore 上构建多云调查功能

    Eon 使用 Amazon Bedrock AgentCore 构建了单一认证网关,替代了多工具凭证和本地 Model Context Protocol (MCP) 进程。该架构实现了基于 Cedar 的身份分离、跨账户连接,以及超过100名开发人员和自主代理在三个云上的统一工具访问。新工程师现在可以在约两分钟内访问其角色允许的所有工具,而之前需要两天时间配置凭证和本地 MCP 服务器。

    推荐理由:用单一网关替代多工具凭证和本地MCP进程,将工程师入职时间从两天缩短到两分钟。

  3. Hugging Face Blog75

    Hugging Face 发布 AnyLanguageModel 1.0:支持苹果平台本地模型

    Hugging Face 发布 AnyLanguageModel 1.0,这是一个苹果 Foundation Models 框架的替代方案,允许开发者选择应用使用的模型和提供商。该版本支持本地模型(llama.cpp、MLX、Core ML)和云端模型(OpenAI、Anthropic、Google Gemini等),提供工具调用、引导生成、图像支持等功能,并加速模型下载。

    推荐理由:统一API让本地与云端模型无缝切换,开发者无需重构代码即可灵活部署,这可能是跨平台AI应用落地的关键一步。

  4. Hugging Face Blog65

    PyTorch 2.15 为 Mac 带来 MPS 性能大幅提升

    PyTorch 2.15 为 Apple Silicon Mac 带来多项性能提升:FP8 支持让模型占用内存减半,MoE 模型解码速度提升 5-6.5 倍,视频解码内存占用从 270GB 降至 8GB,线性层和 softmax 运算速度显著提高。

    推荐理由:FP8和Metal内核优化让Mac上的模型推理速度提升5-6.5倍,内存占用从270GB降至8GB,开源生态在端侧持续突破性能边界。

  5. 华尔街见闻83

    DeepSeek全面开源推理框架DeepInfer

    DeepSeek宣布全面开源内部推理框架DeepInfer及Token编解码组件deepseek-recipe,支持英伟达与华为昇腾平台,单集群日吞吐达155万亿Token,每卡每小时收入38美元。

    推荐理由:开源推理框架让企业能自主优化AI服务成本,但KVCache与负载均衡组件仍保留在内部,开源与商业边界值得关注。

  6. AWS Machine Learning Blog75

    AWS 在 Amazon Bedrock 上支持 Anthropic Claude 模型的结构化输出

    AWS 宣布 Amazon Bedrock 现已支持所有 Anthropic Claude 模型的结构化输出功能,用户可通过 bedrock-runtime 和 bedrock-mantle 端点获取符合 JSON schema 的响应,无需自定义解析或重试逻辑。该功能通过约束解码确保输出符合预定义结构,适用于数据提取、报告生成、API 响应和智能工单路由等场景,并支持批量推理和跨区域推理。

    推荐理由:结构化输出将 Claude 响应从概率性转为确定性,减少解析成本的同时提升生产环境可靠性。

  7. Hugging Face Blog75

    Hugging Face发布TorchNeuron,简化在AWS Trainium上运行模型

    Hugging Face发布TorchNeuron,为PyTorch提供AWS Trainium的新原生后端。从2026年10月20日起,研究人员和开发者可通过pip install torch-neuronx安装使用。TorchNeuron使Transformers、Diffusers等库直接支持Trainium,文本生成模型支持率从Optimum Neuron的46%提升至89%。

    推荐理由:TorchNeuron让AWS Trainium支持PyTorch原生接口,模型支持率从46%提升至89%,降低了AI芯片的使用门槛。

  8. GitHub Blog · AI & ML70

    GitHub Copilot 应用会话如何在 VS Code 中继续

    GitHub 发布教程,介绍如何将 Copilot 应用中的会话直接在 VS Code 中打开,保持对话、代码更改和工作上下文不变。用户可以在 VS Code 中审查代理的更改、继续对话、手动修改代码、本地测试并推送更新到关联的拉取请求。

    推荐理由:打通 Copilot 应用与 VS Code 的会话流转,让 AI 辅助开发与人工调试无缝衔接。

  9. AWS Machine Learning Blog70

    AWS 推出基于推送的KV传输技术提升vLLM推理性能

    AWS 机器学习博客介绍了基于推送的KV传输技术,用于改进vLLM中解耦推理的TTFT和TPOT。在Amazon EC2 P5en实例上测试,推送模式相比拉取模式实现了最高3倍的TTFT提升和30%的TPOT改善。该技术通过将传输协调工作移至预填充端的后台线程,避免了关键路径上的延迟。

    推荐理由:将KV传输从拉取模式改为推送模式,使解码端准备与预填充计算重叠,显著降低了高请求率下的TTFT和TPOT。