AWS SageMaker AI多轮强化学习实践指南
AWS发布多轮强化学习(MTRL)教程,指导用户如何在SageMaker AI上训练AgentCore智能体,使其能够处理需要序列决策的任务。教程以Wordle游戏为例,展示了从环境部署、数据准备到模型训练和评估的完整流程,使用GPT-OSS-20B模型将解决率从61%提升到84%,训练成本约339美元。
推荐理由:多轮强化学习让模型从单次回答转向序列决策,AWS教程展示了如何用SageMaker训练AgentCore智能体。
自动盯住上百个信源,用模型摘要、打分、精选,把同一件事的多篇报道归到一起,每天早上出一份日报。聚焦机器人、AI 与财经投资。
AWS发布多轮强化学习(MTRL)教程,指导用户如何在SageMaker AI上训练AgentCore智能体,使其能够处理需要序列决策的任务。教程以Wordle游戏为例,展示了从环境部署、数据准备到模型训练和评估的完整流程,使用GPT-OSS-20B模型将解决率从61%提升到84%,训练成本约339美元。
推荐理由:多轮强化学习让模型从单次回答转向序列决策,AWS教程展示了如何用SageMaker训练AgentCore智能体。
AWS 发布 Amazon SageMaker 训练会话 API,允许开发者编写自定义训练循环,同时由服务管理 GPU 资源、分布式执行、故障恢复和检查点存储。
推荐理由:将训练抽象从算法层下沉到计算层,让开发者专注算法创新而无需管理GPU资源,这种服务模式可能重塑大模型定制化开发流程。
Hugging Face 发布 OlmoEarth v1.3 卫星嵌入模型,提供预计算的全球年度嵌入向量(10米分辨率,64和128维度),并推出基于浏览器的 OlmoEarth Embeddings Explorer 工具。该模型在27项评估中超越 AlphaEarth Foundations 和 Tessera v2,训练成本仅为前版本的53%,碳排放减少50%。
推荐理由:预计算全球卫星嵌入向量让遥感分析从GPU依赖变成轻量级任务,效率提升的同时降低了技术门槛。
IBM Research 发布 Granite Timeseries Ensemble,结合四种互补架构的时间序列模型,提供概率集合和四分位范围集合两种预测方法,无需重新训练即可获得中位数和分位数预测结果。该模型在 GIFT-Eval 数据集上表现优于单个成员模型,并支持扩展添加其他兼容预测器。
推荐理由:IBM 发布 Granite Timeseries Ensemble,将四种互补架构合并为一个预测接口,减少模型选择的不确定性。
NVIDIA 发布 Earth-2 开源 AI 模型家族,包括 StormScope EU 等区域模型,支持全球天气预测、区域预报和环境研究。AXA、Vaisala Xweather、曼彻斯特大学等机构已将其应用于气旋风险评估、空气质量建模和太阳能预测等领域。
推荐理由:开源气象模型家族让欧洲本地化预报成为可能,接下来看各行业如何结合专有数据创造新应用。
NVIDIA发布Kumo Relational,这是一种预训练的关系基础模型,可直接在企业数据库上进行预测,无需任务特定训练、特征工程或表格扁平化。该模型在41项任务中超越监督学习模型,在SAP SALT企业基准测试上比AutoGluon集成模型高出8%的平均倒数排名(MRR),可扩展至500B+行数据库的规模。
推荐理由:无需训练即可直接在企业数据库上进行预测,Kumo Relational在41项任务中超越监督学习模型,标志着结构化数据基础模型的新阶段。
Hugging Face 博客介绍了 VocabX 方法,通过按成本而非频率重构词汇表,在保持基础模型不变的情况下,将葡萄牙语作文评分系统的推理成本降低77%,同时提高了评分质量。该方法在多个领域和模型家族中都优于现有参考方法。
推荐理由:通过按成本而非频率重构词汇表,VocabX 在保持模型不变的情况下降低推理成本77%,为小模型领域专业化提供新思路。
NVIDIA 发布 Kumo Forecast(前称 NV-Tesseract Forecasting)多变量时序预测模型,结合预训练 Transformer 与领域感知表示检索(DARR),提供直接预测与历史模式检索两种路径,并包含可解释性框架。模型基于 MOMENT-1-large,约 3.4 亿参数,支持 256/512/1024/2048 观测长度输入,采用 Apache 2.0 许可证。
推荐理由:将预训练模型与历史模式检索结合,为时序预测提供可解释性,这是工业预测的新思路。
Mistral与NVIDIA合作,将Mistral Large 4等AI模型与NVIDIA加速计算和物理建模工具结合,开发工程领域AI工作流。双方将创建公共基准测试和开放数据集,用于评估物理模型和计算机辅助工程中的智能体AI,并整合NVIDIA Omniverse进行3D仿真和资产创建。
推荐理由:Mistral与NVIDIA合作将AI模型与加速计算结合,推动工程领域仿真与设计闭环,接下来看标准制定与行业落地。
NVIDIA 发布 Cosmos3-H-Dreams,首个基于临床胆囊切除术数据训练的实时生成式外科手术模拟器,可在单块 NVIDIA RTX PRO 6000 GPU 上运行。该模型基于 Cosmos3 架构,通过学习临床手术视频和机器人运动学数据,实现了对人体内部复杂解剖结构和组织运动的实时交互模拟。
推荐理由:首个基于临床手术数据训练的实时生成式外科模拟器,将手术训练从桌面场景推进到复杂人体内部环境。
Mistral AI 发布了 Timestral,首个时间序列基础模型家族,最大仅 209M 参数,在 GIFT-Eval、TIME 和 fev-bench 三大基准上排名第一。该模型支持多元预测和协变量,提供四种尺寸选择,可在 CPU 上高效运行,并支持零样本预测。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
NVIDIA加入欧洲委员会的AI科学促进计划,承诺提供250多个开放模型、1400多个开源软件项目、计算资源、培训课程和技术支持,以加速欧洲科学研究和创新。
推荐理由:原文详细描述了NVIDIA为欧洲科学界提供的技术支持计划,包括开放模型、计算资源和培训项目。
Google 发布地理空间推理智能体,连接地球 AI 基础模型和行星规模数据,支持多步推理和自主预测模型训练。该智能体已在疾病爆发调查、灾害准备和清洁能源筛选等领域与 WHO、GiveDirectly 等组织合作测试,将原本需要数周的分析工作缩短至几分钟。
推荐理由:原文提供了地理空间智能体的技术细节和实际应用案例,展示了其在解决全球性挑战中的价值。
Hugging Face发布HiRO-ACEv2系统,能以X-SHiELD约1/300的成本生成全球3公里气候数据,准确模拟极端降雨、风压事件,并已生成完整一年全球数据。
推荐理由:HiRO-ACEv2以低成本高精度模拟极端天气,为气候研究提供新工具。
Google Research推出地球AI的人口动态基础模型(PDFM),将隐私保护的搜索趋势、人类流动性和环境因素等信号整合为位置嵌入,可直接插入现有流行病学工作流,在多种疾病预测中表现优于传统数据源。
推荐理由:原文提供了地球AI模型在公共卫生领域的实际应用案例和数据验证结果。
Hugging Face 开源 AstaBrief 8B 模型,可将研究问题和检索到的文献摘要转化为带引用的报告。该模型在 Asta 平台的 Fast 模式中可用,报告生成速度比 Thinking 模式快约 3.5 倍,平均每份报告需 51.1 秒。模型和训练数据已开源,支持本地部署。
推荐理由:原文给出了开源模型的具体性能提升和应用场景,读者可据此评估其在科研报告生成中的实用价值。
Google Research 发布了新一代联邦学习系统,利用可信执行环境(TEEs)提供完全可验证和可审计的数据匿名化保证。该系统已在Gboard上部署,实现了更强的隐私保证和改进的准确性,同时显著加快了计算速度。
推荐理由:原文介绍了基于可信执行环境的联邦学习系统升级,提供了更强的隐私保证和可验证性。
ServiceNow CoreAI 发布 AutoSynthData,可将企业 Agent 的能力缺口转化为训练数据。该系统通过评估目标模型的失败和更强教师的成功来决定模型应学习的内容,然后生成和验证新任务。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
NVIDIA 发布 Kumo Tabular 开源基础模型,专为表格数据分类和回归任务设计,无需训练、调优和特征工程即可直接预测新行标签。
推荐理由:原文提供了开源模型的技术架构和性能数据,读者可据此评估其在表格预测任务中的实际应用价值。
NVIDIA与Google DeepMind等机构合作,通过AlphaFold2和BioNeMo优化技术,预测并开放了2800多种病毒蛋白复合物的3D结构,这些数据已通过AlphaFold数据库向全球研究人员开放。
推荐理由:原文提供了开放病毒蛋白结构数据集及其生成方法,为全球研究人员应对未来大流行病提供了关键工具。