AWS SageMaker AI多轮强化学习实践指南
AWS发布多轮强化学习(MTRL)教程,指导用户如何在SageMaker AI上训练AgentCore智能体,使其能够处理需要序列决策的任务。教程以Wordle游戏为例,展示了从环境部署、数据准备到模型训练和评估的完整流程,使用GPT-OSS-20B模型将解决率从61%提升到84%,训练成本约339美元。
推荐理由:多轮强化学习让模型从单次回答转向序列决策,AWS教程展示了如何用SageMaker训练AgentCore智能体。
AWS发布多轮强化学习(MTRL)教程,指导用户如何在SageMaker AI上训练AgentCore智能体,使其能够处理需要序列决策的任务。教程以Wordle游戏为例,展示了从环境部署、数据准备到模型训练和评估的完整流程,使用GPT-OSS-20B模型将解决率从61%提升到84%,训练成本约339美元。
推荐理由:多轮强化学习让模型从单次回答转向序列决策,AWS教程展示了如何用SageMaker训练AgentCore智能体。
Hugging Face 与宾夕法尼亚大学合作开发 LitPivot,通过文献分组和批判性建议帮助研究者调整研究思路。17名研究者的实验显示,使用 LitPivot 的提案在文献支撑性上优于基线工具,且参与者认为其想法新颖性和实用性更强。该系统将于 UIST 2026 发布。
AWS 发布 Amazon SageMaker 训练会话 API,允许开发者编写自定义训练循环,同时由服务管理 GPU 资源、分布式执行、故障恢复和检查点存储。
推荐理由:将训练抽象从算法层下沉到计算层,让开发者专注算法创新而无需管理GPU资源,这种服务模式可能重塑大模型定制化开发流程。
Hugging Face 发布 OlmoEarth v1.3 卫星嵌入模型,提供预计算的全球年度嵌入向量(10米分辨率,64和128维度),并推出基于浏览器的 OlmoEarth Embeddings Explorer 工具。该模型在27项评估中超越 AlphaEarth Foundations 和 Tessera v2,训练成本仅为前版本的53%,碳排放减少50%。
推荐理由:预计算全球卫星嵌入向量让遥感分析从GPU依赖变成轻量级任务,效率提升的同时降低了技术门槛。
IBM Research 发布 Granite Timeseries Ensemble,结合四种互补架构的时间序列模型,提供概率集合和四分位范围集合两种预测方法,无需重新训练即可获得中位数和分位数预测结果。该模型在 GIFT-Eval 数据集上表现优于单个成员模型,并支持扩展添加其他兼容预测器。
推荐理由:IBM 发布 Granite Timeseries Ensemble,将四种互补架构合并为一个预测接口,减少模型选择的不确定性。
NVIDIA 发布 Earth-2 开源 AI 模型家族,包括 StormScope EU 等区域模型,支持全球天气预测、区域预报和环境研究。AXA、Vaisala Xweather、曼彻斯特大学等机构已将其应用于气旋风险评估、空气质量建模和太阳能预测等领域。
推荐理由:开源气象模型家族让欧洲本地化预报成为可能,接下来看各行业如何结合专有数据创造新应用。
NVIDIA发布Kumo Relational,这是一种预训练的关系基础模型,可直接在企业数据库上进行预测,无需任务特定训练、特征工程或表格扁平化。该模型在41项任务中超越监督学习模型,在SAP SALT企业基准测试上比AutoGluon集成模型高出8%的平均倒数排名(MRR),可扩展至500B+行数据库的规模。
推荐理由:无需训练即可直接在企业数据库上进行预测,Kumo Relational在41项任务中超越监督学习模型,标志着结构化数据基础模型的新阶段。
Hugging Face 博客介绍了 VocabX 方法,通过按成本而非频率重构词汇表,在保持基础模型不变的情况下,将葡萄牙语作文评分系统的推理成本降低77%,同时提高了评分质量。该方法在多个领域和模型家族中都优于现有参考方法。
推荐理由:通过按成本而非频率重构词汇表,VocabX 在保持模型不变的情况下降低推理成本77%,为小模型领域专业化提供新思路。
Hugging Face 博客详解如何使用 TorchNeuron 对 AWS Trainium 推理性能进行系统级剖析,涵盖 torch.profiler 配置、Neuron Explorer 工具及 RMSNorm 操作的三种实现对比分析。
Hugging Face 博客详解如何使用 TorchNeuron 对 AWS Trainium 推理性能进行系统级剖析,涵盖 torch.profiler 配置、Neuron Explorer 工具及 RMSNorm 操作的三种实现对比分析。
OpenAI、PerturbAI 和 Scripps Research 通过分布式 AI agents 分析数百万脑细胞数据,发现潜在研究线索。该合作展示了 AI agents 在生物大数据中的新应用。
NVIDIA 发布 Kumo Forecast(前称 NV-Tesseract Forecasting)多变量时序预测模型,结合预训练 Transformer 与领域感知表示检索(DARR),提供直接预测与历史模式检索两种路径,并包含可解释性框架。模型基于 MOMENT-1-large,约 3.4 亿参数,支持 256/512/1024/2048 观测长度输入,采用 Apache 2.0 许可证。
推荐理由:将预训练模型与历史模式检索结合,为时序预测提供可解释性,这是工业预测的新思路。
Mistral与NVIDIA合作,将Mistral Large 4等AI模型与NVIDIA加速计算和物理建模工具结合,开发工程领域AI工作流。双方将创建公共基准测试和开放数据集,用于评估物理模型和计算机辅助工程中的智能体AI,并整合NVIDIA Omniverse进行3D仿真和资产创建。
推荐理由:Mistral与NVIDIA合作将AI模型与加速计算结合,推动工程领域仿真与设计闭环,接下来看标准制定与行业落地。
AWS团队展示了如何在Amazon SageMaker HyperPod上微调GPT-OSS-20B模型,使其能够按照指令在法语、德语、西班牙语和意大利语中进行推理。研究显示,监督微调(SFT)将推理语言正确率从22%提升到100%,而强化学习与组相对策略优化(GRPO)进一步将答案语言正确率从62%提升到70%。
NVIDIA 发布 Cosmos3-H-Dreams,首个基于临床胆囊切除术数据训练的实时生成式外科手术模拟器,可在单块 NVIDIA RTX PRO 6000 GPU 上运行。该模型基于 Cosmos3 架构,通过学习临床手术视频和机器人运动学数据,实现了对人体内部复杂解剖结构和组织运动的实时交互模拟。
推荐理由:首个基于临床手术数据训练的实时生成式外科模拟器,将手术训练从桌面场景推进到复杂人体内部环境。
Google DeepMind 发布 Antigravity 智能体开发平台,整合 ProtNLM 蛋白质语言模型,帮助生物学家快速发现和评估抗菌肽候选物,将原本分散的数据库搜索过程压缩到单一工作会话中。该平台已成功识别出一种针对呼吸道感染病原体的新型抗菌肽候选物,目前正在进行湿实验室验证。
Mistral AI 发布了 Timestral,首个时间序列基础模型家族,最大仅 209M 参数,在 GIFT-Eval、TIME 和 fev-bench 三大基准上排名第一。该模型支持多元预测和协变量,提供四种尺寸选择,可在 CPU 上高效运行,并支持零样本预测。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
NVIDIA加入欧洲委员会的AI科学促进计划,承诺提供250多个开放模型、1400多个开源软件项目、计算资源、培训课程和技术支持,以加速欧洲科学研究和创新。
推荐理由:原文详细描述了NVIDIA为欧洲科学界提供的技术支持计划,包括开放模型、计算资源和培训项目。
Google 发布地理空间推理智能体,连接地球 AI 基础模型和行星规模数据,支持多步推理和自主预测模型训练。该智能体已在疾病爆发调查、灾害准备和清洁能源筛选等领域与 WHO、GiveDirectly 等组织合作测试,将原本需要数周的分析工作缩短至几分钟。
推荐理由:原文提供了地理空间智能体的技术细节和实际应用案例,展示了其在解决全球性挑战中的价值。
Hugging Face发布HiRO-ACEv2系统,能以X-SHiELD约1/300的成本生成全球3公里气候数据,准确模拟极端降雨、风压事件,并已生成完整一年全球数据。
推荐理由:HiRO-ACEv2以低成本高精度模拟极端天气,为气候研究提供新工具。
Google Research推出地球AI的人口动态基础模型(PDFM),将隐私保护的搜索趋势、人类流动性和环境因素等信号整合为位置嵌入,可直接插入现有流行病学工作流,在多种疾病预测中表现优于传统数据源。
推荐理由:原文提供了地球AI模型在公共卫生领域的实际应用案例和数据验证结果。
Hugging Face 开源 AstaBrief 8B 模型,可将研究问题和检索到的文献摘要转化为带引用的报告。该模型在 Asta 平台的 Fast 模式中可用,报告生成速度比 Thinking 模式快约 3.5 倍,平均每份报告需 51.1 秒。模型和训练数据已开源,支持本地部署。
推荐理由:原文给出了开源模型的具体性能提升和应用场景,读者可据此评估其在科研报告生成中的实用价值。
Google Research 发布了新一代联邦学习系统,利用可信执行环境(TEEs)提供完全可验证和可审计的数据匿名化保证。该系统已在Gboard上部署,实现了更强的隐私保证和改进的准确性,同时显著加快了计算速度。
推荐理由:原文介绍了基于可信执行环境的联邦学习系统升级,提供了更强的隐私保证和可验证性。
ServiceNow CoreAI 发布 AutoSynthData,可将企业 Agent 的能力缺口转化为训练数据。该系统通过评估目标模型的失败和更强教师的成功来决定模型应学习的内容,然后生成和验证新任务。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
NVIDIA 发布 Kumo Tabular 开源基础模型,专为表格数据分类和回归任务设计,无需训练、调优和特征工程即可直接预测新行标签。
推荐理由:原文提供了开源模型的技术架构和性能数据,读者可据此评估其在表格预测任务中的实际应用价值。
NVIDIA与Google DeepMind等机构合作,通过AlphaFold2和BioNeMo优化技术,预测并开放了2800多种病毒蛋白复合物的3D结构,这些数据已通过AlphaFold数据库向全球研究人员开放。
推荐理由:原文提供了开放病毒蛋白结构数据集及其生成方法,为全球研究人员应对未来大流行病提供了关键工具。
Microsoft Research 在 Nature 期刊发表 RetroChimera 模型,该模型结合两种互补模型提高小分子合成预测质量,已在 GitHub 开源。
推荐理由:原文提供了模型架构和验证结果,读者可据此评估其在药物研发和材料设计中的应用潜力。
Google DeepMind推出AlphaGenome Atlas平台,包含人类基因组中90亿种单核苷酸变异的预测,并提供AVI评分系统帮助研究人员快速评估变异影响。该平台已用于罕见疾病研究和复杂性状关联分析,可通过网站门户、API和Google Antigravity访问。
推荐理由:原文提供了9亿种DNA变异预测和AVI评分系统,为基因组研究提供全面资源。
Google DeepMind 发布 WeatherNext 3,这是目前最先进和准确的全球天气AI模型,集成了实时卫星数据,每小时更新,分辨率更高,提供精确的降水预报和清洁能源变量。该模型已集成到Google搜索、Gemini、地图、Google Maps Platform和Cloud中,通过独立评估显示其预测精度显著提升,特别是在降水预报方面比前代模型提高60%。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Microsoft Research 发布了 GigaPath-Flash 和 GigaTIME-Flash 模型,通过知识蒸馏技术将原始模型的计算需求降低约 50 倍和 8 倍,同时保持或提升性能。这些开源模型支持对大规模癌症患者队列进行病理分析,帮助研究人员研究疾病生物学、生物标志物和临床结果。
推荐理由:本文介绍了病理学基础模型的效率提升方法,使大规模人群研究成为可能。
Microsoft Research 发布 Skala 1.1,训练数据量是前版本的 2.5 倍,在热化学、反应动力学和分子结构预测等关键分子模拟挑战中提供更高准确性。Skala 现已集成到 CP2K 中,并正在整合到 Psi4、FHI-aims、ORCA 和 VASP 等软件中,同时引入了持续更新的基准测试来跟踪计算性能。
加州大学伯克利分校研究团队提出ABBEL框架,通过自然语言信念状态替代完整交互历史,解决了长程任务中上下文压缩导致的性能下降问题。在CollabBench协作编码环境中,使用信念分级(ABBEL-rec-BG)将性能差距缩小约50%,同时训练步数减少50%。
推荐理由:原文提出了ABBEL框架,通过信念状态管理解决长上下文交互中的性能问题。
加州伯克利研究人员探讨了当AI推理成本趋近于零时,数据系统面临的三大挑战:为智能体设计的数据系统、由智能体组成的数据系统以及由智能体构建的数据系统。文章分析了智能体如何改变数据查询模式、需要新的记忆结构和协调机制,以及如何利用智能体合成定制数据系统,并展望了数据系统与智能体共同演化的未来。
推荐理由:当AI推理成本趋近于零,数据系统需重新设计以适应智能体主导的工作负载,这一转变将重塑数据架构与智能体协同方式。
加州大学伯克利分校研究团队提出了一种基于信息内容的成像系统评估与优化框架IDEAL,可直接从测量数据量化成像系统性能,无需重建算法。该框架在彩色摄影、射电天文、无透镜成像和显微镜四个领域验证了信息估计与下游任务性能的相关性,并能优化系统参数达到与端到端方法相当的效果。
推荐理由:原文提出了基于信息内容的成像系统评估与优化框架,可直接应用于多种成像领域。