跳到正文
雷锋网·· 11 小时前AI 评分65

严骏驰团队提出Transformer架构新扩展思路:JTok与xHC

Transformer 架构还能咋改?严骏驰团队提供两条思路 | CNCC 2026

AI 导读

上海交通大学人工智能学院教授严骏驰在CNCC 2026演讲中介绍两项研究:JTok通过为token引入可学习参数表调制模型更新,xHC扩展残差流以稠密读取、稀疏写回方式提高模型容量。两项工作均关注新增容量能否以较低额外计算代价带来持续训练收益,实验显示JTok可节省约35%训练算力,xHC可节省约33%训练算力。

来源:雷锋网 · leiphone.com