唐杰团队研究揭示GLM-Omni多模态模型知识断层

清华大学与智谱AI联合研究发布GLM-Omni模型，发现其在图像生成正确率54%的情况下，文字问答正确率仅14.57%。研究通过MagicWorld虚构世界实验，证实模型能从图像中学习知识但难以直接用于语言回答，提出图文交错训练和Visual CoT方法可提升跨模态知识调用能力。