跳到正文
HuggingFace Daily Papers· Peiran Wu, Fangfei Gou, Zhaoxi Mu, Changhao Zhang, Jian Liu, Weiqiang Wang, Yuntao Wang, Yuanchun Shi, Junxiao Shen·· 2 天前精选AI 评分65

SleuthVLM: 我们真的需要视频中的音频来实现全方位视频理解吗?

SleuthVLM: Do We Really Need Audio-in-Video for Omni Video Understanding?

AI 导读

SleuthVLM是一种基于VLM构建的智能体,不直接处理音频而是将语音转录为文本,在四个全方位视频理解基准测试上达到75.0%的平均准确率,比Gemini 3.8 Flash高出2.6个百分点,并在Video-MME-v2排行榜上以77.8%的成绩位居榜首。研究结果表明,视频理解的关键在于智能体能力而非模态对齐。

推荐理由

不直接处理音频而是转录为文本,27B模型在四个基准测试上超越Gemini 3.8 Flash,证明视频理解瓶颈在于智能体能力而非模态对齐。

来源:HuggingFace Daily Papers · arxiv.org