HuggingFace Daily Papers· Peiran Wu, Fangfei Gou, Zhaoxi Mu, Changhao Zhang, Jian Liu, Weiqiang Wang, Yuntao Wang, Yuanchun Shi, Junxiao Shen·· 2 天前精选AI 评分65
SleuthVLM: 我们真的需要视频中的音频来实现全方位视频理解吗?
SleuthVLM: Do We Really Need Audio-in-Video for Omni Video Understanding?
AI 导读
SleuthVLM是一种基于VLM构建的智能体,不直接处理音频而是将语音转录为文本,在四个全方位视频理解基准测试上达到75.0%的平均准确率,比Gemini 3.8 Flash高出2.6个百分点,并在Video-MME-v2排行榜上以77.8%的成绩位居榜首。研究结果表明,视频理解的关键在于智能体能力而非模态对齐。
推荐理由
不直接处理音频而是转录为文本,27B模型在四个基准测试上超越Gemini 3.8 Flash,证明视频理解瓶颈在于智能体能力而非模态对齐。
来源:HuggingFace Daily Papers · arxiv.org