跳到正文
HuggingFace Daily Papers· Jialv Zou, Xiaotong Li, Zhengrong Yue, Xu Huang, Yaxin Luo, Wenhao Yan, Haodong Li, Wenyu Liu, Xinggang Wang·· 2 天前精选AI 评分65

离散视觉token能否作为视觉信号的语义无损表示?

Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?

AI 导读

研究表明离散视觉token在多模态理解中可达到与连续表示相当的性能,甚至超越现有模型。研究团队引入Factorized Vector Quantization方法,在工业级多模态数据上训练的模型在九项指标平均上超过UniAR和Emu3-Chat,成为首个可与Qwen3-VL等连续表示模型竞争的离散表示模型。

推荐理由

离散视觉token在多模态理解中超越连续表示,挑战了量化误差必然导致语义损失的假设。

来源:HuggingFace Daily Papers · arxiv.org