HuggingFace Daily Papers· Hongcan Guo, Yian Zhao, Feng Wang, Shen Nie, Guoqiang Wei, Yan Zeng, Hengshuang Zhao·2026-10-22 04:00· 4 天前AI 评分35

Cola2: 协同自适应分层语言建模框架

Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation

AI 导读

Cola2 通过动态文本分段和语义压缩，结合重建与生成监督，实现连续-离散协同自适应。该模型在 3460 亿源 tokens 训练下，8 项任务平均分达 60.10，超越 Llama-3-8B 在 HellaSwag 和 StoryCloze 的表现。