RubatoCodec: 基于事件预算的自适应语音分词与流式解码
RubatoCodec 是一种基于 X-Codec-2 的可变帧率语音编解码器,通过自适应分配机制实现语音事件级别的精确预算控制。实验表明,在低事件率下,自适应分配在重建保真度和可懂度上优于固定速率编码,且在英日多语言任务中保持竞争力。代码和权重已公开。
RubatoCodec 是一种基于 X-Codec-2 的可变帧率语音编解码器,通过自适应分配机制实现语音事件级别的精确预算控制。实验表明,在低事件率下,自适应分配在重建保真度和可懂度上优于固定速率编码,且在英日多语言任务中保持竞争力。代码和权重已公开。
Qwen-Audio-3.1-ASR 是基于 Qwen-Audio-3.0-ASR 的音频语言模型家族,支持 30 种语言和 16 种中文方言,新增说话人分段转录和通用音频理解能力。该模型提供异步文件转录、低延迟流式传输等部署变体,并在传统 ASR、多语言及方言语音等任务中通过评测验证性能。
StyleStream 2.0 将端到端延迟降至 520ms,较前代提升 2 倍速度,同时保持转换质量。该模型通过紧凑的风格嵌入和文本条件流匹配模型,支持基于文本的语音设计和指令式语音编辑。实验显示其在目标风格保真度上达到最优,同时保持可懂度和未编辑属性保真度竞争力。
SEAM 提出零音频初始化方法,通过频谱滤波和岭回归构建未见词元的嵌入向量,在三种语言和两种 TTS 架构中,仅需四分之一训练数据即可接近或匹配基线性能,降低样本复杂度 75%。
Heartbeat Thinking 通过周期性调用处理语音更新,允许正在进行的推理和工具调用完成,在 SpeechFCEval、FDBench v3 和 AudioCRAG 基准测试中提升工具覆盖率,FDBench v3 上工具覆盖率提高 16 个百分点,最终响应延迟降低 36.4%。
研究者推出 SPARC 语料库,包含 1.25 万名说话者、150 万条高质量语音转录文本,并标注性别、年龄和口音标签。评估显示 LLM 可仅通过文本区分同一说话者,且在性别和口音标签验证中表现优于随机水平。仅发布 50 词短文本可显著降低最强模型的识别能力。