为破解全双工语音对话系统落地的行业痛点,Soul张璐团队旗下Soul AI Lab联合上海交通大学X-LANCE Lab、西北工业大学ASLP@NPU团队,正式开源全新流式状态预测模块SoulX-Duplug。该模块是适配全双工语音对话系统的即插即用轻量化工具,精准解决了传统语音交互延迟高、模块耦合严重、实时交互性差等核心问题,同时配套开源双语评测基准SoulX-Duplug-Eval,为行业标准化研究与技术迭代提供了优质开源方案,助力语音交互技术向自然化、低延迟化升级。

行业痛点:传统语音交互模式的发展局限

传统语音对话系统通常采用半双工(Half-Duplex)交互模式:系统在用户说话时只能“听”,而在系统回答时用户则无法打断。这种严格分离的听说流程,使得交互节奏显得机械,也限制了真实对话中常见的打断(interruption)、停顿(pause)、附和(backchannel)等行为。随着社交、数字娱乐等场景对人机交互自然度要求持续提升,半双工模式的短板日益凸显。

相比之下,全双工语音对话系统允许系统在生成回复的同时持续关注用户输入,从而支持更加自然的实时互动体验。虽已有端到端全双工语音模型落地,但这类模型将语言生成与交互控制深度耦合,存在训练难度大、数据需求量高、策略调控难、扩展性薄弱等问题。在此背景下,SoulX-Duplug以解耦化、轻量化、高精度的设计,为行业提供全新解决方案。

核心架构:一体化流式建模实现高效交互

SoulX-Duplug的核心优势是打破传统多模块级联架构,在单一模型框架内完成语音活动检测、流式语音识别、对话状态预测三大任务的统一建模,无需改动原有模型架构,即可让半双工系统快速具备全双工交互能力。

总体架构上,SoulX-Duplug采用GLM-4-Voice speech tokenizer12.5Hz的频率提取离散语音token,取160ms (2 token) 的处理窗口流式交替生成语音识别文本与对话状态token,兼顾语义理解与低延迟交互。同时模型创新性定义五类结构化对话状态token,精准覆盖静音噪声、有效语音输入、用户附和、语句完结、语义未完结等全场景对话状态,实现对人机交互动态的精细化刻画,让系统可实时感知用户语义与交互意图。

实测表现:性能全面优于传统方案

实验结果表明,基于SoulX-Duplug构建的系统在多个评测维度上取得了稳定且均衡的整体表现。该模块的轮次管理能力优于现有主流模型,交互延迟大幅降低。

在实际部署环境中,SoulX-Duplug平均延迟约为250ms,无限贴近240ms理论极值,远优于传统VAD方案的500ms与同类模块FlexDuo的343ms,实现了高精度、低延迟、高适配性的三重突破。同时开源的SoulX-Duplug-Eval双语基准,填补了行业标准化评测工具的部分空白。

结语

聚焦语音交互技术创新,Soul张璐团队依托SoulX-Duplug的开源落地,以解耦化、轻量化的技术思路破解全双工语音交互行业难题,不仅大幅降低了全双工语音系统的落地门槛,也推动行业摆脱模型耦合、高延迟的技术困境,助力自然、高效、拟人化的语音交互技术规模化应用。