火山引擎上线豆包实时音视频通话模型1.0 API
IT时代网11月19日消息,火山引擎今日正式上线豆包实时音视频通话模型(SeedRealtime 1.0)API服务,实现“边看、边听、边说”的全模态实时交互。
该模型把声音、画面、时序与表达统一进同一个端到端模型,能在连续的多模态信息流上实时交互。相比依赖ASR、VLM、TTS等多个模块串联的传统语音级联方案,其延迟叠加和信息损耗明显降低,模型能在合适的时机主动开口,不再只是等待用户提问。
SeedRealtime 1.0原生支持声音、画面与时序信息的深度融合,既能结合场景消解同音词歧义,也能准确理解视觉中的时序指代。在多人聚餐场景中,它可结合视觉与语音区分在场人物并记住身份;在嘈杂的机场环境里,能过滤无关闲聊,调用此前看到的大屏航班信息作答,并指引旅客找到网约车上车点。
火山引擎介绍,相比级联模型,SeedRealtime 1.0的音视频对话节奏问题减少了一半,单次对话完整顺畅交流的概率也有明显提升,可适用于语音助手、智能硬件、陪伴式应用、实时客服等场景,帮助实时AI应用从“会对话”进一步走向“会协助”。

注:本文配图由AI生成,文中包含AI辅助创作的内容。
编辑:林一舟
THE END