腾讯混元发布实时语音模型,能说会唱还能调用工具

IT时代网11月13日消息,腾讯混元11月13日发布全新实时语音模型 Hy Realtime。模型在语音理解、指令遵循、拟人化表达等基础对话能力上有优异表现,同时新增 Agentic 工具调用与唱歌能力。

Hy Realtime 已在元宝语音通话、腾讯客服等产品上线,近期也将上线腾讯云,对外提供 API 服务。

面对口齿含糊、话说半截或中途改口纠正等不完整输入,模型可结合对话上下文还原意图,理解准确率显著提升;多轮指令遵循与上下文管理能力同步增强,在较长的连续对话中仍能稳定理解用户意图。模型还可根据对话上下文与用户意图判断是否执行联网搜索,统一搜索决策、调用工具与生成回答。

口语表达方面,模型在音质、发音、韵律、情感各维度上全面优于上一代模型,对话内情感的变化和递进更加自然。依托与腾讯音乐 TME 灵音 AI 团队的深度 Co-Design,Hy Realtime 新增唱歌能力,将自然语言点歌与富有表现力的歌声融入对话;用户可按歌手、专辑、曲风、语种、发行年份和热度组合点歌,也能承接前文继续选择。

训练环节,模型通过预训练与后训练的协同设计实现跨模态对齐,并围绕 CT、SFT、OPD 与 RL 四个阶段构建专项数据体系。其中 SFT 数据将高质量文本数据向语音任务的有效迁移保留率从 21% 提升至 69%;CT 预训练数据达到千万小时级规模,并配合 51 套纯文本集与 50+ 套语音评测集。语音生成模块采用低延迟方案,实现“边生成文本、边合成语音”,以降低首响延迟。

Hy Realtime 仍在不断迭代,下一步将重点在双工交互、长期个性化记忆、前后台 Agent 交互等方面提升。当前版本可通过最新版元宝 App 体验,在语音通话功能中选择“初语”音色。

注:本文中包含AI辅助创作的内容。

编辑:林一舟

THE END