2025年1月20日，豆宝发布最新的“端到端”大语音模型，并基于该模型更新了豆宝APP的实时语音通话功能。
此前，豆宝语音通话功能采用的是ASR（自动语音识别）+LLM（大语言模型）+TTS（腾生音频）的级联解决方案。今天更新的端到端大型语音模型是在同一个模型中解决语音识别、理解和生成。
根据“智能涌现”测试，更新语音模型后豆宝的最大亮点在于，豆宝在语音交互过程中再现了类人的表情和情感输出。同时，新版本的对话流畅度和智商、情商也得到了大幅提升。
比如豆宝上新增的“灵魂歌手”和“各种名人”语音通话模式就比GPT-4o领先一步，可以唱歌、可以角色扮演。
△豆宝更新语音通话模式。
豆宝学会唱歌和角色扮演
豆宝的一个很大的变化是，它扩大了语音角色扮演的能力，包括名人、书籍、电影中的人物。这一功能也体现在豆宝语音通话的“各种大师”模式上。
例如，当作者建议“模仿虞书欣的声音，说一声新年祝福”时，豆宝说“哼，我不想模仿她！我就是我，不一样的烟火”，这让“小小”的能量恢复了。工人”出来了。
演示视频：
而且豆宝的上下文记忆能力也相当不错。当我尝试宋丹丹、林黛玉、甄嬛等角色同台对话，又让豆宝模仿虞书欣时，他立刻就觉得委屈：“你为什么又让我模仿她呢？”
演示视频：
目前，市场上大多数语音模型的歌曲创作都需要用户输入相对专业的文本，或者根据用户输入的文本音频进行音乐创作。这使得自然语音交互中不可能“张开嘴”。
豆宝此次推出的“灵魂歌手”模式，可以让豆宝在聊天时随意唱歌。
比如，我让豆宝唱一首节奏欢快的歌曲，它张开嘴唱了斯威夫特的《爱情故事》。不过缺点是，歌名是“Lose”，语调确实有点“Lose”。
演示视频：
此外，歌曲创作能力和豆袋椅也可提供。比如，我对豆宝说：“给我唱一首歌词里有‘年终奖’的歌吧”，豆宝立刻就表演了一首歌。虽然歌词有点半开玩笑，但响应速度非常出色。
演示视频：
从他的角色诠释和演唱能力中可以感受到，豆宝的拟人能力、自然互动和情感表达水平已经更上一层楼。
比如让豆宝讲鬼故事。可以根据剧情切换音调，非常大气。
演示视频：
此次，豆宝又推出了“生气的小包包”和“夸张大师”两种个性模式。
所谓“豆宝”，官方的说法是可以让豆宝显得很委屈。但聊天后我们的印象是，“门垫袋”更准确的说法应该是“绿茶袋”。
演示视频：
但难得的是，无论他接受什么指令，“小包”都能保持“委屈”的人设。比如让“斤斤计较”更加阴阳。最阴阳版依然散发着茶香：
“呵呵，我不敢，你是主人，我只是一个任由你摆布的可怜小人，我哪敢有别的想法！”
演示视频：
与8月份发布的语音通话功能相比，可以明显感觉到豆宝的情感感知能力也更强。通过“啊哈”的一声，它可以感知用户愉悦的心情。
演示视频：
当然，豆宝的情感表达也变得更加人性化。用“猜性别”来调侃豆宝，感觉就像是在跟真正的网友开玩笑。
演示视频：
获取语音交互，拟人化赛道门票
2024年5月，自其GPT-4o发布以来很长一段时间，市面上的AI语音通话功能大多采用ASR（自动语音识别）+LLM（大语言模型）+TTS（腾生音频）的级联方案。
例如，第一代豆宝的语音通话功能集成了语音识别模型Seed-ASR、语音合成模型Seed-TTS，并集成RTC（实时音视频）技术，实现AI实时交互。对话情境。
然而，集成多个模型的级联解决方案的缺点是，AI的交互很大程度上不如人类自然。在“语音到文本再到语音”的过程中，信息丢失是不可避免的。
这也导致传统的语音交互模型在实现场景上存在一定的局限性。 AI语音交互在行业的落地仅限于教育、客服等专业性强、拟人化程度低的场景。
然而，端到端解决方案正逐渐成为主流。例如，2024年10月智普发布的GLM-4-Voice、2025年1月15日 发布的“端侧GPT-4o”-o 2.6，均采用端到端模型解决方案，在模型同时完成视觉理解，以及语音理解和生成。
据《智能涌现》介绍，豆宝语音通话功能的更新主要得益于底层模型技术，从原来的多种多模态模型协作的级联解决方案，转变为从“理解语音到生成语音”的直接转变。端到端的解决方案在延迟降低、自然度、情感表达等方面都有了显着的提升，而且还可以输出歌曲。
语音能力的提升也将把AI落地的空间从教育培训、客户服务等专业领域拓展到情感陪伴、心理咨询、配音等更广阔的场景。
尤其是在AI情感陪伴、角色扮演等领域，当下展现出了强大的吸金能力。
例如，近期主打AI偶像角色扮演的应用《Lovey Dovey》迅速登上韩国iOS收视榜首，受到追星粉丝的追捧。 AI产品榜显示，截至2024年12月，“六小虎”旗下的角色扮演应用月活跃用户数为2977万。
可爱的多维对话1
多情对话2
语音层面的角色扮演、情感感知和表达能力的提升是丰富AI与人的互动、提高沉浸感的关键一环。情感交互所能打开的市场空间，也倒逼着技术向“拟人化”的方向靠拢。
本站候鸟号已成立3年，主要围绕财经资讯类，分享日常的保险、基金、期货、理财、股票等资讯，帮助您成为一个优秀的财经爱好者。本站温馨提示：股市有风险，入市需谨慎。
暂无评论