豆包音视频通话模型开放API:AI能边看边听边说,还会主动开口

火山引擎正式开放豆包实时音视频模型 SeedRealtime 1.0 的 API。该模型今年 8 月就已在豆包 App 上线,如今第三方开发者也能将这套实时视频通话能力接入自己的产品。

SeedRealtime 将摄像头画面、声音和时间顺序放进同一个端到端模型。AI 可以一边观察、一边听用户说话,同时判断该什么时候开口,减少传统语音识别、视觉理解、语音合成等多个模块串联带来的延迟和信息损失。

官方演示中,用户把整颗咖啡豆倒进咖啡机的萃取手柄,AI 不等提问就主动提醒先研磨。逛博物馆时,用户只需提前交代要找哪件文物,模型便能持续观察镜头,在目标出现时主动提醒。它还能分辨多人对话,在嘈杂环境中避免被旁人的闲聊误触发。

字节跳动今年 8 月公布的人工评测显示,相比多个模型串联的方案,SeedRealtime 的音视频对话节奏问题减少约一半,抢话、回应迟缓和背景噪声误触发等现象明显减少。

信源

动察 Beating 频道 · 动察 Beating 交流群。

问币润 AI:这条消息对行情有什么影响?
你怎么看这条消息?来投第一票

评论

0/500
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯