localhost.cc

OpenTalking 是一个开源实时数字人对话编排框架,目标是构建 数字人对话产品 的核心链路:前端交互、会话状态、LLM 回复、TTS/音色选择、打断控制、字幕事件、WebRTC 音视频播放,以及本地或远端模型服务调用。

OpenTalking 专注 数字人产线编排,可以根据不同层级的需求,快速构建属于你的数字人:

  • 快速体验:mock / 无驱动模式,适合第一次打通 API、TTS、WebRTC 全链路,但缺少视频推理渲染。
  • 轻量单机部署:面向消费级 GPU 单机,提供快速接入 Wav2Lip/MuseTalk/QuickTalk 能力,具备视频渲染效果。
  • 高质量部署:通过 OmniRT 接入 FlashTalk 等高质量模型,面向多卡和分布式推理部署,提供更佳使用体验。

OpenTalking 提供 Web 服务界面,用于管理数字人对话链路:可以选择或新建数字人物,配置音色、LLM、TTS、STT 和数字人驱动模型,查看模型连接状态,并在同一页面完成实时对话、字幕和音视频播放验证。

传送门:

https://github.com/datascale-ai/opentalking