AI表演与虚拟主播的技术框架讨论

本次议题目标
1.需要明确两边的框架哪些是可以求同存异的点
2.后续的规划行动是什么?

请各位同学在会议前查阅两边的架构文档,针对本次议题的两个目标先做出初步的回答
PS:
1.虚拟主播文档如下:
【腾讯文档】虚拟主播架构设计文档

【腾讯文档】AI-MV概要设计文档

(其它虚拟主播文档汇总:腾讯文档

2.AI表演技术文档:https://wy75ubw5kb.feishu.cn/docx/NIoJdWPFeoCVbxxDL75cNS9en0e

一、需要明确两边的框架哪些是可以求同存异的点

相同点:
1、都是Unreal
2、都需要用到场景、角色、动作等资源能力
3、都有MV编排的需求
4、业务共通点,批注、资源推荐

不同点:
1、目标用户不同:
虚拟主播:
目标用户是抖音观众,
主要干系人是中之人、MV生产人员

AI表演:
目标用户是虚拟主播、未来实验室开发人员(提供SDK),内容生产人员(提供生产平台),资源生产人员(资源入库及验收工具)
主要干系人是开发人员、生产人员及资源生产人员

2、运行实时性
虚拟主播,实时
AI表演,实时+离线

3、定位不同
虚拟主播,TC产品
AI表演,平台及工具

4、素材多样化
虚拟主播,高品相虚拟形象
AI表演,除了高品相虚拟形象,也需要提供AIGC的角色形象生成和定制

5、使用素材是否是PAK
虚拟主播,PAK,cook过的资源
AI表演,asset,uncook过的资源

二、后续的规划行动是什么
1、资源层面统一
2、部分共通组件统一
3、尽快让AI表演的产出可以在虚拟主播上使用

以数据为中心,打通数据流,两个平台就又融合的基础。可以把数据流盘一下。从数据的角度先看看:
1.数据生产和入库逻辑
2.数据运行时加载驱动方式
这板块能够保持对齐,应用层的代码都比较好调整。
参考管线:
(upload://5IrhAlebfahXBl1HwGmG1KC8P9k.jpeg)

  1. AI表演和虚拟主播应用场景侧重有所不同,但底盘能力(资源、组件等)是共同的,也无本质上的大区别。
  2. 实时runtime和非实时/离线有一定区别,最后都可以转化成SQ脚本。实时所见即所得能力对于内容生产人员很有帮助,如果我们教育颗粒更强调游戏化互动,实时交互的框架会有优势。

虚拟主播和AI表演 从架构,低层技术能力模块划分上没有本质区别,虚拟主播做为业务场景出口,AI表演更多底盘,底层能力支撑,统筹整个AI表演的底层技术规划,明确各个子项目边界,范围,达成目标。