关于技术规划的实现思路点评

上周在讨论项目优先级时,有同学提出技术规划对于我们来说更重要,伟胜帮忙输出了一版技术规划的实现思路,请针对该文档做对应反馈(可点评可提建议),希望以此作为后续工程院技术规划的基础
文档链接:

1、动作、表情相关的工具需要进来
2、推荐系统需要细化
3、AI相关的能力如何带入

提几个问题:
1、这个架构的目的是要做中台吗?
2、服务器是否不使用UE的Dedicated Server?
3、文中提到要快速使用Daz以及iClone的资产,但是看不到架构如何达成这个目标,是否可以解说?

1.这个文档要落实为统一代码实现还是框架引导?如果是后者,可以做为能力树进行汇总,体现相关团队的分工和能力分布。如果是前者,需要讨论与当前ND的UE游戏框架的对齐。
2.可以找一两个发布的或者研发中竞品进行参照,协助对文档中的模块具象化解示

是后者的框架引导,使用游戏的思路来开发应用

暂时只是一个框架引导,服务器这块可以自由选择。外部资源的引用还在实践中,后期会产出最佳实践。

1、客户端中间层部分的模块依赖服务器与工具两大模块,但是服务器中没有对应的背包、任务等模块,是否都属于业务服务器部分?音视频模块可纳入基础服务部分。对服务端的模块划分建议再具体罗列。
2、工具能力上是否同时服务于服务器和客户端?

有几个疑问,
1.这个表演是实时表演还是预编排的表演,业务边界是什么?背包系统是支撑什么业务的?
2.客户端调用业务服务器?是类似于多人实时在线游戏的方式吗?
3.资源管理模块不应该是属于工具类型?应该是辅助资源生产及资源标注的效率工具?放在架构中的服务器位置比较奇怪
4.业务服务器里面的模块看起来像是公共基础模块,不像是与业务相关的能力

业务框架来说,文档中宏观的描述了各个模块,及配合方式,是一套成熟的技术架构。
提几个建议:
1、从框架的建设来说,各个模块、组件需要有相应的人来负责。
2、从业务角度来说,我们需要有更稳定的业务需求,明确核心的模块;
如以AI表演、虚拟主播 等项目为需求方,来拆解其项目核心竞争力或核心技术或者说重点模块。
比如AI相关的算法和能力,无疑是重点,如抖音直播中付费道具,魔法道具,特效表现,我们能否快速迁移到虚拟主播上实现(假设这个需求是需要的);
AI表演如何赋能产品?比如依赖的核心技术,如文生视频,如何落地,从业务角度如何构造3D虚拟数字人,可以服务于明星和公众人物,构建数字分身、文生视频,是否可以用于3D AI版的(剪映)等等需要更多的业务情景;

这份内容比较完整;我从整体提几个建议:
1、这份只考虑客户端是PC的结构,是否有考虑移动端的情况。
2、客户端分为业务 、中间、基础;这个比较抽象更像是软件,如果是游戏或大型客户端,一般是最上层是应用层(各个App应用,而不是用业务层),下面是表现 (渲染、音视频、脚本、交互)、业务(逻辑、用户界面【HUD、菜单、对话系统、聊天】、控制系统、数据管理【玩家数据、游戏状态存档】)、中间(网络通信、资源管理、物理引擎、AI与行为树、动画系统【骨骼动画、动画混合】)、基础(硬件抽象、系统服务【内存、文件、多线程等】)
3、补充一些没有提到内容:比如TTS的能力、飞行(如果算在技能)、寻路、成就系统、脚本引擎(lua?);
4、如果要写未来实验,需要考虑未来实验的特色内容化学引擎、数学公式;
5、需要一起定出一些UE5的标准;比如小到UE的版本号、角色骨骼标准、材质球规范;大到移动端考虑,资源是两份标准,还是一份资源,由程序进行控制与处理。
6、以及一些新技术的应用,比如motion Matching;PCG生成场景,是否全部启用Nanite等,

框架涉及到面比较多,目标是什么,有哪些需要优先解决?
1、新的技术如何带入框架,比如MotionMatching, 多智能体AI等?
2、项目上线后版本稳定是个重要问题,自动化构建、集成、测试、部署等基础能力如何共用?

  1. 整体的业务框架比较完整和标准,我们是否可以进一步考虑将此框架作为ND教育游戏化的标准框架来设计,使其具备更强的复用性、更具有标准化?(我个人认为从目前未来实验、AI表演、虚拟主播的多个项目尝试,可以沉淀并输出统一的教育游戏化框架。
  2. 鉴于目前的业务诉求,还有一些技术领域建议重点考虑并输出设计,比如跨平台应用(主要为移动端、PC端、VR端)、资源多版本管理(平台、引擎、渲染管线、LOD等)。
  3. 目前的框架还属于粗颗粒度设计,建议针对关键层级展开细化,比如纵向三层之间的关系和数据流、针对客户端(特别是中间层)的模块依赖关系和模块设计;工具层的业务流和数据流。
  1. 业务需求与技术实现如何更好匹配,以避免技术不足或过度设计。
  2. AI辅助存在天花板,确定人工参与的能力上界,包括人工编辑、决策支持等,以优化人机协作的效率和效果。

整体业务方案描述相对比较完整
建议:
1、随着业务模块增加,建议考虑模块间交互如何解耦;
2、基础模块应该还要包括一些即时通信、音频等能力;
3、建议多一些落地的产品,这样可以增加具体的场景用例;

两点反馈(可能和其他同学的反馈有重复)

  1. 希望考虑清楚未来实验室和这个框架的统一
  2. 希望能够强化AI在整个框架中的作用以及应用这个框架有什么前置条件需要满足

音视,频模块已经加入,归并在基础能力中的多媒体
工具能力上按业务需求,是同时服务于客户端与服务器的

1.这个表演是实时表演还是预编排的表演,业务边界是什么?背包系统是支撑什么业务的?
==》这里的表演主要是实时表演,背包系统如虚拟主播中不同主播拥有的道具不同在背包中也展示不同。
2.客户端调用业务服务器?是类似于多人实时在线游戏的方式吗?
===》更多的是表示UDP/TCP进行通信,根据业务不同使用不同的通信方案,实时 在线游戏也希望后期支持,在虚拟主播中服务于“跨域同屏直播”
3.资源管理模块不应该是属于工具类型?应该是辅助资源生产及资源标注的效率工具?放在架构中的服务器位置比较奇怪
==》这里的资源管理核心不是客户端的资源管理,而是服务端对如3D素材可复用的资源管理 。
4.业务服务器里面的模块看起来像是公共基础模块,不像是与业务相关的能力
===》偏业务侧,强调的是与业务相关,以服务的方式 向外提供能力,未来有必要可以下沉

业务框架来说,文档中宏观的描述了各个模块,及配合方式,是一套成熟的技术架构。
提几个建议:
1、从框架的建设来说,各个模块、组件需要有相应的人来负责。
===》非常认同,需要形合力,让工程院变的更强大
2、从业务角度来说,我们需要有更稳定的业务需求,明确核心的模块;
如以AI表演、虚拟主播 等项目为需求方,来拆解其项目核心竞争力或核心技术或者说重点模块。
比如AI相关的算法和能力,无疑是重点,如抖音直播中付费道具,魔法道具,特效表现,我们能否快速迁移到虚拟主播上实现(假设这个需求是需要的);
AI表演如何赋能产品?比如依赖的核心技术,如文生视频,如何落地,从业务角度如何构造3D虚拟数字人,可以服务于明星和公众人物,构建数字分身、文生视频,是否可以用于3D AI版的(剪映)等等需要更多的业务情景;
===》构建能力到资源的复用,这应该也是统一框架的原因。