2022淘宝造物节3D直播虚拟营地技术亮点揭秘

2022年8月24日，淘宝造物节全新亮相！为了探索下一代互联网沉浸式购物体验，本次造物节除了在线下广交会展馆打造一个两万平⽶全景式的“未来营地”以外， 线上首次上线可万人同时在线的虚拟互动空间“3D疯狂城-造物节虚拟营地”。

在3D虚拟营地里，用户能够以轻量级的方式体验高清的游戏质感，并以虚拟人物形象加入到“3D人货场”的世界，与玩家互动，与3D商品互动，满足新一代消费群体爱玩、爱造的诉求，以创新的技术带来全新的消费体验。

下面我们一起看看3D直播虚拟营地的体验&技术亮点：

轻量级裸眼3D“实景游戏”

曾经你喜欢一款3D游戏，客户端下载好几个G，想玩新游戏时却不得不卸载，真是太占内存了！在造物节的虚拟营地，你快速加载出一款裸眼3D、可互动、可直播，甚至还能买买买的高清画面“游戏”，而且你的淘宝App“一点都没变大”，手机加载速度“嗖嗖的”~

▐  技术亮点：云端成本的挑战

传统的在移动端做3D游戏应用的开发，往往需要在端测集成几十上百 M 的游戏引擎，还需要下载几个G的素材资源，这在淘宝app 内目前是不现实的。采用云渲染的方式可以很好的解决这一问题，借助云端强大的GPU完成高清复杂的场景渲染，用户无需下载大型的资源文件，也不需要安装任何内容，唯一需要的就是播放实时渲染的媒体流。

但这里带来的最大的问题就是云渲染机器的成本问题。为了降低云渲染机器的成本， 我们除了在云渲染方面，做好模型减面、dp 合并、贴图优化、降低视频素材分辨率等性能优化策略。还在机器调度上， 结合业务场景做了分时段动态扩缩容策略，最大程度提高机器的利用率。

3D人与3D商品首次在3D虚拟世界相遇

曾经在“淘宝人生”里穿衣打扮的3D用户，第一次“走”出小家，来到了造物节的直播3D虚拟营地。在这里，你可以自由跳动、点燃篝火，还可以查看3D商品，观看卖家直播，与玩家互动交流。3D人、3D商品、3D环境结合在一起，给你沉浸式的奇妙营地探险体验。

▐  技术亮点：人货场的搭建与互动

人与人的交互 。淘宝人生里的3D人物，放置到3D虚拟世界里来，首先需要一定的资产转换和渲染成本。用户在营地里跑动，涉及到用户位置的实时同步。对于用户实时漫游，我们采用帧同步的技术，按照固定频率去更新用户位置信息， 理想情况下，用户是不会感觉到卡顿的， 但是不可避免网络拥塞引起帧间抖动，相邻两次位置同步的时间超过一定间隔，则会引起跳变。为了弥补这种不足， 我们在人物渲染的时候采用了运动补偿的算法，简单说就是通过算法模拟让用户位置移动过渡的更加平滑。同时在互动数据的同步方面，采用了AOI 网格算法， 解决多人同屏数据同步的问题。 这样，3D人物在虚拟世界里随意跑动都会比较流畅顺滑。

人与商品的交互。用户想要在虚拟场景下自由查看3D商品的细节并不容易，我们有两种方案可以选择：一种是移动端渲染，一种是云端渲染。移动端渲染在淘宝内也有相对成熟的解决方案，遗憾的是移动端的渲染引擎和云端渲染引擎并不是一套， 所以同一个商品模型并不能通用， 同时还要考虑模型动态下载， 减面优化等问题，为了避开这些劣势，我们还是选择了云端渲染的方案，通过动态切换相机视角，实时响应用户端的交互指令，以达到旋转、缩放观看3D商品的体验。 

1080P分辨率酷炫高清画质

曾经你在手机App里尝试页面小游戏，糊得如同马赛克，跑跑跳跳还掉帧。造物节全新3D虚拟营地，画质高清、效果流畅，舞台灯光还能动态追踪到身为“明星”的你~

▐  技术亮点：云端渲染的内容制作与实时传输

在云端，我们采用虚幻引擎做实时画面的渲染， 并且结合动态运镜、动态舞台灯光、人物多视角、粒子效果等技术让画面看起来更加酷炫，用户互动感更强。 为了把高清的画面传输到用户的手机上，我们需要综合考虑画质，卡顿，延时的平衡， 借助大淘宝和阿里云共建的GRTN传输网络，以及自研的编解码算法，可以最大程度保障画质的清晰。

交互式虚拟画面不卡顿

曾经你在淘宝主播直播间，倒数“3、2、1、开抢！”感受到了超低延迟秒杀的爽感。但屏幕外的你，却无法通过交互直接干预直播间主播的行动。在3D虚拟营地的你，一边跳舞一边打招呼，还可以点击商家的3D商品，观看喜欢的主播讲解，实实在在做到了“与商家、主播同框交流”。

▐  技术亮点：全链路超低延迟  

不同于互不干扰的画面传输，在交互式下实现超低延迟的流畅体验，我们需要在百毫秒内完成用户指令的上行、 实时画面的渲染、并将渲染好的画面返回到用户手机端。首先，这里面要综合考虑用户的机器、网络、接入点情况，来动态选择离用户最近的推流节点，从而调整云端的推流策略（包括清晰度，编码方式的选择）。其次，在传输过程中，还需采用实时带宽反馈、FEC 、动态buffer 等弱网控制策略来对抗网络的抖动， 从而使整个链路延时达到合理的位置，最终实现在虚拟世界的交互中，保障流畅的交互体验。

结语

此次造物节3D虚拟营地，是淘宝虚拟互动空间“3D疯狂城”系列的首次上线尝试。 下一步，我们将会结合云端实时渲染， XR/CG技术实现虚拟化场景定制， 支撑更大规模的用户实时互动，为消费者带来更沉浸式互动体验。