2022年8月24日，淘寶造物節全新亮相！為了探索下一代互聯網沉浸式購物體驗，本次造物節除了在線下廣交會展館打造一個兩萬平⽶全景式的“未來營地”以外，線上首次上線可萬人同時在線的虛擬互動空間“3D瘋狂城-造物節虛擬營地”。在3D虛擬營地裏，用户能夠以輕量級的方式體驗高清的遊戲質感，並以虛擬人物形象加入到“3D人貨場”的世界，與玩家互動，與3D商品互動，滿足新一代消費羣體愛玩、愛造的訴求，以創新的技術帶來全新的消費體驗。
下面我們一起看看3D直播虛擬營地的體驗&技術亮點：
輕量級裸眼3D“實景遊戲”
曾經你喜歡一款3D遊戲，客户端下載好幾個G，想玩新遊戲時卻不得不卸載，真是太佔內存了！在造物節的虛擬營地，你快速加載出一款裸眼3D、可互動、可直播，甚至還能買買買的高清畫面“遊戲”，而且你的淘寶App“一點都沒變大”，手機加載速度“嗖嗖的”~
技術亮點：雲端成本的挑戰
傳統的在移動端做3D遊戲應用的開發，往往需要在端測集成幾十上百 M 的遊戲引擎，還需要下載幾個G的素材資源，這在淘寶app 內目前是不現實的。採用雲渲染的方式可以很好的解決這一問題，藉助雲端強大的GPU完成高清複雜的場景渲染，用户無需下載大型的資源文件，也不需要安裝任何內容，唯一需要的就是播放實時渲染的媒體流。
但這裏帶來的最大的問題就是雲渲染機器的成本問題。為了降低雲渲染機器的成本， 我們除了在雲渲染方面，做好模型減面、dp 合併、貼圖優化、降低視頻素材分辨率等性能優化策略。還在機器調度上， 結合業務場景做了分時段動態擴縮容策略，最大程度提高機器的利用率。
3D人與3D商品首次在3D虛擬世界相遇
曾經在“淘寶人生”裏穿衣打扮的3D用户，第一次“走”出小家，來到了造物節的直播3D虛擬營地。在這裏，你可以自由跳動、點燃篝火，還可以查看3D商品，觀看賣家直播，與玩家互動交流。3D人、3D商品、3D環境結合在一起，給你沉浸式的奇妙營地探險體驗。
技術亮點：人貨場的搭建與互動
人與人的交互。淘寶人生裏的3D人物，放置到3D虛擬世界裏來，首先需要一定的資產轉換和渲染成本。用户在營地裏跑動，涉及到用户位置的實時同步。對於用户實時漫遊，我們採用幀同步的技術，按照固定頻率去更新用户位置信息， 理想情況下，用户是不會感覺到卡頓的， 但是不可避免網絡擁塞引起幀間抖動，相鄰兩次位置同步的時間超過一定間隔，則會引起跳變。為了彌補這種不足， 我們在人物渲染的時候採用了運動補償的算法，簡單説就是通過算法模擬讓用户位置移動過渡的更加平滑。同時在互動數據的同步方面，採用了AOI 網格算法， 解決多人同屏數據同步的問題。 這樣，3D人物在虛擬世界裏隨意跑動都會比較流暢順滑。
人與商品的交互。用户想要在虛擬場景下自由查看3D商品的細節並不容易，我們有兩種方案可以選擇：一種是移動端渲染，一種是雲端渲染。移動端渲染在淘寶內也有相對成熟的解決方案，遺憾的是移動端的渲染引擎和雲端渲染引擎並不是一套， 所以同一個商品模型並不能通用， 同時還要考慮模型動態下載， 減面優化等問題，為了避開這些劣勢，我們還是選擇了雲端渲染的方案，通過動態切換相機視角，實時響應用户端的交互指令，以達到旋轉、縮放觀看3D商品的體驗。
1080P分辨率酷炫高清畫質
曾經你在手機App裏嘗試頁面小遊戲，糊得如同馬賽克，跑跑跳跳還掉幀。造物節全新3D虛擬營地，畫質高清、效果流暢，舞台燈光還能動態追蹤到身為“明星”的你~
技術亮點：雲端渲染的內容製作與實時傳輸
在雲端，我們採用虛幻引擎做實時畫面的渲染， 並且結合動態運鏡、動態舞台燈光、人物多視角、粒子效果等技術讓畫面看起來更加酷炫，用户互動感更強。 為了把高清的畫面傳輸到用户的手機上，我們需要綜合考慮畫質，卡頓，延時的平衡， 藉助大淘寶和阿里雲共建的GRTN傳輸網絡，以及自研的編解碼算法，可以最大程度保障畫質的清晰。
交互式虛擬畫面不卡頓
曾經你在淘寶主播直播間，倒數“3、2、1、開搶！”感受到了超低延遲秒殺的爽感。但屏幕外的你，卻無法通過交互直接干預直播間主播的行動。在3D虛擬營地的你，一邊跳舞一邊打招呼，還可以點擊商家的3D商品，觀看喜歡的主播講解，實實在在做到了“與商家、主播同框交流”。
技術亮點：全鏈路超低延遲
不同於互不干擾的畫面傳輸，在交互式下實現超低延遲的流暢體驗，我們需要在百毫秒內完成用户指令的上行、 實時畫面的渲染、並將渲染好的畫面返回到用户手機端。首先，這裏面要綜合考慮用户的機器、網絡、接入點情況，來動態選擇離用户最近的推流節點，從而調整雲端的推流策略（包括清晰度，編碼方式的選擇）。其次，在傳輸過程中，還需採用實時帶寬反饋、FEC 、動態buffer 等弱網控制策略來對抗網絡的抖動， 從而使整個鏈路延時達到合理的位置，最終實現在虛擬世界的交互中，保障流暢的交互體驗。
結語
此次造物節3D虛擬營地，是淘寶虛擬互動空間“3D瘋狂城”系列的首次上線嘗試。下一步，我們將會結合雲端實時渲染， XR/CG技術實現虛擬化場景定製， 支撐更大規模的用户實時互動，為消費者帶來更沉浸式互動體驗。
