在數(shù)字化浪潮的推動下，xR虛擬制片、數(shù)字人和動作捕捉技術(shù)正引領(lǐng)一場內(nèi)容創(chuàng)作的革新。“通過xR虛擬制片，創(chuàng)作者將創(chuàng)意實現(xiàn)的時間縮短了80%。”一位資深電影制片人表示。xR虛擬制片不僅為創(chuàng)作提供了超越現(xiàn)實的創(chuàng)作空間，還大幅提高了影視行業(yè)的生產(chǎn)效率。

　　在直播領(lǐng)域，數(shù)字人打破了主播的時空限制，能夠與觀眾實時互動，極大地增強了靈活性和參與感。而動捕技術(shù)為數(shù)字人賦予了更真實的表現(xiàn)力。xR虛擬制片、數(shù)字人和動捕技術(shù)的深度融合，不僅拓展了創(chuàng)作的邊界，還成為驅(qū)動行業(yè)發(fā)展的新引擎，重塑了影視、教育、游戲和直播等多個行業(yè)。

　　市場預測顯示，到2025年，全球xR市場規(guī)模將突破千億美金。隨著這些技術(shù)的應(yīng)用，影視、教育、游戲和直播等多領(lǐng)域的創(chuàng)作流程更加高效、經(jīng)濟，也為觀眾帶來了前所未有的沉浸式體驗。

　　通過整合xR虛擬制片、數(shù)字人和動作捕捉技術(shù)，深工為品牌和創(chuàng)作者提供了更為靈活的創(chuàng)作工具，使他們能夠在虛擬環(huán)境中實現(xiàn)更具表現(xiàn)力和互動性的內(nèi)容, 成功實現(xiàn)了虛擬與現(xiàn)實的深度融合。同時，這種技術(shù)解決方案不僅能滿足影視、游戲和直播等領(lǐng)域的多樣需求，還為商業(yè)展示和品牌營銷帶來了新的創(chuàng)新模式和無限可能性。

技術(shù)核心：虛擬制片與數(shù)字人結(jié)合

　　用戶采用基于UE5引擎的xR虛擬制片技術(shù)，通過將虛擬場景與數(shù)字人結(jié)合，創(chuàng)造出更加逼真、互動的沉浸式體驗。數(shù)字人(Metahuman)技術(shù)由UE5官方早在UE4階段開發(fā)，允許創(chuàng)作者打造高度真實的虛擬人類角色。用戶在此基礎(chǔ)上進行深度定制與優(yōu)化，增加了和數(shù)字人互動的可能性，實現(xiàn)了與虛擬制片的完美融合。

　　UE5提供了一套在線的數(shù)字人創(chuàng)建工具(Metahuman Creator)。通過注冊Epic賬號并申請使用即可立刻開始體驗。這套工具允許用戶從預設(shè)角色中進行選擇并直接創(chuàng)建，不僅支持調(diào)節(jié)特定部位的尺寸、位置或種類，還可以創(chuàng)建或修改毛發(fā)、體型、膚色以及簡單的服飾。所有通過這個工具創(chuàng)建的角色都將擁有統(tǒng)一的拓撲結(jié)構(gòu)、多重LOD以及對應(yīng)的綁定資產(chǎn)。用戶可以在UE5中通過Quixel Bridge快速地從用戶的賬號中下載用戶所創(chuàng)建好的數(shù)字人角色，隨后就可以在場景中對它進行使用。

　　然而，這套工具目前對亞洲人物的支持有限。這意味著如果用戶要使用UE5官方提供的這套工具去創(chuàng)建一個亞洲人的臉型和體型是十分困難的。由此，用戶在創(chuàng)建過程中開發(fā)了多種解決方案：

　　1.基于照片生成數(shù)字人

　　通過Metahuman進行快速特征點追蹤，可以基于角色的正臉照片生成數(shù)字人模型，但由于側(cè)臉深度和遮擋物的限制，如果面部有遮擋，效果會進一步降級。因此，這種方法只適用于簡單的角色創(chuàng)建。此外，該方法需要手動指定或創(chuàng)建角色的膚色材質(zhì)貼圖。

　　2. 基于Iphone深度攝像頭的數(shù)字人創(chuàng)建

　　使用Live Link Face軟件錄制包含人物面部深度信息的視頻，再生成精確的角色模型。該方法要求在布光良好的環(huán)境中進行。面部不能有任何過曝、大型陰影或局部曝光。同時在錄制過程中，不能將面部移開取景框。用戶一般會錄制包含正臉、左側(cè)臉、右側(cè)臉以及齜牙的視頻。通過這個視頻，可以生成準確包含角色面部特征以及精確到牙齒特征的模型。該方法除了不能直接創(chuàng)建材質(zhì)貼圖外，是在兼具速度的情況下，最準確的一種角色模型生成方式。

　　3. 基于模型進行數(shù)字人的創(chuàng)建

　　如果用戶已有外置的模型或通過一組照片生成的模型，也可以將其轉(zhuǎn)化為數(shù)字人。該方法創(chuàng)建的模型是通過外部包裹拓撲以及特征點的追蹤進行生成。只要拓撲結(jié)構(gòu)一致，也可以將現(xiàn)有的模型直接轉(zhuǎn)化為Metahuman可以使用的狀態(tài)。

　　生成數(shù)字人模型后，用戶還需要檢查動畫的正確性。例如，Metahuman在動畫中經(jīng)常會出現(xiàn)諸如眼睛無法閉合等細微的問題，這需要對它的blendshape進行手動修改。用戶可以使用數(shù)字人創(chuàng)建工具進行數(shù)字人DNA的創(chuàng)建。

　　DNA是UE5提供的一種數(shù)字人頭部數(shù)據(jù)存儲的類型，包含了多種LOD、頭部形狀以及綁定的細節(jié)。用戶可以在Maya中通過DNA viewer和DNA Calib修改DNA。

DNA Viewer界面

　　DNA viewer允許用戶讀取對應(yīng)的DNA所包含的數(shù)據(jù)。用戶對其修改后，可以通過DNA Calib重新注入DNA文件中，再導入UE5中創(chuàng)建一個擁有正確動畫的數(shù)字人。

　　而在數(shù)字人皮膚的創(chuàng)建中，除去官方可用的皮膚，用戶可以自己購買或制作高精度的皮膚紋理貼圖，在SP中對其進行修改即可。Metahuman的褶皺也有對應(yīng)的貼圖去控制產(chǎn)生的效果以及對應(yīng)的渲染材質(zhì)，這也是需要用戶手動去進行修改調(diào)試。

　　用戶可以在傳統(tǒng)的建模軟件中利用插件快速地生成毛發(fā)。然而，用戶無法使用數(shù)字人創(chuàng)建工具生成用戶想要的準確的毛發(fā)，它只能提供預設(shè)的毛發(fā)以供用戶參考。并且，只有手動創(chuàng)建的毛發(fā)才能更好的貼合數(shù)字人。

　　數(shù)字人的服裝既可以使用例如Style3d，Marvelous designer進行制作，也可以使用傳統(tǒng)的雕刻軟件進行制作。制作完成后需要和數(shù)字人的權(quán)重進行刷取，保證運動的一致性，或使用UE5自帶的布料模擬或者其他布料模擬插件進行解算，以模擬真實布料的質(zhì)感和運動邏輯。

　　到此為止，數(shù)字人的調(diào)試基本完成。

動捕技術(shù)的突破應(yīng)用

　　接下來便進入動捕的環(huán)節(jié)。

　　數(shù)字人的動捕分為面捕和肢體捕捉。用戶將使用IPhone的Live link face完成面捕，其使用方式分為Live link(ARKit)以及Metahuman Animator。前者使用Iphone提供的ARKit框架在設(shè)備上捕捉動畫，通過本地網(wǎng)絡(luò)實時傳輸?shù)経E5，適合直播環(huán)境使用。后者使用Iphone捕捉的原始視頻、深度和音頻數(shù)據(jù)，在傳輸?shù)奖镜睾筮M行解算，適合傳統(tǒng)制片的流程使用。當錄制解算的精度的準確性遠超實時傳輸?shù)木?，并且臉型越貼近數(shù)字人，其解算效果會越好。如果需要無人直播的效果，可以考慮后者。

　　在肢體捕捉中，用戶使用HTC Tracker配合OpenXR將數(shù)據(jù)傳遞給UE5。通過對使用者T pose的讀取和校準，用戶可以在不同體型的數(shù)字人上使用同一位動捕演員。用戶通過對手臂和腿進行IK綁定，因此僅需要6個Tracker即可實現(xiàn)最基本，最簡單的動捕效果。

動捕效果（左）現(xiàn)場人員（右）

xR虛擬制片與動捕的結(jié)合

　　數(shù)字人在和xR虛擬制片的結(jié)合有離線和實時的兩種方向。

　　1.離線

　　用戶可以將預錄的動畫傳遞給數(shù)字人進行使用。這個模式對服務(wù)器性能的壓力最小，適合在有劇本，有預演的前提下使用。同時，此方式能表現(xiàn)的精度也是最高的。

離線計算下和本人匹配的面部數(shù)據(jù)

捕捉完畢的數(shù)據(jù)替換在其他角色上

　　2.實時

　　用戶可以通過Live Link進行實時動畫數(shù)據(jù)的傳遞，該模式對服務(wù)器性能會產(chǎn)生額外壓力。因此，需要對場景進行額外的優(yōu)化以支持數(shù)字人的運行。

　　用戶還可以使用AR前景將數(shù)字人作為前景融合到場景中。該方案需要使用單獨的服務(wù)器進行解算，從而最大程度上分離場景渲染和數(shù)字人運行的壓力。同時，該方案也可以單獨用在真實場景中和現(xiàn)實人物進行互動。

　　作為行業(yè)的創(chuàng)新者，深工一直致力于將最前沿的技術(shù)轉(zhuǎn)化為實際的商業(yè)價值，將xR虛擬制片、數(shù)字人和動捕技術(shù)融合創(chuàng)新，推動商業(yè)顯示和傳媒行業(yè)的發(fā)展。未來，我們將繼續(xù)投身于這些前沿技術(shù)，進一步提升創(chuàng)作效率和互動體驗，賦能更多行業(yè)場景。

　　隨著技術(shù)的不斷進化，數(shù)字化內(nèi)容創(chuàng)作將迎來更多顛覆性的變化。深工愿與更多合作伙伴一起，共同探索和開拓數(shù)字內(nèi)容創(chuàng)作的新天地。