諾瓦XR解決方案

　　一、項(xiàng)目背景

　　XR，即Extended Reality, 擴(kuò)展現(xiàn)實(shí)技術(shù)。它允許用戶在實(shí)時(shí)生產(chǎn)環(huán)境中使用AR(增強(qiáng)現(xiàn)實(shí))和MR(混合現(xiàn)實(shí))將虛擬和物理世界混合在一起，以創(chuàng)建完全沉浸式的體驗(yàn)。

　　目前該技術(shù)已在電影制作、廣告拍攝、大型活動(dòng)中呈井噴之勢(shì)。典型如好萊塢熱劇《曼達(dá)洛人》、《西部世界》，“美國(guó)偶像”綜藝節(jié)目中Katty Perry的表演，國(guó)內(nèi)雙十一晚會(huì)李榮浩現(xiàn)場(chǎng)演唱的《耳朵》，2021春晚周杰倫的《Mojito》表演等，其中均運(yùn)用了大量xR元素。

　　該解決方案前端需要對(duì)應(yīng)的動(dòng)作捕捉設(shè)備去配合相機(jī)完成拍攝，輔以特殊的媒體服務(wù)器配合游戲引擎完成內(nèi)容實(shí)時(shí)渲染及節(jié)目編輯，后端通過(guò)顯示屏控制系統(tǒng)完成節(jié)目傳送，實(shí)現(xiàn)屏體內(nèi)容的顯示。

　　這是XR拍攝時(shí)的整個(gè)系統(tǒng)構(gòu)成圖：

　　整個(gè)XR系統(tǒng)看起來(lái)組成復(fù)雜，用的設(shè)備很多;但LED顯示屏是其中不可或缺的重要設(shè)備;因?yàn)樗械奶摂M畫(huà)面都要通過(guò)LED屏顯示出來(lái)，再通過(guò)攝像機(jī)拍攝，才能最終完成XR場(chǎng)景。

　　總體上可以說(shuō)：是XR發(fā)現(xiàn)了LED顯示屏新的方向和價(jià)值。

　　二、項(xiàng)目?jī)?yōu)勢(shì)

　　以往傳統(tǒng)的影片是以綠幕的方式進(jìn)行拍攝的。步驟是這樣的：

　　1. 先用綠幕進(jìn)行拍攝;

　　2. 進(jìn)行大量的后期制作，最終完成影片;

　　這種綠幕影片拍攝的劣勢(shì)非常明顯：

　　1. 演員演戲全靠想象，導(dǎo)致拍攝難度極大;

　　2. 導(dǎo)演無(wú)法在現(xiàn)場(chǎng)看到效果，導(dǎo)致如果后期制作遇到難題時(shí)，只能重新拍攝，比較麻煩;

　　3. 要花費(fèi)大量的人力和時(shí)間在后期制作上，相信大家都有聽(tīng)說(shuō)過(guò)好萊塢的百萬(wàn)調(diào)色師的傳說(shuō);

　　而XR能有效解決上述痛點(diǎn)，提升整個(gè)影視制作效率與水準(zhǔn)?；赬R的影片拍攝越來(lái)越火爆;其拍攝步驟是這樣的：

　　1. 將制作好的場(chǎng)景在LED屏上播放;

　　2. 演員直接在一個(gè)由LED屏組成的虛擬拍攝場(chǎng)地進(jìn)行表演;

　　3. 使用攝像機(jī)直接進(jìn)行拍攝，導(dǎo)演可以同步在監(jiān)視器上看到拍攝效果。

　　這種拍攝方式的優(yōu)勢(shì)非常明顯：

　　1. 演員不用憑空想象著完成表演;

　　2. 拍攝過(guò)程中導(dǎo)演就可以看到拍攝效果，如果有問(wèn)題，當(dāng)場(chǎng)就可以重拍，節(jié)約拍攝時(shí)間，減少后期的重復(fù)投入;

　　3. 后期制作簡(jiǎn)單，時(shí)間短，出片周期大大縮短;

　　XR還具有廣泛的應(yīng)用場(chǎng)景和前景：

　　1. 影視制作：一般電影約有 10%-15%的內(nèi)容，需要在攝影棚制作。XR 營(yíng)造了逼真的攝制空間，演員、導(dǎo)演可以實(shí)時(shí)看到拍攝和表演效果。這對(duì)于影視行業(yè)有著極大的吸引力?，F(xiàn)在，國(guó)內(nèi)很多地方都重視文娛、文化、文旅產(chǎn)業(yè)，爭(zhēng)相落地電影制造基地、影棚等。

　　2. 產(chǎn)品發(fā)布會(huì)：疫情的影響，讓更多的廠商把發(fā)布會(huì)轉(zhuǎn)移到線上。線上發(fā)布會(huì)，成本急劇下降，受眾極大擴(kuò)充。加上 XR 的加持，發(fā)布會(huì)的播出效果將會(huì)超出人們的想象。發(fā)布會(huì)是實(shí)時(shí)播出，效果對(duì) XR 的依賴很重。

　　3. 廣電類節(jié)目制作：各種錄播節(jié)目，可以依靠 XR 影棚，低成本達(dá)到更好的效果。

　　4. 科教：教育將是 XR 的一個(gè)典型應(yīng)用場(chǎng)景。無(wú)論是大型現(xiàn)場(chǎng)還是線上教育，抑或是博物館等科普?qǐng)鏊?，XR 將提供直觀的、身臨其境、逼真的實(shí)時(shí)效果。

　　5. 演唱會(huì)、電視節(jié)目。比如以后請(qǐng)嘉賓，請(qǐng)到的可能是虛擬的，或者是異地表演的。一方面是檔期，如果嘉賓檔期有限，來(lái)錄制要幾天，可能就請(qǐng)不到了。一方面是，一個(gè)嘉賓背后有著一堆經(jīng)紀(jì)人、后勤等人員，吃喝拉撒費(fèi)用極高。如果是虛擬的，可以解決很多問(wèn)題。

　　6. 游戲及相關(guān)活動(dòng)：游戲本身就是虛擬的，無(wú)論是游戲本身，還是游戲競(jìng)賽和游戲

　　活動(dòng)相關(guān)，最適合虛擬和現(xiàn)實(shí)結(jié)合。

　　對(duì)于LED顯示來(lái)說(shuō)，XR應(yīng)用場(chǎng)景是一塊待挖掘的新市場(chǎng)。

　　新思界產(chǎn)業(yè)研究中心出具的《2020年全球及中國(guó)擴(kuò)展現(xiàn)實(shí)(XR)產(chǎn)業(yè)深度研究報(bào)告》顯示，2019年全球擴(kuò)展現(xiàn)實(shí)市場(chǎng)規(guī)模為186億美元，在預(yù)測(cè)期(2020- 2030年)以48.3%的復(fù)合年增長(zhǎng)率增長(zhǎng)。

　　三、項(xiàng)目問(wèn)題

　　當(dāng)前，國(guó)內(nèi)大多的XR應(yīng)用均是以租賃或者固裝來(lái)做的，所用的LED屏也只是常規(guī)屏。這表明，大家對(duì)XR的認(rèn)知不足。

　　LED顯示在XR應(yīng)用中的亂象：

　　1. 用三塊租賃P3.9的屏，放墻角一搭，跟配套的其他租用視頻媒體服務(wù)器設(shè)備接在一起，然后就成了XR;

　　2. 用固裝P2.5屏，搭上幾塊，再搞些媒體服務(wù)器，成了XR ;

　　由于RGB排列導(dǎo)致不同視角時(shí)接收到的RGB光強(qiáng)度不一樣，從而出現(xiàn)不同角度看到的顏色不一致，出現(xiàn)細(xì)節(jié)丟失，出現(xiàn)輪廓線和色帶的問(wèn)題;顯示的顏色不精準(zhǔn)，存在偏色，如顯示的人臉偏紅等，導(dǎo)致后期制作投入大;顯示畫(huà)面的對(duì)比度不足，導(dǎo)致拍攝景深不足等問(wèn)題。

　　那XR應(yīng)用需要什么樣的LED屏?

　　在現(xiàn)在，要有效地提升畫(huà)質(zhì)，拍攝的內(nèi)容的質(zhì)量也是很關(guān)鍵的。不得不聊聊HDR了。因?yàn)镠DR就是為了還原真實(shí)世界而存在的。

　　Nova是行業(yè)內(nèi)第一家支持HDR顯示的公司，并且我們不僅支持了HDR10，還支持了廣泛應(yīng)用于廣電領(lǐng)域的HLG，得到許多歐美客戶的青睞。像歐洲的LONG公司就是使用的我們的HDR解決方案。

　　XR對(duì)LED屏的基礎(chǔ)要求：

　　1. 拍攝無(wú)掃描線;

　　保證屏體的視覺(jué)刷新率要高，以保證攝像機(jī)拍不到掃描線;

　　屏體設(shè)計(jì)：低掃數(shù)，靜態(tài)顯示最佳，諾瓦建議不要超過(guò)8S;

　　控制系統(tǒng)：配合IC保證低灰刷新率夠高;支持genlock，能使顯示屏與視頻源和攝像機(jī)保持同步;

　　2. 保證屏體灰度級(jí)數(shù)要夠高，色彩控制更精準(zhǔn);

　　屏體設(shè)計(jì)：選用的RGB燈珠能覆蓋客戶使用的色域范圍;設(shè)計(jì)的屏體沒(méi)有耦合(屏體設(shè)計(jì)和IC選用)，白對(duì)黑的耦合，黑對(duì)白的耦合以及跨板耦合等。

　　控制系統(tǒng)：配合IC保證提升屏體的灰度級(jí)數(shù); 能對(duì)屏體進(jìn)行標(biāo)定：校準(zhǔn)屏體0~255的亮度符合EOTF曲線;校準(zhǔn)屏體的色彩準(zhǔn)確度，保證δE<4 。

　　3. 任意視角顯示色彩一致

　　保證RGB芯片間距足小。屏體設(shè)計(jì)：選用更小尺寸的LED芯片;面罩進(jìn)行特殊設(shè)計(jì).

　　控制系統(tǒng)： 在出現(xiàn)問(wèn)題時(shí)，能快速調(diào)節(jié)RGB的配比保證，一些機(jī)位顯示色彩正常。

　　XR對(duì)LED屏更高的需求：

　　8K、HDR、HFR 120Hz/144Hz/240Hz、精準(zhǔn)色彩、10bit/12bit、超低延遲

　　三、解決方案

　　在控制系統(tǒng)端，諾瓦可提供如下解決方案：

　　1.方案架構(gòu)

　　VMP+MX40 Pro+A10s Pro

　　諾瓦科技xR沉浸式解決方案

　　xR沉浸式解決方案，聚焦xR顯示應(yīng)用場(chǎng)景，精準(zhǔn)還原畫(huà)面真實(shí)色彩、保留圖像細(xì)節(jié)，搭載高幀頻、相位調(diào)節(jié)，倍頻等處理技術(shù)，解決xR拍攝動(dòng)態(tài)過(guò)程中，由于顯示屏刷新不足，由之而來(lái)的掃描線、黑場(chǎng)問(wèn)題。同時(shí)搭載畫(huà)質(zhì)引擎技術(shù)，進(jìn)一步增強(qiáng)顯示畫(huà)質(zhì)，讓LED顯示屏重獲新生，打造至臻xR解決方案。

　　2.方案特點(diǎn)

　　小間距技術(shù)發(fā)展的突飛猛進(jìn)，LED顯示畫(huà)質(zhì)被寄予了越來(lái)越高的期待，尤其在影視拍攝、xR等高端顯示應(yīng)用領(lǐng)域。

 畫(huà)質(zhì)引擎&動(dòng)態(tài)引擎

　　全新MX系列控制系統(tǒng)搭載諾瓦全新一代畫(huà)質(zhì)引擎和動(dòng)態(tài)引擎，全方位提升LED屏顯示畫(huà)質(zhì)，打造身臨其境的沉浸式觀感，為xR場(chǎng)景拍攝提供充分保障。

 VMP

　　Vision、Management,、Platform ——諾瓦全新LED顯示操控平臺(tái)，集設(shè)計(jì)，調(diào)試，監(jiān)控，管理于一身。全流程工作平臺(tái)，工作質(zhì)量和效率兼顧，解放想象力限制，每個(gè)人都可以是顯示屏的設(shè)計(jì)師。

 多視角實(shí)時(shí)顏色調(diào)節(jié)

　　為了徹底解決由于攝像視角變化，產(chǎn)生的偏色問(wèn)題。在VMP + MX40 Pro + A10s Pro的基礎(chǔ)上，給出了實(shí)時(shí)顏色調(diào)節(jié)的解決方案。

　　VMP操作平臺(tái)，先將攝像機(jī)固定視角的屏體顏色信息進(jìn)行調(diào)節(jié)預(yù)存，Genlock 信號(hào)連接攝像機(jī)或 Genlock信號(hào)發(fā)生器;當(dāng)攝像機(jī)運(yùn)動(dòng)到此固定視角后，實(shí)時(shí)調(diào)取預(yù)存的信息，數(shù)據(jù)實(shí)時(shí)下發(fā)，保證從該視角捕捉到的畫(huà)面顏色信息準(zhǔn)確。另外，實(shí)時(shí)顏色調(diào)節(jié)可以滿足多機(jī)位同一時(shí)間，同時(shí)拍攝，解決多機(jī)位不同角度畫(huà)面顏色偏色問(wèn)題。

 倍頻 + 插幀

　　倍頻，可讓LED顯示屏適配更多的攝像機(jī)快門角度，使得顯示屏刷新時(shí)間與攝像機(jī)快門時(shí)間保持一致，去除黑場(chǎng)，掃描線，從而為攝像機(jī)拍攝顯示屏提供更靈活地選擇。

　　插幀，原理和倍頻一致。只不過(guò)倍入的幀頻為不同視頻源畫(huà)面?？墒沟枚嗯_(tái)攝像機(jī)，和控制器通過(guò)Genlock連接后，與其分別對(duì)應(yīng)要拍攝的視頻素材幀頻率，進(jìn)行相位偏移后同步。以保證每個(gè)攝像機(jī)可以完美捕捉到各自對(duì)應(yīng)的視頻素材 背景，從而在同一時(shí)間線上，同一場(chǎng)景，對(duì)不同內(nèi)容的素材進(jìn)行輸出。成本節(jié)省，一勞永逸。

 相位調(diào)節(jié)

　　當(dāng)攝像機(jī)曝光時(shí)間和LED刷新時(shí)間通過(guò)倍頻功能調(diào)節(jié)一致后，開(kāi)啟相位調(diào)節(jié)，調(diào)整使攝像機(jī)

　　拍攝頻率和顯示屏刷新頻率保持同步，從而有效解決丟灰、增色，掃描線、黑線的問(wèn)題。

 Shutter sync

　　MX40 Pro 可通過(guò)Shutter Sync同步攝像機(jī)快門速度，使顯示屏自動(dòng)調(diào)節(jié)適配攝像機(jī)曝光時(shí)間和頻率，再結(jié)合相位偏移，有效解決掃描線，黑場(chǎng)問(wèn)題。

 支持高幀頻輸入

　　控制器最高支持達(dá)144HZ輸入幀頻，保證拍攝高速運(yùn)動(dòng)物體時(shí)，能減少畫(huà)面殘影、拖影等問(wèn)題;

 HDR高動(dòng)態(tài)范圍顯示

　　支持HDR高動(dòng)態(tài)顯示，屏體顏色、亮暗部細(xì)節(jié)得到精確還原，為拍攝現(xiàn)場(chǎng)創(chuàng)建生動(dòng)場(chǎng)景;

 超低延遲

　　系統(tǒng)延遲最低可達(dá)1幀，現(xiàn)場(chǎng)拍攝銜接更流暢。

　　五、 項(xiàng)目案例

　　加拿大影視技術(shù)制作公司JOEL LAW MEDIA與Promosa聯(lián)合打造，使用NovaStar專業(yè)XR顯示控制解決方案。