來源：新浪微博

今年春晚周董帶來的《mojito》節目由于過于精緻炫酷而被懷疑是直接播放錄好的MV。

春晚節目《mojito》

由于疫情原因，周董本人當時真的在台北，而節目方又辟謠說這不是MV，是周董現場直播的節目，那到底是什麼魔法讓周董空降到央視春晚的呢？

要講清這項技術，就不得不介紹一下VR、AR和MR技術了。

VR

(Virtual Reality)

VR技術大家應該并不陌生，各大商場常設有VR體驗館，VR遊戲也是不少玩家的心頭好，斯皮爾伯格導演的《頭号玩家》正是基于一款虛構的VR遊戲展開劇情的。

《頭号玩家》海報

VR技術全稱虛拟現實技術，它是基于計算機模拟出虛拟環境給人三維環境沉浸感。

來源：amazon

VR最簡單的構造便是：一個殼 兩個鏡片 一個顯示屏。通過透鏡的成像原理将小範圍的圖像視角“放大”，形成大範圍的虛像。

來源：zhihu

由于人的雙眼有視覺差異、變焦功能等等，再通過軟硬件結合，符合人體結構，優化圖像通過人眼傳遞到大腦的感受，然後你就可以得到一台：

PlayStation VR headset

大家玩VR遊戲的時候可能都會沉浸在炫酷的3D世界中，忘記現實，以緻于你以為你玩VR遊戲的樣子：

來源：youtube

而其他人看到你們的樣子：

來源：微博

來源：澎湃新聞

當然，VR的應用遠不止于此，它可以給學生身臨其境的教育場景，給技術人員模拟工作的體驗，在教育、科普、醫療、旅遊等很多方面都有優勢。

AR

(Augmented Reality)

AR技術全稱增強現實技術，是一種實時地計算攝影機影像的三維位置并加上相應圖像的技術。簡單來說就是在現實的場景中再擴充疊加信息，讓真實世界與虛拟世界“無縫”集成。

來源：zhihu

AR是人工智能和人機交互的交叉學科，基礎技術包括計算機視覺（CV）、機器學習、多模态融合等。

累壞你家狗子的遊戲《Pokemon Go》便是一個典型的AR遊戲。

AR遊戲 《Pokemon Go》

AR技術的應用相比較而言更廣泛也更親民，有一部智能手機便可以享受AR技術，比如手機裡可以進行測量的app：

找不到方向時給你指路的實景導航：

如今的AR設備可以是頭戴式顯示器（如Google Glass）、移動設備（如智能手機和平闆）等。随着軟硬件的升級，未來AR技術将會變得更加智能。

來源: IPCS

MR

(Mixed Reality)

MR技術全稱是混合顯示技術，比較像VR AR混合，一邊利用虛拟環境展示出更多的信息，一邊利用真實環境帶來更好的沉浸感。因此為了讓人有逼真的MR體驗，離不開強大的計算能力，所以目前隻有少量産品展問世，比如Microsoft HoloLens。

Microsoft HoloLens

說完這些，我們迎來今天的主角——XR技術。

XR

(Extended Reality)

XR技術全名為拓展現實技術，x也有變量的意思，現實世界與虛拟世界通過這個技術巧妙地結合在一起。它的實現離不開上文提到的VR、AR、MR技術，通過這些強大的工具，創造出新的“現實”。

來源：zhihu

目前，XR技術最為人所熟知的應用便是智能舞台與虛拟制作(Smart Stage & Virtual Production) 。各種炫酷的背景，植物的枝葉，處于另一個空間的人，動物通通都可以通過XR技術放置在表演者的周圍。

來源：AED Studios

你可以在北京的演播室拍攝身處4000多公裡以外的珠穆朗瑪峰的場景，甚至還可以躺在38萬公裡外的月球之上，隻有你想不到，沒有XR技術做不到。

XR技術的強大之處還在于，表演者和攝影機可以在舞台上自由移動。XR技術會讓虛拟世界永遠以正确的視角實時展示在觀衆的面前，以确保屏幕前都是邏輯正确的圖像。因此，在觀衆看來，表演者或者主持人似乎實時地身處虛拟世界。

英雄聯盟S10開幕式表演直播版

如何在舞台上創造XR世界？

在傳統的影視制作中，要想将一個實物放入設想的虛拟世界，可以用綠幕摳像與影視後期制作來完成。但是這個過程需要前後期準備，缺乏時效性。随着人們獲得新奇視覺體驗的需求量越來越高，我們開始尋問：如果想實時地獲得這些效果該怎麼辦？

實際上，構成我們眼前屏幕上畫面的元素包括背景，真實物體以及前景 (即空間邏輯關系在真實物體之前的虛拟物體)。

來源：bilibili

除了實物以外的畫面，都是通過3D渲染引擎渲染完成的。想要在攝影機運動的情況下得到實時的反饋，虛拟内容就需要跟随着攝影機的位置時刻變化。這就要求3D渲染引擎擁有強大的實時渲染能力，如Notch、UE4等等，它們能在有限的時間内渲染大量的視頻畫面以适應攝影機時刻變換的位置。

來源：google

如何讓虛拟畫面出現在真實物體周圍呢？

不難想到，投影機加投影屏幕的組合或者搭建LED屏幕可以實現大部分的背景顯示，隻要合理地搭建這些顯示設備，我們就能在一個有限的空間内達到沉浸式的顯示效果。

來源：google

将渲染引擎實時渲染完成的符合攝影機拍攝時空間透視關系的畫面實時地映射到這些顯示器上，就能得到一個三維的虛拟空間，再将另一個實時渲染出來的前景疊加在這個拍攝信号之上，觀衆便可以看到更符合認知的前中後關系的畫面。

來源：AED Studios

攝像機的運動則是通過一套追蹤系統完成追蹤的，攝影機的位置又包括固定機位，搖臂或者雲台控制的機位，它們通過特定的協議傳輸攝像機所在的空間位置信息以及鏡頭的某些參數，以幫助渲染引擎理解攝像機的位置。

有了攝像機追蹤系統，實時渲染系統和LED或者投影構成的顯示系統，我們還需要一個虛拟制作系統進行收發，解包，修整，對齊等工作，将三者配合起來，以完成我們眼前的畫面。

來源：bilibili

這其實是一個工作量巨大的任務：在半秒之内，追蹤系統将攝影機的位置信息傳輸給虛拟制作系統，信息被解讀和翻譯之後傳輸給實時渲染引擎，引擎再将渲染完成的畫面傳送回去，虛拟制作系統将其投送到搭建好的屏幕上。

當然，在強大的追蹤系統、渲染引擎、媒體處理器之外，實時的數據傳輸也是不可或缺的一環。要想XR技術真正走進日常生活中，在超高通量的數據傳輸任務要求下，5G技術的發展也是至關重要的。

但其實現在XR技術隻能服務于屏幕前的觀衆，在現場的觀衆隻能看到2D的效果，如下圖所示。

LOL S10開幕式表演現場版 | 來源：B站用戶

XR技術的前景

正如前文所說，目前XR技術的确隻能服務于屏幕前的觀衆，但想象一下将來每個人都能在眼前有一塊“屏幕”，XR技術或許真的能給每一個人的生活帶來不一樣的改變。

在現實世界中玩帶有特效的真人cs，或是全方位的沉浸式音頻體驗，随時随地體驗周董在你耳旁唱聽媽媽的話哄你入睡。。。

來源：google

在教育和醫療上，XR技術的前景也是廣闊的，未來，老師在上課時也許能實時地把學生們帶到課文中的情景之中；醫生在做一些複雜的手術之前，或許還能通過XR技術模拟手術操作，機器學習和人工智能則可以提供咨詢服務，以提高手術的成功率等。

讓我們一起期待XR給我們的生活帶來更多改變！

參考資料：

[2] 虛拟現實（VR）和增強現實（AR）背後的核心技術是什麼？

[3] 一文看懂XR科技（擴展現實）——人類交互方式的終極形态零日情報局

[4] Extended Reality at AED Studios

[5] xR？虛拟制作？2020年最火爆的舞台技術原理解析——hecoos虛拟制作系統

編輯：啵啵蛏&小林綠子

1. 2. 3. 4. 5. 6. 7. 8. 9. 10.