本周，Meta Reality Labs公布了4款VR頭顯原型：Butterscotch、Starburst、Holocake 2和Mirror Lake，分别展示了四種不同技術路徑的探索，包括：顯示分辨率、動态變焦、亮度與HDR、技術綜合體等方面。

　　與此同時，科技博主Tested親自潛往Reality Labs對這些原型進行體驗，之後并與紮克伯格連線探讨，信息量同樣不少。

　　相比于Meta官方發布的視頻，Tested進一步了解到Meta VR發展路徑，以及産品設計思路等細節。從本文的大量圖像中，你将清晰看到Reality Labs這些年來疊代的技術。并且也将作為周二文章的進一步補充，相關閱讀：《Meta公布四款VR原型機，提出“視覺圖靈測試”概念》。

　　Tested采訪Meta CEO馬克·紮克伯格

　　幫助VR通過視覺圖靈測試 此前，紮克伯格曾提到一個叫視覺圖靈測試的概念，其标準是判斷人眼能否分辨虛拟和真實，也就是VR和物理世界之間的區别。為了通過視覺圖靈測試，僅依靠顯示技術并不夠，還需要優化軟件、芯片、傳感器等部分。Reality Labs的目标是解決所有與VR相關的問題，從多方面入手幫助VR通過視覺圖靈測試。

　　因此，Reality Labs包含了産品團隊（負責研發和疊代Quest）、科研團隊（負責打破技術局限、解決VR的底層技術問題）。其中，Meta科研團隊的目标是為了給數年後才發布的VR頭顯、AR眼鏡做準備。

　　對于VR顯示技術來講，目前需要解決的問題比傳統顯示屏（電視、電腦、手機屏幕等）更加複雜，需要從多方面突破技術局限。比如，由于VR的視場角、顯示區域通常比手機或電視更寬，因此VR屏幕需具備更多像素，才能清晰顯示。也就是說，VR屏幕需要比傳統屏幕分辨率更高，才能達到相似的視覺清晰度。而這也意味着，VR屏幕更加耗電。

　　另一方面，VR為了營造3D視覺效果，通常需要配備兩塊屏幕。而且相比于2D屏幕，VR畫面像真實環境那樣具有空間感，這種空間感如果支持動态變焦，視覺效果才會更自然。就像是當你看手上的書時，眼球聚焦在近處，看窗外時，則聚焦在遠處。僅依靠一塊屏幕，通常無法模拟這種人眼變焦。

　　簡單來講，VR需要比傳統屏幕更高的顯示性能，這是因為VR本質是模拟現實。就拿HDR功能來講，盡管市面上一些HDR電視已經可以顯示豐富的光影對比，但真實環境中的光比市面上最端的HDR屏幕還要高一個數量級。

　　因此，如果VR要模拟逼真的陰影、生動的色彩，将需要渲染大量的光影，而這也十分耗電，需要體積更小的電池才能達到輕量化外觀。

　　紮克伯格表示：視覺圖靈測試有兩個重點，即照片級真實感和臨場感。實際上，VR通過立體空間、空間音頻等方式實現一定的臨場感，而随着視覺清晰度提升，VR的社交臨場感也會越來越強。

　　關于産品體驗 為了解決VR顯示技術面臨的問題和局限，Reality Labs科研部門的DSR團隊多年來一直在探索。該團隊（顯示系統研發）負責人Douglas Lanman表示：DSR團隊在過去幾年内研發了大量AR和VR原型，可以擺放一整牆，這些原型技術可能會在未來五到十年内得到應用。

　　本文将重點涉及此前已經公布的一些VR原型，如Half Dome系列、Butterscotch、Holocake 2等等。

　　1，Half Dome原型

　　這是某種基于Rift改造的VR頭顯，其特點是采用可變焦透鏡，原理類似于自動對焦攝像頭。Half Dome配備了多層的高動态範圍透鏡組，此前的方案是利用機械移動透鏡來實現變焦，而為了提升動态變焦速度，便開始采用電驅動方案。紮克伯格表示：這種動态變焦方案還需要一些完善，然後才會面向消費者發布，預計大概需要5到6年。

　　Half Dome基本上是在Rift基礎上進行改造，不過Half Dome和Rift的顯示長寬比不同，Half Dome的視場角更寬，可達140°。這是因為，Meta将Rift的屏幕相當于90°垂直旋轉，将兩塊縱向布局的屏幕橫過來，這樣長度便更長，高度則比之前要低一些。此外，還配上了更大的菲涅爾透鏡、IR LED眼球追蹤模塊、輕量且安靜的步進馬達變焦裝置。

　　Lanman還展示了Half Dome的4個疊代原型：

　　Half Dome 0：将Rift屏幕做成可移動式，并加入步進馬達、導杆、四軸飛行器、阻尼器（靜音降噪）。在Half Dome 0上，DSR發現如果将視覺變焦範圍設在20厘米到無窮遠，那麼VR屏幕實際移動範圍在7到8毫米左右（這是由透鏡參數/焦距決定的）。

　　Half Dome 0

　　Half Dome 1：重點是提升視場角，進行圖像變形壓力測試。因此，它的屏幕是橫過來的，而且具有一定角度，目的是接近人臉彎曲弧度，但這通常會造成一種光學畸變，這時将需要結合眼球追蹤來進行校正。

　　Half Dome 1

　　Half Dome 2：2019年的研發項目，重點是提升VR頭顯的舒适性。因此采用短焦Pancake透鏡來取代Rift菲涅爾透鏡，好處是可以将機身做得更薄。此外，利用了偏振特性來實現折疊光路。

　　菲涅爾透鏡vs Pancake透鏡

　　而為了進一步減少馬達的震動噪音，DSR決定将步進馬達改為音圈，用彎曲的小彈簧來代替導杆，從而減少摩擦等物理接觸。

　　Pancake模組的折疊光路

　　在Half Dome 2原型中，DSR嘗試了步進馬達、Pancake透鏡、音圈，甚至還嘗試了隔音膜、可彎曲的轉軸組合。

　　Half Dome 3：從第三代開始，Half Dome的透鏡從機械系統升級為電子變焦系統，好處是少了機械噪音、震動。細節方面，這個電子變焦系統采用了一種幾何相位透鏡/Berry相位透鏡結構，它可以将光線極化，與偏振器組合後，可改變偏振的方向。将這種結構多層疊加，便可實現多個焦點平面。比如，Half Dome 3就有32個可切換的焦點平面。

　　幾何相位透鏡/Berry相位透鏡結構

　　不過，由于幾何相位透鏡上的電極吸收藍光，因此看起來有點泛黃，疊加的層數越多，黃色越明顯，甚至影響透光率。另外，還需要結合适合的畸變校正算法。

　　據了解，通過調整SDK，Half Dome幾乎可以運行所有Rift遊戲。體驗者表示，利用Half Dome動态變焦玩《Lucky’s Tale》等遊戲時，可以将手柄移動到眼前，抓起虛拟物體近距離查看，效果足夠好。而且眼球可以快速适應VR圖像變化，并清楚對焦在近處的物體上，舒适度也足夠好。

　　紮克伯格表示：除了遊戲、社交外，未來VR辦公也是一個關鍵應用場景。在工作場景中，清晰、舒适的文字閱讀能力很重要，而且人眼将可以聚焦在近處的文字上，就像看電腦、看書那樣，眼球和文字之間要保持一定距離（半米以内）才能看清楚。另外，動态變焦對于文字閱讀也很重要，它可以允許你随時調整眼球和文字之間的距離，有助于緩解視覺疲勞、提升閱讀舒适度。

　　2，Butterscotch原型

　　Butterscotch特點是具備高分辨率，PPD達55。目的是探索VR分辨率的極限，比如未來分辨率提升到什麼水平，視覺提升空間才越來越少。對于文字閱讀場景來講，現有的VR屏幕顯示的文字已經具有可讀性，但分辨率不夠高意味着長時間閱讀文字體驗感不夠舒适。為了優化文字閱讀體驗，則需要進一步提升VR分辨率。

　　不過，VR分辨率也受到其他軟硬件技術限制，比如3D圖形軟件、引擎可渲染的像素數量有限，無法充分利用高PPD屏幕，或是電池容量有限，無法為高分辨率屏幕長時間供電。GPU、CPU、散熱等因素也會帶來限制。

　　Meta Reality Labs科研部門DSR團隊光學科學家Yang Zhao解析Butterscotch定制透鏡模組：其中包含兩個高精度玻璃鏡片，優勢是表面質量更高，缺點是重。此外，還有一個可衍射光線的特制透鏡，與Half Dome 3使用的透鏡類似。

　　這個衍射透鏡的特性是，可将光線以（和玻璃透鏡）相反的順序分散。将玻璃透鏡和衍射透鏡組合後，可顯示清晰的圖像。

　　Butterscotch的PPD雖然達到55，它是搭配了一塊現階段3K分辨率屏幕并将視場角縮小才實現，FOV僅為多數VR頭顯的一半，也就是50°左右。

　　值得注意的是，為了測試PPD對于VR視覺效果的影響，Butterscotch的PPD可手動調節。在體驗過程中，Tested發現PPD在35以上時，距離他兩米遠的文字就足夠清晰可讀。而在55PPD模式下，Butterscotch的清晰度達到了Tested體驗過的最高水平，可看清楚VR場景中更遠的距離。

　　除了文字外，VR圖像的紋理、生動的色彩等元素的渲染效果也同樣細緻。

　　上述研究主要是為了探索VR顯示的可能性，與此同時，FRL的其他團隊也在從事其他VR研究，比如：圖形管道、傳感器等等。

　　3，Starburst原型

　　這是一個号稱具備真正高HDR功能的VR原型，其背光的最大亮度可達到現有VR頭顯的200倍（高達20000nit）。

　　開發Starburst的目的是，為了在VR中還原完整的室内照明，并進行用戶調研，探索沉浸、逼真的VR所需的理想亮度。

　　細節方面，Starburst采用了COB LED（闆上芯片LED，常見于汽車前照燈）來取代原來的LCD屏幕背光，好處是大大提升了LCD的背光亮度，但同時産生更多熱量，因此Starburst還配備了風扇和3D打印散熱底架，整體設備比較笨重，而且相當耗電。

　　3D打印散熱底架

　　有趣的是，Starburst采用了兩個堆疊的LCD屏幕（單色LCD和彩色LCD），目的是提升屏幕對比度。Reality Labs Research科研經理Nathan Matsuda表示：由于LCD的對比度有限，如果隻使用一個LCD屏幕，那麼在高亮度模式下，雖然白色更白，但黑色并不會更黑，反而更亮。此外，疊加兩塊LCD也會将8 bit屏幕升級為16 bit。

　　實際上早在2016年的一項專利中，蘋果就提到一種多層LCD面闆堆疊的結構，目的是提升HDR LCD屏幕的對比度。此外，京東方也曾推出LCD雙層Cell面闆，用于搭載HDR技術，可實現500000:1超高對比度。

　　雙層液晶面闆可大幅提升LCD屏幕的背光分區，從而降低高亮度可能産生的光暈問題，并提升黑白對比度。

　　相比于支持高對比度的Micro LED方案，雙層LCD在成本上更具優勢，更适合消費級VR産品。不過，雙層LCD的響應時間和厚度，也是未來需要優化的兩個問題。

　　此外，Starburst采用了菲涅爾透鏡，用來彙聚光線。為了進一步控制光線，光學模組的目鏡部分還采用了擋闆、深色塗層等設計。除了菲涅爾透鏡外，還嘗試采用消色差雙合透鏡，來提升對比度。

　　體驗者表示，Starburst展示的HDR視覺效果足夠逼真，他看到了一個在靜态日落場景中，反射陽光的金屬球，視覺觀看足夠接近現實。紮克伯格指出，即使VR不具備視網膜級分辨率，利用HDR照明也能渲染出逼真的畫面，甚至能渲染出深度。

　　與此同時，提升光學顯示效率則十分關鍵，比如可以結合準确的眼球追蹤技術，将光線投射到人眼中，避免無效的照明，從而降低功耗和散熱。

　　另外，也需要通過優化透鏡來提升光學效率。紮克伯格表示：盡管Pancake透鏡可支持更高的分辨率，但實際上它的光學效率比菲涅爾透鏡更低，為此Reality Labs也在緻力于優化Pancake透鏡的透光率，提升效率。

　　4，Holocake 2

　　Holocake 2采用了全息透鏡和Pancake透鏡組合，優勢是可以将VR頭顯做的更薄，長時間佩戴的舒适感更好。

　　缺點是效率不夠高，可能需要采用分體式設計，為其供電。紮克伯格認為，VR頭顯在2030年之前，可能會更接近Holocake 2這樣輕薄的外觀。

　　相關研究細節1，2

　　目前，Holocake 2原型經過設置已經可以運行PC VR遊戲。體驗者表示：Holocake 2的視覺效果達到了Quest 2的水平，但它的佩戴重量卻輕很多，而且戴起來看着更像是護目鏡，而不是一個放在臉上的盒子。

　　VR透鏡疊代 對于VR顯示技術來講，光學透鏡和屏幕是緊密關聯的，因此更換或修改屏幕參數/類型，意味着透鏡也需要改變。在Quest時代，Meta采用了菲涅爾透鏡，而Half Dome 2則采用Pancake透鏡，Holocake 2采用全息 Pancake透鏡（Holocake 2）。

　　目前市面上的一些消費級VR頭顯采用靜态畸變校正方案，來優化透鏡造成的畫面失真，原理主要基于對渲染圖像的預先扭曲。但這隻能解決靜态畸變，動态畸變（移動的眼球通過透鏡看到的畫面畸變）難以矯正。為此，DSR決定采用眼球追蹤技術，根據實時的注視點變化，來校正動态畸變。

　　為了模拟不同的屏幕和透鏡配置，加速疊代動态畸變校正方案，DSR團隊設計了一個光學畸變模拟器。即利用軟件來模拟整個VR頭顯光學配置，這對于開發光學畸變校正算法尤其有效。

　　其組成部分包括：2D大屏電視（模拟畸變圖像）、與電視同步的主動式快門3D眼鏡（營造3D效果），還有一個固定頭部的旋轉支架。

　　當科研人員将下巴放在支架上時，支架會根據他的頭部旋轉，來實時更新頭部和眼球模型的位置。同時，算法會根據頭部和眼球模型來計算前庭眼球反射運動（VOR），并合成對應的圖像失真。

　　而模拟不同透鏡的畸變，則是通過一個叫光場傳送門的算法，該算法可合成虛拟透鏡。

　　除了模拟透鏡畸變外，該方案還可以模拟不同顯示屏角度對顯示效果的影響。傾斜的屏幕可以更貼合人臉弧度，這種有弧度的頭部包裹式設計可能會成為VR的未來發展方向，好處是外形可以更加輕薄、更符合人體工學、視場角也可以更大。

　　Meta技術路徑 在VR領域，Meta是當之無愧的領軍者，甚至在Reality Labs上投入數百億美元，研發十年内VR将需要的技術。那麼，Meta為什麼要内部自研顯示系統，為什麼不和供應商合作開發？

　　對此紮克伯格表示：VR顯示是一項新技術，其技術堆棧和路徑與手機、電腦、電視屏幕完全不同，而且市面上沒有現成方案。因此當Reality Labs的研究成果應用于VR産品時，通常都會領先于市場中任何同類産品。

　　Rift等早期的VR頭顯曾采用現成的屏幕、傳感器技術，而随着VR技術發展，便開始更加依賴定制、自研。而Reality Labs的角色，則是搶先去探索未來VR發展将需要的技術，并為之打下基礎，為未來十年做準備。

　　盡管Reality Labs在同時開展多個研究方向，但Meta目前還未透露一個明确的AR/VR技術發展路徑。那麼對于Meta來講，這些技術的優先級是怎樣的，哪些技術會率先應用于未來的産品中。

　　紮克伯格表示：每項技術突破會解鎖對應的應用場景，不同應用場景的優先級将影響技術研發和推出的順序。另外一方面，Meta技術發展的一個重點是縮減AR/VR的體積、成本。

　　短期内，Meta可能會針對不同類型用戶和應用場景推出不同價位的AR/VR産品，也就是擁有不止一個産品線，每個産品線具備的功能、配置也有差異。而長期的目标，則是在一個AR/VR設備上應用全部的高端技術，或是降低專業産品線的技術成本，應用于消費級産品線中。

　　紮克伯格表示：AR/VR硬件技術和市場還在發展階段，隻有當産量大幅提升時，成本才能降低。因此，針對不同的用戶群體（比如社交、遊戲、健身、辦公等）推出更适合的AR/VR産品，更有助于帶動整個AR/VR行業。

　　另外紮克伯格還指出，VR和AR技術有很多部分是相似的，比如眼球追蹤等等。目前，AR有兩種技術方案：VST透視和基于光學的純AR，而這在圖形管道和顯示方案上相當不同。

　　盡管如此，純AR、VST透視AR、VR可擁有相同的3D渲染技術，未來可能會有一個統一的開發平台，這樣AR内容也可以在VR中運行。參考：Tested

　　,