2020年WWDC上,通過iOS14操作系統發布,蘋果宣布在AirPods Pro下提供空間音頻Spatial Audio的支持,一年後WWDC 2021,蘋果宣布Apple Music可提供支持Dolby Atoms杜比全景聲的音樂内容。業界認為,在杜比公司的Dolby Atoms技術問世近十年後,蘋果的姗姗來遲反而是打通了兩聲道杜比全景聲體驗的最為重要的内容一環。但實際情況如何?我們今天一文先通過在蘋果iPhone、iPad和Apple TV下杜比全景聲和蘋果空間音頻不同體驗來聊一聊現在兩聲道虛拟環境聲的體驗。
在開始全文之前要明确蘋果公司對空間音頻技術體驗的定義:一種劇場般體驗的心理聲學技術[Theatre-like experience, Pyschoacoustic technology]。
一、通過Apple Music的Dolby Atoms音樂
2021年6月蘋果宣布Apple Music支持無損與高清無損,同時推出了支持杜比全景聲Dolby Atoms效果的音樂内容,并且半年來保持着更新。在音樂内容中,杜比全景聲效果并不僅針對蘋果公司的耳機産品,任何耳機,包括有線耳機都可以支持該效果。隻不過,在系統默認下杜比全景聲播放設置為“自動”,可識别AirPods耳機後自動開啟,而第三方耳機産品可使用強制“始終開啟”來實現。
蘋果 Apple Music 杜比全景聲播放界面
如圖所示,我們在iPhone、iPad、Apple TV連接AirPods耳機後,可以在app狀态中看到“杜比全景聲”字樣,就說明真正打開此效果了。而第三方耳機沒有任何UI上提示,但其實效果确實也是起效了。
關于效果:大家評價褒貶不一,但肯定談達不到“大多好評”。但值得一提的是,這個渲染器可以将原本兩聲道内容加入空間信息,也可以将原本本身就是多聲道内容加上空間信息。另外考慮到,兩聲道虛拟環境聲所謂的心理聲學,其實是需要人類大腦的一些想象力和關聯能力。所以,目前場景固定易于大腦産生反應的古典音樂效果更好,同時,杜比公司本身擁有不少的多聲道錄音古典音樂資源,也讓一些古典音樂的杜比全景聲表現相當不錯。
實現方式:杜比全景聲在音樂中的應用的提交并不困難,可以通過蘋果自家的Logic Pro中的Renderer for Dolby Atoms插件來制作完成。而非蘋果平台也可通過Renderer for Dolby Atoms的VST插件在音頻編輯軟件上完成。隻要制作足夠精心[比如非常豐富的錄音軌道都可以單獨指定空間信息,3D圖形化操作等等比較方便],會有一定的效果。
這套内容的本質,與Android、Windows幾年前就提供的杜比全景聲方案幾乎沒有差别,它在内容生成時已經通過杜比公司的渲染器做好了源内容對空間信息錄入,所以對輸出設備并不挑剔。不僅耳機可以聽出效果,立體聲喇叭也可以聽出效果。
二、通過蘋果官方《TV》app
這個app的服務目前在國内無法使用,我們以美服内容為例。杜比公司與大量在線視頻流媒體内容合作,目前支持杜比全景聲的内容已經非常可觀。要确認自己是否在Dolby Atoms信号下,如圖要參考AirPods Pro等耳機連接下的相關字樣為“杜比全景聲”,如果信号帶寬不允許,此處有可能會跳為“立體聲”。
蘋果 Apple官方《TV》app 播放杜比全景聲電影界面
内容版權保護,所以底面是純黑……
關于效果:如果你真的體驗過在Apple TV連接電視機後[當然,iPad也可以],使用AirPods Pro來聽杜比全景聲的效果,隻能用非常震撼來形容。此時耳機的低頻動态,聲音風格都發生了非常明顯的變化,聲音的平均響度也比普通立體聲下有了不小的提升。雖然不敢說後方環繞聲有多麼逼真,但前方結像的位置已經可以精确的放在身前兩三米電視機的位置,而且動态表現遠遠超出AirPods Pro在普通立體聲模式下的水平。頂部空間與後側空間環境聲效果,超越電視機音響問題不大。
實現方式:在播放在線流媒體視頻内容中的杜比全景聲音軌時,它的工作方式已經和我們第一條談到的音樂内容中的全景聲大不相同。蘋果技術課程中明确提到,在杜比全景聲内容時,向藍牙耳機傳輸的是超出立體聲AAC信号的多聲道信号,所以此處也需要AirPods Pro、AirPods3、AirPods Max等特别的耳機才可以支持,播放的機型也有一定的限制。值得一提的是,即便在多聲道模式下,蘋果仍然可以支持2條AirPods耳機的音頻共享。這套多聲道傳輸技術似乎是在2021年的iOS15/TVOS 15上才加入的。
補充一點,如果沒有官方《TV》下的電影,也可以去看看蘋果的各廠發布會内容,它的空間音頻效果也是絕對的典範級,定位效果不比電影差。
三、通過支持多聲道的第三方app,如《Infuse》
《Infuse》app在iPad下播放杜比全景聲或多聲道電影音軌下界面
關于第三方app如何支持杜比全景聲,iOS15上也提供了方便實現方法,隻需要标記為标準的多聲道内容,就可以被識别。遺憾的是,我們國内的優酷、愛奇藝、騰訊等app,即便在特别會員下,杜比劇場等類似内容的音軌也是通過上文所說第一種方式事先合成的,所以無法實現第二條談到的實現方式。
《騰訊視頻》app在iPad下播放界面截圖-僅為立體聲狀态
《優酷》app在iPad下播放界面截圖-僅為立體聲狀态[幀選劇場]
而我們找到了原本在Apple TV上最常用第三方視頻播放app《Infuse》在最新版本下提供了多聲道音頻向AirPods Pro等耳機傳輸的功能。如圖所示,我們看到這裡顯示的不是“杜比全景聲”而是“多聲道”。這點應該是杜比公司和蘋果公司的限制,關于細節本文不再展開。
關于效果:像《Infuse》這樣,可以将杜比全景聲甚至DTS、AC3等傳統多聲道内容,輸出給耳機以“空間音頻”方式來播放的第三方app,效果同樣不錯,在聲音整體動态方面仍然明顯優于耳機立體聲模式。低頻的量感、風格也和普通立體聲音樂模式下差别很大。但是,在結像準确性,空間感,低頻的動态等方面要落後于流媒體内置的杜比全景聲音軌還原,即不如上文的第二種方式。
《Infuse》app在iPad下連接第三方耳機播放杜比全景聲音軌界面
實際聽感沒有空間音頻
實現方式:關于第三方應用實現,準确的說應該稱之為多聲道渲染下的空間音頻,如果視頻内容有5.1以上規格音軌,第三方應用可以方便的導入該音軌,空間音頻可以自動識别,并且完成渲染和傳輸。它的傳輸方式與第二條談到的一樣,與第一條音樂的全景聲不同,所以,仍然需要蘋果特定耳機支持,播放設備也有一定限制。
四、遊戲和app的支持
在iOS15這一代操作系統中,蘋果的空間音頻最大的擴展來自于PHASE音頻架構。它從音頻架構底層進行了重建,将音頻事件渲染與3D圖形渲染處于同一級别,将幾何信息、事件觸發信息等圖形渲染與音頻同步,真正的将物理信息對聲音的影響加入到了環境聲之中。
試想,身處一個小河旁山腳下的第一視角主人公,原本周邊的聲音需要通過預設多個點,通過渲染路徑運動路徑觸發實現。環境音,通過多個點聲源來配合完成。而在PHASE下,所有環境聲為體積音源,環境中可以加入不同影響聲音的物體,物體形狀、材質等聲學物理特性可以被定義;人物移動如踩到泥、踩到砂子等物理特性同樣被聲學物理特性以及事件渲染相關。
這套設計主要針對未來的app應用和遊戲應用等,我們目前沒有找到明确了使用該技術的遊戲。沒有具體體驗。關于這方面技術,我們并不專業,也許描述的不夠精确,敬請諒解。
最後,對比Android與Windows
2012年,杜比公司便發布了Dolby Atoms技術,關于技術的描述一直以來都神神秘秘,說法大概就是在音頻信息中加入了空間信息,在家庭應用中我們可以看到7.1.2、7.1.4等配置,頂部聲道加入可能是以往大家關注的亮點。而頂部聲道的錄制,現在也成為了目前行業最主要規範之一[比如奧運會轉播等]。
但Atoms的核心在于将内容源編碼加入空間信息,無論是家庭的7.1.4還是電影院的64個通道,甚至傳統立體聲小喇叭如手機,或耳機。它都由特殊的編碼來定義空間信息,然後再做分配。
為了推廣Atoms,其實早在五六年前,杜比就在Windows下推出了atoms for Headphones的應用,它不但可以支持立體聲的虛拟化環境聲,還可以支持傳統杜比多聲道到耳機兩聲道的渲染。但由于杜比音軌和Windows下視頻源内容生态較為複雜,願意體驗的人可能不多,其實今天,我們通過第三方播放器調用,經過一通設置也是可以感受到該應用的效果。
同時,杜比公司還早就在Android手機上推出杜比全景聲認證的外放,這種效果的實現方式與我們談到的第一種方式類似,就是将内容通過杜比的渲染器渲染後,兩聲道輸出。這種配合的方式,除了一些Demo效果不錯外,顯然不可能做到各種各樣視頻内容都有好的表現。
《Bilibili》app在iPad下播放帶有杜比全景聲标志内容截圖-僅輸出立體聲
該标志隻說明視頻内音軌為杜比渲染器标準的ADM音軌
這裡我們要提一句Bilibili的大會員下杜比全景聲支持,通過MP4封裝真正的來自Renderer for Dolby atoms渲染器得到的ADM音軌,就可以點亮全景聲的标志。但正如我們介紹的,該方法屬于第一種預渲染的機制,所以對于AirPods等耳機并無加成。而即便沒有ADM音軌,但是原本立體聲AAC音軌已經是通過渲染器渲染的,理論上效果并不會有什麼差異。這種效果,其實還停留在目前Apple Music、以及安卓杜比全景聲的大部分應用的檔次。與iOS15下的杜比全景聲 空間音頻加成沒有關系。所以,我們會發現很多在B站沒有點亮大會員杜比Atoms LOGO的視頻,其實也是有效果的。
總結
通過今天的文章,主要想表達有幾個方面内容。
第一,杜比全景聲音樂是傳統的渲染和傳輸方式,它的效果好壞與渲染前本身是否為多聲道,以及制作中是否特别精心相關,這種方式不挑回放耳機。理論上它與Android、Windows下的杜比全景聲沒差别,隻不過蘋果現有内容可能更為精良。
第二,蘋果空間音頻 杜比全景聲的組合在于多聲道内容到蘋果特定耳機的回放,這包括蘋果官方《TV》app和遊戲等應用可以支持的全景聲或多聲道空間音頻;也可以包括向空間音頻輸入傳統的多聲道信号後,連接蘋果特定耳機回放的空間音頻内容。這種方式下,聲音效果極為出衆,以AirPods Pro為例,已經遠超該耳機在普通模式下表現。可以認為,這才是“空間音頻”正确打開方式。
第三,蘋果在iOS15系列操作系統下為音頻架構加入了“物理引擎”PHASE,對于未來空間音頻應用,以及VR AR應用來說,理論上有很高價值。
第四,有沒有發現我們全文都沒有提原本大家都認為重要的“頭部跟蹤”?雖然它看似酷炫,也最容易被體驗到感受到,但它隻在第一步人腦創建預想的心理聲學環境時有很好的作用。但空間音頻在目前影音應用中效果好壞,與“頭部跟蹤”并沒有因果關系。
,