Create immersive 3D sound for the virtual world
Time:2021-11-27
Views:2575
引言
世界是不斷變化的。這種不斷發(fā)展的狀態(tài),意味著我們與世界、設(shè)備和他人互動(dòng)的方式也在發(fā)生變化。支配這種變化的,除了獲取利潤(rùn)外,還存在兩種重要的力量:其一,是技術(shù)的發(fā)展,它推動(dòng)著我們不斷開(kāi)拓創(chuàng)新,帶來(lái)了各種當(dāng)今習(xí)以為常的設(shè)備和應(yīng)用程序;其二,則是在新冠疫情的推動(dòng)下,人們對(duì)身體健康的關(guān)注度變得更高。
當(dāng)人們擁有更多時(shí)間用來(lái)娛樂(lè),沉浸式技術(shù)便迎來(lái)了發(fā)展機(jī)遇。現(xiàn)在,消費(fèi)者可以購(gòu)買到多家制造商推出的虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)頭顯設(shè)備,業(yè)余開(kāi)發(fā)者和專業(yè)人員也可以借助開(kāi)發(fā)工具來(lái)渲染虛擬世界和場(chǎng)景。這些顯示技術(shù)正不時(shí)地見(jiàn)諸媒體頭條,與此同時(shí)相應(yīng)的音頻技術(shù)也沒(méi)被落下。
在公認(rèn)的五大感知中,聲音也許是人們最先感受到的。不論是大自然的豐富、管弦樂(lè)的渾厚,還是靈歌的激蕩,聲音和其他任何感知一樣,都會(huì)對(duì)我們的情感和生理產(chǎn)生深遠(yuǎn)的影響。
發(fā)展歷程
我們之所以能繁衍至今,很大程度上離不開(kāi)我們專注于傾聽(tīng)的能力。例如,我們的祖先在狩獵時(shí),會(huì)通過(guò)聲音來(lái)追蹤和尋找食物,維持家族或村莊的生計(jì)。借助聲音,他們能夠以一種3D沉浸式的方式來(lái)定位潛在的致命因素,從而避開(kāi)捕食者。我們只要聽(tīng)到聲音,就可以感知到它在哪個(gè)方向、距離我們多遠(yuǎn),以及它正以怎樣的速度靠近。
沉浸式音頻是一種高科技音頻處理和音響技術(shù),它的實(shí)現(xiàn)離不開(kāi)高質(zhì)量的音頻處理,以及一系列經(jīng)過(guò)精心設(shè)計(jì)、校準(zhǔn)和布置的高、中、低音揚(yáng)聲器單元,這樣才能提供動(dòng)態(tài)的全頻譜聽(tīng)覺(jué)感受。
雖然以往的普通發(fā)燒友并不追求這樣的配置,但電影院和各種表演場(chǎng)所多年來(lái)一直在運(yùn)用這項(xiàng)技術(shù)。就像所有的開(kāi)創(chuàng)性技術(shù)一樣,它最終會(huì)找到自己的方式來(lái)惠及其他領(lǐng)域。
現(xiàn)代娛樂(lè)系統(tǒng)會(huì)采用許多專門的過(guò)濾器和動(dòng)態(tài)處理,創(chuàng)造出能讓更多人負(fù)擔(dān)得起的方案。如今,家庭影院的普及度已經(jīng)站上新高,新冠疫情的橫行進(jìn)一步推動(dòng)了這種趨勢(shì)。在遍地開(kāi)花的游戲裝備和家庭影院中,沉浸式音頻是一種順理成章的需求。
雖然立體聲可以實(shí)現(xiàn)基礎(chǔ)的環(huán)繞聲能力,但杜比數(shù)字5.1 (Dolby Digital 5.1) 技術(shù)才是當(dāng)今應(yīng)用最廣泛的環(huán)繞聲和3D音頻方案。此類系統(tǒng)包括杜比數(shù)字、杜比定向邏輯II (Dolby Pro Logic II)、DTS、SDDS和THX等技術(shù),它們都采用圍繞聽(tīng)眾布置的六揚(yáng)聲器配置(五個(gè)全帶寬聲道、一個(gè)重低音揚(yáng)聲器)(圖1)。這些環(huán)繞聲技術(shù)首先在電影院中得到應(yīng)用,這推動(dòng)了它們實(shí)現(xiàn)進(jìn)一步發(fā)展,并將成本降低到大眾可以接受的程度。
圖1:5.1環(huán)繞聲使用五個(gè)放置在特定位置的全頻揚(yáng)聲器和一個(gè)重低音揚(yáng)聲器。音頻處理工程師可以通過(guò)混音,讓聽(tīng)眾感覺(jué)到聲音似乎在他們周圍移動(dòng)。重低音揚(yáng)聲器通常可以放在任意位置。(圖源:Zern Liew/Shutterstock.com)
在這樣的系統(tǒng)中,多個(gè)揚(yáng)聲器都由獨(dú)立的音頻流驅(qū)動(dòng),讓聽(tīng)眾可以感受到虛擬的聲音環(huán)繞在自己周圍。其中,左后和右后聲道負(fù)責(zé)空間深度;左前、右前和前中置聲道負(fù)責(zé)橫向深度;重低音揚(yáng)聲器負(fù)責(zé)整個(gè)空間的低頻聲音。
對(duì)于處在收聽(tīng)區(qū)域(也就是沙發(fā))中央的單個(gè)聽(tīng)眾而言,這樣的配置是理想的。在多人收聽(tīng)的情況下,不同位置的聽(tīng)眾體驗(yàn)上會(huì)有細(xì)微差異,但總體而言是相對(duì)一致的,每個(gè)人都可以感受到聲音的移動(dòng)?,F(xiàn)在,已經(jīng)有一些錄音師在新唱片中提供了5.1環(huán)繞聲音軌,并以“沉浸式”來(lái)進(jìn)行宣傳。
一個(gè)有趣的事實(shí)是,前中置聲道針對(duì)語(yǔ)音范圍的聲音進(jìn)行了優(yōu)化,這有助于聽(tīng)眾在沉浸于3D音效的同時(shí)依然能夠分辨人物對(duì)話。在豐富、渾厚的聲音越來(lái)越受追捧的情況下,分辨人聲會(huì)變得更加困難。通過(guò)中置聲道的過(guò)濾和放大,聽(tīng)眾便更容易聽(tīng)清人物對(duì)話。
在5.1環(huán)繞聲基礎(chǔ)上,如果取消左后和右后聲道,改為左環(huán)繞、右環(huán)繞和后中置聲道,便可升級(jí)為6.1環(huán)繞聲(圖2);如果在6.1環(huán)繞聲基礎(chǔ)上取消后中置聲道,改為左后和右后聲道,則成為7.1環(huán)繞聲(圖3)。
圖2:6.1環(huán)繞聲在左右兩側(cè)配備了揚(yáng)聲器,當(dāng)音頻對(duì)象從前面移向側(cè)面或背后時(shí)可增強(qiáng)移動(dòng)音效。重低音揚(yáng)聲器依然可以隨意放置,這里也不討論有關(guān)低音的話題。(圖源:Zern Liew/Shutterstock.com)
7.1環(huán)繞聲技術(shù)增加了更多揚(yáng)聲器和獨(dú)立聲道,因而可以構(gòu)建出2.5D的立方體或多邊形聲場(chǎng),在重要位置配備更多高、中、低音單元,使聽(tīng)眾沉浸到2D和有限的3D音頻中(圖3)。對(duì)于聲音從聽(tīng)眾正上方或正下方發(fā)出的音效,一定程度上可以通過(guò)信號(hào)處理來(lái)近似地實(shí)現(xiàn),但并不能達(dá)到比較完美的效果,除非在上方或下方確實(shí)有揚(yáng)聲器。
圖3:以較小角度放置更多揚(yáng)聲器,有助于消除可能出現(xiàn)的音頻熱點(diǎn),尤其是在音軌沒(méi)有正確地進(jìn)行混音或處理,或者音頻轉(zhuǎn)換器未能正確處理環(huán)繞聲的情況下。(圖源:Zern Liew/Shutterstock.com)
值得注意的是,我們可以通過(guò)音源轉(zhuǎn)換器對(duì)拾取的立體聲音頻信號(hào)進(jìn)行處理,從而創(chuàng)建出合成的多揚(yáng)聲器環(huán)繞聲信號(hào)。也就是說(shuō),只需借助數(shù)字信號(hào)處理技術(shù),我們就能夠在很大程度上從立體聲中分離出聲源的位置。當(dāng)然,3D音頻最理想的解決方案依然是通過(guò)3D麥克風(fēng)拾取聲音,然后使用同樣的3D揚(yáng)聲器配置來(lái)播放,但這種做法即麻煩又困難,而且既然信號(hào)處理就能夠?qū)崿F(xiàn)很近似的效果,也就鮮少有人會(huì)如此折騰了。
但信號(hào)處理真的是一劑“萬(wàn)靈丹”嗎?我們敏銳的聽(tīng)覺(jué),僅僅遇上信號(hào)處理和有限的幾個(gè)揚(yáng)聲器,就可以被糊弄嗎?如果不是這樣的話,我們是不是就得用上滿墻、滿天花板的揚(yáng)聲器?
圖4:有一句老話叫“多多益善”。許多藝人都喜歡在現(xiàn)場(chǎng)配備一大堆揚(yáng)聲器和功放,這在大型戶外演出中也許是必要的,但你真的希望把整面墻都掛滿揚(yáng)聲器嗎?在某些情況下,你是不是更希望體驗(yàn)到更好的音效,而不是更大的音量?(圖源:tommistock/Shutterstock.com)
面向?qū)ο蟮囊纛l
沉浸式音頻的最新實(shí)踐來(lái)自杜比全景聲 (Dolby Atmos),它最初是為影院應(yīng)用而設(shè)計(jì)的。迄今為止,已有近5000家影院經(jīng)過(guò)改造,通過(guò)64個(gè)揚(yáng)聲器帶來(lái)這種全新聽(tīng)覺(jué)體驗(yàn)。該技術(shù)支持由多達(dá)128個(gè)聲道組成的大型陣列,這些聲道可以使用全頻、低音、重低音和高音單元。
與傳統(tǒng)音頻不同的是,杜比全景聲(及其競(jìng)爭(zhēng)對(duì)手索尼360)采用了“音頻對(duì)象”的概念。視聽(tīng)接收器 (AVR) 將自動(dòng)適配揚(yáng)聲器的數(shù)量、類型和位置,并對(duì)每個(gè)音頻對(duì)象的頻譜構(gòu)成、振幅位置、速度和方向進(jìn)行處理。不過(guò),“音頻對(duì)象”并不僅僅包含聲音本身,它還帶有各種元數(shù)據(jù),幫助對(duì)象音頻渲染器 (OAR) 讓對(duì)象移動(dòng)起來(lái)。在128個(gè)聲道中,10個(gè)用于環(huán)境效果,余下的118個(gè)可用于音頻對(duì)象。
這些聲道并不一定對(duì)應(yīng)于特定的揚(yáng)聲器。聲道信息和聲音對(duì)象是對(duì)應(yīng)的,對(duì)象音頻可以進(jìn)行處理,并與其他對(duì)象音頻相結(jié)合,最終以適當(dāng)?shù)囊袅糠峙涞礁鱾€(gè)揚(yáng)聲器。整個(gè)過(guò)程均由AVR借助元數(shù)據(jù)來(lái)實(shí)時(shí)處理信號(hào),并進(jìn)行實(shí)時(shí)混音和分配。
可以想見(jiàn),這樣的技術(shù)絕不像立體聲那樣,只要隨手放兩臺(tái)揚(yáng)聲器就可以實(shí)現(xiàn)。對(duì)于杜比全景聲以及許多其他環(huán)繞聲和3D音響系統(tǒng),揚(yáng)聲器在放好位置后還必須進(jìn)行校準(zhǔn),才能共同呈現(xiàn)出精確的聲場(chǎng)。杜比全景聲還有適用于家庭影院的方案,但并不會(huì)用到全部128個(gè)聲道。這種家用方案采用的應(yīng)該是34個(gè)揚(yáng)聲器的配置。
杜比全景聲并不是完全新鮮的事物。2012年,洛杉磯的一家影院舉辦了一部迪士尼電影的首映式,這是該技術(shù)的首次實(shí)際應(yīng)用。從那時(shí)起,大型影院、IMAX、天文館、音樂(lè)劇、戲劇和其他音響應(yīng)用都積極采用這項(xiàng)技術(shù),使之成為了新電影和活動(dòng)事實(shí)上的音頻拾取標(biāo)準(zhǔn)。杜比全景聲還通過(guò)天花板上的揚(yáng)聲器來(lái)構(gòu)建完整的聲音半球,不僅能夠使聲音真正從上方發(fā)出,還讓實(shí)時(shí)處理變得更加容易。
曾幾何時(shí),杜比全景聲對(duì)普通發(fā)燒友而言過(guò)于復(fù)雜和昂貴,但現(xiàn)在它對(duì)于有足夠空間和預(yù)算的發(fā)燒友而言,已經(jīng)成為讓朋友們驚嘆的必備配置,拉風(fēng)指數(shù)五顆星。
如果你已經(jīng)在其他環(huán)繞聲技術(shù)上耗費(fèi)了大量銀子,那么也可以入手一個(gè)杜比全景聲轉(zhuǎn)換器,然后繼續(xù)使用現(xiàn)有的揚(yáng)聲器和功放。不過(guò),你一定不會(huì)止步于此,至少你肯定希望配備天花板揚(yáng)聲器。該轉(zhuǎn)換器可以將杜比5.1轉(zhuǎn)換為17揚(yáng)聲器的7.4.1環(huán)繞聲配置。
值得注意的是,杜比全景聲還可以通過(guò)條形音箱而非環(huán)繞揚(yáng)聲器來(lái)實(shí)現(xiàn)。各種形式的條形音箱技術(shù)正越來(lái)越受到歡迎。降低成本、簡(jiǎn)化設(shè)置、降低功耗、減少電纜和縮小尺寸等明顯的優(yōu)勢(shì)推動(dòng)了這項(xiàng)技術(shù)的發(fā)展。
相控陣垂直條形音箱已經(jīng)證明了它們能夠以良好的清晰度和分離度模擬完整的音頻頻譜。使用它們的音樂(lè)人會(huì)告訴你,帶有6英寸揚(yáng)聲器的條形音箱柱可為重低音揚(yáng)聲器應(yīng)用提供相當(dāng)于18英寸揚(yáng)聲器的清晰度。這應(yīng)該足夠引起一些人的注意了。因此,水平條形音箱和基于條形音箱的混合系統(tǒng)(包括遠(yuǎn)程揚(yáng)聲器)在許多家庭影院和工作室中都很受歡迎。
條形音箱的頂部揚(yáng)聲器和側(cè)邊揚(yáng)聲器使聲音在墻壁和天花板表面反射,讓聽(tīng)眾感到它似乎來(lái)自上方和背后。現(xiàn)代感十足的特斯拉Model 3就將前置條形音箱技術(shù)作為其15揚(yáng)聲器音頻系統(tǒng)的一部分,從而將環(huán)繞聲和沉浸式音頻作為一項(xiàng)賣點(diǎn)。關(guān)閉Model 3的后置揚(yáng)聲器,啟用帶有信號(hào)處理和混響的沉浸式音頻模式,便可以體驗(yàn)到這項(xiàng)功能,那些嘗試過(guò)的人都堅(jiān)信聲音是從后面?zhèn)鱽?lái)的。不過(guò)它的實(shí)際反饋毀譽(yù)參半,許多人都不喜歡這樣的音效。測(cè)評(píng)師的觀點(diǎn)也呈現(xiàn)出兩極化傾向,不少都提到了不同類型的音樂(lè)適合或者不適合條形音箱式的沉浸式方案。這是有道理的,因?yàn)槁曇粼佻F(xiàn)的質(zhì)量離不開(kāi)錄音師的混音技術(shù)。條形音箱能夠在這種場(chǎng)景中成功落地,意味著準(zhǔn)確、帶有上下方向的沉浸式音箱技術(shù)在沒(méi)有地板和天花板揚(yáng)聲器的情況下也幾乎都能實(shí)現(xiàn)。
拾取和渲染
諸如游戲之類的沉浸式視頻體驗(yàn),使用的是一種完全創(chuàng)造出來(lái)的環(huán)境,由具有表面渲染和指定物理屬性的3D結(jié)構(gòu)組成。真實(shí)的視頻片斷可以被捕獲并以數(shù)字方式拼接在一起,形成一個(gè)包括上下影像的全景。
沉浸式的體驗(yàn),例如在國(guó)家公園中散步,可以整合豐富的視覺(jué)效果,而音頻則可以通過(guò)對(duì)預(yù)先錄制的片段進(jìn)行組合來(lái)合成或創(chuàng)建出來(lái)。這些片段可以在3D音響系統(tǒng)中進(jìn)行拾取,并用作沉浸式體驗(yàn)的一部分。就像由頭部追蹤控制的視頻一樣,音頻也必須由頭部追蹤來(lái)控制。例如,在你面對(duì)一條潺潺小溪時(shí),所聽(tīng)到的聲音與背對(duì)它時(shí)會(huì)有顯著區(qū)別。如果沒(méi)有通過(guò)頭部追蹤來(lái)控制聲音,沉浸式體驗(yàn)就會(huì)大打折扣。
好在,你不必為沉浸式的目的而自己發(fā)明3D音頻拾取方案。諸如森海塞爾 (Sennheiser) 等知名音頻廠商利用分段軸和數(shù)字工具,制造出了專業(yè)的真正全向麥克風(fēng),以拾取高度定向的聲音(圖5)。AMBEO VR Mic包含多個(gè)敏感的寬頻譜麥克風(fēng)元件,并采用環(huán)繞聲配置。DearVR MICRO處理軟件可以渲染定向音頻以提供標(biāo)準(zhǔn)環(huán)繞聲配置。
圖5:Sennheiser AMBEO VR Mic等沉浸式音頻拾取技術(shù),使數(shù)字音頻引擎能夠根據(jù)地磁極和方向來(lái)渲染聲場(chǎng)。通過(guò)數(shù)字求和,可以創(chuàng)造出結(jié)合了不同距離多個(gè)聲源的復(fù)合音頻。(圖源:森海塞爾)
為此,音頻引擎需要知道你頭部的方向和運(yùn)動(dòng)。按照今天的標(biāo)準(zhǔn),這一點(diǎn)在使用頭顯設(shè)備時(shí)很容易實(shí)現(xiàn),因?yàn)樗鼈兌純?nèi)置了頭部追蹤功能用于視頻渲染。但是,如何才能通過(guò)局限于兩只耳朵的耳機(jī)來(lái)實(shí)現(xiàn)基于頭部位置的沉浸式音頻系統(tǒng)呢?我們可以把多個(gè)微型揚(yáng)聲器放置在耳機(jī)中,模擬環(huán)繞聲體驗(yàn)。對(duì)于大多數(shù)應(yīng)用而言,立體聲已經(jīng)足夠,但它與真正的環(huán)繞聲依然不在同一水平上。
非娛樂(lè)應(yīng)用
雖然大多數(shù)情況下沉浸式視聽(tīng)技術(shù)會(huì)用于娛樂(lè)用途,但它在專業(yè)用途中也有一席之地。例如,產(chǎn)品設(shè)計(jì)工程就可以從包括視頻和音頻在內(nèi)的沉浸式技術(shù)中獲益。從視頻的角度而言,可以通過(guò)虛擬的方式構(gòu)建、渲染和檢查復(fù)雜組件的機(jī)械設(shè)計(jì)。對(duì)于以沉浸式方式生成的虛擬組件,例如噴氣式發(fā)動(dòng)機(jī),我們可以身臨其境地進(jìn)行構(gòu)建、推入和檢查,確保齒輪和渦輪對(duì)齊。沉浸在制造環(huán)境中的工廠專家可以指導(dǎo)世界另一端的維修技術(shù)人員進(jìn)行操作。
沉浸式音頻也可以在工程應(yīng)用中提供幫助。設(shè)計(jì)汽車的工程團(tuán)隊(duì)可以聆聽(tīng)到模擬渲染的發(fā)動(dòng)機(jī)和變速箱噪音。他們可以從虛擬設(shè)計(jì)中提取出氣流、振動(dòng)和擺動(dòng)等環(huán)境控制要素,也可以在虛擬環(huán)境中設(shè)計(jì)并測(cè)試車窗,避免在特定車速下將車窗搖到特定位置時(shí)發(fā)出砰砰聲——這是一種在當(dāng)今許多新車上依然會(huì)出現(xiàn)的問(wèn)題。
在各種用例中,音頻都是沉浸式體驗(yàn)的組成部分,但并不是所有情況都需要環(huán)繞聲。至少在通過(guò)雙耳耳機(jī)實(shí)現(xiàn)真正環(huán)繞聲的問(wèn)題解決之前,模擬環(huán)繞聲可能就已經(jīng)足夠了。
免責(zé)聲明: 本文章轉(zhuǎn)自其它平臺(tái),并不代表本站觀點(diǎn)及立場(chǎng)。若有侵權(quán)或異議,請(qǐng)聯(lián)系我們刪除。謝謝!
矽源特科技ChipSourceTek
深圳中恒科技電子有限公司
免責(zé)聲明: 本文章轉(zhuǎn)自其它平臺(tái),并不代表本站觀點(diǎn)及立場(chǎng)。若有侵權(quán)或異議,請(qǐng)聯(lián)系我們刪除。謝謝!
矽源特科技ChipSourceTek
深圳中恒科技電子有限公司