自 IAB 標(biāo)準(zhǔn)(SMPTE 2098系列)發(fā)布以后，Dolby、DTS 等公司相繼發(fā)布了其對(duì)于 IAB 格式 DCP/IMP 的支持和方案，Atmos、DTS:X、Auro 3D 等多種基于對(duì)象的沉浸式音頻技術(shù)，正在逐步轉(zhuǎn)向統(tǒng)一的互操作格式-IAB 。使得同一個(gè) DCP 可以應(yīng)用到不同的沉浸式音頻系統(tǒng)上，目前該技術(shù)標(biāo)準(zhǔn)已經(jīng)在多個(gè)國(guó)家投入使用，中國(guó)大陸目前尚未開(kāi)始 IAB 的普及，我們經(jīng)過(guò)多年對(duì) IAB音頻系統(tǒng)的研究，結(jié)合 Wave D-Cinema Server 可實(shí)現(xiàn)完整的 IAB 沉浸式音頻系統(tǒng)的部署和使用，該 IAB 音頻處理器不同于傳統(tǒng)的 FPGA 方案，使用通用計(jì)算架構(gòu)，可實(shí)現(xiàn)遠(yuǎn)超 FPGA 的音頻處理性能，同時(shí)，我們關(guān)注到從 Atmos 及其他空間音頻技術(shù)向 IAB 轉(zhuǎn)換的電影音頻工作流程需求，提供對(duì)應(yīng)的沉浸式音頻制作工具，實(shí)現(xiàn)端到端的沉浸式音頻解決方案。

　　IAB (沉浸式音頻比特流)是一種由一組 SMPTE 標(biāo)準(zhǔn)定義的技術(shù)，所有符合沉浸式音頻標(biāo)準(zhǔn)的媒體播放器都遵循該標(biāo)準(zhǔn)。這包括投影儀內(nèi)的集成媒體塊 (IMB) 和單獨(dú)的外部系統(tǒng) (SMS)。

　　IAB 的 SMPTE ST 2098 標(biāo)準(zhǔn)最初于 2018 年發(fā)布，現(xiàn)在終于被電影行業(yè)采用。因此，內(nèi)容所有者和內(nèi)容服務(wù)提供商將開(kāi)始發(fā)行帶有 IAB 標(biāo)簽的電影，這意味著：

　　所有使用IAB沉浸式音頻標(biāo)準(zhǔn)的電影都將使用“IAB 兼容”

　　符合 IAB 標(biāo)準(zhǔn)的音頻將在其內(nèi)容播放列表 (CPL) 中以及通過(guò) DCP 命名約定標(biāo)記為“IAB”

　　電影院的媒體播放器、影院管理系統(tǒng) (TMS) 或 SMS將開(kāi)始顯示標(biāo)簽“IAB”，而不是 Atmos

　　影院經(jīng)營(yíng)者可能更熟悉在電影中看到 Atmos。未來(lái)將只使用 IAB

　　這不會(huì)改變 DCP 中的內(nèi)容——杜比多年來(lái)一直在推出符合 SMPTE 標(biāo)準(zhǔn)的“IAB ”DCP

　　很快，您的 TMS 和 SMS 將只顯示“IAB ”。不會(huì)顯示“Atmos”字樣。

　　這什么時(shí)候會(huì)發(fā)生？

　　目前好萊塢影片Atmos版本已按照IAB格式提供，國(guó)產(chǎn)影片尚未開(kāi)始轉(zhuǎn)向IAB格式，相信在不久的將來(lái)，ATMOS和DTS都將使用IAB格式的DCP版本，影城需要確保設(shè)備準(zhǔn)備就緒，需要確保其軟件得到更新。

　　(附圖為 ISDCF-DCNC 對(duì) IAB 格式的命名規(guī)范)

　　關(guān)于 IAB ：IAB 代表I mmersive A udioB itstream 。比特流是一個(gè)計(jì)算機(jī)術(shù)語(yǔ)，簡(jiǎn)而言之，在標(biāo)準(zhǔn)音頻系統(tǒng)中，音頻從媒體服務(wù)器(IMB)開(kāi)始，進(jìn)入音頻處理器，然后直接在音響系統(tǒng)中播放。

　　SMPTE ST 2098-1：沉浸式音頻 比特流 (IAB Bitstream)： 定義了用于傳輸沉浸式音頻數(shù)據(jù)的比特流格式。它支持基于聲道 (Channel-based)、基于對(duì)象 (Object-based) 的音頻表示方法，以及它們的混合使用。注意：標(biāo)準(zhǔn)的IAB 規(guī)范里沒(méi)有關(guān)于基于場(chǎng)景音頻的約束，任何關(guān)于 HOA 在 IAB 中的應(yīng)用都是非標(biāo)準(zhǔn)的做法，我們不建議使用 HOA 在電影院環(huán)境中。

　　基于聲道 (Channel-based)： 類似于傳統(tǒng)的環(huán)繞聲，使用預(yù)定義的揚(yáng)聲器位置來(lái)錄制和播放音頻。例如 5.1、7.1 聲道等。

　　基于對(duì)象 (Object-based)： 將音頻元素(例如對(duì)話、音效)作為獨(dú)立的“對(duì)象”進(jìn)行錄制和處理，并包含其在三維空間中的位置信息。播放時(shí)，渲染器會(huì)根據(jù)揚(yáng)聲器的實(shí)際位置來(lái)渲染這些對(duì)象。

　　Dolby Atmos 是目前世界上使用最廣泛的 IAB 音頻品牌，Atmos 使用 VBAP(矢量幅度平移)算法進(jìn)行 IAB 渲染，目前 Dolby Atmos 已經(jīng)在商業(yè)影院部署超過(guò) 7000 影廳以上。空間音頻已經(jīng)快速進(jìn)入了大家的生活中，手機(jī)、汽車、電視等終端已經(jīng)支持對(duì)象聲的渲染，受限于其計(jì)算能力，專業(yè)影院的同時(shí)播放對(duì)象數(shù)量高達(dá) 118 個(gè)，而手機(jī)、汽車、電視這些終端的對(duì)象可能減少為十余個(gè)。

　　Atmos 增加了什么？

　　杜比全景聲系統(tǒng)為影廳引入了一個(gè)新概念。這個(gè)新發(fā)展被稱為“對(duì)象”。

　　Atmos 系統(tǒng)仍然包含 5.1 或 7.1 聲道。它將這些稱為 Bed Channels。

　　“Bed” 這個(gè)詞在音頻界有著悠久的傳統(tǒng)。例如，如果你和樂(lè)隊(duì)混在一起，你會(huì)聽(tīng)到他們說(shuō)，“讓我們放一些  Bed track 吧”。這些是歌曲中節(jié)奏和與主要旋律元素和聲的基本音軌。因此，DCP 中的 Bed Tracks 是電影音頻的基本 5.1 或 7.1 聲道。

　　而對(duì)象則不同。它是一種聲音，但沒(méi)有特定的播放通道，也沒(méi)有特定的電纜供其傳輸。

　　物體在空間中有一個(gè)位置。它需要一個(gè) IAB 系統(tǒng)來(lái)告訴聲音物體“去往屏幕前方四米處，距離左側(cè)三米、距離天花板一米，要非常窄，但聲音要非常大。然后花 5 ms移動(dòng)到 3D 空間中的其他地方，并且要非常寬”。但是這些位置可能沒(méi)有揚(yáng)聲器，對(duì)吧?因?yàn)槿绻械脑挘瑩P(yáng)聲器會(huì)遮擋屏幕上的畫面。

　　事實(shí)上，Atmos 和其他系統(tǒng)(AuroMax和DTS:X)都有很多額外的揚(yáng)聲器。問(wèn)題是，較小的影廳可能只有 8 個(gè)額外的揚(yáng)聲器加上床聲道，但另一個(gè)影廳可能有 20 個(gè)額外的揚(yáng)聲器——而且它們被放置在禮堂的不同位置。事實(shí)上，揚(yáng)聲器的總組合可以是 64 個(gè)。所以，也許那個(gè)位置有一個(gè)揚(yáng)聲器，……但可能沒(méi)有。

　　要做到這一點(diǎn)需要大量的計(jì)算機(jī)算力來(lái)支撐。

　　IAB 基于對(duì)象的音頻是如何記錄音頻位置的？

　　IAB 最大可以 118 個(gè)對(duì)象同時(shí)渲染，這些對(duì)象是聲音在物理環(huán)境中的某個(gè)發(fā)聲單元，比如人在說(shuō)話的時(shí)候，人是對(duì)象，馬路上行走汽車的噪音，天空中的飛機(jī)飛過(guò)的聲音，這都是一個(gè)個(gè)音頻對(duì)象。音頻對(duì)象位置元數(shù)據(jù)使用笛卡爾坐標(biāo)系指示音頻對(duì)象的位置。使用三個(gè)正交軸(x、y、z)來(lái)定位空間中相對(duì)于所選原點(diǎn)的點(diǎn)。x 坐標(biāo)應(yīng)表示左右維度，y 坐標(biāo)應(yīng)表示前后維度，z 坐標(biāo)應(yīng)表示上下維度，如圖 1 所示。

　　對(duì)象在空間中的位置是用笛卡爾坐標(biāo)系來(lái)描述的，對(duì)于空間中的某個(gè)位置以及對(duì)象本身的大小，ST2098-1 中均有相關(guān)定義，渲染時(shí)需要按照 IAB 中描述的要求進(jìn)行渲染，以保證達(dá)到制作人的目的。

　　IAB 渲染-最重要的部分：

　　(IAB 音頻播放架構(gòu))

　　SMPTE ST 2098?2 沉浸式音頻比特流 (IAB) 定義了一種用于承載沉浸式音頻的比特流。它設(shè)計(jì)了許多前瞻性功能， 其中一些功能目前不受影院IAB渲染器的支持。為了有效地開(kāi)始向行業(yè)推出 IAB DCP，需要為 IAB 制定一套約定的約束。“IAB Application Profile#1” 將這些要求和支持的功能編入標(biāo)準(zhǔn)。配置文件 1 基于截至 2020 年 2 月 影院中沉浸式音頻渲染器所實(shí)施的功能。我們通常認(rèn)為：杜比ATMOS遵循的渲染器約束就是“IAB Profile 1”，杜比公司提供了從ATMOS向IAB的轉(zhuǎn)換工具，影片制作工作室可無(wú)損的將ATMOS數(shù)字資產(chǎn)轉(zhuǎn)換為IAB資產(chǎn)。IAB 配置文件1規(guī)定了對(duì)最大10個(gè)床聲道、118個(gè)對(duì)象同時(shí)進(jìn)行渲染的詳細(xì)約束。

　　如何將IAB沉浸音中記錄的聲音對(duì)象位置準(zhǔn)確的在有限的影廳揚(yáng)聲器布局中渲染出來(lái)是非常有挑戰(zhàn)的工作，比較推薦的做法是使用VBAP(矢量幅度平移)方法，聲音的對(duì)象從一個(gè)點(diǎn)到下一個(gè)點(diǎn)的移動(dòng)速率約為5ms，每個(gè)對(duì)象的定位最少需要3只揚(yáng)聲器來(lái)實(shí)現(xiàn)定位，渲染器的工作就是不斷的將聲音對(duì)象通過(guò)影廳空間最適合的三個(gè)揚(yáng)聲器來(lái)重新計(jì)算每個(gè)揚(yáng)聲器或者揚(yáng)聲器組需要播出的音頻數(shù)據(jù)，同時(shí)，渲染器需要考慮人類聽(tīng)覺(jué)的特性，進(jìn)行實(shí)時(shí)的解相關(guān)運(yùn)算，通過(guò)調(diào)節(jié)音頻的相位達(dá)到更佳的體驗(yàn)，與傳統(tǒng)的音頻處理應(yīng)用不同，渲染器相當(dāng)于將音頻工作站由工作室搬到了影廳的機(jī)房，根據(jù)不同的影廳尺寸進(jìn)行密集的實(shí)時(shí)計(jì)算，單是FIR處理一項(xiàng)，傳統(tǒng)的DSP芯片就難以勝任，影院音頻處理呈現(xiàn)高帶寬、高算力要求。

　　Dolby的IAB處理方案采用FPGA計(jì)算平臺(tái)，與傳統(tǒng)的DSP哈佛架構(gòu)芯片不同，我們的音頻處理方案創(chuàng)新的使用通用計(jì)算平臺(tái)，結(jié)合CPU與GPU的強(qiáng)大計(jì)算能力，可提供超越FPGA架構(gòu)十倍的處理能力，除了音頻渲染、音頻處理外，Wave Surround解決方案支持實(shí)時(shí)進(jìn)行房間混響計(jì)算，這將為較小的空間實(shí)現(xiàn)“大劇院”、“演唱會(huì)”、“大禮堂”、“巨幕廳”的聲音效果成為可能。

　　Wave Surround 支持更靈活的音響布局，支持7.1.4、5.1.4、9.1OH、11.1HT、13.1HT、9.1.6、11.1.4等靈活布局，得益于強(qiáng)大的計(jì)算架構(gòu)，該音頻解決方案Filter部分使用FIR高階濾波(大于1024Taps)進(jìn)行音頻濾波處理，可以做到非常好的相位響應(yīng)，在類似LED電影屏的B環(huán)還音應(yīng)用中，可以靈活應(yīng)對(duì)。Wave Surround 已就相關(guān)技術(shù)申請(qǐng)專利保護(hù)。

　　我們的方案-Wave Surround 沉浸式終極音頻解決方案

　　從 2019 年開(kāi)始，我們就在關(guān)注 IAB 音頻相關(guān)技術(shù)的發(fā)展，在Pierre-Anthony Lemieux等人的幫助與指導(dǎo)下，我們于 2024 年完成了IAB 沉浸式音頻的產(chǎn)品研究和開(kāi)發(fā)工作，與我們的 Wave D-Cinema 媒體服務(wù)器一樣，我們的 IAB 音頻處理器同樣采用通用計(jì)算架構(gòu)，而不是 Dolby 的 FPGA 架構(gòu)。計(jì)算性能遠(yuǎn)遠(yuǎn)超過(guò) FPGA。

　　Wave IAB Processor Features：

　　符合ST 430-10 標(biāo)準(zhǔn)的 IMB 通信要求，支持由 IMB 控制的 IAB 音頻播放管理功能

　　友好易用的 Web UI 設(shè)計(jì)，提供 Restful API 供集成

　　靈活的 DAC 布局，使用 AES67 協(xié)議，支持外置 DAC

　　符合 ST2098 系列 IAB 標(biāo)準(zhǔn)，支持多達(dá)十余種揚(yáng)聲器布局

　　全 LCD 觸控屏操作，無(wú)物理實(shí)體按鍵

　　支持 OTA，可通過(guò)軟件更新提升硬件價(jià)值

　　支持低音陣列及低音管理

　　可靈活使用 IIR/FIR 分頻和濾波，F(xiàn)IR 可支持更高 Taps 濾波，超越專業(yè)級(jí)音頻設(shè)備的品質(zhì)

　　徹底解決 LED 電影屏透聲問(wèn)題，使用 高階FIR提供極好的相位響應(yīng)。

　　支持自動(dòng) EQ 校準(zhǔn)

　　最大可支持輸出 128 路數(shù)字音頻

　　最后：

　　使用通用架構(gòu)進(jìn)行IAB音頻處理是一項(xiàng)充滿挑戰(zhàn)的工作，在麥克盧漢卓越研究開(kāi)發(fā)團(tuán)隊(duì)的不懈努力下，該IAB音頻解決方案得以成功通過(guò)試驗(yàn)，我們歡迎國(guó)際、國(guó)內(nèi)音頻產(chǎn)業(yè)的相關(guān)公司參與共創(chuàng)合作，Wave Surround 計(jì)劃將IAB的制作、渲染、音頻處理等核心代碼開(kāi)源，如有對(duì)空間音頻、數(shù)字影院音頻處理感興趣的團(tuán)隊(duì)，可通過(guò)公眾號(hào)與我們聯(lián)系，共同打造極致的媒體娛樂(lè)體驗(yàn)。