在一系列形式的沉浸式故事中，音頻都十分重要。喬治·盧卡斯曾經說過，“聲音占體驗的一半”。這樣的說法對虛擬現實，增強現實和混合現實而言更是如此。游戲配樂師溫妮弗雷德·菲利普（Winifred Phillips）日前分享了關于VR游戲音頻開發的工具和技巧等入門介紹，以下是映維網的具體整理：

    大家好！我是游戲配樂師溫妮弗雷德·菲利普（Winifred Phillips）。我最近一直忙于為工作室一系列優秀的VR游戲創作配樂，包括即將于下周三（11月21日）登陸 Oculus Rift ， HTC Vive 和WMR，以及將于12月18日上架 PSVR 的第一人稱射擊游戲《Scraper：First Strike》。這個項目的工作肯定令我有關VR的一切產生了興趣。游戲即將發售，下面是開發商Labrodex工作室公布的預告片視頻，其中包含我為游戲創作的配樂：

    《Scraper：First Strike》只是我在過去一年中負責的眾多VR游戲之一。當我去年剛剛開始忙于與VR開發團隊合作的時候，我已經撰寫了一篇提供一系列與VR音頻相關信息資源的 文章 。17年的文章用一種通用的思路來探討了音頻在虛擬現實體驗中作用。來到2018年，我認為我們可以進一步擴展這個主題，包括VR頭顯平臺中最先進的技術。了解目前可用的硬件平臺可以幫助我們游戲配樂師更好地理解VR音頻正在發展的方向。

    首先，人們普遍認為認為VR屬于一個更大的類別，其他還包括AR增強現實和MR混合現實。人們通常認為AR和MR是同義詞，但這值得商榷。由于目前行業尚未有明確的共識來區分AR與MR，我們現在將它們視為AR/MR類別。在本文中，我將重點關注每個競爭平臺特有于VR和AR/MR的資源。好，下面開始吧。

    1. 用于VR和AR/MR設備的音頻

    現在市場上存在各種各樣能夠將我們沉浸在幻想世界里，或者將奇妙魔法帶到我們房間中的頭顯設備。盡管它們中的許多在音頻創建和實現方面采用共同的基礎技術，但存在適用于每一個的不同工具和技術。

    2. 當虛擬聲學遇上真實聲學

    新發售的 Magic Leap   One屬于AR/MR設備。這意味著它允許佩戴者看到現實世界，并同時感知疊加其上的數字影像。例如，AR/MR設備可以呈現微型玩具恐龍正在咖啡桌上蹣跚而行的畫面?？紤]到這一點，為AR/MR創建音頻變得有點棘手。

    比方說，假如我們希望小恐龍在爬上咖啡桌上的書本時發出一種可怕的吼聲。如果聲音聽起來不像是發生在房間之中，并有著獨特的聲學特性，音效就無法令人信服。你必須映射真實的房間，并且必須考慮聲學計算。在為虛擬現實開發音效時這不是問題，因為聲源完全存在于虛擬世界中的環境中。

    這是一個引人入勝的問題，同時是Magic Leap認真考慮過的問題。借助他們稱之為“Soundfield Audio”的系統來應用物理計算，設備可以根據環境產生適當的聲學效果。Magic Leap還獲得了一份空間音頻技術的專利，利用佩戴者的頭部動作來計算虛擬聲源的位置。下面這個視頻展示了Magic Leap的音樂可視化應用程序Tónandi：

    Hololens也屬于AR/MR設備，因此面臨與Magic Leap One相同的許多問題。為了予以解決，Hololens采用空間音頻引擎來計算聲源位置，并結合個性化頭部相關傳輸函數（HRTF）。HRTF有助于本地化虛擬音景的所有聽覺組件。另外，Hololens創建了一個與用戶位置相匹配的房間模型，這樣聲音似乎可以在真實的墻壁反射出來并令人信服地前往佩戴者耳朵。當 微軟 于明年年初發布下一代Hololens時，我們應該可以期待這項技術得到進一步的優化。下面是Engadget制作的視頻，他們詳細介紹了Hololens提供的音頻體驗：

    3. 混合現實的 空間音效

    我們正在等待下一代的 HoloLens ，而微軟則在忙于他們WMR平臺（允許第三方設備廠商根據現有的VR參考設計與軟件來開發VR頭顯）。盡管WMR平臺和HoloLens存在一定的共有元素，但WMR下面的VR設備則只提供標準的VR體驗，不具備任何AR/MR元素。HoloLens和WMR設備都采用Spatial Soud軟件開發套件來設計與實現定位音頻。這允許開發者通過相同的工具來為一系列的設備創建音景。這樣便利的條件顯然十分誘人，但HoloLens和WMR提供了非常不同的體驗，所以音頻開發者覺得需要記住這一點。下面是關于Spatial Sound SDK功能介紹的一個短視頻：

    4. 虛擬設備的定位音頻

    我們現在繼續討論當前VR設備正在發生的事情。眾所周知，與AR/MR頭顯不同，VR設備切斷了我們與外部世界的聯系，令我們完全沉浸在在設備生成的環境中。目前市場為我們提供多樣化的VR設備選擇。

    最為熱門和著名的VR頭顯是 Oculus   Rift 和HTC   Vive 。這兩種設備都依靠定位音頻技術來提供出色的聽覺體驗，而且兩家企業都在不斷努力改進技術。

    2018年6月，HTC Vive推出了一個用于沉浸式音頻的全新軟件開發套件。新的SDK支持更復雜的音頻技術，如更高階的環境立體學聲，更高分辨率的音頻，更精致的空間聲學，以及基于真實世界模型的HRTF，可提高定位音頻的準確性。

    Oculus Rift已經升級了現有的音頻SDK，從而改善非常從接近玩家位置發出的定位聲音精確度。他們將其稱之為近場頭相關傳輸函數（Near-Field Head-Related-Transfer-Function；HRTF）。

    他們同時提供了大型聲源的選項，如海洋或森林火災。借助Volumetric Sound Sources技術，大型發聲對象可以在與其比例一致的指定半徑上投射聽覺內容。

    下面是一段來自OC4大會的視頻，其說明了Oculus Audio SDK的近場頭相關傳輸函數和Volumetric Sound Sources功能：

    作為唯一的主機專用VR設備，PSVR所面向的市場與Rift或Vive等設備不同，因此沒有面臨同樣的競爭壓力。盡管如此， 索尼 仍在繼續優化PSVR的技術。最新型號的PSVR（去年年底推出）是一款經過調整的版本，實現了一些小但有價值的改進。其中，索尼為頭顯添加了內置立體聲耳機，無需玩家插入單獨的耳機即可體驗VR音頻。

    5. 一體機VR音頻

    現在我們快速過一篇VR一體機（即無需計算機，主機或智能手機即可運作的設備）。這種VR頭顯提供了無線的虛擬現實體驗，但它們通常不是十分強大和功能齊全。五款著名的VR一體機是Oculus Go，Oculus Quest，聯想Mirage Solo，HTC Vive Focus和Shadow VR。

    Oculus Go和聯想Mirage Solo，以及HTC Vive Focus和Shadow VR都已經發售。Oculus最近發布了Quest，而設備有望在2019年春季上市。所有五款頭顯都采用了驍龍系列的高通智能手機處理器芯片，因此在這方面它們基本上采用了高端智能手機的內部機制，而且只是簡單將其整合至板載硬件中。

    實際上，高通驍龍835同時也用于 三星 Galaxy S8，Google Pixel 2和許多其他智能手機型號。由于所有五款VR一體機都采用驍龍技術，因此開發者可以選擇Qualcomm Snapdragon VR軟件開發套件，其包括用于Unity的3D音頻插件（旨在為高通驍龍設備提供高性能音頻）。高通同時提供了一套3D音頻工具，可搭配Pro Tools等數字音頻工作站。盡管這不是唯一的選擇，但由于它們是由負責驍龍處理器的公司開發，因此工具的設計和功能可能有所增益。

    6. 移動VR音頻

    如果你在亞馬遜搜索“Mobile VR Headsets”，你將發現一系列令人眼花繚亂的頭顯模型，它們都圍繞“插入你的智能手機手機”進行構建。這種頭顯依賴于智能手機的處理技術，并且存在眾多的型號選擇。一般來說，如果存在特定于某款移動VR頭顯型號的SDK，你應該予以考慮。例如，Oculus Audio SDK是面向三星 Gear VR ，Oculus Go和Oculus Quest，因為這三款設備都是Oculus設計的VR系統。同樣，來自 谷歌 的全新Resonance Audio SDK是任何谷歌頭顯的優秀選擇，如 Daydream View ， Google Cardboard 和聯想Mirage Solo等等。以下是谷歌制作的Resonance Audio SDK演示視頻：

    7. 總結

    以上就是我們對當前VR和AR/MR平臺的討論。在下一篇文章中，我們將重點介紹VR游戲音頻工作者的技巧和工具。我希望你喜歡這篇文章，請在下面評論欄留下你的看法。

        文章來源：映維網 如轉載請標明出處

    原文鏈接 ： https://yivian.com/news/53322.html