“暴风雨”将至 游戏界三维音频新高峰? 当前三维音动态对象数盘点

lucky☆star

水平有限，如有错误尽请指正。本文简单回顾目前游戏\主机游戏三维音频。在展望下PS5的Tempest Engine

以下为PS5目前公开的宣传内容。部分来源于
https://www.luryl.com/article/71038

通过Tempest Engine实现前所未有的3D音频保真度

Mark Cerny在演讲中透露：“最终我们得到的单元，其SIMD功率和带宽与PS4中所有八个Jaguar核心的总和大致相同。如果我们使用与PSVR相同的算法，那么对于5000个声源来说都足够了——但是当然我们要使用更复杂的算法，而不需要像这么多的声音。”

PS5的暴风雨音频引擎是一组重新改造过后的CU,以GPU的功率工作，峰值算力是100G，接近于一块PS4使用的八核“美洲虎”CPU。PS5在音频部分的带宽理论上可以超20Gb/s，在游戏机音频历史上可谓空前的高带宽。这是暴风雨引擎宣称可以同时处理数百个音源的底气所在——家用版杜比全景声只支持32个音源。但是塞尔尼提醒大家，运用音效带宽的时候还是得悠着点儿，不要飙得太Happy，免得影响其他项目。

基于音源的三维环绕音效技术，在PSVR上已经初露端倪，但当时的算法不够精确而且缺乏硬件支持，声场比较狭窄、定位精度也有待改进，有时甚至还有“伪影”现象，使得有时声音听起来像是围绕着VR头盔外壳在旋转。暴风雨引擎使环绕音效有了硬件支撑，而且算法也得到改进，使得PS5的虚拟环绕音效更加清晰逼真。暴风雨引擎还与在VR游戏业界受到广泛推崇的 Ambisonics环绕声兼容，开发者完全可以把游戏叙事或游戏场景所需要的重点音效交给暴风雨引擎，然后把其他音效交给Ambisonics环绕声技术。

Mark Cerny说：“也许你可以向我们发送你的耳朵照片，然后我们将使用神经网络来选择库中最接近的HRTF。也许你会向我们发送你的耳朵和头部的视频，我们将会制作出3D模型然后合成HRTF。也许你会玩一个音频游戏来调整HRTF，我们会巧妙地在你玩游戏时进行更改，并在HRTF上给你最高的分数，这意味着它最适合你。这是我们在未来几年内将共同经历的旅程。最终，我们致力于使每个人都能体验到更高层次的现实**。”

索尼宣传的很好很强大，但独立音频芯片并不是什么新鲜产物。音频处理从一开始就是独立出来的。板载声卡AC'97大家都听说过吧。
至于拍照片构建3D模型HRTF，可以参考
https://www.sony.com.hk/zh/electronics/360-reality-audio
主动降噪耳机的环境优化和Airpods Pro的贴合度测试都是一种耳道扫描。
这方面Airpods Pro的实时耳道扫描是做的比较领先的。

https://news.xbox.com/en-us/2020/03/16/xbox-series-x-glossary/
Xbox方面目前提到了Project Acoustics，感兴趣的可以看一下。
Xbox Series X音频的硬件应该是SHAPE升级版本。
根据目前公布的信息，PS5的Tempest Engine硬件性能应该是高于Xbox Series X的SHAPE(目前暂时这么称呼吧)

回顾下Xbox One和PS4，PS4是没有设计独立音频芯片的，用的是AMD的TrueAudio。
https://gamingbolt.com/audiokine ... or-ps4-and-xbox-one
http://www.redgamingtech.com/xbo ... rchitecture-part-2/
Xbox One的SHAPE，设计之初一大部分原因也是因为Kinect的语音交互。后来在Xbox One X上升级支持用于空间音频。因为硬件相同所以Xbox One初版也可通过系统更新支持。
也正是因为这个芯片的存在才让Xbox One音频体验优于PS4，这方面PS5的Tempest Engine算是补上了这个短板。

更多讨论可见
https://www.resetera.com/threads ... ps5-tempest.194091/

至于Mark Cerny说的杜比全景声只支持32动态对象。这是怎么来的呢？
https://developerkb.dolby.com/su ... can-i-should-i-use-
https://docs.microsoft.com/en-us ... source-implications

首先要明确的是，杜比全景声影院版和家庭版是两个技术标准，虽然都叫Dolby Atmos，影院版这里不过多展开。

家庭版的动态对象数量是根据采样频率不同而不同。
48000 Hz为128通道(实际可用118，十个固定声道)
96000 Hz为64通道(实际可用54，十个固定声道)
官方没有写192000Hz的可用通道，但可以推测为32通道(实际可用22，十个固定声道)
十个固定声道为7.1.2，杜比最大支持是11.1.8
具体参考https://www.dolby.com/about/support/guide/speaker-setup-guides/
以上就是Dolby Atmos家庭版目前支持的最大通道数量。

在Windows和XboxOne上又有不同
杜比能在Windows和XboxOne上最大的通道数量确实为32通道，如果说Xbox One是因为性能原因只能支持最大32，但Windows平台上一样如此。
微软自家的Windows Sonic for Headphones倒是能达到128通道。笔者怀疑是杜比方面只给开到32，各中原因可以猜测一下。

For Universal Windows Platform apps running on Xbox One game consoles, realtime encode (for Dolby Atmos for home theater, Dolby Atmos for Headphones, and Windows Sonic for Headphones) is performed in hardware at no CPU cost.
Xbox One处理音频通过专有硬件不会增加CPU负担。Xbox Series的该芯片应该也会提升性能，那通道数\动态对象数量是不是也可以增加呢？
根据DTS方面的说法，Xbox One还是因为性能限制了动态对象数的。否则其实其实DTS:X完全可以给开更高的动态对象数量。目测Xbox Series X这个数量翻两倍没问题。

另外再聊下DTS
其实我挺喜欢DTS的，但从DTS:X开始杜比和DTS走上了不同的路，不能说谁好谁坏。但杜比持续发力影院，现在流媒体都是杜比一家独大还是有些可惜的。
这里就谈谈Xbox One 6月更新后新增支持的DTS Headphone:X吧。
https://www.forbes.com/sites/joh ... e-changing-new-tech
In terms of object support, DTS Sound Unbound supports 32 dynamic and 16 static objects (8.1.4.1) concurrently on both PC and Xbox.
DTS Headphone:X是8.1.4.4静态声道和32动态对象。(官方在这里说了8.1.4.1，猜测是笔误？8.1.4.4才对，LFE不算在内等于16，8.1.4.1怎么算也不到16啊。)
Supporting double the number of dynamic objects when compared to other third-party Microsoft Spatial sound integrations without a significant increase in CPU gives game developers more creative freedom with their audio mixes
32动态对象确实比竞品Dolby Atmos for Headphones的最大16动态对象高一倍。

实际测试感觉DTS Headphone:X的空间定位感确实强于Dolby Atmos for Headphones不少的。Dolby的游戏模式也是电影味。
推荐下大家尝试下DTS Sound Unbound。可以免费体验一周，可以从设置搜索框内查看是否有针对你使用的耳机设备调试。

通道数重要吗？
重要，也不重要。全损音质的512声道也是垃圾。关键在于制作。另外当通道数达到一个阈值后，在提升收益比就不大了。
这有很多例子，例如码率的提升，达到一定码率后在提升也不会有明显的区别。从立体声到5.1ch是飞跃，7.1ch是再进一步。然而再度提升呢？制作的成本和时间都会急剧上升。
基于对象正是解决原有固定声道制作的瓶颈而生。但对象数达到一定程度一样会出现瓶颈。
目前电影院完全版的Dolby Atmos也就是128声道数。当然电影制作者也不可能给你做几百个声源。
游戏确实不一样，但我对于"数百个动态对象"这个饼暂且还是持怀疑态度。正如名字一样。或许最佳场景就是暴风雨中。
这里猜测一下数百个可能是最大256通道数。在激进一点也就是512通道数。再多我觉得真的没有意义，噱头更大。目前制作水平128通道足够了。
最新的DTS:X Pro也就是30.2声道而已。过多的动态对象你设备根本表现不出来。某些方面来说少即是多。

PS5宣布的Tempest Engine意味着跳过了Dolby和DTS，完全自己做一套标准而且目前也没看出与Dolby与DTS合作的意向，这个勇气我是支持的。
但没有任何公司和人可以否认Dolby与DTS对电影工业和声音技术的贡献。专业的事交给专业的人做也不失为一个好的方案。
Tempest Engine的最大问题在于局限性，第三方并不太可能针对优化。要完全发挥还要看第一方，电影化游戏确实是最佳载体。
开发商加入微软的Spatial Sound支持至少可以同时支持Windows和XboxOne\Xbox Series，并且目前来看Spatial Sound APIs开发难度更小一些。

而且Tempest Engine完全没有和设备OEM方合作的迹象，这确实...可能暂时没什么合作方吧。
这一点DTS Headphone:X是对不同耳机有适配的，如果说每个人的耳朵不同，那么每款设备也不同啊。现在Tempest那么早就说任何设备体验都很棒。让人有一种...
9.9的耳机和999的耳机你和我说体验一样好，这是不是有偏差？

总结，目前游戏主机能体验的最大动态对象数就是DTS Headphone:X的48通道(32动态对象)。在Windows上通过Windows Sonic for Headphones的128通道(112动态对象)。
未来让我们倾耳而听PS5的"hundreds of sound sources"
预测总通道128以上，256甚至512？

很快我们除了数毛以外，还可以听毛了

wujae

那么普通的扬声器能听出差别吗？

zjk713

拼多多上9.9买的超级环绕声原装正品蓝牙耳机跃跃欲试

wlwlwl1313

期待下二声道耳机所听到的5百多声道的音效，声音确实是游戏中投入性价比最低的元素

(忍)

DTS Headphone:X和Dolby Atmos for Headphones（好像要收费的）

普通的模拟DTS：X老实说味精味确实有点重，但对普通5.1等声道可以模拟出打雷和一些瀑布水流的天空声（位置不是很准）

之前看过帖子DTSX的声源是可以无限大的，但最终商业还是给杜比占据了市场，DTSX是可以音响安装位置，准确输出该位置的声源。

至于游戏的声道，都是实时计算的，PS5的3D音频估计是算法上更高级，不过也只适合耳机的用户使用，也不知道物理上PS5是否支持杜比全景声。

这种模拟和实际物理输出差距也非常的大，要不现有的回音壁音响就能代替家庭影院了。

PS：游戏声音音质要求不高，但对位置准确输出非常重要。

该用户已被禁言

那么问题来了，用电视自带的扬声器能听出差别么？我耳朵一般，听个响就行

demetry

我右耳重度耳聋，ps5的3d音效如果做得太好就是对残障人士的歧视，

每个人的头部传递函数都不一样，每个耳机的频响特性也都不一样，最终的感受肯定会千差万别。可能只有在ps5配套的耳机上才能体验到最佳效果。
扬声器就不要幻想了。

lucky☆star

wlwlwl1313 发表于 2020-7-30 14:38
期待下二声道耳机所听到的5百多声道的音效，声音确实是游戏中投入性价比最低的元素 ...

虽然说原文是hundreds，可以理解为数百。也指代很多的意思。而且只要达到100以上就可以算hundreds...所以128、256我认为可能性比较大。估计和Xbox不会差太多。Xbox我估计应该能达到100以上。

诺基亚8800

这次PS5最厚道的一点应该是普通立体声耳机就可以享用3d音频，不用额外投入杜比认证设备，极大降低了使用门槛