VisionPro:为什么空间音频是AR的绝杀武器?

青亭AI 2023-06-15 18:53:17

Apple Vision Pro,不仅仅是苹果全新的重磅品类,而且在它身上也融合了苹果过去几乎所有新技术,比如空间音频就是其中一个例子。

苹果表示,Vision Pro中空间音频可以很好的应用在:影视节目、游戏内容、3D空间照片、3D空间视频、视频通话、等,甚至整个系统和UI交互中也充分融合空间音频的能力。

而苹果如何高规格的打造Vision Pro,更是在告诉大家,空间音频将是AR、MR设备的一大杀器,它对于提升临场感至关重要。

1,苹果最强空间音频系统

Vision Pro和大多数AR、VR一样,采用了开放式扬声器方案,整体的设计相对中庸一些,因为整体模组体积比较大,在头显硬质绑带上还是有点突出。

据悉,苹果Vision Pro描述页面显示:这是苹果有史以来最强的空间音频系统。

在此之前,我体验到最好的空间音频AR、VR设备包括:HoloLens 2,它不仅临场感十足,而且音频定向传播控制极其出色,在旁边的人几乎听不到设备的声音。

2,音频射线追踪

根据现场体验的反馈,所有人在体验之前都实现通过iPhone原生感相机扫描耳朵轮廓,从而为Vision Pro体验提供更适合你个人的空间音频效果。

该技术最早是在WWDC22上公布,其目标是AirPods Pro提供更符合你耳朵轮廓的空间音频效果。因为AirPods耳机的设计是在保证佩戴舒适性,同时在数千人不同耳朵轮廓的基础上建立了一个通用HRTF模型,来打造出适用性较广的空间音频能力。

而在Vision Pro上,则更进一步。

目前大家可以通过具备空间音频的AirPods Pro等产品来了解空间音频的能力。但是我要说的是,在Vision Pro中的空间音频将会更进一步。

其中一个重要逻辑就是:它会充分融合设备中LiDAR扫描,对房间内声学特性(物理材质等)进行分析,然后打造出适用于你耳朵轮廓且匹配你房间的“空间音频”效果。

上面这项技术,被苹果称为“音频射线追踪”(Audio Raytracing)。当然,在部分VR游戏中已经支持此技术,只不过对照关系都在游戏的虚拟场景之内。

相比AirPods Pro的空间音频,Vision Pro中既考虑你的耳朵轮廓信息,又融合(虚拟场景的)声音在房间内传播特性,来达到虚实融合的目的。

3,visionOS音频交互

在WWDC公开课中,我们也看到了苹果visionOS的声音交互设计指南。从中我们了解到,更多的声音交互层面的信息。

空间中还原声音的目标是:

1,正确的音源位置;

2,正确的音源方向。

围绕这两点,再加上一些技巧基本可以很好的设计好空间音频交互。

其中主要的要求是:

1,背景音舒适、音量合适、不刺耳、不聒噪;

2,前后景声音分明,利用好声音位置信息;

3,需要明确左右位置,提供明确的声音方向;

4,背景回响,提升整体氛围感;

5,声音和视觉交互锚定,整体具备层次感。

参考:Apple

0 阅读:96

青亭AI

简介:专业的AI科技媒体。每天五分钟,轻松了解AI黑科技!