VR的未来,少不了“听声辨位”技术 - VR - Geek Peer 


VR的未来,少不了“听声辨位”技术

  • 发布者:geekpeer / 来源:黑匣网 / 2018-02-02 14:30:27
  • 0

听声辩位,并非金庸武侠里才有的绝世武功,而是人们理解环境并作出合适反映的基本技能。为了提供更真实的虚拟体验,人们很早便把声源定位技术用于游戏,比如早前的《反恐精英:全球攻势》,以及如今的《绝地求生:大逃杀》(即大家说的“吃鸡”游戏)。

虚拟现实亦同理,要让大家有身临其境的体验,有一半的工作得由“空间音频”来完成。

大脑是如何“定位”声源位置的

我们的大脑处理声音和视觉输入的方法完全不同,这给VR带来了挑战。

当我们用眼睛看东西时,视网膜的受体细胞识别光线照射下的物体。这些信息传递到大脑,被用来判断物体位置。在VR中,我们可以利用这个原理欺骗我们的大脑,达到仿真的效果,但音频是另一回事。

大脑要根据双耳时间差、双耳声级差等各种复杂因素计算出声音位置,不同方向的声音与我们的身体进行交互。

除此之外,距离定位是另一个问题,判断距离需要计算响度、混响、声音到达耳朵的时间差等。

所有这些因素(包括其他因素)都会影响到VR音频技术的发展。因此,为了提供更逼真的自然音频,我们需要使用专门的录音系统和算法。

三维捕获音频

音频公司一直试图重新创造定位方法,更好模拟现实世界中的音频。最有效的方法之一已经在VR中得以应用,称为“双耳音频”或3D音频。

双耳音频已经存在了几个世纪,但耳机和手持音频设备的兴起,使它重新出现在人们视线中。

但虚拟现实并不是双耳音频唯一的应用。在YouTube上,有大量双耳音频剪辑,用于放松、学习、娱乐以及其他用途。效果是显著的:例如,在下面的“3D理发”视频中,你可以听到身后或头顶的修剪声。(请戴耳机体验)

但尽管有种种优势,光是双耳音频也并非虚拟现实的理想音频技术。在一个VR环境创建最有效的声音,声音需要随着用户的定位变化而变化。

重视头部运动

耳机是提供 VR音频的最佳选择,因为可以隔离外部的声音。与此相反,外部扬声器不适合,因为即使是最好的“环绕声”也会被外界声音影响,减少沉浸感。

最基本的问题是头部运动:当我们的头部位置改变,VR中的声音也需要相应进行距离或方向的改变。如果没有,那么虚拟体验就不那么真实了。

 

头部跟踪技术有助于解决这个问题。如3D Sound Labs、Dysonics等初创公司专注耳机与运动传感技术。

 

Ossic(原Sonicvr)正在开发ossic x耳机,其中每个组件都被设计为身临其境的3D音频播放。 Ossic还未正式发布ossic X,但Kickstarter上超过一万名支持者众筹超过了270亿美元,充分表现出该公司的潜力。

Ossic X获得如此多支持者的原因是什么?因为ossic X的“空间化”3D音效功能可以提供VR产品的最理想的音频体验。下面我们来了解空间音频技术是如何欺骗大脑对声音的定位。

 

 

把头部编码到音频中

空间音频技术使用算法提供与现实世界一样的声音,包括音高、音量、混响等因素。

但是方向和距离并不是大脑计算声音位置的唯一线索。

如前所述,声波反射在人体的变化对我们大脑对声音定位提供重要信息。双耳音频也无法传递这种信息。

HRTF(头相关变换函数)可以提供高度身临其境的音频空间。它以声波的方式在不同角度击打我们的身体。通过头部跟踪头显,进行定制的测量。

 

但目前捕捉一个人的HRTF数据成本很高。因此目前主要使用的是“通用”HRTF,数据来自公开可用的数据集。

 

有几家初创公司也正在致力于空间音频新技术。

– G’audio的生产工具包可以精确定位三维环境的声音。他们最近试行一种新的解决方案,在VR中实现流媒体空间音频。

– Kinicho,最近入选AR / VR加速器计划Augmentor,正在开发一个“声音现实引擎”,用于制作AR / VR高保真空间音频。

无论是空间音频算法,还是这些公司,都会继续发展。但前提是更多人采用VR,因为科技公司提高算法需要更多的用户数据。


分享到微信 分享到QQ

你可能还喜欢

VR游戏能否革传统游戏的命? 技术行 我看行

10月份随着2016年三大专业VR设备的最后一个PlayStation VR发售,现在VR游戏在小伙伴的朋友圈里是越来越火,10月13日PS国行发布会后,添田

  • 2016-11-23
纽约初创公司欲使用VR技术改造囚犯

腾讯科技讯 被称为VR元年的2016年即将过去,VR技术已经渗透到各种领域,比如电影、游戏、购物、教育和房地产。据国外科技网站ZDNet报道,

  • 2016-11-27
技术新突破 华盛顿大学实现侵入式脑机VR交互

华盛顿大学的研究人员把部分实验者的大脑连接到一台电脑上,并要求他们玩一款简单的游戏(没有显示器、扬声器或其他刺激),结果十分奏效。

  • 2016-12-14