深入探究ValveIndex的耳机麦克

来源：映维网作者颜昳华继深入介绍了Index头显的视场之后，Valve日前撰文探究了设备耳机和麦克风方面的设计过程。延伸阅读：深入了解ValveIndex的FOV视场设计本文来自于音频工程师艾米莉·丽琪维（EmilyRidgway），下面是映维网的具体整理：ValveIndexEarSpeakers是针对虚拟现实的特定体验性目标进行优化，所以它们的设计方式与传统消费者耳机有所不同。在早期的VR实验阶段，我们日渐发现要令VR用户暂时不再怀疑体验的真实性，这不仅依赖于传统游戏和电影的叙事，环境和情感唤起设计方式，同时需要一种专为VR而生的生理问题解决能力。当我们戴上头显开玩《BugdgetCuts》时，我们希望VR能够令大脑相信我们的身体确实传送至了一个充满机器人的办公室环境，而非单纯通过一个静态屏幕向我们展示其环境。我们在研究和游戏测试中发现，实现最大声音沉浸感对音频组件的设计提出了与3D追踪系统或显示面板相同的大量要求。我们同时发现，围绕所述要求进行设计意味着接受一定的权衡，而这会影响扬声器的位置，驱动器的重量，驱动器音膜的形状，扬声器外壳的工业设计，甚至是基本的频率响应特征。1.硬件与软件只有同时利用软件和硬才能实现令人信服的音频沉浸感。明确硬件（音频组件）和软件（游戏，VR体验）职责之间的界限需要对VR音频管道进行整体的权衡考虑：从VR声音内容的创建方式到游戏引擎的输出方式，再到声音传输到耳朵的全过程。在软件方面，自上世纪90年代出现了第一批与玩家相关的全景体验之后（《毁灭战士》，《半条命》和Aureal3D等），音频工程师和科学家一直致力于创造令人信服的沉浸式声音内容。接下来得益于当前一代的虚拟现实，我们已经看到空间音频技术的巨大提升的。双耳渲染和基于物理的声音模拟插件（如SteamAudio）允许开发者通过常规立体声耳机实现更高的声音定位精度，物理精确的虚拟混响，声音遮挡，以及声音传播。考虑到当前VR领域的最佳听音组件，我们利用了以下知识和音频软件模拟研究：VR内容主要以立体方式传送：左右各一个音频通道。所述通道可以包含相对于玩家在任何给定时间注视的位置的嵌入式双耳与HRTF音染。我们的外耳，头形和面部几何增加了特定的音调特征，能够帮助我们的大脑识别真实声音与假想声音，以及声源相对于我们的位置（后方，上方，下方，左侧，右侧等）。中高频声音保真度非常重要：双耳模拟依赖于音染的细微变化（1kH-8kHz）来传达声源相对于玩家的位置。如果听音组件添加了自己模糊不清的频率音染，这将会干扰玩家定位声音的能力；另外，人类通常对2kHZ-5kHz范围内的声音非常敏感。如果虚拟声音的频率与我们预期的实际情况不符，我们更有可能将声音识别为“不真实”。你可以比较一下通过扬声器播放某人的声音和某人在你旁边说话的情形。低频声音保真度很重要：尽管低频内容在自然界中并不经常发生，但它在VR和娱乐内容中经常出现，如音乐，隆隆声，爆炸，枪声和心跳等等。低音对于传达大小和规模感至关重要。它增强了VR的视觉沉浸感，并能够引发特定的情绪暗示，如危险，孤立和内化等。所以，听力组件维持健康的低音响应应很重要。2.为什么不采用耳机呢？传统耳机擅于向每只耳朵提供直接的，与玩家相关的立体声音内容。玩家可以在虚拟世界中环顾四周，而具有声音模拟插件的3D游戏引擎将输出所需的立体声信号以传达虚拟声源的正确位置。这正是电竞选手（如《CS：GO》）选择耳机而非前置扬声器的原因，因为耳机提供了更直接的空间声音信息。两个输出通道（L/R），两个喇叭（L/R），两只耳朵（L/R）。但一般而言，传统音频组件很少是以声音沉浸感作为主要的设计目标。诸如耳塞，入耳式耳机和耳罩式耳机之类的个人组件主要是用于在不适合扬声器，并且通常能耗需求极低的设备，如智能手机，由电池功能的设备。这种听音组件的重点一般是声音隔离，功率效率，噪声消除，以及增强的频率响应。我们认为，前面所述的大多数优化对当前的房间规模VR而言可能没有太大意义，因为后者的听音环境是专门的游玩空间，出现少量的声音泄漏可能不会有太大问题。我们同时可以获取充足的功率和频率响应支持。耳机和耳塞需要接触耳朵或环绕耳朵。我们发现这有时可以通过以下方式影响音频沉浸感：将声音直接传递到耳道会绕过因耳朵和头部与真实声波相互作用而引起的自然听音过程。用户将错过耳朵，头部和个人几何形状产生的音染特征。即使音频内容是高度空间化和物理模拟，这都有可能导致相关声音仿佛是想象而成。我们预测，软件模拟最终能够考虑到这一点。经过一段时间后，相关组件给耳朵施加的压力会令用户感到不适，从而影响VR的沉浸感。有被试报告说，耳机接触耳朵的行为向其发出了任何即将出现的声音都非真实的信号。耳罩式耳机密封耳朵会令热量聚集不散，这会减损临场感。某些耳机的音质会干扰双耳模拟的微妙频率音染。例如，夸大或模糊不清的中高频很可能会干扰HRTF滤波器的微妙性，导致游戏和VR中的定向声音感觉不佳。3.为什么不采用扬声器呢？我们同时考虑了典型立体声或环绕声设置中的消费类扬声器和波束形成扬声器。扬声器可以绕开一系列与耳机相关的舒适问题，并且能够发出我们可以轻易地将其视为来自外部的声音。但它们确实为采用提出了一定的障碍：现有的立体声扬声器配置采用正向设计，所以声音传来的方式就像是你是一名观众并在台下欣赏乐队的演奏，或者坐在沙发看电视。这对于音乐和电影而言没有什么问题，但VR和立体游戏声音内容输入是假设L/R通道能够马上达到头部两侧。常见的5.1和7.1环绕声系统将声音播放限制在水平音场，而VR和游戏声音内容则可以虚拟地定位在周围的任何位置。扬声器系统需要花费时间和空间进行正确地设置，从而为VR系统创造了额外的摩擦。扬声器要求播放器保持在一个小小的“最佳位置”以进行精确的空间播放。VR有时可能需要用户在大空间中移动。扬声器可能会受到真实房间的声学影响，并可能与虚拟世界的期望声学冲突。扬声器可能会使声音感觉太远，与可能非常靠近玩家耳朵的虚拟声源位置相矛盾。4.我们的选择在回顾上述所有权衡时，VR的最佳听音解决方案可能是一对超近场，全范围的耳外耳机。足够接近耳朵以模仿玩家相对的立体耳机，并且支持当前VR内容的输出格式，但同时足够远隔以允许耳朵和头部的音染，并且又可以解决舒适和压力问题。正是这种认识，以及童年记忆的灵感（能够在两个朝内向的高保真扬声器设置中完全沉浸在音频体验之中），我们创建了首个原型。我们首个近耳扬声器原型5.发展对于第一个原型，我们将两个小型全频桌面扬声器驱动器贴在滑板头盔的侧面，然后将一个旧款Vive绑在头盔外面。扬声器由接入HTCVive耳机插孔的USB和音频输出功能。当我们允许自己的耳朵和头部自然地解释声音时，这个粗糙的原型在演示声音沉浸感和外化提升方面的表现非常测色。沉浸感难以进行定量测量，所以在这个阶段，我们依靠来自同事和被试的定性反馈来描述原型与一对KOSSPortaPro入耳式耳机的声音差异。实际的反馈非常青睐于扬声器，而我们认为值得继续推进这种设计。但我们遇到了几个问题：低音响应非常有限。由于佩戴头盔的方式或在VR中移动会导致扬声器位置的轻微变化，从而导致音量，频率响应和声音平衡出现显著变化。重量和大小。扬声器太重（每个70克），与我们实现更轻更舒适的头显目标不一致。这可能是我们早期最为

转载请注明：http://www.abuoumao.com/hyfz/7164.html