沉浸虚拟世界：三维虚拟声音的实现，自然交互与传感

虚拟现实是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。

三维虚拟声音的实现技术

听觉信息是人类仅次于视觉信息的第二传感通道，是增强人在虚拟现实中的浸没感和交互性的重要途径。它作为多通道感知虚拟环境中的一个重要组成部分，一方面负责用户与虚拟环境的语音输入，另一方面生成虚拟世界中的三维虚拟声音。

声音定位技术是三维虚拟声音系统的核心，主要体现出三个特点：

1、全向三维定位特性，可以在三维虚拟的空间中把实际的声音信号定位到特定的一个虚拟专用源，使用户准确判断声音的精确位置。在现实生活中，我们都是先听到声音采用眼睛去看这个地方，但是三维声音系统可以使用户由眼睛注视的方向和位置来监测识别各种信息源，这对于有视觉干扰的虚拟环境中，是尤为重要的一点。

2、三维实时跟踪特性，可以在三维虚拟空间中实时跟踪虚拟声音位置变化而变化的能力。当用户头部转动，在虚拟场景中，虚拟声源的位置没有任何变化，但是它对于用户头部转动的位置发生了变化，那么，用户听觉感受方面来说也是不一样的，三维虚拟声音系统具备这样实时变化的能力，可以解决看到的和听到的声音相矛盾的问题，让视觉更加具有沉浸氛围。

3、沉浸感与交互感，使得在加入三维虚拟声音后能使用户产生身临其境的感觉，有助于增强临场效果且可以随用户的运动而产生的临场反应和实时响应能力。

自然交互与传感技术

把语音和虚拟现实交互在一起，就可以实现人机自然的交互。对VR爱好者来说，位置跟踪和手势跟踪意味着具备在虚拟世界中提供沉浸式的临场感和徒手改变虚拟世界的能力。

我们可以通过各种类型的传感器把现实中的人与计算机系统创建的虚拟环境连接起来，让你的视觉、听觉等各种感知抵达了一个我们从未到过的神奇世界。

1、眼球追踪实现交互，大多数人认为眼球追踪技术是解决虚拟现实头显设备眩晕病问题的突破之处，被称之为为“VR的心脏”。 由于眼球追踪技术可以获知人眼的真实注视点，从而得到虚拟物体上视点位置的景深。因此它对于人眼位置的检测，能够为当前所处视角提供最佳的3D效果，使VR头显呈现出的图像更自然，延迟更小。

2、动作捕捉实现交互，可以让用户获得完全的沉浸感，真正“进入”虚拟世界。目前市面上针对VR的动捕系统还不是很多。现有的一些也只能在特定的场景中使用，并且还要花费比较长的校准和穿戴时间才能使用。但全身动捕在很多场合并不是必须的，而它交互设计的一大痛点是没有反馈，因此用户很难感觉到自己的操作是否有效。

3、肌电模拟实现交互，因为神经通道是一个精巧而复杂的结构，从外部皮肤刺激是不太可能的，所以利用肌肉电刺激来模拟真实感觉需要还有一定的难度。目前的生物技术水平无法利 用肌肉电刺激来高度模拟实际感觉。用肌电模拟实现交互。通过震动马达，产生震动感，这个在一般的游戏手柄中可以体验到，以及肌肉电刺激系统，通过电流刺激肌肉收缩运动。两者的结合能够给人们带来一种错觉，在恰当的时候产生类似真正场景带来的“冲击感”。

4、触觉反馈实现交互，主要是按钮和震动反馈，大多通过虚拟现实手柄实现，这样高度特化／简化的交互设备的优势显然是能够非常自如地在诸如游戏等应用中使用，但是它无法适应更加广泛的应用场景。

5、语音实现交互，用户在体验时主要是环顾四周，不断发现和探索。图形指示可能会对沉浸感产生影响，这时如果用户和VR世界进行语音交互，会更加自然，而且它是无处不在无时不有的，用户不需要移动头部和寻找它们，在任何方位任何角落都能和他们交流。

6、方向追踪实现交互，可用来控制用户在VR中的前进方向，但很多时候都会受空间的限制，追踪调整方向也可能会有转不过去的情况。交互设计师给出了解决方案，按下鼠标右键则可以让方向回到原始的正视方向或者叫做重置当前凝视的方向，或者可以通过摇杆调整方向，或按下按钮回到初始位置。但是这也有可能会使用很累，削弱了舒适性。

7、真实场地实现交互，把虚拟世界构建在物理世界之上，让使用者能够感觉到周围的物体并使用真实的道具，比如手提灯、剑、枪等，中国媒体称之为“地表最强娱乐设施”。这种的缺点是规模及投入较大，且只能适用于特定的虚拟场景，在场景应用的广泛性上受限。

8、手势跟踪实现交互，有两种方式，一种是光学跟踪，第二种是数据手套。

光学跟踪的优势在于使用门槛低，场景灵活，用户不需要在手上穿脱设备，并且未来在一体化移动VR头显上直接集成光学手部跟踪用作移动场景的交互方式是一件很可行的事情。但由于视场受局限，需要用户付出脑力和体力才能实现的交互是不会成功的，使用手势跟踪会比较累而且不直观，没有反馈。

数据手套的优势在于没有视场限制，而且完全可以在设备上集成反馈机制。但是用户需要穿脱设备，而且作为一个外设其使用场景还是受局限。

9、传感器实现交互，能够帮助人们与多维的VR信息环境进行自然地交互。比如，人们进入虚拟世界是想在虚拟世界中到处走走看看，但目前这些大多数是设备上的各种传感器产生的，比如智能感应环、温度传感器、光敏传感器、压力传感器、视觉传感器等，能够通过脉冲电流让皮肤产生相应的感觉，或是把游戏中触觉、嗅觉等各种感知传送到大脑。目前已有的应用传感器的设备体验度都不高，在技术上还需要做出很多突破。

面对日益加剧的产品市场竞争的挑战，可以预见，基于虚拟现实技术的计算机辅助概念设计必有长足发展，最终将与现有计算机辅助设计系统实现无缝集成。