让你挤眉弄眼的魔性小游戏背后，是手机交互的新维度

最近，一个魔性小游戏火了，每个玩儿它的人都会挤眉弄眼、表情怪异。光是看他们的表情，你可能根本猜不出这是一款什么游戏。

华盛顿大学计算机专业的研究生 Nathan Gitter 制作了这款叫做 Rainbrow 的小游戏，游戏内容非常简单：控制一个 emoji 表情在屏幕内来回跳动，吃到不同位置的星星，星星越多，分数越高。而随着分数的升高，游戏中的障碍物会越来越多，比如汽车、篮球、鸭子等 emoji 会出现在屏幕中，玩家需要及时反应躲开障碍，以达到更高的分数。

这样一个小游戏很容易让人联想到许多类似的永无止境的休闲游戏（比如《天天过马路》），本身看上去并没有特别之处，但好玩的是，想要操作游戏，你的手指完全无用武之地，因为要操作它你必须用到眉毛。

对，你没听错，就是用眉毛，当做出生活中常见的「挑眉」或者「囧眉」的表情时，游戏中的角色就能向上或者向下，它就是一个能配合你眉毛做出反馈的躲避游戏。如同游戏的名字 Rainbrow（由 Rainbow+Eyebrow 合成）暗示的含义那样，它需要你的「眼技」随时在线。

游戏的操作方式如此吸引人，你也许会好奇这到底是怎么做到的。这里不妨先回想一下 iPhone X 发布会上让很多人印象深刻的 Animoji，通过 iPhone 特殊的前置摄像头，人的面部表情就变成了熊猫、公鸡、狗狗等各种各样的虚拟形象，是不是和今天介绍的这款小游戏的操作很像呢？

从解锁到人脸交互

和 Animoji 类似，挤眉弄眼的 Rainbrow 用到了苹果的 ARKit 框架，通过使用 iPhone X 的 True Depth 相机系统，你的面部被实时捕捉，并在手机上对应出相对表情，这一功能依赖于 iPhone X 强大的相机系统和神经网络运算能力。

如我们曾介绍的那样，iPhone X 的「刘海」包含了相机、麦克风、扬声器、环境光感应器、距离感应器、泛光感应元件、红外镜头和点阵投影仪等多个元件，它们组合在一起打造出 iPhone X 独一无二的体验。其中，泛光感应元件、红外镜头以及点阵投影仪构成了 True Depth 相机系统核心。

通过朝人面部发射超过 30000 个肉眼不可见光点，True Depth 相机系统不但可以扫描出用户面部精细的三维图像，并且可以结合 A11 仿生芯片强大的神经网络运算能力，学习追踪到人面部的各种变化，这是 iPhone X 开发出全新交互的硬件基础。

True Depth 相机系统配合 A11 仿生芯片的强大运算能力，面部信息会被捕捉并迅速建模，并实时绘制出 50 多种面部肌肉的运动。因为这一特性，上文提到的 Rainrow 才得以实现效果，毕竟眉毛简单的上挑和下弯都是比较简单的面部肌肉动作（前提是你允许在游戏时打开前置摄像头）。

作为 Rainbrow 的开发者，同时也是 iOS 开发工程师，Gitter 本人对面部交互应用非常看好，他认为人的面部表情如此丰富，配合手机能够发挥出更多作用。在 Rainbrow 之外，他还开发出另一个用鼻子控制并摧毁目标的游戏 Nose Zone，在他看来，这些技术和艺术的结合能创造出伟大的产品。而考虑到智能手机出现这么多年，触摸交互的影响深入人心，我们似乎可以预见另一个由人脸交互带来的新变革。

当人脸「无所不能」

人脸曾经是被忽视的交互方式，但如今，时代变了。

iPhone X 推出之后，不少人仍旧坚持认为苹果彻底抛弃方便而顺手的指纹解锁过于冒险。但事实上，人的面部信息价值并不仅仅在于用来解锁，当发布会展示出和人脸配合的有趣的 Animoji 应用时，关于人脸交互的可能性，在一点点被挖掘出来。

今年 8 月，一款名叫Facedance Challenge 的小游戏迅速火遍全球。在游戏中，你需要做出各种各样的面部表情，来应对随时出现的游戏挑战，玩过的人都知道，为了通关，不知道要对着手机镜头做出多少稀奇古怪令人窒息的表情，但这种新奇的游戏体验，就算是在一旁静静看着，也会觉得人脸搭配手机玩儿出花样来不可思议。

尽管因为硬件限制，目前市面上很多和人脸相关的手机应用不能像 Animoji 那样与人脸产生强交互，如 Facedance Challenge 这样的游戏，采用的实际上是人脸图片分类技术，远远比不上 Animoji 复杂。但这并不妨碍人脸和 AI、AR 等结合产生新的交互，这是在软件与硬件共同推动下发展起来的未来。

软件在探索交互的可能。目前一般的手机前置摄像头就可以做到对人脸关键点，如轮廓、眉毛、眼睛、鼻子、嘴唇等关键部位进行坐标点追踪定位，从而分辨人的面部表情并推断情绪，配合大公司的 AI 平台，如今年 4 月的 Facebook F8 大会上推出的AR Studio，艺术家们可以发掘人脸交互的各种可能，比如对着屏幕眨眨眼能「冒出很多星星」，或者张张嘴就能「喷火」，因为这些动作的丰富，人们看到了交互的新奇之处。

硬件则解决了实际中的各种困难。因为感应元件的发展，我们能让手机在黑暗之中捕捉到人脸（如 iPhone X 的红外感应元件），也能让相机将人脸看得更清楚。因为 AI 芯片的加入，人脸的数据能被实时高速处理，加上 AR 平台的支持，人们通过面部交互就能够完成过去很多不太可能做到的事。

不妨做出一个理想假设：AI 芯片目前已经可以在一些手机上实现对于场景的快速判断，从而拍出观感更佳的照片，同样的方法能否运用在对人的表情判断上呢？当手机前置相机可以快速判断出人的情绪，就能进行真正的「智能交互」，比如发现你的表情不开心时，主动为你讲笑话，或者发现你的面部信息比较痛苦时，为你拨打求救电话联系亲密的人。又或者，在用手机听老师上课时，老师们可以借助 AI 工具，了解到你目前的情绪，从而隔空对你做出更好的指导。

这些都是过去我们不曾想过的面部交互方式，在游戏之外，关于人脸交互的无数种可能，即将伴随智能手机与 AI 技术的进化而大放异彩。