2016 年 AI 十大失败案例，Pokémon Go、特斯拉和阿法狗竟上榜！

2016 年还有几天就要落下帷幕，在过去的一年里，人工智能如雨后春笋般成长起来，自动驾驶、语音识别、风靡全球的游戏 Pokémon Go …… 机器智能似乎已经无处不在，无所不能了。

同时，在这一年，人工智能也闯了不少祸，我们需要对这些错误给予更多的关注，以免在未来重蹈覆辙。AI科技评论了解到，近日路易斯维尔大学网络安全实验室（Cybersecurity Lab）  的主任 Roman Yampolskiy 发表了一篇论文，名为《Artificial Intelligence Safety and Cybersecurity : a Timeline of AI Failures》 ，其中列出了人工智能在过去的一年里表现不太好的例子。 Yampolskiy 表示，这些失败都可以归因于 AI 系统在学习阶段以及表现阶段中犯的错误。

以下是依据 Yampolskiy 的论文以及诸多人工智能专家的意见，国外媒体 TechRepublic 整理而成的名单，排名不分先后。

1. Pokémon Go 让游戏玩家集中在白人社区

7 月份，风靡全球的 Pokémon Go 游戏发布之后，多个用户注意到极少的 Pokémon 位于黑人社区。 Mint 的首席数据官 Anu Tewary 表示，原因是因为这些算法的发明者并没有提供多样的训练集，而且并没有花费时间在黑人社区上。

2. 特斯拉半自动驾驶系统的车祸

今年，特斯拉的事故在全世界范围内层出不穷。5 月份，在佛罗里达的一条高速公路上，一辆开启了 Autopilot 模式的特斯拉发生了车祸，驾驶员致死。这是特斯拉全球首例死亡事件。之后，特斯拉对 Autopilot 软件进行了重大更新，其 CEO 马斯克在接受采访时表示这种更新可以防止事故再次发生。此外，在中国等其他国家和地区也出现了多次特斯拉事故。不过，其中一些事故并不能说是 AI 直接导致的。

3.微软聊天机器人 Tay 散布种族主义、性别歧视和攻击同性恋言论

今年春天，微软在 Twitter 上发布了一个人工智能驱动的聊天机器人 Tay，希望它能和网络上的年轻人相处愉快。起初，Tay 是为了模仿十几岁的美国青少年女孩而设计的，但在推出后不久却被人带坏了，变成了一个“热爱希特勒、讽刺女权主义”的坏蛋。最终微软不得不将 Tay “杀死”，并宣布将会对相关的算法进行调整。

4.谷歌的AI 阿尔法狗 AlphaGo 输了与人类围棋大师李世石的一局

今年 3 月 13 日，谷歌阿尔法围棋与李世石的人机大战五番棋第四局在韩国首尔四季酒店战罢，围棋大师李世石中盘击败阿尔法，扳回一局。虽然最后人工智能还是以 1 比 3 的比分获得了胜利，但是输了的一局显示目前的 AI 系统仍然不是很完善。

“或许李世石发现了蒙特卡洛树搜索（MCTS）的弱点。” 新南威尔斯大学的人工智能教授 Toby Walsh 说道。不过，虽然这被看做是人工智能的失败，但是 Yampolskiy 认为这种失败是在可接受范围内的。

5.视频游戏中，非玩家角色创造出了制作者意料之外的武器

今年 6 月份，一个配备了 AI 的视频游戏“Elite: Dangerous ” 出现了一些游戏制造者计划之外的状况：AI 竟然造出了游戏设定之外的超级武器。一家游戏网站对此评论：“人类玩家或许会被 AI 创造的奇怪武器打败。”值得一提的是，随后游戏开发者就将这些武器撤销了。　

6. 人工智能审美也有种族歧视

在首届“国际人工智能选美大赛”上，基于“能准确评估人类审美与健康标准的算法”的机器人专家组对面部进行评判。但由于未对人工智能提供多样的训练集，比赛的获胜者都是白人。就像 Yampolskiy 说的，“美人在模式识别器中”。

7. 用 AI 预测犯罪，涉及种族歧视

Northpointe 公司开发出了一个用来预测被指控的罪犯二次犯罪几率的人工智能系统。这个被称为“少数派报告”的算法被指责带有种族偏见倾向。因为在测试中，黑人罪犯被标注的概率远远高于其他人种。此外，另一家媒体 ProPublica 同时指出 Northpointe 的算法“即使除去种族歧视的问题，在大多数情况下正确率也并不高。”

8. 机器人导致一个儿童受了伤

Knightscope 平台曾打造出了一个号称是“打击犯罪的机器人”。今年七月份，这个机器人在硅谷的一家商场里弄伤了一个 16 岁的少年。洛杉矶时报援引该公司的话称这是个“意外的事故”。

9. 中国用面部识别技术来预测罪犯，这被认为是有偏见的

中国上海交大的两名研究人员发表了一篇名为“Automated Inference on Criminality using Face Images”的论文。据国外媒体 Mirror 报道，研究人员对一半是罪犯的 1856 张面部图片进行分析，并且用一些可识别的面部特征来预测罪犯，比如唇曲率 ( lip curvature ) 、眼内角距 ( eye inner corner distance)，甚至还有口鼻角度 ( nose-mouth angle ) 等等。对于该项研究，许多业界人士质疑测试结果，并提出涉及了道德问题。

10. 保险公司利用 Facebook 大数据预测事故发生率

最后的这个案例来自英格兰最大的汽车保险商 Admiral Insurance ，该公司今年计划使用 Facebook 用户的推文数据来测试社交网站和优秀司机之间的关联。

这是对人工智能的滥用。Walsh 认为“ Facebook 在限制数据方面做得很出色”。由于 Facebook 限制该公司获取数据，这项被称作“first car quote”的项目并没有开启。

从上述案例中，雷锋网的读者可以看出，AI 系统是很容易变得偏激的。因此人类更需要在多样化数据集上对机器学习算法进行训练，避免 AI 产生偏见。同时，随着 AI 的不断发展，保证相关研究的科学检测，确保数据多样性，建立相关道德标准也变得越来越重要。