当无人车自己开上路时，人工智能在想什么？

去年，一辆奇怪的自动驾驶汽车被放到了新泽西蒙茅斯县的一条安静的道路上。这辆由芯片制造商Nvidia研制的实验车与众不同，它不像谷歌、特斯拉或通用汽车所展示的车辆那样，而是显示了人工智能的强大力量——汽车没有按照工程师或程序员提供的单一指令进行操作，相反，它完全依赖于算法，通过观察人类如何开车，自己来驱动它。

通过这种方式开车是一项令人印象深刻的壮举。但也令人不安，因为你并不知道，汽车是如何自己作出决定的。来自车辆传感器的信息，直接进入巨大的人工神经元网络，来处理数据，然后传送出操纵方向盘、刹车和其他系统的指令。现在看这个结果，似乎和我们期望的人类驾驶员的反应相匹配。但是如果有一天，它作出了意外的举动——比如去撞了一棵树，或者在绿灯时待着不动呢？就目前情况来看，我们是很难找到它这么做的原因的。这个系统是如此复杂，即使是设计它的工程师，也很难找出它某个行动背后的独立的原因。你还不能问它，因为没有明显的方法能设计出这样一个系统，总能解释它采取某种行动的理由。

这辆车的背后，隐藏的是个迫在眉睫的问题，那就是人工智能的神秘的内心。汽车中使用的人工智能技术是深度学习，在近年来，它已经被证明是非常强大的解决问题的方式，并已经被广泛应用，比如在图像识别、语音识别和语言翻译中。现在人们也希望，同样的技术能够被用来改造更多的行业，比如诊断致命的疾病、对百万美元级的交易作出决策等等。

但这一切还没有发生，或者说，还不应该在现在发生。除非我们能找到方法，证明深度学习技术能够更理解它们创造者的意图，以及向用户负责。否则，我们很难预测什么时候会发生故障，而这几乎是不可避免的。因此，Nvidia的汽车现在也仍然还是在实验的阶段。

目前，数学模型被用来帮助确定谁取得假释、谁批准了贷款、谁得到了就业机会。如果你能接触到这些数学模型，就可以理解他们的推理。但是银行、军事家、雇主和其他人，正把注意力转向更复杂的的机器学习方法，自动决策，正变得越来越不可思议。深度学习，这种最常见的方法，代表了计算机编程的一种完全不同的方式。“这个问题已经开始影响并且将在未来影响巨大，”MIT机器学习应用教授Tommi Jaakkola说，“无论是投资决策，医疗决定，还是军事决策，你都不会想仅仅依靠一个‘黑箱’方法。”

现在已经有一个争论点是，能够询问一个AI系统关于它是如何得出结论的，是一项基本法律权利。从2018夏季开始，欧盟可能会要求公司们能给用户解释自动化系统如何作出决定。但这可能是不可能的，即使是对于那些表面上看起来相对简单的系统，比如使用深度学习服务推荐广告或歌曲的网站和应用程序而言。运行这些服务的计算机已经是自己编程了，它们以我们无法理解的方式完成了它。即使构建这些应用程序的工程师，都不能完全解释它们的行为。

这就提出了一个令人难以置信的问题。随着技术的进步，我们可能很快会跨越一些门槛，人工智能应用也需要一个信念的飞跃。当然，我们人类也不能总是真实地解释我们的思维过程，但我们可以找到方法直观地信任和衡量人。但是，思考和做决策方式和人类完全不同的机器，它们可能做到吗？我们以前从来没有建立连创造者都不明白其运作方式的机器，我们如何与智能机器沟通和相处，可能也是不可预。这些问题让我踏上了人工智能算法研究的边界，从谷歌到苹果，包括与我们这个时代的伟大哲学家会面。

艺术家Adam Ferriss用Google Deep Dream创作的图像

2015，纽约的西奈山医院（Mount Sinai Hospital）的一个研究小组受到启发，将深度学习应用到医院庞大的病人记录数据库中。这个数据集有数百个患者相关的变量，包括他们的测试结果、医生访问记录等等。由此产生的程序，研究人员将其命名为Deep Patient，使用约700000人的数据对其进行了培训，在进行测试时，它被证明是非常擅长预测疾病的。在没有专家指导下，Deep Patient发现了隐藏在医院数据中的模式，这些数据可以诊断出人们身上的各种疾病隐患，包括肝癌。Mount Sinai项目负责人Joel Dudley说，现在有很多“非常好”的方法可以预测疾病，但是，深度学习“是更好的方式”。

同时， Deep Patient也让人困惑。它在预测精神分裂症方面出奇地出色。但是医生诊断精神分裂症比较困难是众所周知的，Dudley想知道，它是怎么做的。但他失败了。这种新的工具，没有给他提供任何线索，它是怎么做到这一点的。像Deep Patient这样的程序，如果实际上我们是想要它来帮助医生，那最理想的模式，仍然是给出预测理由，来保证结果是准确的，并且作为证明，例如，来修改患者用药。“我们可以建立这些模型，”Dudley沮丧地说，“但我们不知道它们是如何工作的。”

人工智能并不总是这样。从一开始，就有两个关于AI应该如何理解和解释的学派。很多人认为，根据规则和逻辑推理机器是最有意义的，即它们的内部工作对任何想检查某些代码的人来说，都是透明的。另一些人则认为，如果机器是从生物学中获得灵感，那么通过观察和体验学习，智力就会更容易出现。这意味着对计算机编程的颠覆。不是程序员编写命令来解决问题，而是程序基于数据，在自己的算法的基础上，生成结果输出。机器学习后来演变成今天最强大的AI系统，遵循的就是后一种途径，机器就是程序。

起初，这种应用还是有限的。在20世纪60-70年代，它还主要是集中在一些边缘领域内。但覆盖众多行业的电子化和数据化进程，激发了更强大的机器学习技术的发展，特别是神经网络技术。到了上世纪90年代，神经网络已经可以将手写字符转化成数字字符。

然后直到最近10年，经过多次调整和改进，“大”而“深”的神经网络在自动感知方面获得了巨大的进步，深度学习成为今天的AI爆炸的主要推动力。它赋予计算机非凡的能力，比如说几乎可以像人一样熟练地识别出语言的能力。深度学习改变了计算机视觉，大大改进了机器翻译。它现在已经被用于指导医学、金融、制造业和其他领域的各种关键决策。

任何机器学习技术的运作本质上是不透明的，对计算机科学家来说也一样。但这并不是说所有的人工智能技术，在未来都将同样不可知。但从本质上看，深度学习还是一个特别黑的“黑箱”。

你不能从神经网络内部看出它是如何工作的。神经网络由成千上万个神经元构成，它们排列成数十甚至上百个错综复杂的互连层。第一层中的神经元各自接收输入信号，例如图像中像素的强度，然后在输出新信号之前进行计算。这些输出在复杂的网络中，被再下一层的神经元所接收，直到产生一个整体结果输出。此外，还有反向传播，通过反馈调整单个神经元，达到期望输出。

深度神经网络中的许多层使它能够在不同的抽象层次上识别事物。例如在识别狗的系统中，较低层识别简单轮廓或颜色；更高层识别更复杂的东西，如毛皮或眼睛；最上层将它作为狗标注。简单地说，同样的方法也可以应用于机器引导自己的其他输入：在语音中构成单词的声音，在文本中创建句子需要的字母和单词，或自动驾驶所需的方向盘运动。

为了尝试去捕捉和解释在系统中发生了什么，研究员们应用了巧妙的策略。2015年，谷歌的研究人员修改了一种基于深度学习的图像识别算法，这样就不会产生照片中的对象，而是生成或修改它们。通过有效地反向运行该算法，他们可以发现该程序用于识别，例如，鸟或建筑物的功能。

由此产生图像的项目，被称为Deep Dream，它能表现出各种怪诞的图形，云彩和植物中出现像外星人一样的动物，在森林和山脉中绽放出幻觉一样的宝塔。这些图像证明，深度学习并不是完全不可思议的，它们显示出算法也需要熟悉的视觉特征，比如鸟喙和羽毛。但这些图像也暗示了深度学习与人类感知的不同之处，比如它可能会让放大我们知道但是忽略的东西。谷歌研究人员指出，当它的算法生成哑铃的图像时，它也生成了一个人的手臂，因为机器断定手臂是这东西的一部分。

从神经科学和认知科学借鉴来的思路已经使得研究取得了进一步的进展。怀俄明大学助理教授Jeff Clune带领的团队，采用光学错觉的AI测试了深度神经网络。2015年，Clune团队展示了他们的发现，某些图像可以愚弄网络，让它们感知到不存在的事物，因为图像利用了系统搜索的低层次模式。Clune的一位合作者，Jason Yosinski，还建立了一个工具，就像一个探针插入大脑，针对网络中的任何神经元，搜索最激活它的图像。这个图像被发现是抽象的（想象一个写意的火烈鸟或校车），这更突出了机器的感知能力的神秘性。

然而，我们需要的不仅是AI思维的惊鸿一瞥，也没有简单的解决方案。深层神经网络内部计算和相互作用，是高层次模式识别和复杂决策的关键，但这些计算是数学函数和变量的泥潭。“如果你有一个很小的神经网络，你可以了解它，”Jaakkola说。“但一旦它变得非常大，它每层有成千上万的单元，也许有几百层，它就将变得无法理解。”

在Jaakkola办公室旁边的是MIT教授Regina Barzilay，她正致力于将将机器学习应用于医学。几年前，她在43岁时，被诊断出患有乳腺癌。诊断本身是令人震惊的，Barzilay也很沮丧，当时尖端的统计和机器学习的方法还没有被用来帮助或指导患者进行治疗肿瘤的研究。她说，人工智能有巨大的潜力去进行医学革命，但认识到这一潜力将意味着不仅仅是超越医疗记录。她希望能使用更多的原始数据。她说：“目前我们还没有充分利用影像资料、病理资料，所有这些信息。”

上一年完成了癌症治疗后，Barzilay和她的学生们开始和马萨诸塞州总医院的医生们一起工作，来开发一个系统，来能够挖掘研究员想要学习的病理报告，来确定患者的具体临床特点。当然，Barzilay明白，系统需要解释它的推理过程。所以，和Jaakkola以及一个学生一起，她加了一步：系统提取和突出文本片段，这是一个具有代表性的发现模式。Barzilay和她的学生也正在开发一种乳腺X线图像深度学习算法，能够发现早期乳腺癌的症状，他们的目标是解释这个系统的推理能力。

美国军方正投入数十亿美元，使用机器学习来引导车辆和飞机识别目标，并帮助分析人员筛选出大量的情报数据。不同于其他领域，甚至是医学领域，国防部已经将证明机器学习的“可解释性”看做一个关键的“绊脚石”。

David Gunning，美国国防高级研究计划局的项目负责人，负责名为Explainable Artificial Intelligence program的人工智能“可解释性”项目。这位满头银发的老兵，曾监督DARPA项目，最终导致Siri的成立。情报分析人员正在测试机器学习，作为识别大量监控数据模式的一种方法。许多自主地面车辆和飞机正在开发和测试。但如果一个机器坦克不能解释自己的行为，士兵可能感到不舒服，分析师也将不愿意对没有理由的命令采取行动。Gunning说：“这些机器学习系统的本质往往是产生大量的假警报，所以英特尔的分析师真的需要额外的帮助来理解为什么要做一个推荐。”

今年3月，在学术界和工业界帮助下，DARPA选择了13个项目，来获得Gunning的项目的资金支持。他们中的一些人可以加入华盛顿大学教授Carlos Guestrin的团队。他和他的同事们已经开发出一种机器学习系统，为其输出提供了理由。基本上，在这种方法下，计算机自动从数据集中找到几个例子，并提供一个简短的解释。例如，一个将电子邮件分类出恐怖分子信息的系统，可以在训练和决策中使用数以百万计的信息。但是使用华盛顿团队的方法，它可以突出在消息中发现的某些关键词。Guestrin的团队还设计了在图像识别系统中，高亮对其进行推理时的关键图像。

这种方式和其他的类似方法一样，比如Barzilay的，就是说明的部分太过简化，所以可能会丢失重要的信息。“我们还没有实现梦想，当AI与你交谈时，让它能够解释。”Guestrin说。“我们有很长的路要走。”

癌症诊断和军事演习这种高风险的情况之外，当该技术日益普及，成为我们生活中重要的应用之后，在其他领域，知道AI是如何给出解释的，也是同样重要。Tom Gruber是苹果公司Siri 团队的负责人，他说，“可解释性”对他的团队而言，同样也是至关重要的，它能帮助Siri成为更聪明和更强大的虚拟助理。他不愿意讨论Siri未来的具体计划，但这很容易想象，如果你收到一个来自Siri的餐馆推荐，你会想知道理由是什么。Ruslan Salakhutdinov，苹果的人工智能研究室主任和卡内基梅隆大学副教授，也看到了“可解释性”是关系着人类与智能机器之间演化的核心问题。“这将带来信任。”他说。

正如人类行为的许多方面是不可能详细解释的，也许让AI解释它所做的一切也是不可能的。“如果有人就其行为给你一个看似合理的解释，它也可能是不完整的。这对AI来说是同样的。”怀俄明大学的Clune说，“这这可能是智能的本质部分，只有部分行为能用推理解释。有些行为只是出于本能，或潜意识，或根本没有任何理由。”

如果是这样的话，我们的决策可能不得不是简单地去相信AI的判断，或者干脆不去使用它。同样地，这个判断必须融入社会智慧。正如社会是建立在期望行为的契约之上的，我们也需要让AI系统尊重和适应我们的社会规范。如果我们要创造机器坦克和其他杀人机器，让它们作出符合我们道德判断的决策也是非常重要的。

塔夫斯大学的Daniel Dennett，是一名著名的哲学家和认知科学家，研究意识和心灵。“问题是，我们必须做出什么样的努力才能明智地做到这一点，我们要求它们和我们自己的标准是什么？”他说。

他也就“可解释性”的要求发出了警告。“我想，如果我们要使用它们并依赖它们，那么我们就需要控制它们并让它们给我们解释答案。”他说。由于可能没有完美的答案，所以我们就需要更加谨慎——不管机器看起来是多么聪明。“如果它不能在解释自己这方面做得更好，”他说，“那就不要信任它！”