人工智能将永远不可理解吗？Is Artificial Intelligence Permanently Inscrutable?

Is Artificial Intelligence Permanently Inscrutable?

Despite new biology-like tools, some insist interpretation is impossible.

BY AARON M. BORNSTEIN
ILLUSTRATION BY EMMANUEL POLANCO
SEPTEMBER 1, 2016

【原文链接】这篇文章讨论了一个非常重要的上层问题——模型的正确性与模型的可预测性的问题。

人工智能将永远不可理解吗？

尽管有了新的类生物的工具，一些人依然认为解释是不可能的

作为IBM的研究科学家，Malioutov花费了部分时间来建立机器学习系统，为IBM公司的客户解决面临的难题。 其中一个项目是的客户是一个大型保险公司。 这是一项艰巨的任务，需要复杂的算法。 当给他的客户描述结果时，他有些犯难。 ”我们无法向他们解释模型，因为他们没有机器学习方面的基础。”

事实上，即使客户是机器学习专家可能也没有办法。 那是因为这个模型是一个人工神经网络，一个可以接收给定类型的数据 —— 在这个案例中，是保险公司的客户记录 —— 并且找到它们之中的模式的程序。 这些网络已经实际使用了半个多世纪，而最近他们从语音识别和语言翻译到下围棋的机器人和自动驾驶汽车的种种突破中看到了再度兴起的迹象。

隐层意义：在神经网络中，数据从一层传递到另一层，在每一步都经历简单的转换。 在输入层和输出层之间是隐层，节点组和连接，通常在没有任何人为干预的模式下工作，而且与输入或输出没有明显连接。 “深度”网络是具有许多隐层的网络。

尽管取得的成功令人兴奋，但是现代神经网络有一个令人不安的事实：没有人知道他们如何工作。这意味着无法预测什么时候可能会失败。

比如说，机器学习研究员Rich Caruana及其同事最近报道的一则故事：匹兹堡大学医学中心的一个团队正在使用机器学习来预测肺炎患者发生严重并发症的可能性。该团队尝试了几种不同的方法，希望在患者出现并发症的风险较低的情况下进行门诊治疗，把医院病床和医护人员的关注留给更需要的病人。尝试的方法包括各种神经网络，以及软件生成的能产生清晰可读的规则的决策树。

神经网络是最经常使用的方法。但是当研究人员和医生查阅神经网络给出的规则时，他们注意到一些令人不安的事情：尽管哮喘患者被认为极易发生并发症，但是一项规则指示医生让已经患有哮喘的肺炎患者回家。

该模型做了该做的事情：发现数据中的模式规律。它产生的糟糕建议是数据巧合的结果。医院的政策是让哮喘患者接受重症监护，而这项政策执行得很好，哮喘患者几乎从未发生严重并发症。若没有医院的额外的关心，结果可能就完全不同。

医院轶事让人们认清可解释性的实际价值。 “如果基于规则的系统已经知道哮喘的风险降低了，神经网络肯定也学到了这一点，”Caruana及其同事写道——但神经网络并不是人类可解释的，关于哮喘患者的奇怪结论也可能很难断定。如果模型不可解释，Malioutov警告说：“你可能会不小心让人死掉。”

这就是为什么这么多人不愿意赌神经网络的神秘是准确的。当Malioutov向他自己的公司客户介绍他准确但不可思议的神经网络模型时，他还向他们提供了一种替代的模型，基于规则的模型，其工作方式可以他简单地说明。虽然后者可解释的模型不如前者那么准确，但客户决定使用它，尽管它是一个数学上老练的保险公司，每百分之一的准确度对于他们都很重要。 “他们可以与更多的关系，”Malioutov说。 “他们非常重视直觉。”

甚至政府也开始关注不可思议的神经网络神话产生越来越多的影响。欧盟最近提出建立“解释权”，允许公民要求算法决定的透明性。然而，立法者没有明确指出“透明性”是什么意思。尚不清楚这个遗漏是由于对这个问题的无知还是对它的复杂性的理解。

一些研究人员希望可以不去选择——让我们既拥有多层次的蛋糕（神经网络），也可以理解它。

一些人认为这样的定义可能是不可能达到的。目前，虽然我们可以完全知道有关神经网络正在做什么——毕竟，它们只是计算机程序——我们却很难理解它们如何或为什么要这样做。网络由许多（有时甚至数百万）个单元组成，称为神经元。每个神经元将许多数值输入转换为单个数字输出，然后传递给一个或多个其他神经元。像大脑一样，这些神经元被划分为很多“层”，每一单元组从其下面的层获取输入，将输出发送到上面的层。

通过馈送数据来训练神经网络，然后调整层之间的连接，直到网络的计算输出与已知输出（通常由类别组成）匹配为止。过去几年的令人难以置信的结果归功于一系列新技术，可以快速训练在第一个输入和最终输出之间有很多层的深层网络。一个流行的深层网络叫做 AlexNet，用于对照片进行分类——根据它们是包含一只西施犬还是一只博美犬这样的细微区别进行标记。它由超过6000万的“权重系数”组成，一个权值“每个神经元”告诉一个神经元对每个输入的关注度是多少。Cornell大学和Geometric Intelligence公司的计算机科学家 Jason Yosinski 说：“你若想网络有所理解，你必须对这6000万个数字有所理解。”

即使有可能强加这种可解释性，也并不总是可取的。对于可解释性的要求可以被看作是另外一套约束，阻止了一个模型只关注给定的输入和输出数据获得的“纯粹的”解，并且潜在地降低了准确性。在今年年初的DARPA会议上，项目经理David Gunning用下图总结了一种权衡，图中显示深度网络是现代方法中最不可理解的。在谱的另一端的决策树是以规则为基础的系统，过分重视可解释性。

什么VS. 为什么：现代学习算法显示出人类可解释性及其准确性之间的权衡。 深度学习既是最准确的，也是最不可解释的。

结果是现代机器学习提供了神话之间的选择：我们是想准确地知道会发生什么，还是牺牲精确度去了解为什么会发生什么事情？ “为什么”可以帮助我们策划、调整，并了解我们的模型何时会崩溃。 “什么”可以帮助我们在不久的将来适当地行事。

这可能是一个困难的选择。但是一些研究人员希望不需要选择——允许我们既能拥有多层次的蛋糕，又可以理解它。令人惊讶的是，一些最有希望的研究方法将神经网络作为实验对象——以生物科学的方式启发他们开始——而不是分析纯粹的数学对象。例如，Yosinski说，他正在努力了解深层次的网络，“我们了解动物，甚至是人类”。他和其他计算机科学家正在从神经科学家眼中的对等网络的生物研究获取技术进入大脑：探索单个的组件，编制他们的内部结构如何响应输入的小变化，甚至删除一部分看其他部分如何补偿。

科学家已经从零开始构建了新的智慧，现在正在把它分开，将这些虚拟生物应用到显微镜和手术刀的数字等效物上。

Yosinski坐在一个电脑前，谈到网络摄像头。 网络摄像头的数据被馈送到一个深层神经网络，而网络本身正在使用软件工具包Yosinski和他的同事开发的称为深可视化工具包的实时分析。 点击几个屏幕，Yosinski放大网络中的一个神经元。 他说：“这个神经元似乎对面孔有反应，”他在互动的视频记录中说。人类的大脑也被称为具有这样的神经元，其中许多人集中在大脑的一个称为梭形面部区域的区域。 这个地区在1992年开始的多项研究中发现，已成为人类神经科学中最可靠的观察之一。 但是那些研究需要像正电子发射断层扫描这样的先进技术，Yosinski可以通过代码单独处理他的人造神经元。

脑活动：深层神经网络中的单个神经元（由绿色框突出显示）对Yosinski的脸部作出反应，正如人类大脑的不同部分可靠地响应面部（以黄色突出显示）。

这种方法让他将某些人造神经元映射到人类可理解的想法或对象，如面部，这可以帮助将神经网络变成直观的工具。他的节目还可以强调图片的哪些方面对于刺激面神经元来说是最重要的。 “我们可以看到，如果我们眼睛更黑，嘴唇更红润，它会更加强烈地反应，”他说。

杜克大学计算机科学与电气与计算机工程系教授辛西娅·鲁丁（Cynthia Rudin）认为，这些“事后”的解释本身就是一个问题。她的研究重点是建立适用于监狱判刑和医疗诊断等领域的基于规则的机器学习系统，人类可读解释是可能的，而且至关重要。但是对于像视觉这样的领域的问题，她说：“解释完全在旁观者的眼中。”我们可以通过识别一个面神经元来简化网络响应，但是我们如何才能确定真正的目标？ Rudin的关注回应了著名的言论，视觉系统本身可能没有更简单的视觉系统模型。她说：“你可以对复杂的模式做许多种解释。” “你只是选择你想要的”对吗？

Yosinski的工具包可以通过后向处理在一定程度上解释这些问题，发现网络本身“想要的”是正确的 —— 一种人工的理想概念。该程序以原始静态开始，然后逐个调整，使用与训练网络的过程相反的方式修改图像。最终，它找到一个引发给定神经元的最大可能响应的图片。当这种方法应用于AlexNet神经元时，它产生的画像无可非议地唤起了标记的类别，尽管像幽灵一样。

理想的猫：由Deep Visualization工具包生成的合成理想猫脸的示例。 这些面是通过逐个调整一般的起始图像来生成的，直到实现了AlexNet的面神经元的最大响应。

这似乎支持他的观点，在一些非常普遍的意义上，面部神经元确实在寻找面孔。但有一点，Yosinski的过程依赖于统计约束（称为自然图像先验）生成这些图片。这些先验信息将其限制为产生符合真实世界对象图片中发现的各种结构的图像。当他删除这些规则时，该工具包仍然会以最大的可信度来标注图像，但该图像是纯静态的。事实上，Yosinski已经表明，在许多情况下，引起AlexNet神经元兴奋的大部分图像对人类来说都是静态的。他很轻易地认可，“很容易弄清楚如何让网络给出一些极端的东西。”

为了避免这些陷阱，弗吉尼亚理工学院电气和计算机工程助理教授Dhruv Batra采用更高层次的实验方法来解释深层网络。他试图在内部结构中找到模式 ——“比我更聪明的人已经在这方面做出努力，”他解释说——他探讨了网络的运作方式，本质上是机器人眼睛跟踪版本。他的小组在由研究生Abhishek Das和Harsh Agrawal领导的项目中提出了一个关于图像的深度网络问题，比如判断在一个房间的给定图片中是否有窗帘上的窗帘。与AlexNet或类似的系统不同，Das的网络旨在一次只关注一小部分图像。它将虚拟的眼睛移动到图片周围，直到它确定有足够的信息来回答这个问题。经过充分的培训，深层网络表现非常出色，回答的准确率达到人类的最高水平。

训练好的机器非常适合他们的环境，但不适应任何其他的

Das，Batra和他们的同事们尝试通过调查图片中选择的位置来了解网络的决策方式。他们发现什么令他们惊讶：当回答关于窗帘的问题时，网络甚至不打算找窗户。相反，它首先看图像的底部，而且如果它找到一张床就停止寻找。看来，在用于训练这个神经网络的数据集中，可以在卧室中找到带窗帘的窗户。

虽然这种方法确实揭示了深层网络的一些内在工作，但它也加强了可解释性提出的挑战。 “什么机器拾起来的并不是世界的事实，”Batra说。 “它们是关于数据集的事实”。机器完全按照它们被馈送的数据调整，使得很难提取关于它们如何工作的一般规则。更重要的是，他警告说，如果你不知道它是如何工作的，你不知道它会如何失败。

像Yosinski和Batra这样的研究人员面临的一些障碍，对于研究人类大脑的科学家将会很熟悉。例如，对神经影像学的解释的问题在今天是普通的，如果不常见的话。认知神经科学家玛莎·法拉尔（Martha Farah）在2014年对该领域的回顾中写道：“担心的是，[功能性大脑]图像中，研究者创造的比研究者观察的更多。”这些问题在智能系统的非常不同的实现中的出现表明他们可能是障碍，不是研究这种或那种大脑，而是对智力本身的研究。

追求诠释性是愚蠢的事情吗？在加利福尼亚大学圣地亚哥分校的Zachary Lipton的2015年博客文章题为“模拟解释的神话”中，提出了解释神经网络的动机的批判性观点，以及构建可解释机器学习模型的价值数据集在第一位。他在今年的国际机器学习会议（ICML）上向人类可解释性研讨会提交了一篇关于这个问题的引起争论的论文。

Lipton指出，许多学者对可解释性的概念不同意，这表明他的解释性很少被理解——或者有许多同样有效的含义。在任何一种情况下，追逐可解释性可能不能满足我们对简单英文描述神经网络输出的期望。Lipton在他的博客文章中说，当涉及到巨大的数据集时，研究人员可以选择抵制解释的冲动，而不是“放心实践成功”。他认为，这个领域的目的之一是“建立可以从更多特征中学习的模型，比人类自认为可以解释的特征更多”，而可解释性可能会使这些模型不能充分发挥其潜力。

但这种能力既是有用的也是失败的：如果我们不了解网络输出是如何生成的，那么我们就不知道输入的哪些方面是必要的，甚至不知道什么可以用于输入。案例：1996年，苏塞克斯大学的阿德里安·汤普森（Adrian Thompson）使用软件设计一个电路，采用类似于今天训练深度网络的技术。该电路执行一个简单的任务：区分两个音频音调。经过数千次迭代，调换和重新排列电路组件，软件发现几乎完美执行任务的配置。

该电路使用的组件比任何人类工程师所使用的更少。不过，汤普森惊讶地发现，包括几个与其他物理连接的组件，然而电路仍然需要这些组件也正常工作。

他去剖析电路。经过几次实验，他获悉，这个电路成功利用相邻部件之间的微小电磁干扰。断开的元件通过引起局部电场的小波动影响电路。人类工程师通常会防范这些相互干扰，因为它们是不可预知的。果然，当汤普森将相同的电路布局复制到另一批组件——或者改变了环境温度时，电路完全失效。

电路展示了训练有素的机器的标志性特征：它们紧凑而简化，非常适合于他们的环境，但无法适应其他任何其他环境。他们使用工程师无法觉察的模式；但不知道这些模式在其他地方还适不适用。机器学习研究人员尽力避免这种称为“过度拟合”的现象，但随着这些算法在越来越多的动态情况下使用，它们的脆弱性将不可避免地暴露出来。

对于普林斯顿大学计算机科学教授Sanjeev Arora，允许人们干预和调整网络是寻求可解释模型的主要动机。 Arora指出了两个可能在没有可解释性的情况下严重影响机器的功能的问题。一个是“可组合性”——当手头的任务涉及许多不同的决定（如围棋或自驾车）时，网络无法有效地学习哪些会引发错误。他说：“通常当我们设计事物时，我们先了解不同的组件，然后将它们放在一起。”这允许人们调整不适合给定环境的组件。

需要保留可解释性的另一个问题是Arora称之为“领域适应性”——灵活地将一个环境中的知识应用于另一个环境的能力。这是一个人类学习者做得很好的任务，但机器可能会以令人惊讶的方式失败。 Arora描述了对于人类善于处理的那种微妙的语境变化，程序是如何糟糕地无法适应。例如，通过阅读正式文件（如维基百科）来训练解析人类语言的网络可能会完全不适用于在像Twitter这样含有更多的方言俗语的情形。

按这种观点，可解释性似乎至关重要。但是我们明白我们用这个词的含义吗？开创性的计算机科学家马文·明斯基（Marvin Minsky）创造了“手提箱词语（suitcase word）”这个短语来描述许多术语——例如“意识（consciousness）”或“情感（emotion）”——我们在谈论自己的智慧时使用这些术语。他提出，这些词反映了许多不同的潜在的过程被锁在“手提箱”内。只要我们继续使用这些词指代更基础的概念，我们的见解就将受到我们的语言的限制。在人工智能研究中，可解释性本身可能是一个手提箱吗？

虽然我谈到的许多研究人员乐观地认为，理论家们有一天将会解开手提箱，并发现一种统一的原则或定律来管理机器（或者是人类）的学习，就像牛顿的基本原理，也有些人警告说没理由对此保持期待。纽约市立大学哲学教授马西莫·皮布卢奇（Massimo Pigliucci）警告说，自然科学中的“理解”——以及人工智能的扩展——可能是路德维希·维特根斯坦（Ludwig Wittgenstein）按明斯基（Minsky）的期望所说的“集群概念”，可以允许有许多部分明确的定义。他说，如果这个领域的“理解”确实到来，可能不是来自物理学，而是进化生物学。他说，相比基本原理，我们认为更可能是物种起源。

当然这并不意味着深度网络是一些新的自主生命的先兆。但是，他们可能会像生命一样难以理解。该领域逐渐增加的实验方法和事后解释可能不是在黑暗中的某种绝望感受，祈祷着理论发出光芒。相反，他们可能是我们唯一可以期望的光。可解释性可能会作为一组“物种”的原型示例零星地出现，这些原型示例由推理和依上下文具体情况而定的解释定义的分类法中组合而成。

在ICML讲习班结束之际，一个小组的一些演讲者试图界定“可解释性”。每个人都有不同的观点。经过一番讨论，该小组似乎达成共识，即“简明”是模型可以解释的必要条件。但是，当界定简明时，该组再次产生分歧。 “最简明”的模型指的是什么呢？依赖于最少的特征？最明显的区别？最小的程序？讲习班没有讨论出统一的答案。

正如马利乌托夫（Malioutov ）所说，“简明不是那么简单”。