在当今的人工智能环境中，什么是可解释AI？

随着人工智能(AI)变得越来越复杂并在社会上得到广泛采用，一组最关键的流程和方法是可解释AI，有时也称为XAI。

可解释AI可以定义为：

一组帮助人类用户理解和信任机器学习算法结果的过程和方法。

可猜到，这种可解释性是非常重要的。因为AI算法控制了许多领域，这带来了偏见、错误算法和其他问题的风险。通过可解释性实现透明度，世界可以真正利用人工智能的力量。

可解释AI，顾名思义，有助于描述一个AI模型、其影响和潜在的偏见。其还在描述模型的准确性、公平性、透明度和人工智能驱动决策过程的结果方面发挥着作用。

现今的AI驱动的组织应该始终采用可解释AI流程，以帮助在生产中建立对AI模型的信任和信心。在当今的人工智能环境中，可解释AI也是成为负责任的企业的关键。

由于如今的人工智能系统非常先进，人类通常会执行一个计算过程，以追溯算法是如何得到结果的。这个过程变成了一个“黑匣子”，意味着其是无法被理解的。当这些无法解释的模型直接从数据中开发出来时，没有人能理解其中发生了什么。

通过可解释AI来了解AI系统是如何运行的，开发者可以确保系统能够正常工作。其还可以帮助确保模型符合监管标准，并为模型提供挑战或更改的机会。

AI和XAI之间的差异

一些关键的差异有助于将“常规”AI与可解释AI区分开来，但最重要的是，XAI实现了特定的技术和方法，以帮助确保ML过程中的每个决策都是可跟踪和可解释的。相比之下，常规AI通常使用ML算法得到结果，但不可能完全理解算法是如何得到结果的。在常规AI的情况下，很难检查准确性，导致控制、问责和可审核性的丧失。

可解释AI的好处

任何希望采用可解释AI的组织都有很多好处，例如:

• 更快的结果:可解释AI使组织能够系统地监控和管理模型，以优化业务结果。可以持续地评估和改进模型性能，并微调模型开发。
• 降低风险:通过采用可解释的AI流程，可以确保AI模型是可解释的和透明的。可以管理法规、合规性、风险和其他需求，同时最大限度地减少手动检查的开销。所有这些也有助于减少意外偏见的风险。
• 建立信任:可解释AI有助于在生产AI中建立信任。AI模型可以迅速投入生产，可以保证可解释性，并且可以简化模型评估过程，并使其更加透明。

可解释AI技术

有一些XAI技术是所有组织都应该考虑的，有三种主要方法:预测准确、可追溯性和决策理解。

• 第一种方法是预测的准确性，是在日常操作中成功使用人工智能的关键。可以进行模拟，并将XAI输出与训练数据集中的结果进行比较，这有助于确定预测的准确性。实现这一点的一种比较流行的技术被称为本地可解释模型-无关解释(LIME)，这是一种通过机器学习算法解释分类器预测的技术。
• 第二种方法是可追溯性，其通过限制决策的制定方式，以及为机器学习规则和特征建立更狭窄的范围来实现。最常见的可追溯性技术之一是DeepLIFT，即深度学习重要特征。DeepLIFT将每个神经元的激活与其参考神经元进行比较，同时演示每个激活神经元之间的可追溯链接。其还显示了彼此之间的依赖关系。
• 第三种方法是决策理解，与前两种方法不同，其是以人为中心的。决策理解包括教育组织，特别是与AI合作的团队，使他们能够理解AI如何以及为什么做出决策。这种方法对于在系统中建立信任至关重要。

可解释AI原则

为了更好地理解XAI及其原则，隶属于美国商务部的美国国家标准研究院(NIST)提供了可解释AI的四项原则的定义：

• AI系统应该为每个输出提供证据、支持或推理。
• AI系统应该给出用户能够理解的解释。
• 解释应该准确地反映系统用于达到其输出的过程。
• AI系统应该只在其设计的条件下运行，当其对结果缺乏足够的信心时，不应该提供输出。

这些原则可以进一步组织为：

• 有意义:为了实现有意义的原则，用户应该理解所提供的解释。这也意味着，在不同类型的用户使用AI算法的情况下，可能会有多种解释。例如，在自动驾驶汽车的情况下，一种解释可能是这样的……“人工智能把路上的塑料袋归类为石头，因此采取行动避免撞到它。”虽然这个例子适用于驱动程序，但对于希望纠正该问题的AI开发人员来说并不是很有用。在这种情况下，开发人员必须理解为什么会出现错误分类。
• 解释准确度:与输出准确度不同，解释准确度涉及AI算法准确解释其是如何达到输出的。例如，如果贷款批准算法根据申请的收入来解释决定，而实际上其是基于申请人的居住地，那么这个解释将是不准确的。
• 知识限制:AI的知识限制可以通过两种方式达到，其涉及到系统专业知识之外的输入。例如，如果构建一个系统来对鸟类种类进行分类，给予其一张“苹果”图片，其应该能够解释输入不是一只鸟。如果给系统一张模糊的图片，其应该能够报告其无法识别图像中的鸟，或者其识别具有非常低的置信度。

数据在可解释AI中的作用

可解释AI最重要的组成部分之一是数据。

根据Google的说法，关于数据和可解释AI，“一个AI系统最好通过底层的训练数据和训练过程，以及产生的AI模型来理解。”这种理解依赖于将经过训练的AI模型映射到用于训练其精确数据集的能力，以及密切检查数据的能力。

为了增强模型的可解释性，重要的是要注意训练数据。团队应该确定用于训练算法的数据的来源、获取数据的合法性和道德规范、数据中的任何潜在偏见，以及可以采取哪些措施来减轻任何偏见。

数据和XAI的另一个关键方面是，应该排除与系统无关的数据。为了实现这一点，不相关的数据必须不包含在训练集或输入数据中。

Google建议了一套实现可解释性和问责制的做法:

• 计划选择以追求可解释性
• 将可解释性视为用户体验的核心部分
• 设计可解释的模型
• 选择指标以反映最终目标和最终任务
• 了解训练过的模型
• 与模型用户沟通解释
• 进行大量测试，以确保AI系统按照预期工作

通过遵循这些推荐的做法，组织可以确保实现可解释AI。这对于当今环境中任何AI驱动的组织来说都是关键。