七位业内人士畅谈如何衡量AI带来的业务影响力

AI正在发展转型，无论是作为一种技术本身还是关于这种技术的使用方式。越来越多的企业把AI试水项目带出实验室，进行大规模的部署，其中一些企业获得了显著的好处。不管围绕AI有怎样的不确定性，忽视AI的潜力，都会让那些仍在以旧方式运营业务的企业面临潜在风险。

不过对于很多企业组织来说，从AI中获取价值可能是一件令人难以捉摸的事情。他们的模型可能没有经过调优的，他们的训练数据集可能还不够大，客户可能会心存疑虑，除此之外还有关于偏见、道德和透明度方面的担忧。在还没有准备就绪之前就把AI运用于生产环节，或者是还没有对其进行适当审查之前就把AI战略扩展到下一个阶段，对企业来说可能都要付出很高的代价，或者更糟糕的是，导致业务朝着不利的方向发展。

那么你如何得知一个AI项目是否会改变或者颠覆你的企业呢？如果没有硬性的ROI数字，企业就必须通过某种确定的方式实现创新，下面就让我们来看看这些IT领导者和业内人士是如何衡量AI价值的吧：

成熟技术与突破性技术

衡量任何计划或者技术的商业价值，并不总是一种线性计算的过程，AI当然也不例外，尤其是考虑到成熟度和业务潜力的时候。经过验证和预测性的变量（例如数据挖掘、在成本和培训时间方面的节省、投资、促进新用途的能力）会对决策产生影响，尤其是在可接受的ROI方面，但不管怎样，对技术有一定程度信任，这一点是至关重要的，无论是新技术还是成熟的技术。

例如在美国国家航空航天局（NASA）的喷气推进实验室，衡量AI项目的投资回报率，其中一个关键因素是技术的成熟度。

该实验室首席技术和创新官Chris Mattmann表示，一些AI技术的用途已经非常成熟，以自动化业务流程为例。

他说：“每家公司都有一些枯燥的东西，我们也有。我们对这些流程实施了自动化，例如票务处理、搜索、数据挖掘、使用AI查看合同和分包合同。”

该实验室使用了很多商用技术做到这一点，包括DataRobot和Google Cloud。Mattmann说，为了确定一项特定的技术是否值得投资，他们会考虑该技术是否会节省成本、时间和资源。“如果技术已经成熟了，就会体现出来的。”

对于那些还处于中等成熟度的技术来说，实验室会着眼于该技术是否具有开启新用途的能力，以及成本是多少。Mattmann说：“例如，我们要去火星的话，会有一个用于深空电信的细管道，”现在，他们有足够的带宽每天从火星向地球发送大约200张照片。

“我们发送到火星上的探测车，内部有一种约豌豆大小的大脑，运行的是iPhone 1处理器。我们只把那些抗辐射的东西放在太空中，这样就可以承受深空环境。我们深知，性能良好的芯片往往是那些较旧的芯片，因此我们不会在探测车上使用高级人工智能或者是机器学习。”

不过，最初作为一种技术演示而不是探测任务核心的NASA Ingenuity火星直升机，搭载了高通的Snapdragon处理器——一种AI芯片。“这证明，我们有可能使用更新的芯片来做更多AI方面的事情。”

这种AI将实现很多目前无法实现的新用例，例如Ingenuity火星直升机无需每天发回200张图像，而是可以使用AI对这些图像进行分析，向地球发送一百万条文字说明，例如，在特定方向上有一个干涸的湖床等等。“与今天的图像相比，我们可以通过文本获得更多信息。”

最后，对于最前沿的实验性AI技术来说，衡量成功的标准就是这些技术能否用于新的科学用途，以及能否用于撰写和发表新论文。

他说：“训练和建立模型都是有成本的。”

谷歌和微软等企业可以随时访问海量的训练数据，但是在NASA的喷气推进实验室，数据集是很难获取的，需要博士级专家进行分析和标记。

“在NASA，我们训练一个新的AI模型的成本，是商业行业的10到20倍，”Mattmann说。

在这里，新技术的出现可以让NASA在减少人工标记工作量的情况下打造AI模型，例如，可以利用生成式网络创建合成训练数据，他说。虽然是Deep Fakes，但却是用于科学用途的。

AI衡量及其影响范围

如果没有一种直接的方法来衡量AI项目的业务影响时，企业会改为从相关关键绩效指标也就是KPI中挖掘数据。这些代理变量通常是和业务目标相关的，可能包括客户满意度、上市时间、员工保留率等。

美国医疗服务提供商Atlantic Health System就是一个很好的例子。该公司高级副总裁、首席信息官Sunil Dadlani说，患者是每一个决定的核心。在许多方面，他们是通过观察患者护理的改进来衡量AI的投资回报情况的。他说，这些以患者为中心的指标包括缩短住院时间、缩短治疗时间、加快保险资格验证、以及加快事先保险授权等等。

另一个项目涉及使用AI的项目，就是帮助放射科医生检查扫描情况，在这种情况下，衡量的KPI就是放射科医生收到潜在异常警报的频率。Dadlani表示：“截至2022年4月，我们有99%的放射科医生报告说，使用AI分析了12000多项研究，触发了近600个警报。因此，医生就可以尽快解决潜在的严重问题。”

在美国第五大会计师事务所RSM，AI投资遵循两条紧密相连的路径：一条是帮助员工更好工作的生产力和分析工具，另一条是客户方面使用的同类工具，该公司管理咨询、业务和技术转型团队的合伙人Richard Davis表示。

例如，RSM在与客户合作的时候，可能会被要求从多个系统（包括会计、销售和营销、人力资源、物流）中提取数据，并将所有内容整合到一个面板中。Davis说，AI可以帮助他们加快这一过程，然后，AI可以用于工作流程通过这些系统的情况，以及可能存在哪些挑战和障碍。

那么企业如何得知他们的AI是否朝着正确方向发展呢？

Davis说：“首先，我们可以非常清楚地衡量工具的使用情况，”他没有提供RSM在AI项目投资或者是投资回报率方面的细节，但他说，“随着时间的推移，我们希望看到的是更有效地交付参与”。

他说，参与度的提升会改善生产力。“因此，如果过去需要我们一周才能完成某件事，那么现在我们的目标可能是将其缩短到一天。”

专注于商业利益

衡量AI的成功与否，可能是很主观的。麻省理工学院的AI研究科学家、零售行业数据科学家Eugenio Zuccarelli说，评估一个AI项目就像开发AI本身一样，是一门艺术。

Zuccarelli说，尽管如此，能够解释AI对业务的影响力，这一点仍然是很重要的。“KPI不应该围绕模型本身设定，而应该围绕着业务和人员指标，这应该是项目的最终目标。”否则，很容易选择一个看似成功、但实际上并不能转化为对企业产生有效影响的技术指标。

Zuccarelli还曾在BMW和Telstra担任数据科学的职位，他警告称，不要孤立地衡量AI项目的进展。例如，如果一个AI项目的目标是改进由于其他原因已经在改进的东西，那么需要一个控制组来确定实际上有多少改进是由AI引发的。

具有多年金融服务行业经验的Vladislav Shapiro表示，AI项目其他有价值的KPI可能是，例如，减少错误警报或者自动删除过多特权。他同时也是Costidity的创始人，一个专门从事IT安全、身份治理和管理的咨询集团。

最近他负责了一项由AI能驱动的安全部署，结果让误报率降低了三倍，很多以前需要手动的流程都实现了自动化。

他说：“当你向C级高管展示这些数字的时候，他们就会明白，上述所有措施都降低了数据泄露的风险，加强了问责制和治理。”

逐步地衡量成功与否

全球专业服务公司Genpact的首席数字战略官Sanjay Srivastava表示，自动化实现的成本节约，是展示AI项目经济效益一个最简单、也是最清晰的方式。但同时，AI也可以促进新的收入来源，甚至是彻底改变企业的商业模式。

例如，某家飞机发动机制造商发现，他们通过使用AI可以更好地预测故障和改善物流，从而开始提供发动机服务。“对于最终消费者来说，购买飞行里程要比购买发动机本身更好，这是一种新的商业模式，因为AI的赋能而改变了企业的运营方式。”

而且，业务影响力也很明显。

因此，为了证明那段时间投资AI是合情合理的，这家制造商需要制定一个长期的目标，然后把这个目标转化为可以通过其他方式衡量的若干个短期项目。

他说：“与其说‘十年后，我们将改变行业’，不如说，‘第一年，我们开始考虑需要库存哪些零件，’你还没有能力去颠覆这个行业，你只是说，‘我们需要恰当数量的零件’，这是一个为期一年的项目，目标是优化你的仓库系统，减少你在库存方面的投资。”

除了供应链优化之外，其他短期进度衡量指标还包括客户满意度。

“例如，如果飞机在孟买停留了五天等待某个零件，客户就会感觉得到。”

与战略愿景保持一致

然后就是面对现实，一些AI项目在短期内可能会影响利润，但从长远来看，仍然是重要的且具有变革意义的。例如，一家企业部署了客户服务聊天机器人，可以消除很多枯燥的任务。Gartner分析师Whit Andrews表示：“但是聊天机器人也可能是有坏处的，因为有些销售人员很擅长于追加销售并希望与人互动，所以企业组织可能并不希望都是机器人。”

他说，归根结底是看你想要成为一个什么样的企业。“某些时候，你必须问自己你是否是这种企业：如果交付搞砸了，客户会打电话询问货物在哪里，然后你和客户互动，尝试让他们改为每月收货一次。”

如果这个企业组织想通过展示可衡量的ROI来推动转型，并且拥有一个以客户为中心的愿景，那么可能会跳过利润上的短期回报，而转向其他可能更有意义的指标上。

“一个完全自动化的组织可能会更成功，因为他们的市场份额在逐渐增加，但是你可以开发你的数据，这样你就可以在恰当的时间触达恰当的人群。如果有什么是你可以指出并说的，从逻辑上看，这会让我们的客户更快乐，我们的员工更成功，那么就放开去做吧。”