IT领导者的必修课：如何衡量人工智能的业务影响及价值？

越来越多的经过验证的AI项目正在规模部署，其中一些企业看到了显著的好处。但对于许多企业来说，从AI中获取价值可能是难以捉摸的，例如AI的模型可能无法调整，训练数据集可能不够大，客户可能会心存疑虑，以及关于AI的偏见、道德和透明度的担忧。

在AI计划准备就绪之前将其投入生产，或在对其结果进行适当审查之前将AI战略扩展多业务阶段，可能会让企业受到损失。或者更糟糕的是，不当的使用会将公司业务推向不利的方向。

因此，评估AI投资回报率至关重要，但同时具有挑战性。如何衡量AI的业务影响呢？以下带你了解IT领导者和业内人士如何衡量AI的价值。 

正确对待成熟和突破性技术 

衡量任何计划或技术的商业价值并不总是线性计算的。AI当然也不例外，尤其是考虑到成熟度和业务潜力时，对技术的信任度至关重要，无论是突破性技术还是成熟技术。诸如数据挖掘、培训成本的节省、投资和促进新用途的能力等经过验证和预测的变量，将会影响可接受的投资回报率的决策。

对于美国国家航空航天局喷气推进实验室来说，衡量AI项目投资回报率的关键因素是技术成熟度。

该实验室首席技术和创新官Chris Mattmann表示，一些AI用例如今已经非常成熟，比如自动化业务流程。“每家公司都有重复而单调的工作，所以需要将一些业务流程实现自动化，例如票务处理、搜索、数据挖掘、使用AI查验合同等。” 

该实验室使用商业可用的技术来做到这一点，其中包括DataRobot和Google Cloud。Mattmann说，为了确定一项特定技术是否值得投资，将考虑它是否会节省成本、时间和资源。

对于处于中等成熟度的技术，该实验室着眼于该技术是否具有开启新用例的能力，以及成本是多少。他说，“我们发射的火星探测器需要有一个用于太空通信的传输方式，而如今已经有足够的带宽支持每天从火星向地球发送大约200张照片。 

他介绍，该火星探测器具有豌豆大小的大脑，采用的是iPhone一样的处理器，它们可以承受各种考验。成熟芯片性能良好，可以满足应用需求。”但是，AI将开启目前无法实现的新用例。例如，漫游者火星探测器无需每天发回200张图像，而是可以使用AI分析图像本身，并可以向地球发送一百万字的文字说明，例如描述在特定方向上有一个干涸的湖床。与目前的图像相比，企业可以通过文本获得更多可见性。

最后，对于最前沿的实验性AI技术，衡量成功的标准是它们是否允许完成新的科学探索，以及撰写和发表新论文。

谷歌和微软等公司可以随时访问海量的训练数据，但在美国国家航空航天局喷气推进实验室，数据集很难获取，需要博士级别专家进行分析和标注。正如Mattmann所说，“美国国家航空航天局训练新的AI模型的成本是商业行业的10到20倍。”

在这方面，新技术的出现将使美国宇航局能够创建AI模型，而不需要人工标注。例如，生成网络可以用来创建合成训练数据。 

衡量AI的业务影响及范围 

当无法直接衡量AI项目的业务影响时，企业将从相关关键绩效指标（KPI）中挖掘数据。这些变量通常与业务目标相关，可以包括客户满意度、上市时间或员工保留率。

Atlantic Health System公司高级副总裁兼首席信息官Sunil Dadlani说，患者是该公司每项决策的核心。因此，在许多方面，AI投资的回报是通过观察患者护理的改进来衡量的。这些以患者为中心的指标包括缩短住院时间、加快治疗、保险资格验证和保险授权。

另一个项目涉及使用AI来支持放射科医生检查扫描，其KPI是放射科医生收到潜在异常发现警报的频率。Dadlani说，“截至2022年4月，我们99%的放射科医生报告说使用AI分析了12000多项研究，已经触发了近600个警报。基于此，这些医生可以尽快解决潜在的严重问题。” 

美国排名第五的RSM会计师事务管理咨询、业务和技术转型团队合伙人Richard Davis指出，该公司AI投资遵循两条紧密相连的途径：一条途径是帮助员工更好地工作的生产力和分析工具，另一条途径是客户使用的相同或类似工具。 

例如，在与客户合作时，可能会要求RSM会计师事务所从多个系统（会计、销售和营销、人力资源、物流）中提取数据，并将所有内容整合到一个表格中。Davis表示，AI可以帮助加快这一过程。

那么企业如何知道其AI是否朝着正确的方向发展呢？Davis说，“我们可以非常清楚地衡量工具的使用情况，随着时间的推移，我们希望看到的是更高效的参与。”

他表示，这种参与度的提高应该会导致生产率的提高。“如果过去需要一周才能完成某件事，我们的目标可能是将其缩短到一天。”

关注AI的商业利益

衡量AI的成功也可能是主观的。麻省理工学院AI研究科学家、零售行业的数据科学家Eugenio Zuccarelli表示，评估AI项目与开发AI本身一样是一门艺术。

Zuccarelli说，尽管如此，能够解释AI对业务的影响仍然很重要，“关键绩效指标（KPI）不应该围绕模型本身设定，而应该围绕业务和人员指标，这应该是AI项目的最终目标。否则，很容易选择一个看似成功但实际上并不能转化为对企业产生有效影响的技术指标。” 

Zuccarelli曾在宝马公司和Telstra公司担任数据科学职位，他警告不要孤立地衡量进展。例如，如果一个AI项目旨在改进由于其他原因已经在改进的东西，那么需要一个控制团队来确定实际上有多少改进是由AI引起的。 

具有多年金融服务行业经验的Vladislav Shapiro表示，AI项目的KPI具有其他价值，例如减少错误警报或自动删除过多特权。他们在最近进行的一项由AI驱动的安全部署中，将误报率降低了三倍，并且许多以前的人工流程都实现了自动化。 

他说，“当向企业管理层展示这些数字时，他们就会明白，上述所有措施都降低了数据被泄露的风险，并增加了问责制和治理。”

逐步衡量AI的成功 

全球专业服务商Genpact公司首席数字策略师Sanjay Srivastava表示，降低成本的自动化是展示AI经济效益的最简单、最清晰的方式。但AI也可以促进新的收入来源，甚至彻底改变企业的商业模式。 

例如，一家飞机发动机制造商发现AI可以更好地预测故障和改善物流，从而可以提供发动机服务。Srivastava说，“对于最终消费者来说，购买飞行里程比购买发动机本身更有吸引力。这是一种新的业务模式。它改变了企业运营方式，因为AI使之成为可能。” 

当然这种商业成功不是立竿见影的，为了证明在某段时间内对AI的投资是合理的，这家制造商需要定个长期目标，并将其转化为可以通过其他方式衡量的短期项目。 

因此，“不要说，‘我们在十年后将改变这个行业’，而是说，‘我们在第一年将开始考虑需要库存的零件’。这是一个为期一年的项目，旨在优化仓库系统，减少库存投资。”

除了优化供应链之外，其他短期进度衡量指标还包括客户满意度等。 

与公司战略愿景保持一致 

还有一个现实是，在短期内，一些AI项目可能会损害企业的收入，但从长远来看仍然是重要的和变革性的。

Gartner公司分析师Whit Andrews说，例如推出客户服务聊天机器人的企业可以消除日常任务，但聊天机器人可能也是有害的，因为有些人喜欢沟通，并希望与真实人员接触。

他表示，“这可以追溯到企业想成为什么样的公司。在某些时候，企业必须询问自己是否是这样的公司。例如，如果快递出现问题，客户可以打电话询问它在哪里，与他们互动，然后尝试每月一次向他们销售产品。” 

言下之意，如果该公司致力于AI驱动的转型，并以可衡量的投资回报率提供支持，并具有以客户为中心的愿景，那么它可能会超越对收入的直接影响，转而关注其他可能更有意义的指标。

综上，人工智能的业务影响及价值是可以从多个维度衡量的。AI技术本身还在发展演进中，各细分领域的应用成熟度也不相同，IT领导者必须能够结合公司实际业务情况加以应用和评估，才能正确拥抱AI，不在新一轮变革中掉队。