AI项目这些致命错误，你都犯过吗？

​译者 | 布加迪

审校 | 孙淑娟

由于数据是人工智能（AI）的核心，因此AI和机器学习（ML）系统需要足够多的优质数据来学习也就不足为奇了。一般需要大量优质数据，对于监督学习方法尤为如此，才能正确训练AI或ML系统。具体需要多少数据，取决于所实施的AI的模式、所使用的算法以及内部数据与第三方数据等其他因素。比如说，神经网络需要大量数据来训练，而决策树或贝叶斯分类器不需要那么多数据就能获得高质量结果。

于是，你可能认为数据越多越好，对吧？请再想想。拥有大量数据（甚至EB级数据）的组织意识到，拥有更多数据并不代表如期望的那样可以解决问题。确实，数据越多，问题越多。拥有的数据越多，需要清理和准备的数据就越多，需要标记和管理的数据就越多，需要加强安全、做好保护、减少偏误及其他措施的数据就越多。当开始增加数据量时，小项目会迅速变成大项目。事实上，大量数据往往会扼杀项目。

很显然，识别业务问题与整理数据以解决该问题之间缺少的步骤是，确定需要哪些数据、实际需要其中的多少数据。需要足够多的数据，但切忌过多：不多不少刚刚好。遗憾的是，组织常常还没有了解数据，就贸然上手AI项目。组织要回答诸多问题，包括弄清楚数据在哪里、已经有多少数据、处于什么状态、数据的哪些特征最重要、内外数据的使用、数据访问难题、增强现有数据方面的要求，以及其他关键因素和问题。如果不回答这些问题，AI项目可能会失败，甚至淹没在数据汪洋中。

1.更好地了解数据

为了了解自己需要多少数据，先要了解数据在AI项目的结构中所处的位置。有一种直观的方式可帮助我们了解从数据中获得的不断增加的价值，那就是“DIKUW金字塔”（有时也叫“DIKW 金字塔”），它显示了数据基础如何通过信息、知识、理解和智慧，帮助获取更大的价值。

凭借坚实的数据基础，你可以在下一个信息层获得更深的洞察力，这可以帮助你回答有关该数据的基本问题。一旦在数据之间建立了基本的联系以获得信息洞察力，就可以在该信息中找到模式，了解各部分信息如何连接在一起，从而获得更深入的洞察力。组织可以在知识层的基础上，进一步了解这些模式为什么会出现，从而获得更多价值，帮助了解底层模式。最后，你可以在智慧层通过深入了解信息决策的因果关系，从信息中获得最大的价值。

最近的这股AI浪潮最关注的是知识层，因为机器学习在信息层之上提供了识别模式的洞察力。遗憾的是，机器学习在理解层遇到了瓶颈，因为找出模式不足以进行推理。我们有机器学习，却没有了解模式为什么会出现的机器推理。每当你与聊天机器人交互时，都能看到这一局限性。虽然基于机器学习的自然语言处理（NLP）非常擅长理解人的语音、推测意图，但它在试图理解和推理时遇到了限制。比如说，如果你问语音助手明天要不要穿雨衣，它不明白你在问天气。人类要向机器提供这种洞察力，因为语音助手不知道雨实际上是什么。

2.保持数据意识，以避免失败

大数据已教会我们如何处理大量数据。不仅仅涉及数据如何存储，还涉及如何处理、操作和分析所有这些数据。机器学习能够处理组织收集的种种不同类型的非结构化数据、半结构化数据或结构化数据，从而增添了更多的价值。的确，最近的这股AI浪潮实际上是大数据驱动的分析浪潮。

但正是由于这个原因，一些组织在AI方面遭遇重创。它们不是从以数据为中心的角度运行AI项目，而是专注于功能方面。为了驾驭AI项目并避免致命错误，组织不仅要更好地理解AI和机器学习，还要更好地理解大数据的几个“V”。这不仅关乎有多少数据，还关乎数据的性质。大数据的其中几个V包括：

• 数量：拥有的大数据的绝对数量。
• 速度：大数据变化的速度。成功运用AI意味着将AI运用于高速数据。
• 多样性：数据可以有多种不同的格式，包括数据库等结构化数据、发票等半结构化数据以及电子邮件、图像和视频文件等非结构化数据。成功的AI系统可以处理这种多样性。
• 真实性：这是指数据的质量和准确性以及你对该数据的信任程度。垃圾进垃圾出，在数据驱动的AI系统中尤为如此。因此，成功的AI系统需要能够处理变化很大的数据质量。

凭借数十年来管理大数据项目的经验，AI方面取得成功的组织主要在大数据方面取得了成功。那些目睹AI项目失败的组织常常以应用程序开发的思维来解决AI问题。

3.错误数据过多、正确数据不足在扼杀AI项目

虽然AI项目起步是正确的，但缺乏必要的数据以及缺乏了解、未解决实际问题在扼杀AI项目。组织在没有真正了解需要的数据和数据质量的情况下继续前进，这带来了真正的挑战。

组织犯这个数据错误的原因之一是，除了使用敏捷或应用程序开发方法外，它们在开展AI项目时没有任何真正的方法。然而成功的组织已意识到，使用以数据为中心的方法将数据理解作为项目方法的第一个阶段。CRISP-DM方法已存在了20多年，它将数据理解指定为确定业务需求后接下来要做的事情。基于CRISP-DM，并结合敏捷方法，AI认知项目管理（CPMAI）方法在第二个阶段需要数据理解。其他成功的方法同样需要在项目早期理解数据，因为AI项目毕竟是数据项目。如果在不了解数据的情况下开展项目，如何在数据基础上构建成功的项目？这肯定是你要避免的致命错误。

原文链接：https://www.forbes.com/sites/cognitiveworld/2022/08/20/are-you-making-these-deadly-mistakes-with-your-ai-projects/?sh=352955946b54