首席信息安全官如何平衡人工智能的风险和收益

所有人工智能项目在某种程度上都存在一些风险，生成式人工智能的快速增长和部署凸显了安全控制措施的局限性，同时也开辟了新的脆弱性。

如果市场研究表明人工智能的使用方向，那么首席信息安全官可以预期70%的企业将通过使用ChatGPT来探索生成式人工智能。调研机构普华永道公司在今年5月发布的一份研究报告表明，几乎所有的商界领袖都表示，他们的公司在短期内至少优先考虑一项与人工智能系统有关的举措。

生成式人工智能出现了投资热潮。调研机构高盛公司预测，生成式人工智能可以将全球GDP提高7%。麦肯锡公司表示，人工智能的主要用例是客户运营、营销和销售、研发和软件工程。例如在软件领域，根据全球战略咨询机构Altman Solon公司进行的一项调查，近25%的科技公司已经在使用人工智能进行软件开发，另有66%的企业可能在2024年采用人工智能。

人工智能驱动网络攻击

根据Gartner公司进行的调查，68%的企业高管认为生成式人工智能的好处大于风险，相比之下，只有5%的高管认为风险大于好处。然而，Gartner公司的分析师Frances Karamouzis在报告中表示，随着投资的深化，企业高管可能会开始转变他们的观点。Karamouzis说：“随着企业开始开发和部署生成式人工智能，他们可能会遇到一系列信任、风险、安全、隐私和道德问题。”

最新的风险之一是提示注入攻击，这是一个全新的企业威胁载体。Gartner公司的分析师Avivah Litan表示：“这是一种新的攻击媒介，也是一种新的危害媒介，传统的安全控制措施不够好。”她表示，在其他情况下，聊天机器人用户可以看到其他人的提示。

许多“越狱”的ChatGPT和其他大型语言模型的公开实例已经被看到欺骗。它做了一些不应该做的事情——例如编写恶意软件或提供炸弹制作方法。一旦企业开始推出自己的生成式人工智能，例如用于客户服务的人工智能，“越狱”的ChatGPT可能会让不良行为者访问他人的账户或实施其他有害行为。

今年早些时候，全球性安全组织OWASP发布了在大型语言模型中发现的十大严重漏洞列表，提示注入排在第一位。网络攻击者还可以利用这些大型语言模型来执行恶意代码、访问受限资源或毒化训练数据。当用户自己部署模型时，他们可以在提示环境中设置防火墙，并在提示环境周围采取可观察性和异常检测措施。Litan说，“用户可以看到发生了什么，也可以建立控制。”

第三方供应商不一定是这样。即使供应商对最初用于创建模型的训练数据有一流的安全控制，聊天机器人也需要访问操作数据才能发挥作用。Litan说：“传统的保护控制不适用于进入模型的数据和及时注入。把所有这些都保留在内部部署设施确实很有意义，但必须将安全保护措施落实到位。”

降低使用人工智能带来的数据暴露风险

求职招聘网站Glassdoor公司对9000多名美国专业人士进行的一项调查表明，他们都很喜欢采用ChatGPT，80%的受访者反对禁止这项技术。但是ChatGPT和类似的大型语言模型是基于它们与用户的交互而不断训练的。问题是，如果用户请求帮助编辑一份充满企业机密的文件，人工智能系统可能会了解到这些秘密，并在未来向其他用户透露这些秘密。Forrester Research公司的分析师Jeff Pollard表示：“这些都是非常合理和现实的担忧。”

Cyberhaven公司的首席安全官Chris Hodson表示：“我们已经看到医生将患者信息上传到ChatGPT，以便为患者描述病情。”

Forrester公司的Pollard表示，专门为企业用户设计的平台确实很重视这个问题。他说：“他们对保留他人的数据不感兴趣，因为他们明白这是采用的障碍。”

部署生成式人工智能最安全的方法是企业在自己的基础设施上运行私有模型。然而，Altman Solon表示，这并不是最受欢迎的选择，只有20%的企业更喜欢这一选择。大约三分之一的企业选择通过使用提供商自己的运营环境，利用公共基础设施来部署生成式人工智能。这是最不安全的选择，要求企业对生成式人工智能供应商给予极大的信任。

很多企业 (48%)部署在第三方云计算环境中，例如虚拟私有云。例如，微软公司在其Azure云中为企业客户提供安全并且隔离的ChatGPT部署。微软公司声称，今年3月，已有1000多家企业客户在Azure OpenAI服务上使用ChatGPT和其他OpenAI模型，到今年5月中旬，这一数字已增长到4500家。使用这项服务的企业包括梅赛德斯-奔驰、强生、AT&T、CarMax、DocuSign、沃尔沃以及宜家。

人工智能在治理和合规方面的风险

生成式人工智能创纪录的采用率远远超过了企业监管这项技术的能力。礼德律师事务所(Reed Smith LLP)专注于网络安全和机器学习的合伙人Gerry Stegmaier表示：“我认识的一些人采用ChatGPT工作，每周节省了大量时间，但这些人所在的企业却不知道这一点。如今，员工在个人层面上的生产率正在大幅提高，但在很大程度上，企业高管并没有意识到员工生产率的提高。”

根据Fishbowl公司在今年2月发布的一项调查报告，43%的专业人士使用过ChatGPT这样的工具，但其中近70%的人是在企业高管不知情的情况下使用的。Stegmaier说，这意味着企业可能会以法律和监管风险的形式承担技术债务，他们不知道也无法衡量这些债务。

Netskope公司最近的一份基于使用数据的报告表明，ChatGPT的使用量每月增长25%，大约1%的员工每天使用ChatGPT。因此，目前约有10%的企业禁止员工使用ChatGPT。

企业可能对员工的所作所为缺乏了解，此外还缺乏对法律法规的了解。Stegmaier说，“大型企业需要一定的可预测性，而目前的不确定性是不可估量的。”

知识产权和进入模型的训练数据存在不确定性，隐私和数据安全法规存在不确定性，新的法律和合规风险一直在出现。例如，今年6月，OpenAI公司由于ChatGPT声称一名电台主持人挪用资金而被起诉。OpenAI公司或其他公司由于其聊天机器人回答的内容而被起诉，这些公司可能对机器人所说的内容负责，也可能不负责。这取决于产品责任法的适用方式。Stegmaier说：“如果为了获利，人们就会在他们的法律理论中发挥创造性。”

Stegmaier认为，关于软件是否是一种产品的问题已经发生了一些变化，潜在的影响可能是巨大的。也有可能出台有关数据隐私的新法律，其中包括欧盟的《人工智能法案》。他预计美国在不久的将来并不会出台类似的法律，因为很难达成共识，美国联邦贸易委员会一直在发布有关人工智能的声明。他表示：“人工智能对消费者、对企业、对监管机构都非常有吸引力。当这三件事结合在一起时，往往会出现新的执法或新的监管活动。”

为了保持行业领先地位，他建议企业提高他们的生成式人工智能学习曲线，这样他们就可以应用他们目前的最佳实践工具，包括隐私设计、安全设计和反歧视原则。Stegmaier表示：“就生成式人工智能而言，‘快速运行并打破现状’在规模上不会是一种可接受的策略，尤其是对大型企业来说。”

不幸的是，根据部署的不同模型，企业可能很少或根本不了解生成式人工智能正在发生什么，即使他们知道它正在发生。例如，如果一名员工要求ChatGPT帮助给客户写信，那么ChatGPT将需要获得有关客户的一些信息，至少在提出答案时是这样。这意味着在一段时间内，数据将存储在OpenAI公司的服务器上。此外，如果员工使用ChatGPT保存会话历史记录，则数据将无限期地保留在这些服务器上。

Insight Enterprises公司杰出工程师Carm Taglienti表示，在欧洲和其他有数据驻留法的司法管辖区，数据迁移问题尤为重要。他说：“人们并不真正了解它的去向，也不知道在提交的数据上发生了什么操作。一旦无法控制，它就成为了一个漏洞。”他建议，如果企业计划使用生成式人工智能，他们应该认真考虑需要采取的控制措施。他建议，可以从美国国家标准与技术研究院(NIST)的人工智能风险管理框架开始。

在理想情况下，企业在选择平台之前应该考虑治理问题。然而，根据毕马威公司进行的一项调查，只有6%的企业有专门的团队来评估生成人工智能的风险并实施风险迁移策略。此外，只有35%的企业高管表示，他们的公司计划在未来12个月内专注于改善人工智能系统的治理，只有32%的风险专业人士表示，他们现在参与了生成式人工智能应用的规划和战略阶段。最后，只有5%的企业制定了成熟的负责任的人工智能治理计划，尽管19%的企业正在制定这样的计划，近一半的企业表示将制定这样的计划。

企业首先应该做什么?Omdia公司企业安全管理首席分析师Curtis Franklin表示：“我的建议是，企业领导者应该立即开始教育员工，让他们了解使用生成式人工智能的潜在风险。他们不太可能阻止生成式人工智能的使用，但需要让员工知道与之相关的风险。这是直接的措施。人们应该在考虑如何做到这一点。”

下一步措施是成立一个来自不同业务部门的利益相关者参与的委员会，研究如何在企业中合法地使用生成式人工智能，并开始平衡这些好处和风险。Franklin说，“企业应该有一个基于风险的框架，在这个基础上决定将如何使用它，并保护企业免受潜在的滥用或不良使用。”