在企业中使用人工智能驱动的聊天机器人的风险

自2022年11月ChatGPT正式推出以来，已有数百万用户疯狂涌入。由于其出色的类人语言生成能力，编程软件的天赋，以及闪电般的文本分析能力，ChatGPT已经迅速成为开发人员、研究人员和日常用户的首选工具。

与任何颠覆性技术一样，像ChatGPT这样的生成式人工智能系统也存在潜在风险。特别是，科技行业的主要参与者、国家情报机构和其他政府机构都对将敏感信息输入ChatGPT等人工智能系统发出了警告。

对ChatGPT存在安全风险的担忧源于信息可能会通过ChatGPT最终泄露到公共领域，无论是通过安全漏洞还是使用用户生成的内容来“训练”聊天机器人。

为了应对这些担忧，技术公司正在采取行动，减轻与大型语言模型(LLMs)和会话式AI (CAI)相关的安全风险。一些企业甚至已经选择完全禁用ChatGPT，而其他企业则警告其员工将机密数据输入此类模型的危险。

ChatGPT：一个可怕的开放AI?

人工智能驱动的ChatGPT已经成为企业优化运营和简化复杂任务的流行工具。然而，最近的事件凸显了通过该平台分享机密信息的潜在危险。

令人不安的是，在不到一个月的时间里，就报告了三起通过ChatGPT泄露敏感数据的事件。韩国媒体报道称，智能手机制造商三星(Samsung)主要半导体工厂的员工将机密信息(包括用于解决编程错误的高度敏感源代码)输入人工智能聊天机器人，引发了争议。

源代码是任何技术公司最严密保护的秘密之一，因为它是任何软件或操作系统的基础构件。而现在，如此宝贵的商业机密无意中落入了OpenAI的手中。

据知情人士透露，三星目前已经限制了其员工访问ChatGPT的权限。

包括亚马逊(Amazon)、沃尔玛(Walmart)和摩根大通(JPMorgan)在内的其他《财富》500强企业集团，也遇到过员工不小心将敏感数据输入聊天机器人的类似情况。

之前也出现过有关亚马逊员工使用ChatGPT获取机密客户信息的报道，此事促使这家科技巨头迅速限制了该工具的使用，并严厉警告员工不要将任何敏感数据输入该工具。

“不完美”的模型：缺乏智慧的知识库

人工智能驱动的数字体验平台Coveo的机器学习总监Mathieu Fortier表示，GPT-4和LLaMA等LLMs存在多个不完美之处，并警告说，尽管它们在语言理解方面很出色，但这些模型缺乏识别准确性、不变定律、物理现实和其他非语言方面的能力。

虽然LLM通过训练数据构建了广泛的内在知识库，但它们没有明确的真理或事实准确性概念。此外，它们很容易受到安全漏洞和数据提取攻击，而且容易偏离预期的反应或表现出“精神错乱的”特征——专业名称为“幻觉”。

Fortier强调了企业面临的高风险。其后果可能会严重破坏客户的信任，并对品牌声誉造成不可挽回的损害，导致重大的法律和财务问题。

紧跟其他科技巨头的脚步，这家零售巨头的科技部门沃尔玛全球科技(Walmart Global tech)已采取措施降低数据泄露的风险。在给员工的一份内部备忘录中，该公司指示员工在检测到可能危及企业数据和安全的可疑活动后，立即屏蔽ChatGPT。

沃尔玛的一位发言人表示，尽管该零售商正在基于GPT-4的功能创建自己的聊天机器人，但它已经实施了多项措施，以保护员工和客户数据不被ChatGPT等生成式人工智能工具传播。

该发言人表示，“大多数新技术带来了新的好处，也带来了新的风险。因此，我们会评估这些新技术，并为我们的员工提供使用指南，以保护我们的客户、会员和员工的数据，这并不罕见。利用现有技术(如Open AI)，并在其上构建一个更有效地与零售商沟通的层，使我们能够开发新的客户体验，并改善现有能力。”

除此之外，Verizon和Accenture等其他公司也采取了限制ChatGPT使用的措施，Verizon指示其员工将聊天机器人限制在非敏感任务上，Accenture则实施了更严格的控制，以确保遵守数据隐私法规。

ChatGPT如何使用会话数据

更令人担忧的是，ChatGPT会保留用户输入数据以进一步训练模型，这引发了关于敏感信息可能通过数据泄露或其他安全事件暴露的问题。

OpenAI是流行的生成式人工智能模型ChatGPT和DALL-E背后的公司，最近实施了一项新政策，以改善用户数据隐私和安全性。

从今年3月1日起，API用户必须明确选择共享他们的数据以训练或改进OpenAI的模型。

相比之下，对于非API服务，如ChatGPT和DALL-E，如果用户不希望OpenAI使用他们的数据，则必须选择退出。

OpenAI公司在最近更新的博客中称，“当您使用我们的非API消费者服务ChatGPT或DALL-E时，我们可能会使用您提供的数据来改进我们的模型。与我们共享您的数据不仅有助于我们的模型变得更准确，更好地解决您的具体问题，还有助于提高它们的总体能力和安全性……您可以通过填写这张表格，填写您的组织ID和与帐户所有者关联的电子邮件地址，来请求退出使用您的数据来改善我们的非API服务。”

这一声明是在对上述风险的担忧以及公司在处理敏感信息时需要谨慎的情况下发布的。意大利政府最近加入了这场争论，在全国范围内禁止使用ChatGPT，理由是担心数据隐私和安全。

OpenAI表示，它从用于改进其人工智能模型的数据中删除了任何个人身份信息，并且仅为此目的使用来自每个客户的一小部分数据样本。

政府警告

英国政府通信总部(GCHQ)情报机构通过其国家网络安全中心(NCSC)发布了一份关于ChatGPT等大型语言模型(LLMs)的局限性和风险的警告。虽然这些模型因其令人印象深刻的自然语言处理能力而受到称赞，但NCSC警告说，它们并非绝对正确，可能包含严重的缺陷。

根据NCSC的说法，LLM可以生成不正确或“幻觉”的事实，正如Google Bard聊天机器人的第一次演示所展示的那样。它们也会表现出偏见和轻信，尤其是在回答引导性问题时。此外，这些模型需要大量的计算资源和大量的数据来从头开始训练，并且它们很容易受到注入攻击和有毒内容创建的影响。

Coveo公司的Fortier表示，“LLM根据提示(prompt)与内部知识的内在相似性来生成对提示的响应。然而，鉴于它们没有内在的内部‘硬规则’(hard rule)或推理能力，它们不可能100%成功地遵守不披露敏感信息的约束。尽管有努力减少敏感信息的生成，但如果LLM使用这些数据进行训练，它可以重新生成这些信息。唯一的解决办法就是不要用敏感材料来训练这些模型。用户还应避免在提示中向它们提供敏感信息，因为目前大多数服务都会将这些信息保存在它们的日志中。”

生成式人工智能安全和道德使用的最佳实践

随着企业继续采用人工智能和其他新兴技术，确保适当的安全措施来保护敏感数据并防止机密信息的意外泄露将至关重要。

这些公司采取的行动凸显了在使用ChatGPT等人工智能语言模型时保持警惕的重要性。虽然这些工具可以极大地提高效率和生产力，但如果使用不当，它们会带来重大风险。

会话式人工智能初创公司Got it AI的董事长Peter Relan建议称，“最好的方法是将语言模型原始改进中的每一个新发展都纳入到企业策略驱动的架构中，该架构将一个语言模型与用于防护的预处理器和后处理器结合起来，针对特定于企业的数据对它们进行微调，然后甚至还可以进行本地部署。否则，原始语言模型太强大了，有时在企业中处理是有害的。”

英伟达支持的对话式人工智能平台Kore. ai的首席技术官Prasanna Arikala表示，未来，公司将有必要限制LLM访问敏感和个人信息，以避免违规。

Arikala指出，“实施严格的访问控制，如多因素身份验证，以及对敏感数据进行加密，可以帮助缓解这些风险。此外，还需要定期进行安全审计和漏洞评估，以识别和消除潜在的漏洞。如果使用得当，LLM是很有价值的工具，但对于公司来说，采取必要的预防措施来保护敏感数据并保持客户和利益相关者的信任至关重要。”

这些法规将如何演变还有待观察，但企业必须保持警惕，保持领先地位。生成式人工智能在带来潜在好处的同时，也带来了新的责任和挑战，技术行业需要与政策制定者一起努力，确保以负责任和合乎道德的方式开发和实施这项技术。