恶意黑客正在将生成式人工智能作为武器

虽然我不习惯把研究作为博客的素材，但我确实注意到以下情况：Vulcan Cyber的Voyager18研究团队最近发布了一份咨询报告验证了生成性人工智能，如ChatGPT，将迅速变成一种武器，并准备攻击你附近的云端系统。大多数云计算业内人士都在等待这一刻。

新的攻击方式

一种使用OpenAI语言模型ChatGPT的新的攻击技术已经出现，攻击者正在开发者的环境中传播恶意软件包。专家们看到ChatGPT生成了不存在的URL、引用、代码库和函数。根据该报告，这些“幻觉”可能来自旧的训练数据。通过ChatGPT的代码生成能力，攻击者可以利用捏造的代码库（包）进行恶意传播，也绕过了传统的方法，如tynosquatting。

抢注域名（Typosquatting），也称为URL劫持或域名模仿，是指个人或组织注册类似于流行或合法网站的域名，但有轻微排版错误的做法。其目的是欺骗那些在输入URL时出现同样错字的用户。

另一种攻击是向ChatGPT提出一个问题，要求用一个软件包来解决一个特定的编码问题，然后收到多个包的推荐，其中包括一些没有在合法存储库中发布的包。通过用恶意软件包替换这些不存在的软件包，攻击者可以欺骗未来依赖ChatGPT推荐的用户。一个利用ChatGPT 3.5的概念证明了潜在的风险。

当然，有一些方法可以抵御这种类型的攻击。开发人员应该通过检查创建日期和下载次数来仔细审查代码库。然而，既然我们处理了这种威胁，我们将永远对可疑的软件包持怀疑态度。

应对新的威胁

这个标题并不是说这种新威胁目前就存在，笔者认为由生成式人工智能力量驱动的新威胁出现只是时间问题。因此，必须有一些更好的方法来对抗这些类型的威胁，随着有心人学会将生成式人工智能作为武器，这些威胁可能会变得更加普遍。

如果我们希望保持领先，我们不得不需要将生成式人工智能作为一种防御机制。这意味着从被动反应（现如今较为典型的企业方法）转变为主动使用可观察性和AI驱动的安全系统等策略。

在AI技术飞速发展的情况下，企业面临的挑战往往是云安全问题，以及devsecops专业人员必须加强他们的程序，以便不受24小时新闻周期的影响。这意味着企业需要在许多IT预算被缩减的时候，增加对安全的投资。如果没有积极应对这些新出现的风险，企业可能不得不对重大漏洞的成本和影响付出代价。

当然，安全专家的工作就是吓唬人，让企业在安全方面多花点钱，否则很可能发生比较严重的情况。考虑到战场性质的变化和几乎免费的有效攻击工具的可用性，企业的安全境地就有点严峻了。，当我们了解到事情会有多糟糕时，Vulcan报告中提到的恶意人工智能包的幻觉也许是我在这里要介绍的第一顺位。

有一线希望是，在大多数情况下，尽管有一些奇怪的大漏洞，云安全和IT安全专家比攻击者更聪明，并且在过去几年里一直保持着技术领先。但是，如果攻击者不会变得更聪明，他们就不必更有创新性，而且了解如何将生成式人工智能付诸行动以攻破高度防御的系统将成为新的游戏。你准备好了吗？

原文标题：Malicious hackers are weaponizing generative AI

原文作者：David Linthicum