【IT168评论】学术界最新研究成果显示，融合了大型语言模型和自动化软件的人工智能代理在阅读安全公告后，竟能成功利用现实世界中的安全漏洞。

伊利诺伊大学香槟分校(UIUC)的四位计算机科学家理查德·方(Richard Fang)、罗汉·宾都(Rohan Bindu)、阿库尔·古普塔(Akul Gupta)和丹尼尔·康(Daniel Kang)在最新论文中披露，他们向OpenAI的GPT-4大型语言模型(LLM)提供描述漏洞的CVE公告，该模型竟能自主利用现实世界系统中的漏洞。

为了验证这一发现，研究团队精心挑选了一个包含15个单日漏洞的数据集，这些漏洞在CVE描述中均被归类为严重程度较高的类型。实验结果显示，当GPT-4接收到CVE描述时，它能够成功利用这些漏洞中的87%。相比之下，研究团队测试的其他模型(如GPT-3.5和开源LLM)以及开源漏洞扫描器(如ZAP和Metasploit)的利用率均为0%。

这里的“单日漏洞”指的是已经公开披露但尚未得到修补的漏洞。研究团队所指的CVE描述，是指NIST分享的带有CVE标识的公告，例如针对CVE-2024-28859的公告。

在测试中，GPT-3.5、OpenHermes-2.5-Mistral-7B、Llama-2 Chat (70B)、LLaMA-2 Chat (13B)、LLaMA-2 Chat (7B)、Mixtral-8x7B Instruct、Mistral (7B) Instruct v0.2、Nous Hermes-2 Yi 34B和OpenChat 3.5等模型未能成功完成漏洞利用任务。然而，需要指出的是，测试并未涵盖GPT-4的两个主要商业竞争对手——Anthropic的Claude 3和Google的Gemini 1.5 Pro。由于UIUC的研究人员无法访问这些模型，他们期待未来有机会对其进行测试。

云服务器新老同享仅99元/年

阿里云服务器

云服务器新老同享仅99元/年

广告

研究人员的工作是基于之前的一个重要发现，即大型语言模型(LLM)可以在沙盒环境中自动攻击网站。加州大学洛杉矶分校的助理教授丹尼尔·康(Daniel Kang)在给《注册》(The Register)的电子邮件中提到，GPT-4“实际上可以独立执行步骤，实现某些开源漏洞扫描程序无法发现的漏洞利用”。

Kang进一步表示，他希望通过将聊天机器人模型与LangChain中的ReAct自动化框架相结合，创建出一种更容易让每个人利用漏洞的LLM代理。这些代理能够通过CVE描述中的链接获取更多信息，从而增强漏洞利用的能力。

他补充说：“此外，如果我们预测GPT-5及未来模型的能力，它们似乎将远超过目前脚本小子们所能获得的能力。”这一预测进一步凸显了大型语言模型在网络安全领域的巨大潜力。

人工智能近期可谓风云变幻，面临着成本飙升、公众质疑以及日益严格的法规等多重挑战。然而，其发展势头依然强劲，引发了各界的高度关注。

亚马逊首席执行官对GenAI寄予厚望，希望它能超越云或互联网，成为引领未来的关键技术。然而，这种期望并非毫无根据。Arm首席执行官就警告称，到2030年，人工智能的电力需求可能达到惊人的程度，将吞噬美国25%的电力。这一预测引发了人们对于人工智能可持续发展和能源消耗的深思。

同时，DARPA等科研机构也在积极探索人工智能的新应用。他们想知道，如果人工智能不仅能快速生成代码，还能确保代码的安全性，那将会带来怎样的变革?这种探索无疑将进一步拓展人工智能的应用领域，提升其在各行各业的价值。

然而，人工智能的发展也并非一帆风顺。在最近的一项研究中，研究人员发现拒绝LLM代理(如GPT-4)访问相关的CVE描述，可以使其成功率从87%降至仅7%。尽管如此，Kang表示，限制安全信息的公开性并非长久之计。他认为，通过隐蔽实现安全是不可靠的，并鼓励采取积极主动的安全措施，如定期更新软件包以应对新出现的安全漏洞。

在这项研究中，LLM代理仅成功利用了两个漏洞：Iris XSS(CVE-2024-25640)和Hertzbeat RCE(CVE-2023-51653)。研究人员发现，Iris网络应用程序的界面对于代理来说难以浏览，而Hertzbeat RCE的中文说明则让在英文提示下操作的LLM代理感到困惑。此外，有11个测试的漏洞是在GPT-4的训练截止日期之后出现的，这意味着模型在训练过程中并未学习到这些漏洞的相关信息。尽管如此，这些CVE的成功率仍达到了82%。

在谈及漏洞的性质时，Kang和他的同事在论文中详细列出了涉及网站、容器和易受攻击的Python软件包的各类漏洞。其中，超过一半的漏洞被归类为“高度”或“严重”级别。此外，他们还计算了成功进行一次LLM代理攻击的成本，发现每个漏洞仅需8.8美元，这比雇佣一名人工渗透测试人员30分钟的成本低2.8倍。

这一系列的研究结果表明，人工智能在安全领域的应用潜力巨大，但也面临着诸多挑战。未来，我们需要在确保人工智能安全、可靠的同时，充分发挥其优势，推动各行业的创新发展。