安全研究员在ChatGPT中永久植入虚假信息和恶意指令 还可用来窃取用户数据

该漏洞滥用了长期对话记忆功能，OpenAI于今年2月开始测试该功能，并于9月更广泛地提供该功能。ChatGPT的记忆存储了以前对话的信息，并将其作为所有未来对话的上下文。这样，LLM就能知道用户的年龄、性别、哲学信仰等细节，以及几乎所有其他信息，因此无需在每次对话中输入这些细节。

在推出后的三个月内，Rehberger发现可以通过间接提示注入创建并永久存储记忆，这是一种人工智能漏洞，会导致LLM遵循来自电子邮件、博文或文档等不可信内容的指令。研究人员演示了如何欺骗ChatGPT，使其相信目标用户102岁、生活在黑客帝国中，并坚持认为地球是平的，而LLM将利用这些信息引导未来的所有对话。这些虚假记忆可以通过在GoogleDrive或MicrosoftOneDrive中存储文件、上传图片或浏览必应等网站来植入，所有这些都可能是恶意攻击者所为。

今年5月，Rehberger私下向OpenAI报告了这一发现。同月，该公司关闭了报告票据。一个月后，这位研究员提交了一份新的披露声明。这一次，他加入了一个PoC，让macOS的ChatGPT应用程序向他选择的服务器发送所有用户输入和ChatGPT输出的逐字副本。目标只需指示LLM查看一个包含恶意图片的网络链接即可。从那时起，所有进出ChatGPT的输入和输出都会被发送到攻击者的网站。