在AI技术日新月异的今天，聊天机器人已成为我们日常生活和工作中不可或缺的工具。然而，随着其普及度的提高，安全问题也日益凸显。近日，一种针对Google Gemini聊天机器人的新漏洞被曝光，该漏洞利用提示词注入技术，能够破坏Gemini的长期记忆功能，引发业界广泛关注。
据研究员Johann Rehberger周一展示，他发现了一种新方法，能够绕过Google为Gemini建立的提示词注入防御机制。这一攻击手段特别针对处理不可信数据（如传入邮件或共享文档）时调用Google Workspace或其他敏感工具的限制。通过这一漏洞，攻击者可以永久植入虚假记忆到Gemini中，这些记忆将在所有未来会话中持续存在，导致聊天机器人可能根据错误的信息或指令行动。
间接提示词注入并非新鲜事物，它已成为诱导聊天机器人泄露敏感数据或执行恶意行为的基本手段。聊天机器人天生倾向于遵循指令，即使这些指令包含恶意内容。因此，开发者一直在努力应对这一问题，采取各种缓解措施来抑制聊天机器人的“轻信性”。
然而，Rehberger的演示表明，这些措施并非万无一失。他通过一种被称为“延迟工具调用”的手法，成功绕过了Gemini的限制。在这种攻击中，不可信内容不是提供立即执行的指令，而是将指令的执行条件设定为目标用户执行某种他们可能会采取的操作。一旦用户触发这些条件，恶意指令就会被执行。
更令人担忧的是，Rehberger还展示了如何利用这一漏洞攻击Gemini的长期记忆功能。用户上传的文档可能包含隐藏的指令，操纵总结过程，并在用户回应特定触发词时保存特定的用户数据。如果用户不慎触发了这些触发词，Gemini就会将攻击者选择的信息保存到长期记忆中，导致聊天机器人在未来的会话中根据这些虚假信息行动。
Google对这一发现的评估认为整体威胁是低风险和低影响，主要理由是攻击依赖于钓鱼或其他欺骗用户总结恶意文档，并且Gemini记忆功能对用户会话的影响有限。然而，Rehberger对此表示质疑，他指出内存损坏在计算机中是相当严重的问题，同样适用于聊天机器人应用程序。虚假记忆可能导致AI不向用户显示某些信息、不谈论某些事情或向用户提供错误信息等严重后果。
这一漏洞的曝光再次引发了人们对AI安全性的思考。随着聊天机器人在各个领域的广泛应用，其安全性问题已成为不容忽视的挑战。开发者需要不断加强安全防护措施，提高聊天机器人的抗攻击能力；同时，用户也需要提高警惕，避免与恶意文档交互，以防不慎触发漏洞导致信息泄露或其他安全风险。
