谷歌 Gemini for Workspace 可以被攻击者利用,在电子邮件中隐藏恶意提示注入指令,从而让 Gemini 生成看似合法的安全警告摘要,将用户引导至网络钓鱼网站。该攻击无需附件或直接链接,完全依赖间接提示注入技术。尽管类似提示注入攻击自 2024 年以来已有报道,且安全研究人员已采取防范措施,但这一技术仍难以完全杜绝。

We're bringing new generative AI and security innovations to businesses of  all sizes | Google Workspace | Google Workspace Blog

We're bringing new generative AI and security innovations to businesses of all sizes | Google Workspace | Google Workspace Blog

漏洞发现 Mozilla GenAI 漏洞赏金计划经理 Marco Figueroa 发现,谷歌 Gemini 模型存在这一提示注入漏洞。攻击者通过 HTML 和 CSS 技术(将字体大小设为 0、颜色设为白色)把恶意指令隐藏在邮件正文末尾的文本中,用户在 Gmail 界面中完全看不到这些内容。

Architecting secure Gen AI applications: Preventing Indirect Prompt Injection Attacks | Microsoft Community Hub

恶意邮件的制作与发送 恶意指令在 Gmail 中不可见,且邮件不含任何附件或链接,因此极易绕过安全过滤,直接进入目标用户的收件箱。当用户打开邮件并请求 Gemini 生成邮件摘要时,谷歌 AI 工具会自动解析并严格遵循这些隐藏指令。

Figueroa 提供的示例显示:Gemini 会生成一条伪造的安全警告声称“您的 Gmail 密码已泄露”,并附上一个支持电话号码,诱导用户立即拨打。

Google Gemini Bug Turns Gmail Summaries into Phishing Attack | PCMag

Google Gemini Bug Turns Gmail Summaries into Phishing Attack | PCMag

Gemini 生成的摘要结果 由于许多用户将 Gemini 的输出视为谷歌 Workspace 的官方功能,很可能误以为这是合法的安全警报,从而上当受骗导致敏感信息泄露或进一步网络攻击。

潜在风险 这一攻击充分利用了用户对 AI 工具的信任,绕过了传统防钓鱼机制,威胁性极高。

检测与缓解方法 Figueroa 建议安全团队采取以下措施:

  • 删除中和或忽略邮件正文中设计用于隐藏的内容;
  • 实现后处理过滤器扫描 Gemini 输出中的紧急消息、网址或电话号码,并自动标记可疑内容供人工审查。

通过这些优化方法,企业可以显著降低此类提示注入攻击的风险,保护用户和组织安全。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐