谷歌最近修補了 Gemini 中的幾個漏洞，。網路安全公司 Tenable 的研究人員發現幾個Gemini 中的漏洞，他們將該專案命名為「Gemini Trifecta」，這些漏洞可能允許攻擊者誘騙人工智慧助理幫助他們實現資料竊取和其他惡意目標。

這些方法濫用了各種功能和工具，幾乎不需要社會工程。第一次攻擊涉及間接提示注入(註)，目標是 Gemini Cloud Assist，這次攻擊濫用了 Gemini Cloud Assist 的日誌分析功能，它使用戶能夠與 Google Cloud 互動以管理和優化雲端操作。

註：

間接提示注入（Indirect Prompt Injection, IPIA）是一種針對人工智慧系統，特別是大型語言模型（LLM）與AI代理程式的新型資安攻擊手法。它的本質是將惡意指令「藏」在AI系統所讀取的外部資料中，讓AI在不知情的情況下執行攻擊者的意圖。

a)   間接提示注入的運作方式

• 惡意資料植入：攻擊者將精心設計的指令藏在外部資料中，例如PDF文件、電子郵件、網頁內容、雲端檔案或社群留言。
• AI系統讀取資料：當使用者要求AI代理執行任務（如摘要、分析、搜尋）時，系統會讀取這些外部資料。
• 執行惡意指令：AI誤將資料中的隱藏指令視為合法任務，進而執行未授權行為，例如外洩敏感資訊、呼叫外部API、傳送資料到攻擊者伺服器。

b)   實際案例

• Salesforce「ForcedLeak」漏洞：攻擊者利用過期網域與Web-to-Lead表單，將惡意指令注入CRM系統，導致AI代理外洩客戶資料。
• Notion 3.0 AI Agents：攻擊者在PDF報告中植入隱藏指令，AI代理在執行摘要任務時將機密資料嵌入URL並發送至攻擊者控制的伺服器。

具體而言，Tenable 研究人員發現，攻擊者可以向目標組織發送一個精心設計的請求，使其結果在日誌檔案中生成一個惡意的「提示」。當用戶之後請求 Cloud Assist 解釋該日誌條目或分析相關日誌時，Gemini 便會處理這個由攻擊者植入的訊息。在 Tenable 的演示中，攻擊者成功誘使 Gemini 顯示了一個指向 Google 釣魚網站的連結。這種攻擊的潛在威脅極高，研究人員指出，攻擊者可以注入提示，指示 Gemini 查詢所有公開資產，或查詢身份與存取管理（IAM）的錯誤配置，然後將這些敏感資料包含在一個超連結中回傳。由於 Gemini 具備透過 Cloud Asset API 查詢資產的權限，這使得敏感資料外洩成為可能。此外，由於該攻擊無需身份驗證，攻擊者可以對所有面向公眾的 Google Cloud Platform（GCP）服務發動「噴灑式」攻擊，以擴大影響範圍。多個 GCP 服務，包括 Cloud Functions、Cloud Run、App Engine、Compute Engine、Cloud Endpoints、API Gateway 和 Load Balancing，都可能成為這種未經身份驗證攻擊的目標。

第二種攻擊方法也涉及間接提示注入，研究人員使用搜尋歷史作為提示注入載體，攻擊者濫用了 Gemini 的搜尋個人化功能，該功能允許 AI 根據用戶的個人背景和過往活動提供更相關、更個人化的回應。

基於道德、法律和平台政策原因，人工智慧代理已設置防護欄以防止其解決任何 CAPTCHA（完全自動化的公共圖靈測試，用於區分電腦和人類）。人工智慧安全平台 SPLX 已經證明，可以使用快速注入來繞過 ChatGPT 代理的內建策略並說服其解決 CAPTCHA。

資料來源：https://www.securityweek.com/chatgpt-tricked-into-solving-captchas/

在這種情境下，攻擊者只需說服用戶訪問他們預先設定好的一個網站，該網站會將包含惡意提示注入內容的搜尋查詢植入到受害者的瀏覽歷史中。當受害者隨後與使用搜尋個人化功能的 Gemini 進行互動時，AI 便會處理這些來自攻擊者的指令。這些惡意指令可能包括收集敏感的用戶數據，並在受害者點擊某個連結時將這些數據外洩。這種方法利用了 AI 系統為了提供「個人化」服務而過度信任用戶歷史數據的特性，將用戶過去的活動視為潛在的提示輸入來源。

「Gemini Trifecta」的第三個攻擊目標是 Gemini 的瀏覽工具（Browsing Tool）。該工具允許 AI 理解網頁內容，並根據開放的分頁和瀏覽歷史來執行任務。研究人員成功濫用了該工具的網頁摘要功能，建立了一個數據外洩的旁路通道。他們可以說服 AI 提取受害者儲存的資訊，並將其添加到發送到攻擊者控制的遠端伺服器的請求中。

Tenable 已經將這三個漏洞詳細報告給 Google，而 Google 方面也確認已在接獲通知後完成了所有修復工作。這些研究結果再次證明了 AI 助手的深度集成帶來了新的安全挑戰。隨著大型語言模型（LLM）逐漸與企業產品和雲端環境深度結合，以往針對軟體應用程式的安全思維必須進化。由於 AI 模型的設計使其能從多個來源（如日誌、歷史記錄、搜尋結果等）獲取「輸入」（即間接提示），這使得攻擊者可以將惡意指令隱藏在這些看似無害的資料流中，從而規避傳統的安全防禦機制。這要求開發者和安全團隊必須以更全面的角度來評估和防範 AI 輔助系統的風險，特別是在處理非結構化數據或外部數據輸入時，確保 AI 不會將惡意內容誤認為是執行任務的有效指令。這些案例強調，對於深度集成到關鍵業務流程中的 AI 系統，持續的安全審查和防禦是至關重要的，以防止其被利用成為竊取數據或破壞系統的幫兇。

資料來源：https://www.securityweek.com/google-patches-gemini-ai-hacks-involving-poisoned-logs-search-results/