事件概要
資安研究人員發現，僅僅透過精心設計的簡單提示詞，就能誘騙Amazon Web Services (AWS) 近期推出的生成式AI工具Amazon Q，產生潛在危險的指令，包括刪除雲端儲存空間Amazon S3中的檔案。這一發現凸顯了大型語言模型（LLMs）在企業環境中的潛在安全風險，尤其是在AI工具被賦予與關鍵基礎設施互動的能力時。
Amazon Q 的設計與潛在風險
Amazon Q 是一款旨在協助AWS客戶進行開發、問題解決、內容創建等任務的AI助手。它的設計目標是與AWS的多項服務進行深度整合，包括能夠存取和操作用戶在AWS雲端環境中儲存的數據和資源。然而，Positive Security的資安顧問Julian Brodersohn成功演示了，透過構造特定的自然語言提示，Amazon Q竟然能夠生成用於刪除S3儲存桶及其內容的AWS命令行界面（CLI）指令。
攻擊手法：簡單提示詞的威力
Brodersohn的實驗證明，攻擊者無需利用複雜的漏洞或進行深入的系統滲透，僅僅透過與AI工具的對話，就能達到惡意的目的。他使用的提示詞相當簡潔明瞭，例如詢問Amazon Q如何遞迴刪除S3儲存桶中的所有檔案和子目錄。令人擔憂的是，Amazon Q 並未對這類敏感操作進行足夠的安全檢查或限制，而是直接生成了正確的AWS CLI指令，並附上了詳細的使用說明。
更進一步的風險：指令執行
更令人擔憂的是，研究人員指出，如果Amazon Q 被賦予了執行所生成指令的權限（這在某些自動化或DevOps場景中是可能發生的），那麼攻擊者就能夠利用這個AI工具，大規模地刪除企業在雲端儲存的重要數據，造成嚴重的業務中斷和數據損失。即使Amazon Q 本身不具備直接執行指令的權限，它生成的精確指令也可能被惡意的內部人員或已獲得系統存取權限的外部攻擊者所利用。
AWS 的回應與安全考量
針對此安全研究發現，AWS發言人表示他們已經意識到這個問題，並正在積極採取措施來解決。他們強調，Amazon Q 的設計宗旨是為用戶提供有用的資訊和協助，同時確保安全是他們的首要考量。AWS 正在不斷改進Amazon Q 的安全機制，以防止其被用於惡意用途。
然而，這起事件也引發了關於在企業環境中部署生成式AI工具的安全考量的廣泛討論。隨著越來越多的AI助手被整合到企業的日常運營中，並被賦予更強大的存取和操作權限，確保這些AI工具不會被惡意利用變得至關重要。
潛在的攻擊情境與影響
這種透過提示詞誘騙AI工具生成惡意指令的手法，可能被應用於多種攻擊情境中，對企業造成嚴重影響：
- 數據破壞：攻擊者可以誘導AI工具生成刪除雲端儲存、資料庫或其他關鍵數據資源的指令，導致永久性的數據損失和業務中斷。
- 基礎設施損毀：如果AI工具被賦予管理雲端基礎設施的權限，攻擊者可能誘騙其生成停止關鍵服務、修改安全配置或終止虛擬機等指令，導致服務中斷和安全漏洞。
- 資訊洩露：雖然這次演示主要關注數據刪除，但理論上，攻擊者也可能誘騙AI工具生成用於洩露敏感資訊的指令，例如查詢特定的數據、修改存取權限或將數據傳輸到外部伺服器。
- 內部威脅：心懷不軌的內部員工可以利用AI工具的能力，在不引起傳統安全監控系統警覺的情況下，執行惡意的操作。
防禦與緩解措施
為了降低這類風險，企業在部署和使用生成式AI工具時，應採取以下防禦與緩解措施：
- 嚴格控制AI工具的權限：確保AI工具僅被授予執行其正常工作職責所需的最低權限，避免賦予其過度或不必要的存取和操作能力。
- 實施輸入驗證與過濾：開發和部署機制，用於驗證和過濾用戶與AI工具的互動，防止惡意或潛在危險的提示詞被處理。
- 監控AI工具的活動：建立完善的監控機制，追蹤AI工具的行為和生成的指令，及時發現和響應異常活動。
- 人工審查關鍵操作：對於涉及敏感操作（如數據刪除、安全配置變更等）的指令，應要求人工審查和批准後才能執行，避免AI工具自主執行高風險操作。
- 定期安全評估與測試：對AI工具及其整合的系統進行定期的安全評估和滲透測試，主動發現潛在的安全漏洞和弱點。
- 使用者安全意識培訓：教育員工了解生成式AI工具的潛在安全風險，以及如何安全地與這些工具互動，避免無意中觸發惡意行為。
- 採用最小權限原則：這是資訊安全的基本原則，適用於所有系統和用戶，包括AI工具。確保任何實體只擁有完成其工作所需的最小權限。
- 加強輸出驗證：不僅要驗證AI的輸入，也要對其產生的輸出進行審查，特別是當輸出涉及到系統指令或敏感資訊時。
未來展望
這次Amazon Q 的安全研究發現，為企業敲響了警鐘，提醒人們在擁抱AI技術的同時，必須高度關注其潛在的安全風險。隨著AI技術的快速發展和在企業中的廣泛應用，確保AI工具的安全性和可靠性將變得越來越重要。未來，開發更安全的AI模型、建立更完善的安全框架以及加強對AI工具的監控和管理，將是保障企業數位資產安全的關鍵。這也強調了資安社群需要持續研究和評估AI技術帶來的新的安全挑戰，並開發相應的防禦機制。