人工智慧模型在提升生產力的同時，也帶來了新的資安威脅。安全研究人員發現，攻擊者可以利用間接提示注入來誘騙 Anthropic 的 Claude 竊取 AI 模型用戶可以存取的資料。Embrace The Red 的 Johann Rehberger解釋說，這種攻擊濫用了 Claude 的檔案 API，而且只有在 AI 模型具有網路存取權限的情況下才有可能發生（某些套餐默認啟用此功能，旨在允許 Claude 存取某些資源，例如程式碼庫和 Anthropic API）。

攻擊相對簡單：可以使用間接提示注入有效載荷讀取使用者資料並將其儲存在 Claude 程式碼解釋器沙箱中的檔案中，然後誘騙模型使用攻擊者提供的金鑰與 Anthropic API 進行互動。有效載荷中的程式碼請求 Claude 從沙箱上傳程式碼解釋器文件，但由於使用了攻擊者的 API 金鑰，該文件被上傳到了攻擊者的帳戶。

根據 Rehberger 的解釋，透過這種技術，攻擊者一次最多可以外洩 30MB 的資料，並可上傳多個檔案。在他最初的成功嘗試後，Claude 開始拒絕包含純文字 API 金鑰的有效載荷，因此 Rehberger 必須在提示注入中混合良性程式碼，以說服 Claude 其意圖並非惡意。

這種攻擊的流程始於使用者在 Claude 中載入一份來自攻擊者的惡意文件以供分析。一旦執行，惡意代碼就會劫持模型，迫使它遵循惡意指令來收集使用者的資料，將其儲存到沙箱中，然後調用 Anthropic 檔案 API 將資料傳送到攻擊者的帳戶。研究人員指出，此攻擊可用於外洩使用者的聊天紀錄，這些紀錄透過 Claude 新推出的「記憶體」（Memories）功能儲存。攻擊者可以在自己的控制台中查看和存取這些外洩的檔案。

儘管 Rehberger 已向 Anthropic 披露此攻擊，但最初該報告被視為模型安全問題而非安全漏洞而被關閉。然而，在他公開披露攻擊資訊後，Anthropic 隨後通知他，該資料外洩漏洞已納入其報告範圍。

Anthropic 發佈文件(可下載)強調Claude 擁有網路存取權限所帶來的風險，以及透過外部檔案或網站發動的潛在攻擊，這些攻擊可能導致程式碼執行和資訊外洩。該文件還提供了針對此類攻擊的建議緩解措施。

此事件凸顯了在 AI 模型設計與部署中，網路存取與 API 權限管理所帶來的重大安全挑戰。企業在使用具有網路存取功能的 AI 模型時，必須嚴格遵循 Anthropic 提供的安全建議與緩解措施，以保護使用者資料免受間接提示注入等新型攻擊的威脅，確保 AI 服務的安全性與合規性。

資料來源：https://www.securityweek.com/claude-ai-apis-can-be-abused-for-data-exfiltration/