多年來，防禦者一直在與「利用系統資源」的攻擊作鬥爭——攻擊者利用已被入侵系統上已有的工具（例如PowerShell、WMI 等）進行攻擊。隨後出現了「利用雲端資源」的攻擊，威脅行為者隱藏在無所不在的雲端服務背後，進行惡意軟體傳播和資料竊取。現在，我們正進入下一個階段：利用人工智慧進行攻擊。
為了保持競爭力，各組織機構正在迅速採用人工智慧助理、代理商以及新興的模型上下文協議 (MCP) 生態系統。攻擊者也注意到了這一點。讓我們來看看不同的 MCP 和人工智慧代理是如何成為攻擊目標的，以及在實踐中，企業人工智慧是如何成為攻擊者攻擊目標的。 （MCP是一個開源框架，用於邏輯邏輯模型 (LLM) 和人工智慧代理安全地連接到外部系統。）
從「越獄」到零知識威脅行為者
模型行為不僅受程式碼影響，也會受到情境的影響。我曾在之前的文章中寫到，可以使用「沉浸式世界」技術來說服模型產生惡意軟體是有益的。最終，我們成功開發了一個針對 Chrome 瀏覽器的竊取密碼的惡意軟體——這證明攻擊的門檻已經大大降低。我們稱之為「零知識威脅者時代」。只要擁有人工智慧工具，即使是只有極少專業知識的人也能建構出可信的攻擊能力。
這種民主化改變了風險評估方式。當同一套人工智慧技術堆疊既能提升員工的工作效率，又能掌控程式碼執行、檔案系統存取、內部知識庫搜尋、工單處理或支付等功能時，任何控制上的疏忽都會對業務造成實際的影響。
「依靠人工智慧生活」究竟是什麼樣子？
與突襲式惡意軟體不同，這些攻擊活動會利用您已獲授權的 AI 工作流程、身分和連接器。
(1) 即時工具濫用：帶有隱藏指令的文件或網頁會導致代理呼叫連線的工具，查詢您的內部 RAG 索引以取得金鑰、安排任務或將片段洩漏到外部 URL，而不會觸發傳統的 EDR。
(2) MCP 和代理「工具劫持」：權限設定不當的工具允許代理讀取超出其所需的資料（廣泛的檔案系統掛載、全租用戶搜尋、不受限制的 Web 取得）。攻擊者誘導代理人以設計者未預料的方式串聯使用工具。
(3) 記憶體和檢索中毒：如果代理從先前的聊天或共享的向量存儲中學習，攻擊者可以植入惡意“事實”，從而改變未來的行為——改變決策、抑制警告或插入用於數據洩露的看似例行的端點。
(4) 雲端偽裝AI版：與依賴雲端一樣，攻擊者利用流行的SaaS平台路由通訊。如今，AI本身扮演著調度者的角色，在協作頻道發布資訊、更新工單或同步包含敏感資料的「摘要」。
(5) 濫用Vibe 編碼：人工智慧驅動的 Web 開發平台（如Lovable）以及在較小程度上透過Base44、Netlify 和Vercel中的漏洞，正日益被網路犯罪分子濫用，以設計、託管和發布具有說服力的網路釣魚網站。
為什麼這種情況現在正在加速發展
(1) 採用速度超過了強化速度：業務壓力導致代理在權限、防護措施和可觀測性成熟之前就被部署。
(2) 工具介面數量激增：MCP 和代理框架使得新增連接器變得容易；每個新工具都是一個新的信任邊界。
(3) 社會工程規模化：自然語言介面使得在使用者或代理人能夠閱讀的地方植入指令變得輕而易舉。
如何應對（切實可行的基本方案）
將代理商視為擁有自動化超能力的特權使用者。然後，對代理商應用與高風險服務帳戶相同的零信任嚴格原則。
(1) 盡量縮小和隔離工具範圍
將每個工具的權限限制在所需的最低權限；預設優先選擇唯讀權限。
在工具層級強制執行網路出口（網域、協定）的明確允許清單。
將高風險工具（檔案寫入、外部 HTTP、程式碼執行）放在額外的策略提示和手動批准之後。
(2) 強化提示、脈絡和檢索
版本控制和保護系統提示；阻止運行時修改，除非透過變更控制。
將檢索到的內容消毒（去除或屏蔽系統級指令）並標註來源。
依團隊和敏感度對向量儲存進行分區；避免全域「搜尋所有內容」的預設值。
(3) 驗證並約束工具的輸入/輸出
使用嚴格的模式和伺服器端驗證；拒絕超出限制（路徑、大小、目標）的請求。
在模型公開之前對密鑰進行脫敏處理；切勿將原始憑證傳遞到LLM上下文中。
(4) 在示範政策之外，增加真正的保障措施
模型以外的策略執行：速率限制、資料防洩漏、出口控制以及下載/可執行檔的簽章檢查。
對於不可逆操作（付款、批次資料匯出、權限變更），需要更高層級的批准。
(5) 像對手一樣觀察和偵察
集中管理代理程式日誌：提示、工具呼叫、參數、目標和資料量。
建立偵測異常工具鏈、非工作時間批次檢索、首次存取敏感儲存以及向未經核准的網域發出出站呼叫的偵測機制。
在每次代理更新時，重播「紅隊」提示（包括沉浸式世界場景）作為回歸測試。
(6) 對參與循環的人員進行培訓
培訓使用者識別文件、工單和網頁搜尋結果中的提示注入和可疑資料來源。
簡化舉報和隔離可疑代理人行為的流程。
好的樣子是什麼樣的呢？
成功的團隊會讓AI安全變得枯燥乏味：智能體擁有清晰的權限範圍；高風險操作需要明確授權；每次工具呼叫都可觀察；檢測機制能夠快速捕捉異常行為。在這樣的世界裡，攻擊者當然仍然可以嘗試利用你的AI，但他們最終會發現自己被限制在安全範圍內，受到日誌記錄、速率限制，並最終被徹底阻止。
乾淨的外賣
依賴人工智慧並非假設，而是我們一直以來都在防範的攻擊手段的自然延伸，如今這些攻擊手段被映射到了助手、代理和行動控制平台（MCP）上。模型行為很容易被操控（甚至可以產生真正的Chrome憑證竊取程式），而現今的代理生態系統也容易成為攻擊目標。解決之道並非放慢人工智慧的普及或發展速度，而是使其更加專業化。簡而言之，要像對待擁有敏感權限的生產軟體一樣對待人工智慧。設計時要遵循最小權限原則，透過基礎設施來強制執行，並透過對抗性測試持續驗證。如果我們能做到這一點，人工智慧就不會成為負擔，而是成為持久的優勢。
資料來源：https://www.securityweek.com/living-off-the-ai-the-next-evolution-of-attacker-tradecraft/