人工智慧代理的普及與網路安全挑戰總覽

部署 Agentic AI 正成為當務之急，尤其是在微軟和 Salesforce 等主流平台紛紛將代理功能納入其產品線的情況下，對於希望提高生產力和簡化流程的各種規模的組織而言。在急於部署和使用這些輔助工具的過程中，企業必須明白，供應商和客戶之間共同承擔安全責任，這對任何 Agentic AI 專案的成功至關重要。

雲端部署中常見的資料安全共享責任模型是代理服務的關鍵，但網路安全團隊和企業用戶往往難以意識到並管理這種風險。在傳統軟體和雲端部署中，確定責任和罪責本身就已經足夠具有挑戰性。對於像AI這樣的技術，其技術可以快速推出（無論是供應商還是客戶），並且不斷發展，建立這些屏障可能會更加複雜。

此外，各組織正在應對網路釣魚等其他安全意識挑戰，並必須努力尋找最佳方式，盡可能降低使用者的風險，而不是依賴使用者識別每一封惡意電子郵件。對於網路釣魚而言，這可能採取實體 FIDO 金鑰和安全電子郵件閘道的形式。這對人工智慧代理來說同樣重要，因為人工智慧代理並非完美的自主進程，使用者可能依賴它們存取敏感資訊，或授予過多權限，或在沒有適當監督的情況下路由不安全的進程。因此，培訓使用者如何使用（或不使用）代理助理只會為安全團隊帶來更多挑戰。

Aim Security（一家人工智慧安全供應商，曾披露過名為「EchoLeak」的 Copilot 資料外洩漏洞）的 Aim 實驗室負責人 Itay Ravia告訴 Dark Reading，在理想情況下，人工智慧代理應該經過嚴格的安全測試。但人工智慧的蓬勃發展引發了一場「以犧牲安全為代價，讓人工智慧變得更聰明、更強大、更強大的競賽」。

人工智慧代理的普及雖然為企業帶來了顯著的營運效率提升，但同時也為網路安全領域引入了複雜的責任劃分與新的攻擊面。這些代理，特別是那些基於大型語言模型（LLM）的自主進程，能夠在無需人類不斷干預的情況下執行複雜的任務，這使得傳統的安全邊界和控制措施面臨失效風險。企業迫切需要建立一個全新的、專門針對「代理行為」的安全治理框架，以應對這種快速迭代、高自主性的技術所帶來的安全盲點。

 

供應商與客戶之間的共享責任模型再定義

在人工智慧代理的時代，安全責任的劃分比傳統SaaS或IaaS模型更加模糊且關鍵。企業用戶必須深刻理解，供應商提供的AI代理服務僅覆蓋了部分安全範疇，而其餘至關重要的責任則落在客戶肩上。

供應商（Provider）的責任範圍主要集中在：

• 基礎設施安全： 確保底層雲端或託管環境的安全。

• 模型本身的安全： 負責AI模型的開發、訓練、測試過程中的安全漏洞修復，防止模型中毒（Model Poisoning）和輸出惡意代碼。

• 平台層級的存取控制： 提供給客戶配置的、用於管理代理權限的工具和介面。

客戶（Customer）的責任範圍則涵蓋了對代理的實際使用與治理：

• 數據與提示（Data and Prompt）管理： 確保輸入給代理的數據不含敏感資訊，或有適當的分類和加密。防止惡意提示注入（Prompt Injection）攻擊。

• 權限與存取控制： 嚴格限制賦予AI代理的執行權限，實施最小權限原則。客戶必須配置哪些數據源和系統是代理可以存取和操作的。

• 監控與審核： 對AI代理的行為進行持續、細粒度的監控和記錄（Log），以識別異常或惡意活動。

• 使用者安全意識： 培訓員工理解AI代理的局限性、潛在風險，以及正確的使用方式。

由於AI代理的自主性，其活動可能涉及多個雲服務、第三方API甚至本地系統。一旦發生資料洩露或惡意行為，責任和歸因將變得極為困難。如果代理因客戶錯誤的配置或授予過多權限而導致洩露，責任將主要歸於客戶。這種複雜性要求組織需將AI安全風險量化（AI Security Risk Quantification）納入其整體風險管理框架。

 

快速競賽下的安全測試與漏洞爆發

AI產業的快速發展催生了一場「以犧牲安全為代價」的軍備競賽。為了讓AI模型更快、更智慧地上市，許多供應商可能略過了嚴格、全面的安全測試流程，導致產品在部署後暴露出重大漏洞。

安全測試的滯後性風險：

• 缺乏標準化框架： 目前缺乏針對AI代理行為和輸出的通用安全測試標準（類似於傳統軟體的SAST/DAST）。

• 動態性與進化性： AI代理是動態進化的，傳統的一次性安全測試方法無法捕捉模型隨著時間推移或新數據輸入後產生的行為變化和漏洞。

潛在的AI代理漏洞類型：

• 資料洩露（Data Leakage）： 例如Copilot的「EchoLeak」漏洞，可能導致代理在處理數據時，意外地將敏感的上下文資訊洩露給其他用戶或不安全的環境。

• 惡意代碼生成（Malicious Code Generation）： 代理被引導生成和執行惡意腳本或程式碼，特別是當它們被授予執行工具（Tool Execution）的權限時。

• 未經授權的行為執行： 代理被提示或操縱，以執行其設計目的之外的、可能有害或未經授權的操作。

Aim Security的專家指出，理想情況下，AI代理應在推出前經過深入的安全測試，特別是針對其與外部工具和數據源的交互。企業在選擇AI供應商時，必須審查其AI開發安全生命週期（AI SDLC）和漏洞披露歷史，並假設所有代理都可能在某個時刻被利用或行為失常。

 

傳統安全防禦向AI代理的轉化與應用

面對AI代理帶來的挑戰，網路安全團隊不能僅依賴新的AI安全工具，而是需要將行之有效的傳統安全策略，巧妙地轉化和應用於AI環境，實現一種技術控制優先於使用者意識的防禦架構。

一、 借鑑網路釣魚防禦與強化邊界控制

1. 最小化對使用者意識的依賴：

   • 類比於網路釣魚防禦中部署安全電子郵件閘道來過濾惡意內容，對AI代理而言，核心策略是部署AI安全閘道（AI Security Gateway）。該閘道應位於代理與數據源、外部API之間，執行實時過濾和消毒：

     • Prompt 輸入消毒： 過濾惡意的提示注入（Prompt Injection）企圖。

     • 輸出內容審核： 檢測代理的輸出內容是否包含敏感資訊洩露、惡意代碼片段或不安全的指令。

     • 合規性執行： 強制執行數據主權和隱私政策，確保敏感數據不會經由代理路由到未授權的地理位置或雲服務。

2. 實體安全與存取控制的轉化：

   • 強化認證機制： 就像使用實體FIDO金鑰來抵禦網路釣魚一樣，應確保AI代理本身的身份（Identity）和存取憑證受到最高等級的保護。這包括使用無密碼（Passwordless）或基於硬體金鑰的身份驗證，以防止代理的存取權限被盜用。

   • 代理的最小化授權： 始終遵循最小權限原則（Principle of Least Privilege），僅授予AI代理執行特定任務所需的最低權限。應避免授予使用者帳號級別的通用權限，而是為每個代理創建具有嚴格限制的獨立服務帳號。

二、 強化身份、存取與網路架構隔離

1. AI代理視為獨立身份（Identity）：

   • 細粒度身份與存取管理（IAM）： 每個AI代理或代理服務都應在IAM系統中被視為一個獨立的、可追蹤的身份。安全團隊必須詳細定義其角色、權限和可存取的資源範圍。

   • 零信任（Zero Trust）原則的應用： 假設代理運行環境已受到威脅，所有對內部系統的存取請求都需要經過嚴格的驗證和授權。代理訪問的數據源、API和系統必須彼此隔離，防止橫向移動。

2. 網路隔離與沙盒化（Sandboxing）：

   • 微分段（Micro-segmentation）： 將AI代理的運行環境與核心敏感數據系統進行邏輯隔離。僅允許必要的、經審核的通訊路徑和ICS協議流動，大幅限制潛在損害範圍。

   • 沙盒隔離運行： 對於被賦予執行工具或程式碼能力的AI代理（例如，調用Python腳本、執行Shell命令），其運行必須強制在高度隔離的沙盒環境中。即使代理被惡意Prompt操縱以生成和執行惡意代碼，其破壞範圍也將嚴格限制在沙盒內部，無法影響主機系統或生產資料。

三、 持續行為監控與異常識別

1. AI行為遙測與透明度：

   • 實時日誌收集： 系統必須能夠實時收集AI代理的全部行為數據，包括：輸入的Prompt、輸出的回應、所有調用的API、存取的數據記錄、執行工具的詳細腳本和命令。

   • 鏈條監控（Chain of Action Monitoring）： 由於AI代理是一系列自主決策的鏈條，監控系統必須追蹤整個決策過程，而非僅僅最終結果，以便在早期環節就識別出惡意意圖。

2. AI驅動的異常行為檢測：

   • 建立行為基線： 利用機器學習對AI代理的正常行為模式（例如，常規的數據存取量、存取的時間、調用的API頻率）建立穩定的基線。

   • 高精度異常識別： 應用進階分析模型來檢測代理行為是否偏離基線。例如：

     • 代理突然嘗試存取從未接觸過的數據庫。

     • 在非工作時間發起大量的、異常的數據傳輸。

     • 代理輸出的程式碼與歷史輸出相比，包含異常的系統級調用或網路命令。

   • 自動化回應機制： 一旦檢測到高風險異常，系統應具備立即中斷代理的執行、撤銷其當前憑證，並向安全團隊發出警報的能力。

透過將這些傳統的安全控制與AI代理的動態特性相結合，企業能夠建立一個更具韌性和可控性的AI運行環境，將代理風險從未知的黑盒子轉化為可管理、可監控的技術實體。

 

企業教育與治理：使用者意識的重建

由於AI代理並非完美的自主進程，使用者可能依賴它們存取敏感資訊，或授予過多權限，或在沒有適當監督的情況下路由不安全的進程。因此，培訓使用者如何使用（或不使用）代理助理只會為安全團隊帶來更多挑戰。

企業必須超越傳統的安全意識培訓，專注於AI代理使用規範的建立：

1. 限制敏感數據的輸入： 培訓使用者切勿將機密、受法規管制的數據（如PII、PHI、公司機密）直接輸入給未經授權或未經審核的AI代理。

2. 理解代理的限制： 讓使用者意識到AI代理的自主性並不等同於完美或道德。代理可能會產生幻覺（Hallucinations）、錯誤或偏見的輸出。

3. 監督與驗證： 培訓使用者對代理輸出的所有關鍵資訊和代碼進行人工驗證，特別是涉及實際執行操作（例如，財務交易、系統配置更改）時。

4. 權限審查機制： 建立使用者-代理交互的權限授予審查流程。明確規定在哪些情境下，使用者可以為代理請求額外的系統存取權限，並要求多級審批。

透過將技術控制置於使用者意識之前，並結合針對性的教育，企業才能在這個快速發展的AI時代中，有效管理代理帶來的風險，確保生產力提升的同時，維護核心資訊的安全與合規。

資料來源：https://www.darkreading.com/cybersecurity-operations/ai-agent-security-awareness-responsibility