美國網路安全與基礎設施安全局 (CISA) 與澳洲網路安全中心及其他國際合作夥伴於週五發布了關於安全採用智慧體人工智慧 (Agent-AI) 的新指南，概述了部署此類系統相關的網路安全風險。這份文件發布之際，關鍵基礎設施和國防部門正越來越多地採用智慧體人工智慧來支援關鍵任務運作並推動自動化。隨著智慧體人工智慧系統在運作中扮演越來越重要的角色，安全人員必須實施安全控制措施，以保護國家安全和關鍵基礎設施免受智慧體人工智慧特有風險的侵害。

儘管優勢顯而易見，但相關機構警告稱，這些系統也帶來了新的風險，包括攻擊面擴大、權限提升、行為偏差以及可審計性有限。這份題為《謹慎採用智能體人工智慧服務》的文件為開發人員、供應商和營運商提供了保護智慧體人工智慧系統並增強抵禦新興威脅能力的最佳實踐。

採用智慧體人工智慧的組織應避免授予廣泛或無限制的存取權限，尤其要避免對敏感資料或關鍵系統授予存取權限。初始部署應著重於低風險、非敏感的應用場景，同時，智能體人工智慧的安全考量應完全融入組織的整體安全模型和風險態勢中。

該指南指出，智能體人工智慧網路安全涵蓋了人工智慧專屬安全和傳統網路安全兩方面。資訊在人工智慧系統和非人工智慧系統之間持續流動，日益模糊了防禦邊界，使得將人工智慧相關風險與更廣泛的網路威脅區分開來變得困難。智能體人工智慧系統本身也十分複雜，通常包含多個相互關聯的組件，這些組件按順序進行規劃、推理和行動。這種複雜性引入了新的系統性風險，包括級聯故障和多步驟攻擊，即一個元件中出現的意外或受損行為可能會傳播到後續步驟，並影響整個系統。

因此，保障智能體人工智慧系統的安全比保障傳統數位系統更具挑戰性。為此，各組織應著重加強現有的網路安全控制措施和人工智慧專用安全實踐，採用整體生命週期方法、持續監控和彈性設計原則來應對這些新興風險。

該文件呼籲各組織在既定的網路安全框架內應對人工智慧安全問題，包括智能體人工智慧系統，而不是將其視為一個獨立或單獨的學科。人工智慧系統本質上是資訊技術系統，因為它們運行在軟體和硬體之上，透過網路運行並與其他數位服務交互，因此面臨著與傳統資訊技術系統相同的諸多威脅。透過將 AI 安全性嵌入現有框架，組織可以確保對新功能進行一致的治理，進行全面的風險評估，並使安全實踐隨著技術進步和組織網路安全成熟度的提高而不斷發展。

該文件列舉了各種類型的人工智慧安全風險。權限風險是指人工智慧代理被授予超出其實際所需的權限；一旦遭到入侵，後果將迅速累積。攻擊者即使攻破的是低風險組件，也能獲得過多的權限，修改合約，批准付款，並在系統中悄無聲息地活動，同時還能產生看似完全合法的審計日誌。

當人工智慧代理並非總是按照預期行事時，就會出現行為風險。它們可能會找到一些技術上能達到目標但卻違背其意圖的捷徑，誤解含糊不清的指令，或者被人為操縱，執行未經授權的操作。在某些情況下，代理甚至展現出策略性欺騙，隱藏其真實行為或能力以避免被關閉。

在多智能體系統中，一旦出現問題，就會產生問責風險，而要準確地找出問題所在及其原因卻異常困難。決策分散在規劃、檢索和執行智能體之間，日誌零散且往往冗餘，單一行為背後的邏輯也常常晦澀難懂，這些都使得合規性、歸因和糾正變得更加困難。

該指南強調，安全性必須從一開始就建立在系統中，而不是事後添加。代理程式應嚴格遵循最小權限原則，並具備強大的身分管理、加密錨定的憑證以及明確定義的角色。縱深防禦意味著不依賴任何單一的安全機制，而應在資料進出系統的每個環節都應用控制措施。在開發過程中，全面的測試，包括對抗性訓練、紅隊演練和快速注入過濾，有助於在部署前強化代理程式的行為。

部署應循序漸進，首先限制存取權限和自主性，只有在操作人員對代理的行為建立起信心後才逐步擴展。整合前應進行威脅建模，代理應預設配置為故障安全機制，並在出現不確定情況時回報人工審核。明確的防護措施、明確的約束、代理環境之間的隔離，以及對高風險操作的多代理或人工審批，都能在出現問題時縮小影響範圍。

一旦系統上線，持續監控就不可或缺。維運人員不僅要追蹤輸入和輸出，還要追蹤內部邏輯、工具呼叫、權限變更和目標偏差。對於影響重大或不可逆的操作，必須設定人機互動檢查點。至關重要的是，何時需要人工審批的決定應由系統設計者做出，而非委託給代理本身。定期進行安全評估、輸出驗證以及為特權操作提供即時憑證，對於維護長期安全至關重要。

報告敦促各組織在採用人工智慧技術時應始終將安全性放在首位，因為自主性的提高會放大設計缺陷、配置錯誤和監管不力的影響。應逐步部署智能體人工智慧，首先從明確定義的低風險任務入手，並根據不斷演變的威脅模型持續評估其效能。

強而有力的治理、明確的問責制、嚴格的監控和人工監督並非可有可無的保障措施，而是不可或缺的先決條件。在安全實務、評估方法和標準成熟之前，各組織應假定智能體人工智慧系統可能出現意外行為，並據此規劃部署，優先考慮系統的韌性、可逆性和風險控制，而非效率提升。

資料來源：https://industrialcyber.co/ai/cisa-and-partners-release-agentic-ai-security-guidance-to-protect-critical-infrastructure-outline-mitigation-action/