關閉選單
當人工智慧代理加入團隊時:沒有人預料到的隱藏安全變化
摘要

隨著人工智慧技術從單純的輔助工具進化為具有自主決策和行動能力的「代理程式」(Agentic AI),企業的數位安全邊界正經歷一場無聲卻劇烈的轉變。這些AI代理程式不再僅限於文件摘要或編程輔助,它們開始深度介入企業營運的核心流程,例如自動開立工單、分析系統日誌、管理使用者帳戶甚至自動修復資安事件。這股變革的力量雖然帶來前所未有的效率提升,但也引入了一種全新的、難以監控的安全風險。

傳統的安全工具和身份管理模型,專為人類使用者或可預測的非人類身份(如服務帳戶)所設計,面對能自主推理、跨系統協作並以機器速度運作的AI代理程式時,顯得力不從心。「影子人工智慧」(Shadow AI)的悄然滲透、行動可追溯性的模糊以及權限管理的失控,正成為企業迫切需要解決的治理挑戰。本報告旨在深入分析自主型AI身份的獨特性,揭示其隱藏的威脅,並提出一套針對「自主行動者」(Autonomous Actors)的創新身份管理與安全治理框架,以確保企業能在擁抱AI代理程式帶來的競爭優勢時,同步建立起有效的安全護欄。

 

自主型AI代理程式的崛起與變革本質

最初,企業內部對於人工智慧的採用,例如使用ChatGPT或Copilot進行基本的寫作和編碼,被視為一種低風險的輔助行為。這些工具主要依賴人類的指令,並在既定的範疇內提供輸出,它們尚未具備主動執行的能力。然而,隨著技術的迭代,我們已正式邁入「自主型AI代理程式」的時代,這類智能體能解讀複雜的目標、規劃多步驟的執行路徑、呼叫多個API,甚至能相互協作,組成「多代理程式生態系統」。

例如,一個行銷AI代理程式現在可以主動分析廣告活動數據,並即時優化目標受眾和預算;一個DevOps代理程式可以在偵測到系統異常時,不等候人類審批就啟動修復程序。這種從「告訴你怎麼做」到「直接動手做」的轉變,賦予了AI前所未有的強大力量,也同時將其推向了企業資安風險的前沿。它們的行動不再是簡單的指令執行,而是基於對環境的實時推理與決策,這使得其行為模式變得高度靈活和不可預測。

 

超越傳統:AI身份的獨特挑戰

企業過去數十年來,已建立起一套管理數位身份的成熟框架。對於人類身份,我們有標準的帳號、密碼和多因素驗證;對於非人類身份(Non-Human Identities, NHI),例如服務帳戶和API金鑰,我們則將其視為遵循一系列可預測操作的工作流程。這些NHI雖然強大,但它們的行為邊界是固定且預先定義好的。

AI代理程式與傳統安全模式的根本性衝突與挑戰:

雖然組織已經開始管理非人類身分(NHI),例如服務帳戶和 API 金鑰,但代理 AI 並不適合這種模式。AI 助理不再只是總結會議記錄、撰寫電子郵件和回答問題,它們正在採取行動,例如開立工單、分析日誌、管理帳戶,甚至自動修復事件。這些代理功能強大,但也帶來了一種全新的安全風險。 最初,企業內部採用人工智慧似乎沒有什麼問題,使用 ChatGPT 和 Copilot 等工具進行基本的寫作和編碼,需安全審查或批准,這些系統可以解讀目標、規劃步驟、呼叫 API 並呼叫其他代理程式。 與遵循一系列可預測操作的工作流程不同,AI代理程式會推理下一步該做什麼,越來越多的智能體做出決策並採取行動的速度超過了人類監控它們的速度,即使是謹慎的公司也發現影子人工智慧正在悄悄潛入他們的環境。
組織該如何保護那些你可能無法看見、並且以機器速度運作的東西呢?安全團隊需要以新的方式調整其身分策略:
(1) 追蹤所有權和生命週期。每個代理都需要指定一個所有者,當人工服務人員離開時,代理也應該離開。
(2) 運用意圖和情境。每個代理操作都應「代表」資料:觸發該操作的人員、執行的任務以及有權存取的資料。失去這條鏈條,就失去了責任。
(3) 預設為唯讀權限。代理應從僅查看權限開始,寫入權限必須經過明確批准且有時間限制。
越來越多的企業正在創建 AI 代理清單,列出每個活躍代理程式及其用途、所有者、權限和生命週期。這是實現 AI 代理及其身分可管理的基礎,組織越早將代理視為具有超能力的同事,而不是具有憑證的腳本,就越能管理AI 代理所帶來的風險。

AI代理程式的威脅在於它們的彈性。它們能夠串連多個步驟,跨越不同的系統界線進行操作,並且隨時調整其行動計畫。一個AI代理程式,只要給予它存取資料庫、客戶關係管理系統(CRM)和協作平台(如Slack)的權限,就可能立即成為公司內部權限最大的使用者之一,而其行動的連鎖反應速度遠超人類的預期與應對能力。

 

安全防線的模糊與「影子AI」危機

由於AI代理程式的部署往往是從底層或開發團隊的小規模實驗開始,它們極易繞過正式的安全審核流程,形成難以察覺的「影子人工智慧」(Shadow AI)。一個產品經理可能註冊了一個新的AI研究工具,工程師可能在本地機器上運行了一個可以查詢客戶日誌的AI助手,或者團隊將會議機器人連接到了內部雲端硬碟。

這些工具在技術上都屬於需要治理的服務,但它們通常未經過正式的安全掃描或身份記錄。傳統的資產可見性工具難以清晰地識別它們。例如,雲端存取安全代理(CASB)工具或許能標記出一個新的SaaS域名,但卻無法捕捉到數百個在雲端功能或虛擬機上悄悄運行的AI代理程式。這種高速、隱形的特性,使速度成為監督的敵人

更嚴重的風險是「生命週期問題」。許多AI代理程式始於開發者的一個簡單原型或實驗,但即使開發者已經離職,這些代理程式可能仍在使用著過期的、具有強大權限的憑證在後台運行。另一些代理程式則可能隨著人類的提示(Prompt)或工具鏈的改變而悄然演進,最終獲得了對客戶資料等敏感資訊的存取權限。這些「無惡意但失控」的代理程式,憑藉其不可見性、持久性和強大權限,構成了一個隨時可能引爆的資安隱患。

 

應對自主身份的新安全策略

為了應對AI代理程式這種新型的「自主行動者」身份所帶來的風險,企業必須重新審視並調整其身份安全策略,正如前文所強調的,核心策略必須圍繞可責性(Accountability)、意圖(Intent)和最小權限原則進行重構。

1. 追蹤所有權和生命週期

任何一個活躍的AI代理程式都必須有一個具名的、負責的「人類所有者」。這種綁定是確保可責性的基礎。一旦代理程式的指定所有者職務發生變動或離職,該代理程式的權限應當被立即撤銷或轉移,並進行重新審核。這打破了傳統服務帳戶的「永久性」或「共享所有權」模式,要求企業對AI代理程式實施嚴格的身份生命週期管理。當一個AI代理程式不再被需要時,必須有乾淨且標準化的流程來將其「退休」(retire),確保其所有相關憑證和存取權限同步銷毀,從根本上解決生命週期管理失控導致的「僵屍AI」問題。

2. 運用意圖和情境建立責任鏈

由於AI代理程式的行動是自主推理的結果,單純追蹤「誰使用了憑證」已經不足夠。安全團隊必須在每個代理程式的行動中嵌入更豐富的「意圖和情境」資料,形成一條完整的責任鏈(Chain of Accountability)。每個代理操作都應附帶「代表誰」(on behalf of)的數據,包括:

  • 觸發操作的人員: 最終啟動或設定該目標的人類使用者。

  • 執行的任務: 該操作所服務的具體業務或安全目標(例如:修復哪一個已知的漏洞)。

  • 有權存取的資料: 該操作涉及的資料類型與敏感級別。 這種情境感知的身份與存取管理(Identity and Access Management, IAM)模型,允許安全團隊不僅查看「做了什麼」,還能理解「為什麼這麼做」以及「是誰最終負責」。一旦責任鏈中斷,該操作應被視為高風險或可疑行為而被攔截,從而確保每一筆AI代理程式的行動都能被審計和追溯。

3. 預設為唯讀權限與時間限制

在零信任(Zero Trust)的安全模型下,對於自主型AI代理程式,必須採取更為嚴苛的最小權限原則:預設為唯讀權限(Default to read-only)。AI代理程式在首次部署時,應僅授予資料檢視(view access)或日誌分析等不涉及寫入或修改的權限。任何涉及「寫入」(write)、修改或執行敏感操作的權限,都必須經過人類所有者的明確批准,並且應當是時間限制的(time-limited)。例如,一個用於自動修復的DevOps AI代理程式,其寫入權限應僅在其檢測到特定、經驗證的事件時才被臨時激活,並在修復完成後立即自動撤銷。這種動態的、及時的(Just-in-Time)權限授予機制,極大地限制了單一代理程式因錯誤或被劫持而造成大規模破壞的可能性。

 

建立可管理的基礎:清單與生命週期

要有效實施上述的新策略,企業必須首先建立起一個全面且精確的AI代理程式清單(AI Agent Inventory)。這份清單應作為管理所有自主行動者身份的基礎,清晰地列出企業內每一個活躍的AI代理程式及其關鍵屬性:

  • 用途與功能: 代理程式被授權執行的具體任務。

  • 所有者與責任人: 負責該代理程式的具體人類名稱。

  • 存取權限: 代理程式當前擁有的所有系統權限列表。

  • 生命週期: 代理程式的預期壽命或審核期限。

將AI代理程式視為具有超級能力的同事,而非僅僅是帶有憑證的腳本,是轉變安全思維的關鍵。這意味著,企業不僅要建立技術性的安全防護,更要建立一套完善的AI治理與監督機制(Governance and Oversight)。這套機制的核心目標不是阻止AI代理程式工作,而是通過設置有效護欄(Guardrails),來限制其行動範圍、記錄其行為軌跡,並在出現異常或惡意行為之前,自動關閉或限制這些違規的程序。

 

結論:從腳本到超級同事

自主型AI代理程式已不再是未來概念,它們已經深度整合於企業的技術堆棧之中。如果企業仍將身份管理簡單地劃分為「人類」或「非人類」兩大類,那麼現在必須為第三類——自主行動者——騰出位置。

AI代理程式正在執行結案事件、批准交易、甚至直接與客戶互動等關鍵職責。當「影子人工智慧」變成一個影響企業核心業務的危機時,後果不堪設想。因此,企業應立即著手重新定義其存取控制框架,將代理程式的行動、意圖和可責性納入考量。越早將AI代理程式視為需要有效身份、權限和治理的「超級同事」,而不是隨意配置憑證的自動化腳本,企業才能在享受AI帶來的效率和競爭優勢的同時,確保網路安全防線的穩固與可持續性。這場身份安全的重新定義,是數位轉型時代下,企業安全團隊必須迎接的新挑戰。


資料來源:https://www.bleepingcomputer.com/news/security/when-ai-agents-join-the-teams-the-hidden-security-shifts-no-one-expects/
 
探討自主型AI代理程式在企業環境中帶來的全新且隱藏的安全風險,分析其與傳統非人類身份(NHI)的本質差異,並提出追蹤所有權、運用意圖情境和預設唯讀權限等創新的身份管理與治理策略,以確保AI高速運作下的企業安全與可責性。