人工智慧正在進入一個新階段，企業一直在嘗試使用聊天機器人和輔助駕駛軟體來回答問題或總結資訊。如今，發展趨勢是部署能夠代表使用者或組織在企業系統中進行推理、規劃和執行操作的人工智慧代理。

與傳統自動化工具不同，人工智慧代理能夠自主地追求目標。它們與系統互動、收集資訊並執行任務。這種從回答問題到執行操作的轉變，帶來了全新的安全挑戰。

對於首席資訊安全長 (CISO) 而言，問題不再是人工智慧是否會在企業中部署，它已經部署了。真正的挑戰在於了解組織中存在哪些類型的人工智慧代理，以及它們有哪些安全風險。大多數企業級人工智慧代理可分為三類：智慧聊天機器人、本地代理和生產代理。每一類都具備不同的運作能力和截然不同的風險特徵。

AI代理風險由存取權限和自主性驅動

並非所有人工智慧代理都具有相同的風險等級。代理的真正風險取決於兩個關鍵因素：存取權限和自主性。存取權限指的是代理可以互動的系統、資料和基礎設施，例如應用程式、資料庫、SaaS平台、雲端服務、API或內部工具。自主性指的是代理人在未經人類批准的情況下獨立行動的程度。

權限有限且受到人工監督的智能體通常風險極低。但隨著權限擴大和自主性增強，風險和潛在影響會急劇增加。能夠讀取文檔的智能體幾乎構不成威脅。能夠連接到業務關鍵服務、修改基礎設施、執行命令或協調跨多個系統的工作流程的代理，代表著更大的安全隱患。

對於首席資訊安全長 (CISO) 而言，這創建了一個清晰的優先順序模型：存取權限和自主權越大，安全優先順序就越高。

智慧聊天機器人：企業人工智慧的切入點

第一類最常見：智慧聊天機器人。這些人工智慧助理運行於各種託管平台中，例如生產力工具、知識系統或客戶服務應用程式。它們通常由使用者互動觸發，幫助使用者檢索資訊、總結文件或執行簡單的整合操作。企業越來越多地使用聊天機器人進行內部支援、人力資源知識檢索、銷售賦能、客戶服務以及其他提升生產力的任務。從安全角度來看，聊天機器人代理程式的風險相對較低。

它們的自主性有限，大多數操作都需要使用者提示。然而，它們也帶來了一些組織常常忽略的風險。許多聊天機器人工具依賴嵌入式 API 連接器或靜態憑證來存取企業系統。如果這些憑證太寬鬆或被廣泛分享，聊天機器人就會成為存取關鍵資源的特權入口。

同樣，與這些系統連接的知識庫可能會透過對話查詢洩露敏感資料。聊天機器人代理程式可能是風險最低的類別，但它們仍然需要強大的身分治理和憑證管理。

本地代理商：成長最快的安全漏洞

第二類代理，即本地代理，正迅速成為最普及且監管最寬鬆的代理。本地代理直接運行在員工終端上，並與開發環境、終端或生產力工作流程等工具整合。它們透過自動化編寫程式碼、分析日誌、查詢資料庫或協調跨多個服務的工作流程等任務，幫助使用者提高效率。

本地代理的獨特之處在於其身分模型。它們並非使用專用的系統身分運行，而是繼承運行它們的使用者的權限和網路存取權限。這使得它們能夠像使用者一樣與企業系統互動，這種設計極大地加快了採用速度。員工無需進行集中式身分配置，即可立即將代理程式連接至 GitHub、Slack、內部 API 和雲端環境等工具。但是，這種便利性也帶來了一個重大的治理問題。

安全團隊通常難以了解這些代理可以存取哪些資源、與哪些系統交互，以及使用者授予它們多大的自主權。實際上，每個員工都成為了自己人工智慧自動化系統的管理員。本地代理商也可能引入供應鏈風險，許多代理商依賴從公共生態系統下載的第三方插件和工具。這些整合可能包含惡意指令，這些指令會繼承使用者的權限。

對於首席資訊安全長 (CISO) 而言，由於本地代理的存取權限和自主性，它們代表了成長最快且最不易察覺的 AI 攻擊面之一。

生產代理：完全自主的人工智慧基礎設施

第三類，即生產代理，代表了最強大的AI系統。這些代理程式作為企業服務運行，它們使用代理框架、編排平台或自訂程式碼建構而成。與聊天機器人或本地助理不同，它們無需人工互動即可持續運行，響應系統事件，並協調跨多個系統的複雜工作流程。

各組織正在部署它們用於事件回應自動化、DevOps 工作流程、客戶支援系統和內部業務流程。由於這些代理程式以服務的形式運行，它們依賴專用的機器身分和憑證來存取基礎設施和SaaS平台。這種架構在企業環境中創造了一個新的身分介面。最大的風險來自以下三個方面：

✔  首先，這些智能體通常具有高度自主性，無需人工審核即可執行操作。

✔  其次，它們經常處理不受信任的外部輸入，例如客戶請求或 webhook 數據，從而增加了遭受提示注入攻擊的風險。

✔  第三，複雜的多代理架構可能會建立隱藏的信任鍊和權限提昇路徑，因為代理程式會觸發系統中的其他代理程式。

人工智慧代理帶來了重大的身份安全挑戰

在所有這三個類別中，有一點是顯而易見的：人工智慧代理是一類全新的、具有優先身分的實體，它們在企業環境中運作。它們利用身分和權限存取資料、觸發工作流程、與基礎設施互動並做出決策。

當這些身分管理不善且存取權限過度授權時，代理人就會成為攻擊者的強大入口點或造成意外損害的來源。對於首席資訊安全長 (CISO) 而言，首要任務不應只是控制人工智慧代理，而是要獲得代理的可見性和控制權，以便了解：

✔  存在哪些代理人

✔  他們使用哪些身份

✔  他們可以存取哪些系統？

✔  以及他們的權限是否與其預期用途相符。

過去十年，企業一直致力於保障人員和服務身分的安全。人工智慧代理代表著下一代身分認證技術，而且它們的到來速度遠遠超出大多數組織的預期。成功保障人工智慧安全的組織，絕對不會是那些迴避採用人工智慧的組織。

他們將負責了解其代理，管理其身份，並使權限與代理的預期用途保持一致。因為在人工智慧代理時代，身分將成為企業人工智慧安全的控制層面。

資料來源：https://www.bleepingcomputer.com/news/security/how-to-categorize-ai-agents-and-prioritize-risk/