企業效率要求最大化使用 AI 輔助，但在「Policy as Code（政策即程式碼）」方面，AI 可能引入嚴重的政策缺陷。
將政策即程式碼應用於組織安全、法規遵循與營運規則的轉變，正伴隨著使用大型語言模型（LLM）人工智慧來協助生成原始程式碼的增加。AI 在企業中的主要目的之一是提升人類效率，而以 Rego 或 Cedar 等語言撰寫政策並不容易。AI 正日益被用於簡化此流程。

然而，問題在於，這些生成的政策往往看似正確、能成功編譯，卻仍授予錯誤的存取權限。這不應完全令人意外，AI 生成的應用程式早已被證實可能因選擇最簡單的解決方案而非最安全的解決方案而引入安全問題。然而，在旨在防止安全問題的組織政策中出現安全缺陷，尤其令人擔憂。

獨立研究人員（亦為 Apple 資深安全工程師）的 Vatsal Gupta 一直在研究這些問題，並與 SecurityWeek 討論此議題。他表示：「LLM 正被引入工程工作流程，開發人員使用它們生成基礎設施程式碼、安全規則，甚至存取控制政策。其吸引力顯而易見，團隊無需手動撰寫政策邏輯，而是以自然語言描述意圖，並讓模型生成強制執行邏輯。」

然而，事情並非總是如此運作。「LLM 生成的政策在語法上往往有效，但在語義上卻不正確，」Vatsal 補充說。「缺少一個條件、錯誤解讀一個屬性，或錯誤的動作，都可能完全重新定義誰能存取何種資源。」

AI 代理的防護機制（Guardrails for AI Agents）

這些並非顯而易見的失敗，Vatsal 的研究發現多種反覆出現的失敗模式。它們不會導致建置失敗，也不會觸發警報，但卻會悄然擴大存取邊界。他指出，一個常見問題是缺少情境限制。「原本應依地區、部門或資產所有權限制存取的政策，可能完全遺漏該條件。生成的政策仍看似簡潔且有效，但如今適用於全球，而非預期範圍。」

第二個問題是缺少拒絕（deny）邏輯。「許多存取控制政策採用預設拒絕（deny-by-default）並設定特定例外。LLM 往往能捕捉例外條件，卻未能編碼底層限制。結果是該政策允許的範圍超出預期，儘管表面上看似符合需求。」

此外，LLM 常見的問題之一是產生幻覺（hallucination）。「模型有時會引入實際系統架構中不存在的屬性。政策能成功編譯，但在執行階段行為不可預測，因其依賴不存在或錯誤對應的資料。」

時間與情境條件亦經常被忽略。「依賴時間區間、核准流程或工作階段情境的政策，常被簡化為靜態規則。原本應受控制的限時存取，變成永久啟用的存取。」最後一項疑慮是動作分類錯誤。「原本旨在限制刪除等敏感操作的政策，可能被轉換為更廣泛或不同的操作。文字上的差異看似微小，但影響卻極為重大。」

上述所有缺陷皆源自 AI 解讀並簡化語言的本質，而偵測其不安全之處並不容易。結果可能是一項看似良好、感覺良好且表現良好的政策，但實際上並不安全。

隨著時間推移，這些細微偏差會逐漸累積。政策不再是偶爾審查的靜態產物，而是持續生成、更新與部署的成果。「隨著越來越多政策被生成、部署與重複使用，風險將持續累積，」Vatsal 補充說。組織可能認為其正在執行最小權限原則，實際上卻逐漸偏向過度授權的環境。「若生成流程不可靠，風險將成為系統性問題，」他表示。「組織可能最終擁有數千項細微缺陷的政策。每個缺陷單獨看似微不足道，但累積起來將形成龐大且難以理解的攻擊面。」

他指出，解決方案並非放棄 LLM，而是改變信任模型，尤其是在政策領域。「生成的政策不應被預設為正確；應在生成與執行之間建立驗證層，以確保所有必要元件存在、正確且符合預期行為；政策應接受測試，而非僅僅編譯；並應明確強制執行預設拒絕原則。」他強調：「最重要的是，組織必須將授權邏輯視為高風險領域。」僅因模型能生成程式碼，並不意味著該程式碼可在未經審查的情況下安全部署。

Vatsal 向 SecurityWeek 表示：「隨著我們邁向 AI 輔助的安全工程，目標不應僅是自動化，而應是正確性、可稽核性與可信度，因為在授權領域中，『幾乎正確』並不足夠。」

資料來源：https://www.securityweek.com/silent-drift-how-llms-are-quietly-breaking-organizational-access-control/