問題建構
- 研究背景與問題意識
大型語言模型(Large Language Models, LLMs)的組織導入,並非單純的新技術採用,而是一種對既有資訊系統架構的結構性擾動(structural disruption)。在傳統組織 IT 架構中,資訊流動通常沿著預先定義之流程運作,系統邊界清晰,資料存取權限可透過角色與政策進行靜態配置。此一架構背後隱含一項關鍵假設,即系統的行為是可預測且可事前規劃的。
然而,LLM 的引入打破了此一假設。透過自然語言介面,使用者不再直接操作系統,而是透過模型作為中介進行互動。模型在接收輸入後,可能基於上下文、外部資料與內建能力,動態生成行為路徑。此種機制使得資料流動從「設計導向(design-driven)」轉為「推理導向(inference-driven)」。換言之,系統的行為不再完全由工程設計決定,而部分由模型在執行時生成。
此一轉變對資訊安全產生深遠影響。首先,傳統安全模型依賴的「邊界」概念逐漸失效。當模型可透過 API 呼叫外部服務,或透過 RAG(Retrieval-Augmented Generation)存取內部資料庫時,系統內外之界線變得模糊。其次,安全控制從原本的「誰可以存取什麼資源」,轉變為「在何種語意脈絡下允許何種行為」。最後,AI agent 的出現,使非人類主體具備執行能力,進一步複雜化身份與責任歸屬問題。
在此背景下,既有資訊安全框架(如 perimeter security 或傳統 IAM)顯得不足,而新興架構如 Zero Trust 雖提供動態控制概念,但其在 LLM 環境中的適用性與限制仍需重新檢視。同時,治理層面的標準如 ISO/IEC 42001 提供了風險管理與責任框架,但缺乏對具體技術實作的指引。
- LLM 系統結構之再定義
在進一步分析威脅之前,需要重新定義 LLM 系統的基本結構。傳統應用系統可被視為「封閉函數」,其輸入、處理邏輯與輸出均由開發者決定。然而,LLM 系統更接近於「開放式推理平台」,其核心特徵包括:
- 語意輸入(semantic input):輸入並非結構化指令,而是自然語言
- 推理中介(inference mediation):模型在執行時決定行為
- 外部擴展(external augmentation):透過工具、API、RAG 擴展能力
- 動態行為(dynamic execution):行為路徑在執行時生成
基於此,LLM 系統可抽象為一條「互動鏈(interaction chain)」:使用者 → Prompt → 模型 → 工具/API → 資料來源 → 回應生成
此互動鏈的關鍵在於,每一個節點都可能成為攻擊面,且節點之間的關係並非固定,而是由模型在執行時動態決定。這使得安全分析需從「單一系統」轉向「整體互動過程」。
LLM 威脅模型之深化分析
基於上述架構,本次週報將 LLM 威脅分為三個層次:語意層、資料層與系統層。然而,為提升分析深度,本節進一步探討各類威脅之內在機制與相互關聯。
- 語意層威脅:控制權的隱性轉移
語意層威脅的本質,在於「控制權的隱性轉移」。在傳統系統中,控制權由系統設計者透過程式邏輯掌握;然而在 LLM 系統中,控制權部分轉移至輸入語言。換言之,誰能有效操控語言,誰就能影響系統行為。
Prompt injection 並非單純的惡意輸入,而是一種利用模型「服從語境」特性的攻擊方式。模型在設計上傾向遵循最新或最強語意訊號,這使得攻擊者可透過語言覆寫原有指令。其關鍵在於,模型無法本質上區分「可信語意」與「惡意語意」,因為語言本身並無內建信任標記。
- 間接語意攻擊(Indirect Injection)
更進一步,攻擊者可透過第三方資料(如文件或網站)影響模型。例如,在 RAG 系統中,若檢索結果包含惡意指令,模型可能在未察覺情況下執行該指令。此類攻擊具有「供應鏈化」特徵,使風險難以追蹤。
語意攻擊的根本困境在於:語言缺乏形式化驗證機制與模型設計目標(生成合理回應)與安全目標(拒絕危險行為)存在張力。因此,語意層威脅難以透過傳統安全機制完全消除。
- 資料層威脅:資訊邊界的崩解
LLM 對資料的處理方式,使資訊邊界變得模糊。傳統系統中,資料存取通常受限於明確 API 與權限控制;然而在 LLM 中,資料可能以語意形式被整合並再輸出,導致邊界難以界定。
- 資料外洩可來自以下來源:訓練資料記憶(memorization)、RAG 查詢結果、使用者輸入上下文、系統內部文件,特別是在 RAG 架構中,模型可即時查詢組織資料庫,使資料外洩風險從「低頻」轉為「高頻即時」。
- 上下文累積與跨請求風險:LLM 在對話過程中會保留上下文,這可能導致資料在不同請求間流動。例如,一位使用者提供的敏感資訊,可能在後續對話中被另一請求間接利用。
- 資料污染:攻擊者亦可透過操控資料來源,使模型生成錯誤資訊。此類攻擊在 RAG 系統中特別顯著,因為模型依賴外部資料作為「事實來源」。
- 資料層風險的本質:資料層威脅反映一個核心問題:資料不再只是被存取,而是被「重新組合與再生成」。這使得傳統資料保護機制(如加密或存取控制)無法完全防止資訊洩露。
- 系統層威脅:複雜性與依賴性的擴張
LLM 系統的能力高度依賴外部組件,使其形成複雜的技術生態系。
- API 與插件風險:模型透過 API 呼叫外部服務時,若缺乏適當驗證,可能被誘導執行未授權操作。例如:發送未授權請求、存取敏感資料及執行錯誤決策。
- AI Agent 的風險放大效應:AI agent 可自動規劃與執行多步驟任務,其風險在於行為不可預測、錯誤可被放大及攻擊可自動化擴散。
- 供應鏈攻擊:LLM 系統依賴的第三方服務,可能成為攻擊入口。例如惡意插件或被入侵的 API,皆可能影響整體系統。
Zero Trust 在 LLM 環境中的控制邏輯、機制深化與結構性限制
- 問題轉換:從存取控制到行為控制
在傳統資訊安全架構中,「存取控制(access control)」構成核心防線。其基本問題可表述為:誰(who)在何種條件下(under what conditions)可以存取哪些資源(what resources)。此一模型假設,系統行為可透過預先定義的規則與角色加以約束。
然而,在LLM 環境中的安全問題已不再僅是「是否允許存取」,而是「允許後會發生什麼」。當使用者透過自然語言觸發模型行為時,即使該行為在形式上符合存取權限,其語意結果仍可能偏離設計者預期。例如,一個具有合法權限的查詢,可能在特定語境下導致敏感資訊被重新組合並洩露。
因此,安全問題從靜態的「授權判斷」轉變為動態的「行為評估」。此一轉變意味著,安全架構必須具備以下能力:
- 理解互動上下文(context awareness)
- 評估行為後果(outcome evaluation)
- 在執行過程中持續調整控制策略(adaptive control)
Zero Trust 在此背景下的價值,正體現在其將「信任」從靜態屬性轉為動態變數,並透過持續驗證機制,對每一個行為節點進行重新評估。
- Zero Trust 的控制模型:一種動態信任計算系統
Zero Trust 常被簡化為「never trust, always verify」,然而在 LLM 環境中,其本質更接近於一種「動態信任計算系統(dynamic trust computation system)」。此系統的核心問題不再是是否信任某個主體,而是:在特定上下文中,對某一行為賦予多少信任程度(degree of trust)。此一觀點可從三個層面理解:
- 信任的去中心化(Decentralization of Trust):傳統架構中,信任通常由中心化機制(如身份驗證系統)決定,一旦通過驗證,即被視為可信。然而,在 LLM 系統中,單一驗證已不足以支撐整體安全,因為行為風險並非僅由身份決定,而與語意上下文密切相關。因此,Zero Trust 將信任分散至多個節點,包括使用者身份、請求內容(prompt)、模型狀態、外部資料來源及工具與 API,每一節點皆需獨立評估,並在互動過程中持續更新。
- 信任的時間性(Temporal Nature of Trust):在 LLM 環境中,信任並非一次性決定,而是一個隨時間變化的過程。例如,一個初始安全的對話,可能在後續上下文累積中逐漸偏離安全範圍。因此,Zero Trust 強調「持續驗證」,即在每一個互動步驟中重新計算信任狀態。此一機制可視為一種「即時風險評估系統」,其目標並非消除風險,而是在風險升高時及時調整行為。
- 信任的條件化(Conditional Trust):Zero Trust 不再以「完全信任」或「完全不信任」作為二元判斷,而是採取條件化信任。例如:在低風險情境下允許完整存取,在高風險情境下限制功能或要求額外驗證。此一機制與 LLM 的動態性相契合,使安全控制可隨語意情境調整。
- Zero Trust 在 LLM 架構中的具體作用機制
將上述控制模型映射至 LLM 系統,可進一步分析其在不同層級的實際作用。
如前所述,prompt injection 無法被完全阻止,因為其本質為語言操控。然而,Zero Trust 可透過限制模型可執行的操作範圍,降低攻擊成功後的影響。例如,在一個 RAG 系統中,即使模型被誘導查詢敏感資料,若該資料未被授權存取,則攻擊將失效。此顯示 Zero Trust 的作用在於「控制結果空間(output space)」,而非「控制輸入語言」。
在傳統系統中,資料存取權限通常預先配置;然而在 LLM 中,資料存取往往由模型在執行時決定。因此,Zero Trust 將資料存取轉為一個即時授權過程,即:每一次資料查詢皆需重新驗證其合理性與必要性。此一機制可透過細粒度權限控制與上下文分析實現,使模型無法任意擴展其資料存取範圍。
LLM 系統的複雜性主要來自多組件整合。Zero Trust 透過微分段(microsegmentation),將系統拆分為多個相對獨立的控制單元,使單一組件的失效不會擴散至整體系統。例如:將不同資料來源隔離、限制 API 呼叫範圍及對 AI agent 設定操作邊界,此種設計可顯著降低供應鏈攻擊與 agent 濫用的風險。
- Zero Trust 的結構性限制
儘管 Zero Trust 提供強大的控制機制,其在 LLM 環境中仍面臨多項結構性限制。這些限制並非實作問題,而是源自模型與語言本身的特性。
- 語意不可驗證性(Non-verifiability of Semantics)
Zero Trust 的控制邏輯建立於「可驗證性」之上,然而語言本身並不具備形式化驗證機制。模型無法確定某一語句是否具有惡意意圖,因為語意依賴上下文與解釋。因此,Zero Trust 無法在語意層進行精確判斷,只能透過限制行為後果進行間接控制。
- 控制與可用性的張力(Security-Usability Trade-off)
在 LLM 系統中,過度嚴格的控制可能限制模型能力,降低使用者體驗。例如:限制資料存取可能降低回答品質、增加驗證步驟可能影響互動流暢性
因此,Zero Trust 必須在安全與效能之間取得平衡,而此平衡難以透過單一策略達成。
LLM 的上下文可隨互動累積,形成高度複雜的語意空間。對此進行即時驗證與控制,將帶來極高計算與設計成本。此外,長上下文可能掩蓋惡意訊號,使風險評估更加困難。
- 控制邊界的不確定性(Uncertain Control Boundaries)
在傳統系統中,控制邊界清晰;然而在 LLM 中,行為邊界由模型推理決定,使控制範圍難以事先界定。例如:模型可能透過間接方式存取資料、工具使用路徑可能動態生成,此使 Zero Trust 難以完全覆蓋所有潛在風險。
ISO/IEC 42001 附錄 A 控制措施於 LLM 環境之語意轉譯與治理機制深化
- 問題轉向:從技術可行性到治理可持續性
在前一節中,我們探討 Zero Trust 在 LLM 環境中的核心價值,在於建立一種「動態信任計算與風險約束機制」。然而,其根本限制在於:Zero Trust 僅能回答「如何控制」,但無法回答「為何控制」與「控制到何種程度」。此一缺口,正是治理框架的作用空間。
ISO/IEC 42001 作為 AI 管理系統標準,其附錄 A 所定義之控制措施,並非單純技術規範,而是一組組織層級的決策與責任配置機制。其核心目標在於:
- 將 AI 風險轉化為可管理對象(risk objectification)
- 將責任從系統轉移至組織(accountability assignment)
- 建立持續運作的治理迴圈(governance loop)
因此,本節的核心任務不是介紹 ISO 控制項,而是嘗試回答:在 LLM 所構成之語意與動態系統中,ISO 42001 的控制措施如何被重新詮釋,並實際對應到風險治理?
- ISO 42001 控制架構的本質:風險語意化
ISO 42001 附錄 A 的控制措施,可從表面上分類為風險管理、資料治理、透明性、存取控制與供應鏈管理。然而,其更深層的本質在於:將模糊且動態的 AI 風險,轉化為可被描述、評估與決策的「語意結構」。這一點在 LLM 環境中尤為關鍵,因為:
- 風險本身是語意性的(如 prompt injection)
- 行為是動態生成的(非預先定義)
- 後果難以預測(非確定性系統)
因此,ISO 42001控制措施的真正作用,是建立一套「語言」,使組織能夠討論與決策這些原本難以形式化的風險。
- 控制措施的語意轉譯
這一節我們將 ISO 42001 附錄 A 中與 LLM 最相關的控制群組,進行逐項深化轉譯,試圖提供ISO 42001應用的指引。
- AI 風險管理控制(A.5 / A.6):從風險識別到風險建模
在傳統 IT 系統中,風險通常可透過漏洞掃描或威脅資料庫識別。然而在 LLM 環境中,風險並非「存在於系統」,而是「產生於互動」。因此,ISO 在此類控制中強調:持續風險識別、風險評估與分類及控制措施對應。其在 LLM 中的實質意義為:將「互動過程」本身視為風險單位(unit of risk)。這種轉譯極為關鍵,因為它將風險從「系統屬性」轉為「行為屬性」。
在傳統資料治理中,重點在於資料分類、存取與保護。然而在 LLM 中,資料不僅被存取,更被「理解與重組」。因此,ISO A.7 在 LLM 環境中的深化意義為:控制資料不只是「誰可以看」,而是「在什麼語意脈絡下可以被使用」。因此,資料治理需引入「語境敏感性(context sensitivity)」的概念。
ISO 要求 AI 系統具備可追蹤與可解釋性。然而,在 LLM 中,「解釋」本身即為一項困難任務,因為模型推理過程並非完全可觀測。因此,實務上需將透明性重新定義為:對「行為鏈(behavior chain)」的可追蹤能力,而非模型內部邏輯的完全解釋。換言之,重點不在於理解模型「為何這樣想」,而在於:記錄輸入(prompt)、記錄中間操作(tool usage)、記錄輸出(response),此形成一條可審計的「決策軌跡(decision trace)」。
ISO A.9 傳統上關注使用者與角色管理。然而在 LLM 環境中,需擴展為:人類使用者(human users)、AI agent(autonomous entities)及系統組件(services & tools)。因此,存取控制需轉化為:多主體信任管理系統(multi-actor trust system)。這與 Zero Trust 的動態驗證機制形成高度對應,但 ISO 提供的是:誰負責定義角色、誰負責審核權限、如何進行治理。
- 供應鏈管理(A.10):從第三方風險到「模型生態系風險」
在 LLM 環境中,供應鏈不再只是外部軟體,而是整個「模型生態系」,包括:模型供應商、插件開發者、API 服務及資料來源。
ISO A.10 在此的深化意義為:將 AI 系統視為一個開放生態,而非封閉產品。因此,風險管理需考慮:誰提供模型、誰控制資料及誰影響輸出。
- 治理機制的核心:責任與決策
ISO 42001 的真正價值,不在於列出控制項,而在於建立「責任結構」。在 LLM 環境中,許多風險無法透過技術完全解決,例如:
- 模型是否應回答某問題
- 某資料是否應被使用
- 某行為是否合理
這些問題本質上是「決策問題」,而非技術問題。ISO 的作用在於:
- 指定誰負責決策
- 定義決策流程
- 建立決策依據(風險評估)
換言之:ISO 42001 將「不確定性」轉化為「可被組織承擔的責任」
- 與 Zero Trust 的結構性互補
綜合週報對相關議題的分析可知:
- Zero Trust 解決「如何控制行為」
- ISO 42001 解決「應控制哪些行為」
兩者的關係並非替代,而是互補。因此,完整的 LLM 安全架構必須同時具備:
- 動態控制能力(Zero Trust)
- 治理決策能力(ISO 42001)
- 理論提升:從控制系統到治理系統
透過本節分析,可以進一步提出一個重要理論轉換:LLM 安全問題本質上不是控制問題,而是治理問題。控制系統(如 Zero Trust)只能限制行為,但無法決定「何為正確行為」。而治理系統(如 ISO 42001)則負責定義這些標準。因此,組織若僅導入技術控制,而缺乏治理機制,將面臨以下問題:控制過度(影響業務)、控制不足(風險暴露)及控制不一致(策略混亂)。
本節透過對 ISO/IEC 42001 附錄 A 控制措施的語意轉譯,指出其在 LLM 環境中的核心作用,在於將動態且語意化的風險轉化為可管理的治理結構。與 Zero Trust 相比,ISO 提供的是「決策與責任框架」,而非直接技術控制。
Zero Trust 與 ISO/IEC 42001 之整合架構設計與實務落地模型
- 整合問題的本質:控制與治理的斷裂
透過前述的分析,我們建立兩個關鍵系統:
- Zero Trust:動態控制系統(control system)
- ISO 42001:治理與決策系統(governance system)
然而,在實務環境中,組織面臨的核心問題並非兩者缺一,而是:兩者之間存在結構性斷裂(structural gap)。具體而言:
- Zero Trust 可限制行為,但不知道「應限制什麼」
- ISO 42001 可定義風險,但無法直接「執行控制」
此種斷裂若未被解決,將導致:
- 控制策略與治理目標不一致
- 安全政策無法落實於系統行為
- 風險評估停留於文件層,而非運作層
因此,本節的核心問題為:如何設計一個整合架構,使治理決策能轉化為可執行的動態控制?
- 整合架構的理論基礎:雙層系統模型
為解決上述問題,週報提出一個「雙層系統模型」,將 AI 安全架構分為:
由 ISO/IEC 42001 所主導,其功能包括:風險識別與分類、政策制定(policy definition)、責任分配(accountability assignment)及合規與審計,此層的輸出為「控制意圖(control intent)」。
由 Zero Trust 所主導,其功能包括:身份驗證與授權、行為監控、資料存取控制及系統隔離,此層的輸出為「實際行為限制(enforced constraints)」。
兩層之間必須透過一個中介機制連接,即:將抽象政策轉換為具體控制規則,例如:ISO 定義:「敏感資料不可被未授權使用」及Zero Trust 實作:限制特定 API / RAG 查詢,此轉譯過程,是整個架構成功與否的關鍵。
- LLM 專屬整合架構
基於雙層模型,週報進一步提出一個專為 LLM 設計的整合架構,其核心在於「控制點(control points)」的配置。
回顧第一節所定義的互動鏈:使用者 → Prompt → 模型 → 工具/API → 資料 → 回應。在整合架構中,每一節點皆需嵌入控制機制:
― Prompt 層(語意入口)的控制目標:限制語意操控對後續行為的影響。
― 模型層(推理核心)的控制目標:限制模型生成不當內容。
― 工具/API 層(行為擴展)的控制目標:防止模型濫用外部能力。
― 資料層(資訊來源)的控制目標:限制資料被不當使用。
― 身份層(多主體系統)的控制目標:管理人與 AI 的權限。
關鍵設計原則在於:控制不應集中於單一點,而應分散並重疊。原因在於:LLM 威脅具多層性、單點防禦容易失效及攻擊可能繞過特定控制,因此,需建立「多重控制網(control mesh)」。
未來發展、產業影響與策略推演
- 問題再定義:AI 安全從技術議題轉為治理能力競爭
綜合前述分析,本次週報揭示一個關鍵轉變:LLM 所帶來的核心挑戰,並非單一資安問題,而是組織整體「控制能力」的重構。
在傳統 IT 環境中,安全問題多半可透過工具導入解決,例如防火牆、端點防護或 IAM 系統。然而,在 LLM 環境中,風險來自語意、行為與動態決策,無法被單一技術產品完全涵蓋。因此,組織競爭的核心正在轉移:
- 從「誰擁有更強技術」
- 轉向「誰能更有效治理不確定性」
換言之,AI 安全能力本質上是一種治理能力(governance capability)。
- 產業結構的三項關鍵轉變(Structural Shifts)
過去十年,資安重點集中於基礎設施與網路層。然而,LLM 的導入使攻擊面轉移至語意層,即語言與推理本身。
在 LLM 環境中,身份不再僅限於人類使用者,而包括:AI agent、自動化流程及API 與服務。此導致 IAM(Identity and Access Management)從單一維度轉為多維系統。其關鍵變化在於:身份不再只是「誰」,而是「誰在什麼情境下執行什麼行為」,這使 Zero Trust 與 ISO 42001 的整合變得更加必要。
LLM 系統高度依賴外部資源,使組織 IT 架構轉為「生態系(ecosystem)」。此帶來兩項影響:風險不再可完全內部控制及安全責任需跨組織分配。因此,ISO 42001 中的供應鏈控制(A.10)將成為核心能力,而非附加項。
- 理論總結:從控制到治理的轉型
本此週報研究希望得到的最重要的貢獻在於指出:LLM 所帶來的安全問題,本質上是「控制問題的治理化(governance of control)」換言之:
- 技術控制不再足夠
- 組織需決定如何使用控制
- 安全成為決策與責任問題
因此,Zero Trust 與 ISO/IEC 42001 的整合,代表的不只是架構升級,而是:組織治理模式的轉型。
本次週報研究從 LLM 威脅模型出發,經由 Zero Trust 控制機制與 ISO 42001 治理框架的分析與整合,提出一個核心觀點:
AI 時代的資訊安全,不再是防禦問題,而是「如何在不確定性中維持可控性」的問題。Zero Trust 提供「控制能力」,ISO 42001 提供「決策框架」,而兩者的整合,則提供組織在動態環境中運作的基礎。
參考資料:Cloud Security Alliance, Zero Trust Working Group, https://cloudsecurityalliance.org/artifacts/using-zero-trust-to-secure-enterprise-information-in-llm-environments#, 2026-03-02
本文是以Cloud Security Alliance於2026-03-02發佈的” Using Zero Trust to Secure Enterprise Information in LLM Environments”為基礎,結合台灣應用軟件對Zero Trust及ISO 42001的顧問諮詢服務經驗,以AI系統分析歸納,再手動整理出週報內容。
探討大型語言模型 (LLM) 導入組織後的結構性挑戰。本文深度分析語意層、資料層及系統層威脅,並提出結合 Zero Trust 動態控制與 ISO/IEC 42001 治理框架的整合架構。