關閉選單
人工智慧風險評估從業人員指南 (The Practitioner’s Guide to Conducting an AI Risk Assessmen)

前言:AI技術的普及與風險需求

人工智慧(Artificial Intelligence, AI)已從未來願景走入當下現實,不僅深刻改變企業營運模式,也改變使用者與數位系統互動的方式。特別是生成式AI(GenAI)工具如 ChatGPT、Claude、Midjourney 及各種 SaaS(軟體即服務)平台整合 AI 功能後,企業內部的工具鏈與數據環境也正快速轉變。
面對此一快速演進的技術環境,資訊安全與IT領導者有責任建立一套有效的AI風險評估流程,藉以掌握風險來源、控管潛在風險、確保組織數據的完整性與合法使用。本報告將根據 Nudge Security 所提出的AI風險評估架構,深入解析五大構面,協助企業導入系統性的AI治理機制。
 

AI風險評估的五大核心構面

Nudge Security 提出一個務實的AI風險評估架構,分為五大核心構面,涵蓋從工具識別、供應商信任、整合關聯、供應鏈透明到使用者教育等層面,形成一個完整的AI治理週期:
  1. 工具發現(Discovery)
  2. 供應商信任(Trust)
  3. 系統整合(Integrations)
  4. 軟體供應鏈(Supply Chain)
  5. 使用者教育與溝通(Communication)
每一構面均對應特定的控制策略與評估重點,下文將逐一說明。

構面一:AI工具發現(Discovery)

目的
了解組織內部實際使用的AI工具與帳號,是風險評估的起點。許多AI工具並未經過正式採購程序進入企業,例如員工私自註冊的GenAI帳號、瀏覽器外掛或嵌入式SaaS工具等,都可能成為資訊外洩的風險點。

五種發現方法
Nudge Security 建議採用以下方式進行AI工具盤點:
  1. 手動清查清單
  • 優點:適合初期部署
  • 缺點:容易過時,難以即時更新
  1. 網路流量檢測
  • 優點:可快速發現已知AI工具(如ChatGPT)
  • 缺點:對剛上線或冷門工具可能失效
  1. 應用程式整合查核
  • 優點:能掌握與核心業務系統連結之AI工具
  • 缺點:無法偵測獨立測試工具
  1. 代理程式或終端監控
  • 優點:可即時偵測AI應用啟動行為
  • 缺點:可能收集過多資訊,引發隱私問題
  1. 自動化電子郵件發現
  • 優點:根據新帳號註冊郵件追蹤AI工具使用行為
  • 缺點:需有強化的信箱監控系統支援
 

構面二:供應商信任(Trust)

為什麼信任是AI風險的核心?
許多生成式AI(GenAI)工具與新創平台來自小型團隊或早期企業,根據Nudge Security統計,90%以上的GenAI供應商擁有員工數少於50人,其中絕大多數缺乏正式資安治理制度。在這種情況下,企業若未評估其資安成熟度,極可能導致資料外洩、隱私違規或模型誤用。
 
評估GenAI供應商的關鍵問題
企業在選擇或批准使用AI工具時,應依據以下問題進行風險評估:
  1. 是否具備國際資安認證(如ISO 27001、ISO 42001、SOC 2)?
  2. 是否公開其資安治理政策與實務?
  3. 是否明確說明資料隱私與使用政策?
  4. 是否曾發生過資安事件或資料外洩?
  5. 公司註冊地與資料儲存地為何?是否與監管合規有衝突?
此外,針對GenAI特有的風險,還需特別評估:
  1. 客戶輸入的資料是否會被用於模型再訓練?
  2. 是否提供選項讓客戶「拒絕模型訓練使用」?
  3. 是否提供資料刪除、保留期間客製化的機制?
  4. 是否能選擇私有雲或本地部署,以保護資料主權?


構面三:系統整合(Integrations)

為什麼整合風險特別高?
許多AI工具具備與其他應用系統整合的能力,例如透過OAuth存取Google Drive、CRM系統、ERP系統等。這些整合功能若缺乏授權管控,將可能造成:
  1. 非授權存取或資料外洩
  2. 機敏資料被自動擷取
  3. 資料流向模糊、不透明
  4. OAuth 權限過度授權

評估要點與實務檢查

  1. 整合模式
  • 是否透過OAuth、API Key、Webhook 或直接整合?
  • 權限範圍是否必要且明確?
  1. 資料傳輸範圍
  • 是否有將機敏資料同步給AI工具?
  • 是否存在自動擷取歷史文件的機制?
  1. 整合身份管理
  • OAuth憑證是否由可信任的身分提供者(IdP)控管?
  • 是否設有自動撤銷失效憑證的機制?
  1. 記錄與稽核
  • 是否能從SIEM、SOAR系統獲得整合紀錄?
  • 是否有清楚的整合系統白名單/黑名單?


構面四:AI供應鏈(Supply Chain)

新興風險:AI供應鏈的隱形整合
自從ChatGPT於2022年底引發熱潮後,許多SaaS供應商陸續將AI功能納入原有產品中,有些會明確標示「AI支援」,但也有許多功能僅在後台或次級模組中使用AI模組,難以察覺。這些未經審查的「AI功能滲透」帶來新的第三方與第四方風險。
舉例來說,一個原本安全合規的CRM平台,若在未明示的情況下引入AI模型進行使用者行為分析或內容生成,企業在不知情下即已暴露資料給AI模型,極可能違反隱私合規與資安管控原則。
評估AI供應鏈的挑戰
  1. SaaS工具不主動公告其AI模組:部分供應商缺乏透明度,無公告其使用AI技術的具體情況。
  2. 資料流向不明確:客戶資料是否被送往第三方AI處理平台難以得知。
  3. 供應鏈安全審查過度耗時:每審查一個GenAI工具平均需耗時數天,企業難以追上快速導入的工具數量。
 

構面五:使用者教育與溝通(Communication)

使用者的知情與行為,是AI治理的核心
根據安永(EY)研究,81%的員工表示,如果企業能定期提供「AI使用最佳實務」,他們將更願意採用AI工具並遵守政策。這顯示教育與溝通在AI風險管理中的重要性。
評估問題:你的使用者知道如何正確使用AI嗎?
請思考以下五個問題:
  1. 員工是否接受過AI可接受使用政策(Acceptable Use Policy, AUP)的訓練?
  2. 是否有自動化機制,當員工首次啟用AI帳號時,自動提示閱讀與同意政策?
  3. 若遇AI工具問題或隱私疑慮,員工知道要聯絡誰?
  4. 是否明確列出可用與禁止使用的GenAI工具清單?
  5. 員工若想導入新的AI工具,有無簡易明確的申請流程?
培養AI風險意識文化的建議
  1. 建立「GenAI 使用手冊」,以白話方式說明資料分類、輸入注意事項、合規限制。
  2. 建立內部平台,公開「核准工具名單」與「風險警示公告」。
  3. 舉辦定期教育訓練,尤其針對行銷、法務、產品研發等部門。
  4. 將AI風險治理指引嵌入到員工入職訓練、年度合規考核中。

 

總結:建立結構化的AI風險治理架構

透過前述五大構面的風險評估框架,企業不僅能識別潛在的AI安全與合規風險,更能導引全組織建立正確的AI使用文化與風險治理思維:
  1. 系統化工具盤點 → 降低盲點
  2. 審慎評估供應商 → 避免信任誤用
  3. 精確掌握整合關係 → 防堵資料外流
  4. 清查供應鏈滲透風險 → 提升風險可視性
  5. 強化內部教育訓練 → 鞏固第一道防線

企業若能將這套架構內化為AI治理政策與實務操作流程,即能在享受AI生產力紅利的同時,兼顧資訊安全與組織責信,實現數位轉型與合規安全的雙重目標。

 

報導原文:The Practitioner’s Guide to Conducting an AI Risk Assessmen, Nudge Security