人工智慧 (AI) 的廣泛應用不僅為企業帶來了效率提升,也為威脅行為者帶來了評估,越來越多的組織計劃在未來三年內加大對 AI 的投資。本篇報告是在「趨勢科技人工智慧安全狀況報告(2025 年上半年)」基礎上,合併其它幾個近期和AI有關的報導,整理出跨域 AI 安全挑戰與治理藍圖,提供組織參考。
攻擊者對 AI 的武器化
隨著生成式 AI(Generative AI)、大型語言模型(LLMs)、AI 代理(AI Agents)逐步成熟,攻擊者迅速將其導入網路犯罪活動。Trend Micro 報告顯示,AI 工具在攻擊鏈中的滲透率已呈現指數級成長,這種成長不僅是工具被動普及,而是有系統地被整合進威脅行為者的攻擊生態。
社交工程強化
漏洞利用自動化
惡意代碼生成與混淆
對抗式 AI 攻擊(Adversarial AI)
防禦端也同樣加速導入 AI,試圖縮短與攻擊者的差距。但目前多數應用仍偏向輔助性質,而非全自動化。
威脅偵測與分析
漏洞與補丁管理
基礎設施的脆弱性
Trend Micro 指出,AI 基礎設施本身已成為主要攻擊目標:
伺服器暴露:數千台 Redis、ChromaDB、Ollama 伺服器無認證暴露於公網。這些伺服器通常儲存模型權重或向量資料庫,一旦被入侵,後果等同於核心智慧資產洩漏。
元件漏洞:在 Pwn2Own 競賽中,NVIDIA Container Toolkit 與 Triton 推理伺服器被多次成功利用,顯示 AI 開發生態系未建立嚴謹的安全流程。
供應鏈依賴:AI 系統大量依賴開源框架與容器環境,任何一個組件若被污染,可能導致全球數千企業受害。
治理與落地挑戰
雖然已有 NIST CSF 2.0、ISO/IEC 27001、NERC CIP 等傳統治理框架,但報告強調:
AI 幻覺(Hallucination)的定義與安全隱憂
所謂「AI 幻覺」,是指大型語言模型(LLMs)在生成內容時,輸出錯誤、虛構或不存在的資訊。傳統上,這被視為「準確率」或「模型品質」問題,例如生成虛構的參考文獻、錯誤的知識點。
然而,隨著 AI 被引入軟體開發與 DevOps 流程,幻覺問題已升級為 資安風險。如果開發者或自動化流水線無條件信任 LLM 生成的建議,這些「虛構資訊」可能直接導致惡意依賴或漏洞注入,進而影響整個供應鏈。
Slopsquatting:幻覺導致的新型供應鏈攻擊
產業衝擊案例
防禦與治理對策
現況問題:情資孤島化
在大多數企業,威脅情資(Cyber Threat Intelligence, CTI)主要集中於資安團隊(SOC、IR Team),未能有效傳遞至其他部門,例如:
結果是「情資孤島」:CTI 雖存在,但決策者缺乏對應資訊,導致 反應延遲、誤判風險增加。SecurityWeek 的報導點出,若 CTI 僅限於資安部門,其價值會被大幅削弱。
跨部門共享至關重要
安全情資共享的挑戰
建議的治理模式:Cyber Fusion Center
SecurityWeek 提出的觀點與業界趨勢一致,即推動 Cyber Fusion Center(網安融合中心) 模式。它的核心理念是:將 CTI、SOC、IR、法務、合規、營運、風險管理 整合於一個跨部門決策架構,不僅分享情資,更要共同解讀與行動。Cyber Fusion Center 的要素:
產業案例
情資共享的最佳實踐
SecurityWeek 報導指出,2025 年上半年,全球網路流量中 惡意 Bot 已正式超越人類使用者流量,約佔比 52%~55%。這意味著網路的「主流居民」已不再是人,而是機器人。這些 Bot 並非單純的網路爬蟲,而是大量經過 AI 強化的自動化代理,具備更智慧的決策、模擬與欺騙能力,對企業安全與數位生態系統構成全新挑戰。
為何 AI Bot 能超越人類
電商與零售
防禦困境
新一代防禦策略
經過前幾節的資料整理歸納,可以將 AI 帶來的資安威脅歸納為 四個層級:
威脅特徵分析
各威脅間的交互作用
產業脆弱性比較
探討 AI 治理的核心概念、關鍵挑戰、多層次防禦策略,並提供實施的具體步驟,旨在協助企業將 AI 從實驗性工具轉化為安全、可靠的商業解決方案,同時確保數據安全與法規合規。
知名資安公司Darktrace發布報告,警告網路威脅情勢正快速演變。從國家級駭客(APT)到勒索軟體即服務(RaaS)等各類威脅團體,正積極將人工智慧(AI)整合到其攻擊工具中,以提升攻擊規模與精準度。
面對AI與軟體供應鏈風險,專家強調企業需落實SBOM與AI-BOM制度,強化透明性與資安治理,掌握AI模型與軟體成分清單,迎戰未來資安挑戰。
探討 AI 如何作為法規對象和合規工具,並分析其在商業市場中創造的巨大價值與競爭優勢。
資料來源:Security Week, https://www.securityweek.com/deepfakes-and-the-ai-battle-between-generation-and-detection/