本報告是根據 Help Net Security 上的影片《What attackers know about your company thanks to AI》(影片發布日:2025‑08‑01),由 GetReal Security 的威脅研究主管 Tom Cross 主講內容整理的
繁體中文摘要:
影片主題概覽
影片探討生成式 AI 如何提升網路攻擊者的能力,帶來全新威脅面,並解構三大關鍵議題:降低技術門檻、深偽與社交工程的融合,以及 AI 模型本身成為攻擊面。
生成式 AI 降低攻擊門檻
生成式 AI 技術讓攻擊行動變得更簡單且規模化。過去只有具備技術能力的人才能發起攻擊,如今僅需少量提示語即可生成釣魚郵件、詐騙腳本甚至假文件。這使得缺乏技術背景的人也能進行高度擬真的攻擊,資安威脅因此擴大。
深偽與社交工程的結合
AI 生成的深偽音訊與影片被用於社交工程,攻擊者可冒充主管、執行長,以假聲音或影像進行詐騙,這種攻擊比傳統文字釣魚更具說服力。AI 還可產生高度個人化內容,如偽造邀請函、合約與文件,進一步降低目標的戒心。
AI 模型成為新的攻擊面
AI 模型不僅是工具,也可能成為攻擊目標。當企業將 AI 納入核心流程而忽略安全性,就可能導致模型遭入侵或被操縱,進而帶來資訊外洩與決策風險。AI 系統應被視為供應鏈的一環,必須進行風險評估、漏洞管理與持續監控。
防禦策略與建議
1. 評估並控管 AI 使用:建立清單,列出組織內外使用的 AI 模型、介面與 API,並定期進行風險評估與監控。
2. 強化身份驗證:避免僅依賴語音驗證,應採用回撥驗證與多步驟驗證流程,降低深偽攻擊成功率。
3. 偵測異常與深偽內容:將 AI 生成異常內容、偽造文件與異常提示行為納入資安監控,並使用深偽檢測工具。
4. 建立人機協作防禦:部署 AI 工具分析威脅並輔助資安人員決策,但最終仍需由專家進行確認與應變。
5. 員工教育與演練:進行釣魚郵件與深偽攻擊模擬,培養員工的識別能力與應變能力。
產業洞察與挑戰
AI 正被惡意使用於開發釣魚郵件、深偽內容及詐騙腳本,並快速優化攻擊效率。然而,多數企業缺乏專門的 AI 安全策略,仍依賴傳統防禦機制,忽視了 AI 帶來的新攻擊面。隨著 AI 技術持續發展,深偽攻擊與 AI 驅動的網路威脅將日益嚴重,企業必須建立 AI 專屬的防護策略,並將 AI 系統視為資安治理的一部分。
生成式 AI 已成為攻防雙向的關鍵力量,讓攻擊更快速且可信度更高。防禦不應只著重在漏洞修補,還需從流程、身份驗證、信任管理與人機協作著手。唯有同步部署 AI 驅動的防禦技術,並提升員工對 AI 威脅的認識,才能有效抵禦這類新型高階攻擊。
資料來源:https://www.helpnetsecurity.com/2025/08/01/ai-powered-cyber-threats-video/
在這段 Help Net Security 影片中, GetReal Security威脅研究主管 Tom Cross探討了生成式人工智慧如何賦能威脅行為者。他詳細闡述了三個關鍵領域:GenAI 如何降低攻擊者的技術門檻,如何實現極具說服力的深度偽造驅動的社會工程學,以及如何為威脅行為者提供行動空間。