生成式人工智慧正在企業工作流程中迅速普及，改變員工創建、共享和在系統間傳輸資訊的方式。安全團隊正努力了解資料的最終去向、存取權限以及其使用方式如何重塑安全假設。本文將探討生成式人工智慧如何加劇資料暴露、製造新的威脅，並超越現有策略、控制措施和測試的限制。

正在大規模洩露敏感資料GenAI

敏感資料無所不在，且成長迅速。一份最新報告指出，非結構化資料、重複文件和危險的共享行為正為安全團隊帶來嚴峻挑戰。報告顯示，微軟 Copilot 等生成式人工智慧工具加劇了問題的複雜性，而過度共享和資料衛生狀況不佳等舊問題也持續造成資料外洩風險。

 

人工智慧發展迅速，但資料安全必須加快腳步

從客服聊天機器人到行銷活動，生成式人工智慧正迅速滲透到企業的各個角落。它承諾帶來速度和創新，但也帶來了新的、未知的安全風險。隨著企業競相採用這些工具，許多企業發現，他們的資料保護策略尚未做好應對人工智慧挑戰的準備。

人工智慧正在助長更聰明的詐欺行為，但團隊協作的缺失才是真正的問題。

生成式人工智慧讓詐欺行為更快、更便宜，也更難被發現。偽造登入資訊、冒充供應商、發票欺詐，甚至深度偽造技術，如今都被組合成一系列模仿正常工作流程的攻擊序列。大多數防禦措施仍然局限於單一系統。當攻擊跨越多個平台時，訓練、人工驗證和電子郵件過濾等措施仍然失效。近九成組織表示，在重大安全事件中，至少有一項安全措施失效。

 

儘管存在安全風險，員工仍在競相開發客製化的人工智慧應用程式

由於員工對開發客製化人工智慧應用和代理工具的需求日益增長，企業終端用戶對 GenAI 平台的使用率增加了 50%。儘管 SaaS GenAI 應用和人工智慧代理的安全啟用正在逐步實現，但員工未經授權使用的「影子人工智慧」（shadow AI）仍在持續成長，加劇了潛在的安全風險。據估計，目前超過 50% 的應用都屬於影子人工智慧。

 

上個季度，您的員工向 GenAI 工具上傳了超過 1GB 的檔案

2025年第二季度，一項針對300多個GenAI及AI驅動的SaaS應用中100萬條GenAI提示資訊和2萬個上傳檔案的分析發現，敏感資料正透過GenAI工具洩露。許多安全負責人對此感到擔憂，但卻難以衡量。 22%的文件和4.37%的提示訊息包含敏感訊息，其中包括原始碼、存取憑證、專有演算法、併購文件、客戶或員工記錄以及內部財務資料。

 

基因人工智慧無所不在，但安全策略卻未能跟上

近四分之三的歐洲IT和網路安全專業人士表示，員工已經在工作中使用生成式人工智慧（AI），這一比例在一年內上升了10個百分點，但只有不到三分之一的組織制定了正式的政策。 63%的受訪者非常或極度擔心生成式人工智慧可能被用於攻擊自身，而71%的受訪者預計，未來一年深度偽造技術將變得更加先進、應用更加廣泛。儘管如此，只有18%的組織在深度偽造檢測工具上投入資金，這是一個巨大的安全漏洞。這種脫節使得企業在人工智慧驅動的威脅快速演變的當下，面臨著巨大的風險。

 

我們知道 GenAI 有風險，那麼為什麼不修復它的缺陷呢？

儘管基因人工智慧（GenAI）威脅是安全團隊和管理層最關注的問題，但目前針對生命週期管理（LLM）和人工智慧（AI）應用的測試和修復力度遠遠無法應對這些風險。只有66%的組織定期測試其GenAI產品，這意味著相當一部分產品仍處於未受保護狀態。 48%的受訪者認為需要進行一次“策略性暫停”，以重新調整防禦策略，以應對GenAI驅動的威脅。然而，這樣的暫停似乎遙遙無期。

 

用戶缺乏控制權，因為主流人工智慧平台會將個人資訊分享給第三方

隨著生成式人工智慧日益融入日常生活，使用者往往並不了解這些工具會收集哪些個人資料、如何使用這些資料以及最終會流向何處。研究人員從三個關鍵領域分析了11個子類別中的領先人工智慧平台：用戶資料在模型訓練中的使用方式、各平台隱私實踐的透明度以及資料收集和第三方共享的範圍。

 

許多人急於部署全人類人工智慧（GenAI），往往缺乏安全保障

70% 的組織認為人工智慧（尤其是世代人工智慧）的發展速度是其應用面臨的首要安全隱患，其次是資料完整性不足（64%）和可信度問題（57%）。許多組織已經開始採用世代人工智慧，三分之一的受訪者表示，他們正在整合世代人工智慧或積極利用其技術改造營運。

 

為什麼首席資訊安全長們密切關注人工智慧供應鏈的轉變

在供應鏈營運領域，基因人工智慧（GenAI）正日益普及。許多安全負責人仍然對基因人工智慧對資料保護、傳統技術以及自動化信任的影響感到擔憂。 97% 的受訪者已經在使用某種形式的基因人工智慧，但只有三分之一的人使用專門針對供應鏈任務設計的工具。近一半（43%）的受訪者表示，他們擔心在應用基因人工智慧時，數據的使用或共享方式。另有 40% 的受訪者不信任基因人工智慧給出的答案。

 

94% 的公司認為滲透測試至關重要，但很少有公司真正正確地進行滲透測試

各組織機構尤其面臨 GenAI LLM Web 應用漏洞的困擾。在過去一年中，95% 的公司對這些應用進行了滲透測試，其中 32% 的測試發現了嚴重漏洞。在這些漏洞中，僅有 21% 得到了修復，風險包括快速注入、模型操縱和資料外洩。

 

GenAI 將員工變成無意中的內部威脅

企業透過 GenAI 應用共享的資料量呈現爆炸性成長，一年內成長了 30 倍。如今，平均每家企業每月透過 AI 工具分享超過 7.7GB 的數據，與一年前的 250MB 相比，增幅龐大。這些資料包括原始程式碼、受監管資料、密碼和金鑰以及智慧財產權等敏感資訊，顯著增加了代價高昂的資料外洩、違規行為和智慧財產權盜竊的風險。75%的企業用戶正在存取具有 GenAI 功能的應用程序，這給安全團隊帶來了一個更大的挑戰：無意的內部威脅。

 

確保 GenAI 整合到金融服務中的 8 個步驟

GenAI 為金融服務機構提供了巨大的機遇，尤其是在非結構化資料集的分析和管理方面，但同時也可能增加安全風險。GenAI 可以整理大量訊息，並從中提取洞察，幫助您改善業務營運、拓展市場並提升客戶體驗。經 GenAI 分析的資料集可以揭示詐欺、威脅和風險訊息，從而帶來顯著的安全機會。

 

十分之一的GenAI提示會將敏感資料置於風險之中

儘管GenAI工具潛力巨大，但許多組織仍因擔心敏感資料可能被無意中共享並用於訓練這些系統而猶豫是否要全面採用。絕大多數情況下，員工在使用GenAI工具時的行為都很直接。使用者通常會要求概括一段文字、編輯部落格或撰寫程式碼文件。然而，仍有8.5%的提示令人擔憂，可能使敏感資訊面臨風險。

 

惡意行為者對基因人工智慧的使用尚未達到預期效果

生成式人工智慧降低了惡意行為者的進入門檻，並提高了他們的效率，例如，能夠更快地製作出以假亂真的深度偽造影片、發起網路釣魚活動和投資詐騙。然而，就目前而言，它既沒有讓攻擊者變得更「聰明」，也沒有徹底改變網路威脅的本質。

資料來源：https://www.helpnetsecurity.com/2025/12/24/genai-data-exposure/