微軟表示，威脅行為者越來越多地在其行動中使用人工智慧來加速攻擊、擴大惡意活動規模，並降低網路攻擊各個方面的技術門檻。根據微軟最新發布的威脅情報報告，攻擊者正在使用生成式人工智慧工具執行各種任務，包括偵察、網路釣魚、基礎設施開發、惡意軟體建立和入侵後活動。
在許多情況下，人工智慧被用於撰寫釣魚郵件、翻譯內容、匯總被盜資料、調試惡意軟體以及協助編寫腳本或進行基礎設施配置。
微軟警告：「微軟威脅情報部門觀察到，目前大多數惡意人工智慧應用都集中在使用語言模型生成文本、代碼或媒體。威脅行為者利用生成式人工智能來編寫網絡釣魚誘餌、翻譯內容、匯總竊取的數據、生成或調試惡意軟體，以及搭建腳本或基礎設施。」
「在這些用途中，人工智慧可以起到倍增器的作用，減少技術摩擦並加快執行速度，同時人類操作員仍然可以控制目標、目標選擇和部署決策。」
 
人工智慧被用於網路攻擊
微軟觀察到多個威脅組織將人工智慧融入他們的網路攻擊中，其中包括被追蹤為Jasper Sleet （Storm-0287）和 Coral Sleet（Storm-1877）的北韓組織，他們利用這項技術作為遠端 IT 工作人員計畫的一部分。
在這些操作中，人工智慧工具可以幫助產生逼真的身份、履歷和通訊內容，從而在西方公司獲得工作機會，並在被錄用後保持存取權限。

Jasper Sleet 利用生成式人工智慧平台來簡化欺詐性數位身分的建構。例如，Jasper Sleet 的攻擊者會引導人工智慧平台產生符合特定身分特徵的、具有文化背景的姓名清單和電子郵件地址格式。例如，攻擊者可能會使用以下類型的提示來利用人工智慧： 範例提示 1：“建立一個包含 100 個希臘名字的清單。” 範例提示 2：“使用姓名Jane Doe建立電子郵件地址格式清單 。” Jasper Sleet 還利用生成式人工智慧技術審查專業平台上發布的軟體開發和 IT 相關職位信息，引導工具提取並總結所需技能。然後，這些輸出結果被用於為特定職位定制虛假身份。   ❖ 微軟威脅情報

該報告還描述了人工智慧如何被用於協助惡意軟體開發和基礎設施創建，威脅行為者使用人工智慧編碼工具來產生和改進惡意程式碼、排除錯誤或將惡意軟體元件移植到不同的程式語言。
一些惡意軟體實驗顯示出人工智慧惡意軟體的跡象，這些惡意軟體能夠在運行時動態生成腳本或修改行為。微軟也觀察到 Coral Sleet 使用人工智慧快速產生虛假公司網站、配置基礎設施以及測試和排除部署故障。
微軟表示，當 AI 安全措施試圖阻止 AI 在這些任務中使用時，威脅行為者會使用越獄技術來欺騙 LLM 產生惡意程式碼或內容。
除了生成式人工智慧的應用之外，微軟的研究人員也開始發現威脅行為者正在嘗試使用智能體人工智慧來自主執行任務並根據結果進行調整。
然而，微軟表示，人工智慧目前主要用於決策，而不是用於自主攻擊。由於許多 IT 員工攻擊活動都依賴濫用合法存取權限，微軟建議各組織將這些計畫和類似活動視為內部風險。
此外，由於這些人工智慧驅動的攻擊與傳統的網路攻擊類似，防禦者應專注於偵測異常憑證使用情況、加強身分識別系統以抵禦網路釣魚攻擊，以及保護可能成為未來攻擊目標的人工智慧系統。
微軟並非唯一一家注意到威脅行為者越來越多地利用人工智慧來增強攻擊能力並降低攻擊門檻的公司。谷歌 最近報告稱，威脅行為者正在網路攻擊的各個階段濫用 Gemini AI，這與亞馬遜在此次攻擊活動中觀察到的情況如出一轍。
亞馬遜和 Cyber and Ramen 安全部落格最近也報導了一起威脅行為者利用多個生成式 AI 服務發起的攻擊活動，該活動攻破了 600 多個 FortiGate 防火牆。

資料來源：https://www.bleepingcomputer.com/news/security/microsoft-hackers-abusing-ai-at-every-stage-of-cyberattacks/