資安公司Pangea Labs揭露一項名為「LegalPwn」的新型資安漏洞，該漏洞利用生成式AI工具（如GitHub Copilot與ChatGPT）的弱點，透過一種名為「提示詞注入」的技術，將惡意程式碼偽裝成合法免責聲明等法律文本，誘騙AI模型將危險的惡意程式碼誤判為安全程式碼，顯示單純仰賴AI工具可能存在嚴重的安全盲點。

「LegalPwn」攻擊的核心風險在於其利用了AI模型被訓練去「尊重」法律文本的特性。研究人員成功透過六種不同的法律情境來欺騙AI，包括法律免責聲明、合規指令、保密通知、服務條款違規通知、著作權侵權通知以及授權協議限制。由於這些文本在人類眼中具有權威性，AI模型在處理時往往會給予較高的信任度，進而忽略其中夾帶的惡意程式碼。研究發現，許多主流的AI模型都容易受到這種社交工程學手法的影響，例如Google的Gemini CLI被誘騙推薦執行反向Shell程式碼，而GitHub Copilot則將藏在假冒著作權聲明中的反向Shell誤認為是簡單的計算機程式。

首先，它可能導致開發者在不知情的狀況下，將含有惡意程式碼的建議整合到自己的專案中，造成後門、資料外洩或系統損害。其次，依賴AI工具進行程式碼審查或安全掃描的企業，其自動化資安工作流程將面臨重大失效的風險。研究表明，儘管AI模型無法準確辨識，但人類資安分析師卻能一致且正確地識別出惡意程式碼，這突顯了AI在複雜情境下判斷能力的局限性。如果企業過度依賴AI而缺乏人工審核，將可能把自身暴露在難以預測的資安風險之下。

企業應實施「人工參與循環」（human-in-the-loop）的審查流程，確保所有由AI生成的程式碼或安全分析建議，在部署到實際環境之前都必須經過人工資安專家的審核。其次，應部署特定的AI防護措施，例如設計專門的「護欄」（guardrails）來偵測和防禦提示詞注入攻擊。這些護欄可以被訓練來識別和隔離可疑的法律文本或異常的程式碼模式。最後，企業應避免在實時環境中部署完全自動化的AI資安工作流程，特別是在處理敏感或關鍵的程式碼時。

LegalPwn攻擊手法揭示了生成式AI工具在資安領域的雙面性。儘管這些工具為開發者帶來了巨大的便利，但也同時引入了新的、難以察覺的威脅。這項研究清楚地表明，單靠AI進行資安防護是不足夠的。企業必須認識到AI的局限性，將其視為輔助工具而非萬能解方。透過結合AI的效率與人類的判斷力，建立一套兼顧自動化與人工審核的混合式資安策略，才能有效應對如LegalPwn這類日益複雜的資安挑戰。

資料來源：https://hackread.com/legalpwn-attack-genai-tools-misclassify-malware-safe-code/