Tenable網路安全研究人員揭露了一組影響 OpenAI 的 ChatGPT 人工智慧 (AI) 聊天機器人的新漏洞，攻擊者可以利用這些漏洞在用戶不知情的情況下竊取用戶記憶和聊天記錄中的個人資訊。Tenable指出，這七個漏洞和攻擊手段存在於OpenAI的GPT-4o和GPT-5模型中，攻擊者可以操縱大型語言模型 (LLM) 的預期行為，並誘使其執行非預期或惡意操作。已發現的不足之處如下：

1. 瀏覽上下文中透過受信任網站存在的間接提示注入漏洞，涉及請求 ChatGPT 總結網頁內容，並在評論部分中添加惡意指令，從而導致 LLM 執行這些指令。
2. Search Context 中存在零點擊間接提示注入漏洞，該漏洞涉及透過以自然語言查詢的形式詢問網站資訊來欺騙 LLM 執行惡意指令，因為該網站可能已被 Bing 等搜尋引擎和與 SearchGPT 關聯的 OpenAI 爬蟲索引。
3. 透過一鍵式連結注入漏洞，攻擊者可以建構一個格式為「chatgpt[.]com/?q={Prompt}」的鏈接，導致LLM自動執行「q="」參數中的查詢。
4. 安全機制繞過漏洞，利用網域名稱 bing[.]com 在 ChatGPT 中被列入安全 URL 的允許清單這一事實，設定 Bing 廣告追蹤連結 (bing[.]com/ck/a) 來掩蓋惡意 URL，並允許它們在聊天中呈現。
5. 對話注入技術，即向網站中插入惡意指令，並要求 ChatGPT 總結網站內容，導致 LLM 在後續互動中做出非預期回复，因為提示訊息被放置在對話上下文中（即 SearchGPT 的輸出）。
6. 惡意內容隱藏技術，利用 ChatGPT 渲染 Markdown 時的漏洞來隱藏惡意提示訊息。該漏洞會導致同一行中第一個單字後以 ``` 結尾的程式碼區塊無法被渲染。
7. 記憶體注入技術，是指透過在網站中隱藏指令來毒害使用者的ChatGPT 內存，並要求 LLM 總結該網站。

此次披露緊隨其後的是相關研究，這些研究表明，針對人工智慧工具的各種快速注入攻擊能夠繞過安全防護措施：

1. 一種名為PromptJacking的技術利用 Anthropic Claude 的 Chrome、iMessage 和 Apple Notes 連接器中的三個遠端程式碼執行漏洞，實現未經過濾的命令注入，從而導致提示符注入。
2. 一種名為Claude pirate 的技術，利用 Claude 的檔案 API，透過間接提示注入攻擊竊取數據，該攻擊利用了 Claude 網路存取控制中的漏洞。
3. 一種名為代理會話走私的技術利用了代理到代理 ( A2A ) 協議，允許惡意人工智慧代理利用已建立的跨代理通訊會話，在合法客戶端請求和伺服器回應之間注入額外的指令，從而導致上下文中毒、資料外洩或未經授權的工具執行。
4. 一種名為「即時啟動」的技術，利用即時注入來引導人工智慧代理放大偏見或虛假訊息，從而導致大規模虛假訊息的傳播。
5. 一種名為「影子逃逸」的零點擊攻擊，可透過利用標準模型上下文協定 ( MCP ) 設定和預設 MCP 權限，利用精心建構的包含「影子指令」的文檔，從互連系統中竊取敏感資料。這些「影子指令」在上傳到 AI 聊天機器人時會觸發特定行為。
6. 一種針對 Microsoft 365 Copilot 的間接提示注入攻擊，利用該工具內建的 Mermaid 圖表支持以及對 CSS 的支持，竊取資料。
7. GitHub Copilot Chat 中存在一個名為CamoLeak 的漏洞（CVSS 評分：9.6），該漏洞允許攻擊者透過繞過內容安全策略 ( CSP ) 和利用拉取請求中的隱藏註釋進行遠端提示注入，從而從私有倉庫中秘密竊取金鑰和原始程式碼，並完全控制 Copilot 的回應。
8. 一種名為LatentBreak的白盒越獄攻擊，能夠產生低困惑度的自然對抗性提示，透過用語義等價的詞語替換輸入提示中的詞語，從而繞道安全機制，並保留提示的初始意圖。

Tenable 的研究人員表示：提示注入是 LLM 工作方式中一個已知的問題，不幸的是，短期內可能無法得到系統性的修復。史丹佛大學科學家的另一項研究發現，大型語言模型（LLM）正日益影響著訊息的創建和傳播方式，從企業利用它們製作具有說服力的廣告，到選舉活動優化訊息傳遞以贏得選票，再到社交媒體影響者提升用戶參與度，無不如此。這些場景本質上都具有競爭性……我們發現，為了在競爭中取得成功而優化 LLM，可能會無意中導致目標不一致。我們將這種現象稱為人工智慧的「莫洛克交易(註)」——以犧牲目標一致為代價來獲得競爭優勢。 同樣的流程也帶來了嚴重的安全隱患，例如銷售宣傳中出現虛假的產品描述，以及社交媒體帖子中出現捏造的信息。因此，如果不加以控制，市場競爭就有可能演變成惡性競爭：代理商為了提高業績而犧牲安全。