思科週四發布了一款名為「模型溯源工具包」的全新開源工具，旨在幫助企業解決與使用第三方人工智慧模型相關的潛在問題。組織經常利用從 HuggingFace 等模型庫中獲得的 AI 模型，這些模型庫中有數百萬個模型可供使用。

雖然這些模型有很多優點，但組織往往不會追蹤對其所做的更改。此外，儘管儲存庫提供了關於模型卡和元資料重要性的指南，但開發人員執行的維護工作可能各不相同，從而影響下游使用者。

思科也指出，模型開發者提出的說法（包括模型的來源、漏洞和訓練偏差）通常未經證實。這些因素可能引發各種安全、合規和責任問題。例如，企業最終可能使用被篡改或易受操縱的模型。

思科解釋說：「如果不加以控制，這些漏洞可能會繼續蔓延，無論影響的是內部聊天機器人、代理應用程式還是面向客戶的工具。同樣，企業部署的模型如果其訓練數據存在偏差，則可能不適合其應用場景，或者容易受到操縱。」

報告補充道：「這些漏洞是繼承性的，會在生成式和代理式應用程式中持續存在。如果沒有溯源信息，組織就無法輕鬆地將事件追溯到根本原因，也無法確定其技術棧中的哪些其他模型也受到影響。」此外，如果發生涉及人工智慧模型的事件，如果不了解模型的傳承，回應和補救措施就會變得更加困難。

Cisco 推出的全新模型溯源工具包（Model Provenance Kit）是一個基於 Python 的工具包和命令列介面 (CLI)，旨在透過基於「元資料訊號、分詞器相似性以及權重級身份訊號（例如嵌入幾何形狀、歸一化層、能量分佈和直接權重比較）」為每個模型產生「指紋」來解決這些問題。

該工具有兩種模式：比較模式，使用戶能夠比較兩個模型以識別共同的血統；以及掃描模式，透過將給定模型的指紋與思科編制的指紋資料庫進行比較，嘗試找到最接近的血統。思科表示：「隨著模型不斷進行微調、提煉、合併和重新打包，模型文件已不再是靜態資產。模型溯源變得越來越難以追踪，也更容易被掩蓋，因此，回答‘這個模型的來源是什麼？’這個問題需要更加細緻入微的方法。我們發布的模型溯源工具包是朝著提供基於證據的模型溯源方法。

開源的模型溯源工具包 (Model Provenance Kit)已發佈在 GitHub 上，思科的基礎模型指紋資料集則託管在 Hugging Face 網站上。

資料來源：https://www.securityweek.com/cisco-releases-open-source-tool-for-ai-model-provenance/