1Password研究指出 AI自動修復漏洞完美率僅26%，逾四成修復無效
發布時間:
密碼管理平台 1Password 旗下的安全研究團隊 Off-by-1 Labs 於 2026 年 8 月 6 日發布最新研究論文《Frontier Models' Vulnerability Patches are Often F.L.A.W.E.D.》，針對大型語言模型自動修復軟體安全漏洞的可靠度進行評估。研究結果反映，在無人監督的情況下，AI 生成的修復補丁僅有 26.0% 能夠完美修復漏洞，且完全不改變應用程式原本的正常行為。
為了解前沿 AI 模型在真實資安場景中的表現，研究團隊採用了 ChatGPT 5.5 與 Claude Opus 4.8 兩款模型，針對 6 個近期公開的 CVE 安全漏洞進行大規模測試，總計生成 6,080 個修復補丁。測試數據指出，除了 26.0% 的完美修復率之外，有高達 49.3% 的補丁未能成功修復既有的漏洞利用路徑；20.1% 雖然解決了原始問題，卻改變了應用程式的常規行為。此外，有 2.3% 的補丁在解決原問題時引入了新的安全隱憂，甚至有 2.2% 的補丁既未能修復漏洞，又創造了全新的安全漏洞。
即使在被判定為成功修復的補丁中，品質也並非完美無缺。研究團隊發現，超過三分之一的成功補丁被評定為「脆弱（fragile）」。這意味著 AI 往往只針對特定字元或輸入進行表面過濾，並未真正解決程式碼內部的根本缺陷。為此，Off-by-1 Labs 提出了「FLAWED」（帶有嵌入缺陷的類修復產物）一詞，用來精確形容這類由大型語言模型生成、看似合理卻暗藏風險的修復程式，同時也公開釋出同名的評估測試工具，供企業自行檢測內部 AI 修復方案的實際效果。
研究進一步分析人類指引對 AI 表現的影響，發現修復指引的準確度會劇烈改變模型的成功率。當給予 AI 正確的修復指引時，成功率可大幅提升至 65.0%；在完全無指引的狀態下，成功率為 50.4%。若給予錯誤或具誤導性的指引，AI 的修復成功率會驟降至 15.2%，反映模型高度依賴提示詞的品質，且缺乏獨立判斷指引正確性的能力。
在成本效益方面，生成單個成功且乾淨的修復補丁，平均僅需耗費 6.74 美元，其中已包含大量失敗嘗試的 API 呼叫費用。儘管帳面上的金錢成本極低，研究人員仍提出警告，審查大量看似合理卻藏有細微瑕疵的 AI 補丁，會為資安人員帶來巨大的認知負擔。這種審查過程所耗費的時間與精力，反而可能高於由專業工程師從頭編寫修復檔的成本。