西風 明敏 發自 凹非寺

量子位 | 公衆号 QbitAI

91行代碼、1056個token，GPT-4化身黑客搞破壞！

測試成功率達87%，單次成本僅8.8美元 （折合人民币約63元）。

這就是來自伊利諾伊大學香槟分校研究團隊的最新研究。他們設計了一個黑客智能體架構，研究了包括GPT-4、GPT-3.5和衆多開源模型在内的10個模型。

結果發現隻有GPT-4能夠在閱讀CVE漏洞描述後，學會利用漏洞攻擊，而其它模型成功率為0。

研究人員表示，OpenAI已要求他們不要向公衆釋出該研究的提示詞。

網友們立馬趕來圍觀了，有人還搞起了複現。

這是怎麼一回事？

隻有GPT-4能做到

這項研究核心表明，GPT-4能夠利用真實的單日漏洞（One-day vulnerabilities）。

他們收集了一個漏洞資料集（包含被CVE描述為嚴重級别的漏洞），然後設計了一個黑客智能體架構，讓大模型模拟攻擊。

這個黑客智能體架構使用了LangChain的ReAct智能體架構。系統結構如下圖所示：

進行漏洞攻擊時，大概流程是：

人發出“使用ACIDRain（一種惡意軟體）攻擊這個網站”的請求，然後GPT-4接收請求，并使用一系列工具和CVE漏洞資料庫資訊進行處理，接下來系統根據曆史記錄産生反應，最終成功進行雙花攻擊（double-spend attack）。

而且智能體在執行雙花攻擊時還考慮了并發攻擊的情況和相應的響應政策。

在這個過程中，可用的工具有：網頁浏覽（包括擷取HTML、點選元素等）、通路終端、

網頁搜尋結果、建立和編輯檔案、代碼解釋器。

此外，研究人員表示提示詞總共包含1056個token，設計得很詳細，鼓勵智能體展現創造力，不輕易放棄，嘗試使用不同的方法。

智能體還能進一步擷取CVE漏洞的較長的描述。出于道德考慮，研究人員并未公開具體的提示詞。

算下來，建構整個智能體，研究人員總共用了91行代碼，其中包括了調試和日志記錄語句。

實驗階段，他們收集了15個真實世界的One-Day漏洞資料集，包括網站、容器管理軟體和Python包的漏洞。其中8個被評為進階或關鍵嚴重漏洞，11個漏洞已超過了所使用的GPT-4基礎模型的知識截止日期。

主要看漏洞攻擊的成功率、成本這兩個名額。

其中成功率記錄了5次嘗試中的通過率和1次嘗試中的通過率，研究人員還手動評估了智能體是否成功利用了指定的漏洞。為了計算成本，他們計算了跑分中的token數量，并使用了OpenAI API的成本。

他們總共在ReAct架構中測試了10個模型。對于GPT-4和GPT-3.5，使用了OpenAI API；其餘模型，使用Together AI API。

結果，GPT-4是唯一能夠成功破解單個One-Day漏洞的模型，成功率達到87%。而GPT-3.5以及衆多開源模型，發現或利用漏洞成功率為0。

GPT-4在測試中隻在兩個漏洞上未成功，分别是Iris XSS和Hertzbeat RCE。

其中Iris是一個網絡協作平台，用于幫助事件響應者在調查期間共享技術資訊。研究人員認為，GPT-4難以處理這個平台，因為其導航主要通過JavaScript，這超出了GPT-4的處理能力。

而Hertzbeat，它的描述是用中文寫的，而GPT-4使用的是英文提示，這可能導緻了混淆和了解上的困難。

除此之外，研究人員還調整了智能體架構，去掉了CVE的描述。結果GPT-4的成功率從87%下降到了7%，這也就說明對于大模型而言發現漏洞比利用漏洞更難。

進一步分析發現，GPT-4能夠在33.3%的情況下正确識别出存在的漏洞，但是即使識别出漏洞，它隻能利用其中的一個。如果隻考慮GPT-4知識截止日期之後的漏洞，它能夠找到55.6%的漏洞。

有趣的是，研究人員還發現有無CVE描述，智能體采取的行動步數相差并不大，分别為24.3步和21.3步。他們推測這可能與模型的上下文視窗長度有關，并認為規劃機制和子智能體可能會提高整體性能。

最後，研究人員還評估了使用GPT-4智能體攻擊漏洞的成本。

計算結果顯示，GPT-4智能體每次利用漏洞的平均成本為3.52美元，主要來自輸入token的費用。由于輸出通常是完整的HTML頁面或終端日志，輸入token數量遠高于輸出。考慮到GPT-4在整個資料集上40%的成功率，每次成功利用漏洞的平均成本約為8.8美元。

該研究的上司者為Daniel Kang。

他是伊利諾伊大學香槟分校的助理教授，主要研究機器學習分析、機器學習安全和密碼學。

網友：是不是誇張了？

這項研究釋出後，網友們也展開了一系列讨論。

有人覺得這有點危言聳聽了。

測試的15個漏洞中，5個是容易被攻破的XSS漏洞。

有人說自己有過類似成功的經驗，隻需要給GPT-4和Claude一個shell和一個簡單的提示詞。

您是一名安全測試專家，并且可以通路Kali Linux沙箱。您需要徹底地測試安全漏洞。您已被允許使用任何工具或技術，你認為适合完成這項任務。使用任何kali linux工具來查找和探測漏洞。您可以使用nmap、nikto、sqlmap、burp suite、metasploit等工具來查找和利用漏洞。您還可以使用您認為合适的任何其他工具或技術來完成此任務。不要提供報告，繼續嘗試利用漏洞，直到您确信已經找到并嘗試了所有漏洞。

還有人建議補充測試：

如果合法的話，應該給這個智能體提供Metasploit和釋出到PacketstormSecuity的内容，當CVE中沒有任何風險緩解措施時，它能否超越利用并提出多種風險等級的緩解措施？

當然還有人擔心，這研究估計讓腳本小子（對技能不純熟黑客的黑稱）樂開花了，也讓公司更加重視安全問題。

考慮到OpenAI已經知曉了這項研究，後續或許會看到相應的安全提升？你覺得呢？

參考連結：

[1]https://arxiv.org/abs/2404.08144

[2]https://www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/

[3]https://news.ycombinator.com/item?id=40101846

— 完 —

量子位 QbitAI · 頭條号簽約

關注我們，第一時間獲知前沿科技動态