主流AI算力框架漏洞遭利用,數千臺AI工作負載服務器被黑。
3月29日消息,OpenAI、優步和亞馬遜所使用的AI計算框架Ray發現了一個已被報告的漏洞,該漏洞遭到持續攻擊,導致數千臺存儲AI工作負載和網絡憑證的服務器被黑。據了解,這些攻擊已經持續了7個月。
攻擊者不僅篡改了AI模型,還泄露了訪問內部網絡和數據庫的網絡憑證,并獲取了OpenAI、Hugging Face、Stripe和Azure等平臺帳號的訪問令牌。除了破壞模型和竊取憑證,攻擊者還在能夠提供大量算力的被侵入基礎設施上安裝了加密貨幣挖礦軟件,并設置了反向shell,通過這種基于文本的界面實現對服務器的遠程控制。
發現這些攻擊的安全公司Oligo的研究人員在一篇文章中指出:“一旦攻擊者掌控Ray生產集群,等于中了大獎。有價值的公司數據加上遠程代碼執行,攻擊者很容易就能獲得現金收益,而且可以完全隱匿在暗處,做到神不知鬼不覺(使用靜態安全工具不可能檢測到這種攻擊)。”
被竊取的敏感信息包括AI生產工作負載。利用這些信息,攻擊者可以在訓練階段控制或篡改模型,從而破壞模型的完整性。易受攻擊的集群中,中央儀表板通常暴露在互聯網上,這使得任何有意的人都可以查看迄今為止輸入的所有命令。利用這些歷史數據,入侵者可以快速了解模型的工作方式,并推測可以訪問哪些敏感數據。
Oligo獲取的屏幕截圖顯示,敏感私人數據和集群已經遭到了大規模的黑客攻擊。被竊取的資源包括內部數據庫以及OpenAI、Stripe和Slack帳號的加密密碼哈希值和訪問憑證。
Ray是一個用于擴展AI應用程序的開源框架,允許大量應用程序同時高效地運行。通常,這些應用程序在大規模服務器集群上運行??蚣苷_\行主要依賴于提供接口顯示和控制運行任務和應用程序的中央儀表板。這個儀表板提供了名為“任務API”(Jobs API)編程接口,允許用戶通過簡單的HTTP請求向集群發送一系列命令,無需身份驗證。
去年,安全公司Bishop Fox的研究人員將這種行為標記為高嚴重性的代碼執行漏洞,其跟蹤編號為CVE-2023-48022。
Bishop Fox的高級安全顧問Berenice Flores Garcia寫道:“在默認配置中,Ray不強制進行身份驗證。因此,攻擊者可以自由提交任務、刪除現有任務、檢索敏感信息,并利用本次官方警告中描述的其他漏洞。”
對此,Ray的開發者和維護者Anyscale回應稱該漏洞不存在。Anyscale官方表示,他們一直將Ray視為一個遠程執行代碼的框架,因此始終建議將Ray合理地隔離在有適當安全措施的網絡內部。
Anyscale官方寫道:“由于Ray本質上是一個分布式執行框架,其安全邊界位于Ray集群之外。因此,我們強調您必須防止不受信任的機器(如公共互聯網)訪問您的Ray集群。”
對于被報告的“任務API”的內部行為,Anyscale表示并非漏洞,并且不會在短期內得到解決。不過,Anyscale承諾最終會進行變更,強制在API中進行身份驗證。Anyscale解釋道:
我們非常認真地考慮過這樣做是否合理。到目前為止,我們還沒有實施這一變更,因為我們擔心用戶可能會過分信任這種機制——它可能只能實現表面上的安全,并沒有像他們想象的那樣真正保護集群。
盡管如此,我們認識到,這是個見仁見智的問題。我們仍然認為組織不應該依賴Ray內部的隔離控制手段,如身份驗證。但這些手段在進一步實施深度防御策略的某些情境中可能是有價值的。因此,我們決定將在未來的版本中將其作為一個新功能實施。
Anyscale的回應招致了一些批評。比如,用于簡化在云環境中部署Ray的存儲庫將儀表板綁定到0.0.0.0,這是一個用于指定所有網絡接口并在同一地址上指定端口轉發的地址。這樣易受攻擊的入門級做法在Anyscale的網站上也可以找到。
批評者還指出,由于Anyscale聲稱被報告行為不是漏洞,導致很多安全工具未能標記攻擊。
Anyscale的代表在一封電子郵件中表示,該公司計劃發布一個腳本,允許用戶輕松驗證他們的Ray實例是否暴露在互聯網上。