柏大博士生僅花30元 重建DeepSeek技術

柏克萊加大研究生潘家怡及團隊花30元重建DeepSeek AI的核心技術。Jiayi Pan/Nitter

柏克萊加州大學(UC Berkeley)的一群研究人員表示,僅花30元就重建了中國革命性的DeepSeek AI的核心技術。這款極其便宜的DeepSeek重建結果再次顯示,雖然大型公司推出的模型令人印象深刻,但可能有更便宜的方式來建造這些模型。

由柏大博士生潘家怡(Jiayi Pan)領導的團隊,使用一個僅30億個參數的小型語言模型,成功複製了DeepSeek R1-Zero的強化學習能力。

儘管規模相對較小,但該AI展示了自我驗證和搜尋能力,這是使其能夠迭代改進自身回應的關鍵功能。

為了測試他們的DeepSeek重建,柏克萊團隊使用倒數(Countdown)遊戲,這是一款基於英國遊戲節目的數字謎題,玩家必須使用算術來達到目標數字。最初,該模型產生隨機生成的猜測,但透過強化學習,後來開發出自我糾正和迭代解題的技巧。最終,該模型學會了不斷修正答案,直到達到正確的解答。

研究團隊還進行乘法測試,AI透過使用分配律來拆解方程式,有如人類利用心算解決大型乘法習題,證明了該模型具有根據問題調整策略的能力。

潘家怡在開源平台Nitter上發表貼文稱,尤其令人印象深刻的是,整個重建僅花費30元,與領先的AI公司的大規模培訓花費相比,實在微不足道。

研究人員測試了多種模型規模,首先測試一個擁有5億參數的模型,無論準確性如何,該模型都只能猜測和停止。當擴展到15億個參數時,DeepSeek重建模型開始納入修正技巧。潘和其他研究人員報稱,介於30億到70億個參數之間的模型顯示出顯著的改進,能用更少的步驟解決問題,並且準確性更高。

潘家怡已將該項研究成果上傳到開源編碼平台GitHub,供其他研究人員參考。

目前OpenAI透過其應用程式介面(API)每百萬個標記(token)的收費為15元,而DeepSeek僅收0.55元。而柏克萊團隊的研究結果表明,開發高性能AI模型所需的成本,可以僅是領先AI公司所投入資金的極小比例。本報訊

科技-三藩市版