開發者把32位CPU編進韆問權重:大模型內部直接運行計算機程序
BiRun 訊,動察 Beating AI 快訊,獨立開發者 Divyansh Agrawal 基於阿裡 Qwen3.5-4B 做出了 Qwenputer,把一顆 32 位 RISC-V 虛擬 CPU 直接編進模型權重,讓大模型無需調用外部計算工具,也能在生成回答時進行精確計算。
作者沒有重新訓練 Qwen,而是在原有 32 層網絡前增加 11 層,用編譯器將 CPU 的運算規則直接寫成模型參數。新增網絡還利用 Gated DeltaNet 結構實現了可精確讀寫的內存,用來存放程序和數據。
這顆虛擬 CPU 已能運行編譯後的 C 程序,並通過了 RISC-V 指令測試,在累計執行約 1800 萬條指令的測試中未發現錯誤。
在 DeepMind 的 40 道大數乘法題中,原版 Qwen 答對 22 道,Qwenputer 答對 39 道;原版 Qwen 接入外部 Python 後則全部答對。CPU 本身可以準確執行指令,但大模型仍可能在調用或輸出結果時出錯。
這條技術路綫已有先例。今年 3 月,Percepta 就用神經網絡實現了一台可以運行 C 程序的虛擬計算機。不過,它是專門構建的模型。Qwenputer 則把類似的計算能力接入已經訓練好的 Qwen,讓語言模型在生成回答時,也能使用內部 CPU 執行計算。
不過,這套方案目前效率很低。大量零值參數將模型文件撐至 18.8GB,約為原版兩倍,計算速度也遠不如外部工具。
作者沒有重新訓練 Qwen,而是在原有 32 層網絡前增加 11 層,用編譯器將 CPU 的運算規則直接寫成模型參數。新增網絡還利用 Gated DeltaNet 結構實現了可精確讀寫的內存,用來存放程序和數據。
這顆虛擬 CPU 已能運行編譯後的 C 程序,並通過了 RISC-V 指令測試,在累計執行約 1800 萬條指令的測試中未發現錯誤。
在 DeepMind 的 40 道大數乘法題中,原版 Qwen 答對 22 道,Qwenputer 答對 39 道;原版 Qwen 接入外部 Python 後則全部答對。CPU 本身可以準確執行指令,但大模型仍可能在調用或輸出結果時出錯。
這條技術路綫已有先例。今年 3 月,Percepta 就用神經網絡實現了一台可以運行 C 程序的虛擬計算機。不過,它是專門構建的模型。Qwenputer 則把類似的計算能力接入已經訓練好的 Qwen,讓語言模型在生成回答時,也能使用內部 CPU 執行計算。
不過,這套方案目前效率很低。大量零值參數將模型文件撐至 18.8GB,約為原版兩倍,計算速度也遠不如外部工具。
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊