智譜新模型被曝最高3.5萬億參數,有望達到Claude Fable級別
BiRun 訊,一份在投資社區流傳的專家訪談紀要稱,智譜下一代基座模型並非此前傳聞的 1.6 萬億參數,而是達到 2.5 萬億至 3.5 萬億參數。
智譜今年 8 月發布的 GLM-5.3 仍沿用上一代基座,總參數約 7440 億。如果消息屬實,新基座規模將擴大至現款的約 3.4 至 4.7 倍。
不過,訓練過程並不順利。紀要稱,智譜這次採用了更激進的模型架構,預訓練期間一度出現 Loss 不降,也就是持續投入算力,訓練指標卻無法繼續改善。
受訪者認為問題最近應該已經解決,預計很快完成訓練,並預測新模型能夠達到 Claude Fable 級別的旂艦水平。
新模型還想解決大模型發布後「發得出、供不上」的問題。紀要稱,智譜從架構設計階段就將推理速度和成本作為硬約束,目標是發布首日便能大規模提供服務,衕時已有多家雲廠商洽談收入分成。
信源
動察 Beating 頻道 · 動察 Beating 交流羣。
智譜今年 8 月發布的 GLM-5.3 仍沿用上一代基座,總參數約 7440 億。如果消息屬實,新基座規模將擴大至現款的約 3.4 至 4.7 倍。
不過,訓練過程並不順利。紀要稱,智譜這次採用了更激進的模型架構,預訓練期間一度出現 Loss 不降,也就是持續投入算力,訓練指標卻無法繼續改善。
受訪者認為問題最近應該已經解決,預計很快完成訓練,並預測新模型能夠達到 Claude Fable 級別的旂艦水平。
新模型還想解決大模型發布後「發得出、供不上」的問題。紀要稱,智譜從架構設計階段就將推理速度和成本作為硬約束,目標是發布首日便能大規模提供服務,衕時已有多家雲廠商洽談收入分成。
信源
動察 Beating 頻道 · 動察 Beating 交流羣。
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊