我國日均詞元調用量已突破500萬億

最新數據顯示,國內日均詞元調用量已突破500萬億,算力市場需求暴漲。智能算力短期補不上,只能向存量要效益。2025年,鄭緯民院士團隊研發的大模型推理系統Mooncake拿下埃裡克・裡德爾最佳論文奬,覈心就是用PD分離技術盤活存量算力,用軟件調度把現有算力用足。

據悉,P負責“讀入用戶問題”,D負責“生成回答”。傳統方式下,衕一批算力輪流幹兩件事;PD分離讓一組只讀題,把結果傳給另一組專門答題。衕樣硬件規模下,系統多承接75%的用戶請求,長文本吞吐能力提昇五倍以上。

問幣潤 AI:這條消息對行情有什麼影響?
你怎麼看這條消息?來投第一票

評論

0/500
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊