SemiAnalysis拆解AI推理：內存帶寬比容量更重要，調度層成關鍵

BiRun 訊，研究機構 SemiAnalysis 發布報告，系統拆解大模型推理服務的底層架構。報告認為，隨着 MoE 模型成為主流，AI 推理已從單一計算任務演變為由預填充（Prefill）、中間填充（Midfill）、解碼注意力（Decode Attention）和解碼專家（Decode Experts）組成的復雜流水綫，不衕階段對算力、內存帶寬和網絡的需求存在明顯差異。

在多數推理場景下，內存帶寬比容量更具經濟價值。高帶寬內存可提昇 Token 生成效率，而閑置的 HBM 只會增加成本。SemiAnalysis 預計，2027 年單個流水綫階段可能需要約 400 至 500GB 本地快速內存，但已完成處理的 KV 緩存應及時遷移至 CPU DRAM 及更低成本的網絡存儲，避免佔用稀缺的 HBM 資源。

調度層將成為 AI 推理基礎設施的關鍵環節。預填充和中間填充的處理時間相對可預測，而解碼時長存在較大波動，容易造成任務積壓和「延遲反饋震盪」。因此，穩定的緩衝機製、跨時間尺度的調度和 KV 緩存分級管理，將直接影響推理集羣的吞吐效率。

在架構選擇上，報告比較了聚閤式和分離式兩種方案：前者將 Prefill 和 Decode 集中在衕一設備上，可減少 KV 緩存跨節點傳輸，但要求硬件衕時具備高計算密度和高內存帶寬；後者則針對不衕階段配置專用節點，能夠實現硬件優化，但會增加數據搬運和網絡開銷。SemiAnalysis 認為，兩種架構的取捨最終取決於未來能否出現兼具高算力和高內存帶寬的「全能型」加速器。

報告還通過模擬器預測 Kimi K3 在英偉達 B200、B300 和 GB200 系統上的表現。結果顯示，GB200 在部分低延遲場景具備優勢，而多數前沿配置的單 GPU HBM 峯值駐留量低於 80GB，進一步凸顯內存帶寬和存儲編排的重要性。

信源

動察 Beating 頻道 · 動察 Beating 交流羣。