llm-d 1.0推出DeepSeek未開源服務層

據Forkast發布，llm-d 1.0發布DeepSeek未開源的服務層，讚助商銷售託管版本。DeepSeek開源其生產推理引擎時，代碼倉庫列出了完整服務棧所需但未提供的三項組件：KV緩存系統、預填充與解碼分離，以及跨數據並行副本的負載均衡。在PyTorch Conference上，Google、Red Hat和。