重要 基础设施转向：Agentic Traffic 为何打破批量推理

BiRun 消息，过去两年，AI 基础设施世界一直痴迷于吞吐量，简单地将大型语言模型（LLMs）当作高性能批处理器，优化每秒可处理的令牌数量，但随着从简单聊天机器人向更复杂应用的转变，Agentic Traffic 正在打破批量推理。