Liquid AI发布超低延迟推理引擎，瞄准搜索、广告和支付风控

BiRun 讯，Liquid AI 发布了实时推理引擎 RIPL，让自家的小型 AI 模型能在几十毫秒内完成生成，瞄准搜索排序、广告匹配、支付风控等对速度要求很高的业务。

这些领域早就有成熟的 AI 模型，但通常需要针对具体任务进行训练。语言模型可以直接理解用户输入、生成关键词或给出判断，只是推理速度往往跟不上实时业务。

RIPL 是一套专门加速 Liquid AI 现有模型的运行系统，优化从收到请求到返回完整结果的整个过程。

官方使用单张 NVIDIA B200 测试。在每秒 1000 次请求、输入输出各 32 Token 的条件下，1.2B 参数的 LFM2.5 有 95% 的请求在 34.6 毫秒内完成。作为对比，Qwen3.5-0.8B 搭配 vLLM 需要约 498 毫秒，相差 14.4 倍。

信源

动察 Beating 频道 · 动察 Beating 交流群。