Perplexity开源新Embedding模型:整篇一起读,切块也能带着上下文

BiRun 讯,Perplexity 开源新的上下文 embedding 模型 pplx-embed-v2-context-9b-preview,主要用于 RAG 检索。普通 embedding 通常把长文档切成小块后分别理解,新模型会把这些块一起编码,让每一块生成向量时都能参考整篇文档的上下文。模型已在 Hugging Face 开放,采用 MIT 许可证。

比如一段文字只写「它增长了 20%」,单独拿出来很难知道「它」是谁。新模型可以结合文档其他部分理解这句话。训练时,它还专门学习同时找回答案和支撑答案的其他段落,让后续 AI 不只拿到答案,还能拿到验证答案所需的证据。

在 turbopuffer 设计的 context-bench 盲测中,新模型的 Answer@10 达到 45.5%,比 Voyage Context 4 高 14.4 个百分点;Evidence Recall@10 为 40.6%,高 5 个百分点。测试包含 38,894 篇长文档和 2,099 个查询,题目不公开,可以降低测试集被训练数据污染的风险。

模型目前还是 Preview 版本。Perplexity 提醒,后续权重、接口和生成的 embedding 都可能变化,所以现在生成的向量不一定能直接和未来版本混用。

信源

动察 Beating 频道 · 动察 Beating 交流群。
利多 查看原文
你怎么看这条消息?来投第一票

评论

0/500
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯