英伟达:多GPU UMAP可在8分钟处理870GB向量数据,最高提速74倍

BiRun 讯,8 月 19 日,英伟达发布技术博客称,其 cuML 与 cuVS 新增多 GPU UMAP 能力,可将大规模向量数据的降维处理分布至多张 GPU 上执行,在保持嵌入质量的同时显著缩短运行时间。

英伟达表示,在配备 8 张 H100 GPU 的 DGX 系统上,对包含 1.06 亿个向量的 MIRACL 数据集进行测试时,数据规模约 870GB,cuML 多 GPU UMAP 可在 8 分钟内完成端到端处理,相较预计的 CPU 实现速度最高提升 74 倍;此前 CPU 方案即使使用 2TB 内存也无法完成全量处理。

该方案通过将数据划分为多个集群,在不同 GPU 上并行构建局部 k 近邻(kNN)图,再合并为全局图,从而突破单 GPU 显存限制。英伟达称,该技术可将此前需要数小时甚至数天处理的数百 GB 级 UMAP 任务压缩至数分钟。
利多 NVDA(英伟达)
你怎么看这条消息?来投第一票

评论

0/500
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯