华为升腾950PR矩阵计算仅H100四成速度,DeepSeek正从软件里挤性能
BiRun 讯,动察 Beating AI 快讯,去年,DeepSeek 尝试用华为升腾芯片训练 R2,华为工程师驻场协助也没能跑通。芯片稳定性、跨卡通信和软件支持都存在问题。今年双方继续深入合作。9 月底,DeepSeek 集中公开了六套升腾适配代码;10 月又传出华为正在按照 DeepSeek 的模型需求调整下一代芯片设计。
半导体研究机构 SemiAnalysis 最近公布了升腾 950PR 的实测结果。研究人员选取 1055 组大模型常用的矩阵计算,发现华为自己的底层程序已经让 950PR 发挥出自身 86% 的可达算力,高于英伟达 H100 的 75.5%。可实际运算速度仍只有 H100 的 43%,与更新的 B300 相比更只有 21%。这组成绩还没用上 DeepSeek 新移植的算子。
DeepSeek 正在从软件里减少数据搬运和等待时间。比如运行注意力计算时,原本需要分别读取的两份数据,经过 FlashMLA 调整存储方式后,一次就能取齐。另一套工具 TileLang 可以让芯片一边计算,一边提前加载下一批数据。SemiAnalysis 实测,自动调度让部分小型计算任务的耗时最多减少约 40%。DeepSeek 还移植了负责 MoE 专家通信的 DeepEP,但通信与计算仍会争抢内存带宽,华为计划继续改进固件。
此次测试的 950PR 主要面向推理输入处理,DeepSeek 准备最快年底用于大规模预训练的是 950DT。此前双方已开展千卡级测试,但要让上万颗芯片连续完成一轮大模型训练,还需要解决更复杂的协同和稳定性问题。
半导体研究机构 SemiAnalysis 最近公布了升腾 950PR 的实测结果。研究人员选取 1055 组大模型常用的矩阵计算,发现华为自己的底层程序已经让 950PR 发挥出自身 86% 的可达算力,高于英伟达 H100 的 75.5%。可实际运算速度仍只有 H100 的 43%,与更新的 B300 相比更只有 21%。这组成绩还没用上 DeepSeek 新移植的算子。
DeepSeek 正在从软件里减少数据搬运和等待时间。比如运行注意力计算时,原本需要分别读取的两份数据,经过 FlashMLA 调整存储方式后,一次就能取齐。另一套工具 TileLang 可以让芯片一边计算,一边提前加载下一批数据。SemiAnalysis 实测,自动调度让部分小型计算任务的耗时最多减少约 40%。DeepSeek 还移植了负责 MoE 专家通信的 DeepEP,但通信与计算仍会争抢内存带宽,华为计划继续改进固件。
此次测试的 950PR 主要面向推理输入处理,DeepSeek 准备最快年底用于大规模预训练的是 950DT。此前双方已开展千卡级测试,但要让上万颗芯片连续完成一轮大模型训练,还需要解决更复杂的协同和稳定性问题。
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯