久冉科技

热点

DeepSeek开源第三弹,300行DeepGEMM代码开源!仅支持英伟达Hopper架构运算,代码库设计非常简洁

时间:2025-02-26 10:40 阅读:

  DeepSeek开源周第三日,在宣布开源MLA解码核FlashMLA以及DeepEP两款代码库后,DeepSeek今日再次宣布开放了DeepGEMM代码库。

  据DeepSeek方面介绍,DeepGEMM是专为简洁高效的FP8通用矩阵乘法而设计,它同时支持普通的和专家混合分组的GEMM运算。该库使用CUDA编写,在安装过程中无需编译,通过在运行时使用轻量级即时编译模块来编译所有内核。

  目前,DeepGEMM仅支持英伟达Hopper架构运算,为解决FP8张量核心累加不精确的问题,它采用了CUDA核心的两级累加方法。该代码库设计非常简洁,只有一个核心内核函数,代码量约为300行。