LPGEMM:低精度通用矩阵乘法计算模拟框架研究  

作　　者：黄浩岚 罗铁清[1] 文梅[2,3] 曹亚松 时洋 HUANG Haolan;LUO Tieqing;WEN Mei;CAO Yasong;SHI Yang

机构地区：[1]湖南中医药大学,湖南长沙410208 [2]国防科技大学,湖南长沙410073 [3]先进微处理器芯片与系统重点实验室,湖南长沙410073

出　　处：《信息技术与信息化》2024年第2期108-113,共6页Information Technology and Informatization

摘　　要：通用矩阵乘(GEMM)算子是AI模型的核心计算,使用低精度数值格式加速GEMM对加速模型的推理和训练有重要影响。由于并不总是有合适的硬件可供选择,而且人们可能希望实验尚未在硬件中实现的新GEMM计算行为,但很难通过构建硬件的方式去进行不同计算行为的GEMM模拟,如何在算子内部进行细粒度模拟还没有被深入研究。通过提出LPGEMM——一个低精度GEMM计算模拟框架来模拟GEMM的计算过程,重新编写了GEMM算子,实现了可变分组累加长度以及低精度累加器,同时还实现了训练和推理全过程的GEMM相关数据统计,来支持用户探索模型精度的下限。实验结果证实了相较于此前的一些工作,所提出的方法模拟最高可减少56%的平均误差。

关 键 词：深度学习 用户探索模型 通用矩阵乘 低精度 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程]