基于申威CPU的大型语言模型推理研究与应用  

作　　者：陈伟 

机构地区：[1]中电科申泰信息科技有限公司,江苏无锡214000

出　　处：《物联网技术》2025年第8期111-114,118,共5页Internet of things technologies

摘　　要：目前,ChatGPT、LLaMA、Gemini等大型语言模型已取得了显著突破,对自然语言处理领域产生了深远影响。然而,这些模型通常拥有数百亿甚至数千亿个参数,在部署时对计算资源和存储需求极高,导致其在计算资源有限的平台上难以应用。为此,介绍了当前主流的模型压缩方法,并结合llama.cpp项目,提出了一种在申威平台上利用纯CPU进行大型语言模型部署的方案。文章还针对不同的模型量化方式及多线程推理进行了总结与归纳,为大型语言模型在申威平台上的实际应用提供了实用指导。

关 键 词：申威 自然语言处理 大型语言模型 模型压缩 模型量化 推理提速 

分 类 号：TP181[自动化与计算机技术—控制理论与控制工程]