高性能的云端推理AI加速器设计  

Design of High-performance Cloud Inference AI Accelerator

作　　者：赵立东 胡侨娟 刘彦 ZHAO Lidong;HU Qiaojuan;LIU Yan(Shanghai Enflame Technology Co.,Ltd.,Shanghai 201203,China)

机构地区：[1]上海燧原科技股份有限公司,上海201203

出　　处：《集成电路应用》2024年第7期1-3,共3页Application of IC

摘　　要：阐述云推理服务需要高性能和高功耗效率的人工智能(AI)加速器。Cloudblazer i20加速器通过精心的硬件-软件协同设计,具有高带宽的大容量多级内存层次结构、高效的矩阵计算和内存访问的并行性,并通过动态功耗管理,对功耗进行优化,降低了功耗。This paper expounds that Cloud inference services require high-performance and power-efficient artificial intelligence(AI)accelerators.Our product,the Cloudblazer i20 accelerator,provides excellent performance and power efficiency through careful hardware-software co-design.The Cloudblazer i20 features a high-bandwidth,large-capacity multi-level memory hierarchy,efficient parallelism in matrix computations and memory access,and optimized power management through dynamic power optimization to minimize power consumption.

关 键 词：电路设计 加速器 人工智能 动态功耗管理 高效矩阵计算 

分 类 号：TN402[电子电信—微电子学与固体电子学] TP183[自动化与计算机技术—控制理论与控制工程] TP333[自动化与计算机技术—控制科学与工程]