面向云端大型语言模型工作负载的AI感知编排框架  

作　　者：叶子 周子翔 应若愚 

机构地区：[1]上海交通大学密西根学院 [2]上海位育中学 [3]Intel亚太研发有限公司

出　　处：《软件和集成电路》2024年第11期74-76,共3页Software and Integrated Circuit

摘　　要：目前,将LLM工作负载部署在云端已逐渐普遍,但LLM需要平衡多维需求,这对基础工具来说较难处理。引入AI感知的编排框架,可以从调度、负载缩扩容和优化数据管理等方面优化LLM的性能。大型语言模型(LLM)的训练需要在海量数据集上完成,对计算资源的需求通常超出普通个人电脑的处理能力。同时,运营LLM项目在高端硬件上的投入成本较高,企业较难达到理想的成本效益。相比之下,云计算可以扩展并利用广泛的计算能力,展现了承载大规模LLM工作负载的潜力。此外,云上广泛的应用程序接口(API)和框架也极大简化了LLM的使用。

关 键 词：个人电脑 云计算 工作负载 语言模型 海量数据集 AI 成本效益 计算能力 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程] TP393.09[自动化与计算机技术—控制科学与工程]