云南高校图书馆联盟文献共享服务平台- 检索结果

检索结果分析

检索条件："关键词=大语言模型推理系统 "

共条记录，以下是1-1

全选清除导出

视图：

排序：

显示条数：

大语言模型推理中的存储优化技术综述: 《计算机研究与发展》2025年第3期545-562,共18页葛旭冉欧洋王博赵宇吴利舟王子聪陈志广肖侬; 国家自然科学基金项目(62272499,62332021);国家重点研发计划项目(2022YFB4500304);广东省基础与应用基础研究重大项目(2019B030302002);广东省高层次人才培养专项支持计划项目(2021TQ06X160);琶洲实验室项目(PZL2023KF0001)。; 近年来,大语言模型在多个领域展现出卓越的性能,显著改变了人类的生活方式.然而,随着模型规模的不断增长和用户对长上下文推理需求的增加,大语言模型推理系统在存储方面面临诸多问题.首先,庞大的模型参数和键值缓存导致GPU显存资源不足...; 关键词：大语言模型推理系统显存管理异构存储分布式存储故障恢复无服务大语言模型推理

全选清除导出

共1页<1>