基于UniLM预训练的改进数学问答模型  

作　　者：林云 

机构地区：[1]厦门大学嘉庚学院,福建漳州363105

出　　处：《物联网技术》2024年第10期120-122,125,共4页Internet of things technologies

摘　　要：自然语言处理(NLP)技术,在个性化内容推荐系统、对话式人工智能等多个领域发挥着重要作用。在NLP领域,词嵌入和长短时记忆网络(LSTM)等神经网络模型取得了显著进展,提升了自然语言处理的能力。尽管这些模型在实际应用中表现出色,但它们通常需要大量数据来进行训练,这在一定程度上限制了模型训练的效果和泛化能力。因此,研究者们一直在探索新的方法来提高模型的训练效率,同时减少对大规模数据集的依赖。研究提出了一种改进的统一预训练语言模型(UniLM),它结合了Transformer和注意力机制模型的优势,能够完成从单向到双向的多种语言预测任务。在大规模数学问答数据集的实验中,改进的模型展现出比传统模型更优的性能,准确率最高达80.56%,证明了其在自然语言处理任务中的能力。

关 键 词：自然语言处理 自然语言生成 无监督预训练 有监督微调 UniLM 双向预测 

分 类 号：TP3-0[自动化与计算机技术—计算机科学与技术]