基于自注意力机制的经典——量子混合神经网络  

作　　者：赵晶晶 

机构地区：[1]中移(苏州)软件技术有限公司

出　　处：《江苏通信》2024年第5期104-107,132,共5页Jiangsu Communication

摘　　要：当前人工智能大模型技术愈发成熟,但是如何使用量子神经网络构建大模型的基本网络结构自注意力网络、引入自注意力网络中的上下文关联性建模,并避免对量子数据集产生过拟合等问题,仍然有待解决。提出一种基于自注意力机制的经典—量子混合神经网络QPSAN,该算法将经典注意力网络中的位置编码与量子振幅编码相结合,增强网络中数据特征的空间上下文关联性,以提升经典—量子混合神经网络在手写识别任务上的准确率,并设计结合L2约束的交叉熵损失函数,减少训练过程中的过拟合程度。提出的方法在手写识别数据集MNIST上进行了实验。结果表明,该方法相比于基线算法QKSAN在手写识别任务上准确率提升了2.9%,并能显著避免训练过程中的过拟合现象。

关 键 词：量子神经网络 参数化量子线路 自注意力机制 人工智能 模式识别 

分 类 号：TP183[自动化与计算机技术—控制理论与控制工程] TP391.41[自动化与计算机技术—控制科学与工程]