CNN融合Transformer在图像分类中的模型研究  

作　　者：王鑫玮 冯锋 

机构地区：[1]宁夏大学信息工程学院,宁夏银川750021

出　　处：《物联网技术》2025年第7期129-133,共5页Internet of things technologies

基　　金：宁夏自然科学基金重点项目(2024AAC02011)。

摘　　要：近年来,深度学习算法的流行对物联网技术发展和社会发展起到了很大的推动作用。在图像分类领域,传统的卷积神经网络(CNN)存在一定缺陷,其在特征提取时,卷积操作会使模型对长距离的像素关系感知能力较弱,鲁棒性较差。而Transformer借助自注意力机制能够捕捉各个序列的位置依赖关系,能更好地建模长距离依赖关系,在处理具有空间关系的图像时可发挥很好的作用。基于此,结合CNN和Transformer的优点设计了一种新模型CTM。该模型在CNN中加入注意力机制,这让模型有了更好的鲁棒性。图像数据经过CNN下采样后再加入注意力机制,可降低运算量并提升效率。该模型在对相同数据集进行CNN和Transformer对比训练测试后发现,融合了Transformer的CNN模型准确率相比CNN和Transformer分别提升了17.9个百分点和12.5个百分点,性能更佳,从而验证了所设计的模型在图像分类领域性能有所优化。

关 键 词：工业智能化 卷积神经网络 TRANSFORMER 图像分类 算法优化 深度学习 

分 类 号：TP391.4[自动化与计算机技术—计算机应用技术]