基于检索增强和模态融合机制的视觉情感分析  

作　　者：程立 张虹 CHENG Li;ZHANG Hong

机构地区：[1]太原师范学院,山西晋中030012

出　　处：《信息技术与信息化》2025年第4期74-79,共6页Information Technology and Informatization

摘　　要：现有视觉情感分析方法通常直接将视觉特征输入单一视觉模型,使图像与情感之间存在巨大情感鸿沟,为提升视觉情感分析的效果,文章提出了检索增强视觉情感分析模型(multimodal information retrieval-augmented,MIRA),可以有效连接图像与情感。通过图像特征检索相关文本,将检索到的文本特征与图像特征融合表示以进行情感分析。在多个数据集上的实验结果表明,MIRA模型在情感分类任务中表现优异,尤其在处理模糊或复杂情感图像时显著提高了分类准确性。

关 键 词：图像情感分析 CLIP 多模态融合 检索增强 交叉注意力 

分 类 号：TP391.41[自动化与计算机技术—计算机应用技术]