LAOIS:多层次融合的图文贴纸情感分析模型  

作　　者：李伟 王东娟[1] LI Wei;WANG Dongjuan

机构地区：[1]三峡大学计算机与信息学院,湖北宜昌443002

出　　处：《信息技术与信息化》2024年第12期186-188,196,共4页Information Technology and Informatization

摘　　要：随着社交媒体和聊天应用的普及,多模态的图文数据已成为用户情感表达的主要途径之一。由于图文数据在空间上呈现独立性,但又具有明显的语义关联,现有方法忽略了模态之间的双向关联性和互补性,导致模型提取的特征无法全面反映多模态数据的内在关联。针对上述问题,文章提出了多层次特征融合的贴纸情感分析模型,在浅层通过对比学习策略,实现模态之间的信息共享和转移,深度挖掘样本之间的语义相关性;在深层将不同模态的信息结合,提高模型对多模态数据的整体抽象能力,捕捉模态间的互补性;多层次的特征融合提取出具有双向关联性和互补性的综合特征用于情感分析。在公开数据集MVAS-single上的情感分类准确率和F_1值分别提高2.44%和1.05%,验证了该方法的有效性。

关 键 词：图文情感分析 特征提取 多模态特征融合 对比学习 

分 类 号：G63[文化科学—教育学]