多模态情感识别综述  

Survey on multimodal emotion recognition

作　　者：程大雷 张代玮 陈雅茜[1] CHENG Da-lei;ZHANG Dai-wei;CHEN Ya-xi(School of Computer Science and Engineering,Southwest Minzu University,Key Laboratory of Computer System of the State Ethnic Affairs Commission,Chengdu 610041,China)

机构地区：[1]西南民族大学计算机科学与工程学院计算机系统国家民委重点实验室,四川成都610041

出　　处：《西南民族大学学报（自然科学版）》2022年第4期440-447,共8页Journal of Southwest Minzu University(Natural Science Edition)

基　　金：四川省科技计划(2019YFH0055);国家外国专家项目(G2021186001L);2021年研究生创新型科研项目(CX2021SZ54)。

摘　　要：针对多模态情感识别这一新兴领域,分别从数据集、多模态特征表示以及多模态情感融合等三方面进行系统探索.特别针对多模态情感融合这一重点问题,分别对特征级融合、决策级融合、模型级融合这三个主流的融合策略进行了探讨.最后从引入新模态和多模态融合等方面对未来研究方向进行了展望.In view of the emerging field of multimodal emotion recognition,this paper explores systematically from three aspects:dataset,multimodal feature representation and multimodal emotion fusion.Especially for the key problem of multimodal emotion fusion,three main fusion strategies of feature level fusion,decision level fusion and model level fusion are discussed respectively.Finally,the future research directions are prospected from the aspects of introducing new modes and multimodal alignment.

关 键 词：多模态情感识别 特征表示 多模态情感融合 

分 类 号：TP391.4[自动化与计算机技术—计算机应用技术]