基于SAE和LSTM RNN的多模态生理信号融合和情感识别研究  

Study of emotion recognition based on fusion multi-modal bio-signal with SAE and LSTM recurrent neural network

作　　者：李幼军 黄佳进[1,2,3] 王海渊 钟宁[1,2,3,4] 

机构地区：[1]北京工业大学国际WIC研究院,北京100124 [2]磁共振成像脑信息学北京市重点实验室,北京100124 [3]脑信息智慧服务北京市国际科技合作基地,北京100124 [4]北京未来网络科技高精尖创新中心,北京100124

出　　处：《通信学报》2017年第12期109-120,共12页Journal on Communications

基　　金：国家自然科学基金资助项目(No.61420106005);国家重点基础研究发展计划基金资助项目(No.2014CB744600);国家国际科技合作专项基金资助项目(No.2013DFA32180)~~

摘　　要：为了提高情感识别的分类准确率,提出一种将栈式自编码神经网络(SAE)和长短周期记忆单元循环神经网络(LSTM RNN)融合的多模态融合特征情感识别方法。该方法通过SAE对不同模态的生理特征进行信息融合和压缩,随后用LSTM RNN对长时间周期的融合进行情感分类识别。通过将该方法用到开源数据集中进行验证,得到情感分类准确率达到0.792 6。实验结果表明,SAE对多模态生理特征进行了有效融合,LSTM RNN能够有效地对长时间周期中的关键特征进行识别。In order to achieve more accurate emotion recognition accuracy from multi-modal bio-signal features, a novel method to extract and fuse the signal with the stacked auto-encoder and LSTM recurrent neural networks was proposed. The stacked auto-encoder neural network was used to compress and fuse the features. The deep LSTM recurrent neural network was employed to classify the emotion states. The results present that the fused multi-modal features provide more useful information than single-modal features. The deep LSTM recurrent neural network achieves more accurate emotion classification results than other method. The highest accuracy rate is 0.792 6

关 键 词：多模态生理信号情感识别 栈式自编码神经网络 长短周期记忆循环神经网络 多模态生理信号融合 

分 类 号：TP181[自动化与计算机技术—控制理论与控制工程] TP183[自动化与计算机技术—控制科学与工程]