基于3D-CNN和时空注意力-卷积LSTM的抑郁症识别研究  

Automatic depression estimation using 3D-CNN and STA-Conv LSTM from videos

作　　者：何浪 HE Lang(School of Computer Science and Technology,Xi'an University of Posts and Telecommunications,Xi'an Shaanxi 710121;Shaanxi Key Laboratory of Network Data Analysis and Intelligent Processing,Xi'an University of Posts and Telecommunications,Xi'an Shaanxi 710121)

机构地区：[1]西安邮电大学计算机学院,陕西西安710121 [2]西安邮电大学陕西省网络数据分析与智能处理重点实验室,陕西西安710121

出　　处：《首都师范大学学报（自然科学版）》2021年第2期17-25,共9页Journal of Capital Normal University：Natural Science Edition

基　　金：陕西省教育厅科研计划项目(20JG030);陕西省普通高等学校重点学科专项资金建设项目;陕西省高等教育学会“疫情防控专项研究课题”(XGH20201);陕西省提升公众科学素质计划(新型冠状病毒感染肺炎应急科普)(2020PSL(Y)040)。

摘　　要：针对目前抑郁症识别方法中没有有效地从序列信息中刻画长时特征表示的问题,本文提出了一种基于三维卷积神经网络(3D-CNN)、时空注意力-卷积长短时记忆网络(STA-ConvLSTM)和空间金字塔池化(SPP)的端到端的抑郁症识别方法,计算在数据库AVEC2013和AVEC2014测试集上的抑郁症识别结果,并将本文结果与已发表文献结果进行对比分析.结果表明:在数据库AVEC2013和AVEC2014测试集上,平均绝对误差均为8.60,均方根误差分别为10.32和10.27,文献结果比较表明本文的抑郁症识别结果优于当前大多数基于面部视频的抑郁症识别方法.To represent the longterm temporal information from the facial image sequences,in this paper we propose to an end-to-end architecture,which adopts 3 D Convolutional Neural Network(3 D-CNN),Spatial Pyramid Pooling(SPP),and Spatial-Temporal Attention based ConvLSTM(STA-ConvLSTM)networks for depression recognition.On the test set of AVEC2013 and AVEC2014,this approach obtains the RMSE as 10.32 and 10.27,and the same MAE as 8.60,respectively,which are lower than those of most of the state of the art video-based depression recognition methods.

关 键 词：抑郁症 时空注意力机制ConvLSTM(STA-ConvLSTM) 三维卷积神经网络 卷积长短时记忆神经网络 

分 类 号：TP391.4[自动化与计算机技术—计算机应用技术]