检索规则说明:AND代表“并且”;OR代表“或者”;NOT代表“不包含”;(注意必须大写,运算符两边需空一格)
检 索 范 例 :范例一: (K=图书馆学 OR K=情报学) AND A=范并思 范例二:J=计算机应用与软件 AND (U=C++ OR U=Basic) NOT M=Visual
作 者:罗元[1] 李丹 张毅[2] LUO Yuan;LI Dan;ZHANG Yi(Institute of Photoelectric Engin.,Chongqing University of Posts and Telecommunications,Chongqing 400065,CHN;Engin.Research Center for Information Accessibility and Service Robots,Chongqing University of Posts and Telecommunications,Chongqing 400065,CHN)
机构地区:[1]重庆邮电大学光电工程学院,重庆400065 [2]重庆邮电大学信息无障碍与服务机器人工程技术研究中心,重庆400065
出 处:《半导体光电》2020年第3期414-419,共6页Semiconductor Optoelectronics
基 金:国家自然科学基金项目(61801061);重庆市教委科学技术研究项目(KJQN201800607)。
摘 要:手语识别广泛应用于聋哑人与正常人之间的交流中。针对手语识别任务中时空特征提取不充分而导致识别率低的问题,提出了一种新颖的基于时空注意力的手语识别模型。首先提出了基于残差3D卷积网络(Residual 3DConvolutional Neural Network,Res3DCNN)的空间注意力模块,用来自动关注空间中的显著区域;随后提出了基于卷积长短时记忆网络(Convolutional Long Short-Term Memory,ConvLSTM)的时间注意力模块,用来衡量视频帧的重要性。所提算法的关键在于在空间中关注显著区域,并且在时间上自动选择关键帧。最后,在CSL手语数据集上验证了算法的有效性。Sign language recognition is widely used in communication between deaf-mute and ordinary people.In adequate extraction of spatial-temporal features in sign language recognition task is likely to result in low recognition rate.In this paper,proposed is a novel sign language recognition model based on spatial-temporal attention which can learn more discriminative spatial-temporal features.Specially,a new spatial attention module based on residual 3Dconvolutional neural network(Res3DCNN)is proposed,which automatically focus on the salient areas in the spatial region.Then,to measure the importance of video frames,a new temporal attention module based on convolutional long short-term memory(ConvLSTM)is introduced.The crucial purpose of the proposed model is to focus on the salient areas spatially and pay attention to the key video frames temporally.Lastly,experimental results demonstrate the efficiency of the proposed method on the Chinese sign language(CSL)dataset.
关 键 词:手语识别 时空注意力 残差3D网络 卷积LSTM网络
分 类 号:TP391[自动化与计算机技术—计算机应用技术]
正在载入数据...
正在载入数据...
正在载入数据...
正在载入数据...
正在载入数据...
正在载入数据...
正在载入数据...
正在链接到云南高校图书馆文献保障联盟下载...
云南高校图书馆联盟文献共享服务平台 版权所有©
您的IP:216.73.216.38