融入多尺度特征注意力的胶囊神经网络及其在文本分类中的应用  

Capsule Network with Multi-scale Feature Attention for Text Classification

作　　者：王超凡 琚生根[1] 孙界平[1] 陈润[1] WANG Chaofan;JU Shenggen;SUN Jieping;CHEN Run(School of Computer Science,Sichuan University,Chengdu,Sichuan 610065,China)

机构地区：[1]四川大学计算机学院,四川成都610065

出　　处：《中文信息学报》2022年第1期65-74,共10页Journal of Chinese Information Processing

基　　金：国家自然科学基金(61972270);四川省新一代人工智能重大专项(2018GZDZX0039);四川省重点研发项目(2019YFG0521)。

摘　　要：近些年来,胶囊神经网络(Capsnets)由于拥有强大的文本特征学习能力而被应用到文本分类任务中。目前的研究工作大都将提取到的文本多元语法特征视为同等重要,而忽略了单词所对应的各个多元语法特征的重要程度由具体上下文决定的这一事实,这将直接影响到模型对整个文本的语义理解。针对上述问题,该文提出了多尺度特征部分连接胶囊网络(MulPart-Capsnets)。该方法将多尺度特征注意力融入到Capsnets中,多尺度特征注意力能够自动选择不同尺度的多元语法特征,通过对其进行加权求和,就能为每个单词精确捕捉到丰富的多元语法特征。同时,为了减少子胶囊与父胶囊之间的冗余信息传递,该文也对路由算法进行了改进。该文提出的算法在文本分类任务上针对7个著名的数据集进行了有效性验证,和现有的研究工作相比,性能提高显著,说明该文的算法能够捕获文本中更丰富的多元语法特征,具有更加强大的文本特征学习能力。In recent years,Capsule Neural Networks(Capsnets)have been successfully applied to text classification.In existing studies,all n-gram features play equal roles in text classification,without capturing the importance of each n-gram feature in the specific context.To address this issue,this paper proposes Partially-connected Routings Capsnets with Multi-scale Feature Attention(MulPart-Capsnets)by incorporating multi-scale feature attention into Capsnets.Multi-scale feature attention can automatically select n-gram features from different scales,and capture accurately rich n-gram features for each word by weighted sum rules.In addition,in order to reduce the redundant information transferring between child and parent capsules,dynamic routing algorithm is also improved.In order to verify the effectiveness of the proposed model,our experiments are conducted on seven well-known datasets in text classification.The experimental results demonstrate that the proposed model consistently improves the performance of classification.

关 键 词：胶囊神经网络 多尺度特征注意力 文本分类 路由算法 卷积神经网路 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]