基于循环和卷积神经网络的文本分类研究  

Recurrent Neural Networks and Convolutional Neural Networks for Text Classification

作　　者：刘腾飞 于双元[1] 张洪涛 尹鸿峰[2] 

机构地区：[1]北京交通大学计算机与信息技术学院,北京100044 [2]北京交通大学海滨学院计算机科学系,河北黄骅061199

出　　处：《软件》2018年第1期64-69,共6页Software

基　　金：河北省高等教育科技研究重点项目(ZD2017304)

摘　　要：文本表示是自然语言处理的基础工作,好的文本表示方法对文本分类等自然语言处理任务的性能起着决定性作用。本文描述了一个结合了循环网络和卷积网络的文本表示和分类网络模型。在该模型中,我们使用词向量作为输入,用循环网络对文档进行表示,然后采用卷积网络对文档进行有效的特征提取,再采用Softmax回归分类。循环网络能够捕捉到文档的中词序信息,而卷积网络能够很好的提取出有用的特征。我们在六个文本分类任务中测试本文所描述的网络模型,都取得了比先前的方法更出色的性能。Text classification is a classic task of natural language processing （NLP）. For many NLP tasks, a better text representation method will take a better performance, such as text classification. In this paper, we describe a model BRNN （bidirectional recurrent and convolutional） which combines with recurrent neural networks （RNN） and convolutional neural networks （CNN） for text representation and classification. In our model, the inputs are the word vectors, then we apply a recurrent structure to get more contextual information of a document, and then is a convolution structure which can effectively extract the features of a document, finally, we use the softmax function for classification. The RNN can capture the word order information in a document, and the CNN can extract the useful features effectively of a document. We test our model on 6 benchmarks text classification datasets, and we get a better performance than the state-of-the-art methods.

关 键 词：自然语言处理 神经网络 表示学习 词向量 文本分类 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术]