基于改进BERT的中文文本分类  

Chinese Text Classification Based on Improved BERT

作　　者：严佩敏[1] 唐婉琪 

机构地区：[1]上海大学通信与信息工程学院,上海200444

出　　处：《工业控制计算机》2020年第7期108-110,112,共4页Industrial Control Computer

摘　　要：BERT是近两年提出的最为综合性的语言模型,在各项自然语言处理任务中都有不俗的表现。Softmax分类算法也是最为常用的分类算法,传统的softmax算法在学习同类和不同类样本时,用的是同一种格式,从而学习到的特征的类内和类间的可区分性不强。而A-softmax算法在学习同类样本时,增加了同类学习的难度,这样的区别对待会使得特征的可区分性更强。基于此,提出利用A-softmax来替代传统的softmax,从而使BERT模型更好地应用于中文文本分类任务中。并进一步提出将BERT与SVM结合,来探讨深度学习中的语义特征和传统统计特征融合的可行性。模型在相同的语料库上进行实验,结果表明,相比基于传统softmax的文本分类方法,基于A-softmax的中文文本分类的准确率更高,泛化能力更强,具有良好的分类性能,且将BERT与SVM结合比传统SVM分类准确率更高。Softmax is the most commonly used classification algorithm,because the traditional softmax algorithm uses the same format when learning the same type and different types of samples,the distinguishability of the learned features within and between classes is not strong.The A-softmax algorithm enhances the difficulty of similar learning when learning the same kind of samples,and such differential treatment will make the feature more distinguishable.In this paper,A-softmax is proposed to replace the traditional softmax,so that BERT model can be better applied to Chinese text classification tasks.The combination of BERT and SVM is used to explore the feasibility of fusion of deep learning features and traditional statistical features.

关 键 词：中文文本分类 支持向量机 softmax逻辑回归 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术]