藏文文本分类特征基元选择  

Feature Primitives Selection for Tibetan Text Classification

作　　者：才智杰[1,2] 道吉扎西 CAI Zhijie;DAO Jizhaxi(College of Computer Science and Technology,Qinghai Normal University,Xi ning,Qinghai 810016,China;The State Key Laboratory of Tibetan Intelligent Information Processing and Application,Xi ning,Qinghai 810008,China;School of Information Science and Technology,Tibetan University,Lhasa,Tibetan 850000,China)

机构地区：[1]青海师范大学计算机学院,青海西宁810016 [2]省部共建藏语智能信息处理及应用国家重点实验室,青海西宁810008 [3]西藏大学信息科学技术学院,西藏拉萨850000

出　　处：《中文信息学报》2023年第1期64-70,共7页Journal of Chinese Information Processing

基　　金：国家自然科学基金(61866032,61966031);青海省科技厅资助项目(2019-SF-129);“长江学者和创新团队发展计划”创新团队资助项目(IRT1068);藏文信息处理教育部重点实验室项目(2013-Z-Y17,2014-Z-Y32,2015-Z-Y03);青海省藏文信息处理与机器翻译重点实验室项目(2020-ZJ-Y05)。

摘　　要：文本分类是指根据预先定义的主题类别,按照一定的规则将文档集合中未知类别的文档按内容自动确定某种类别的技术,是自然语言处理中最基本、最重要的研究内容之一,在信息检索、智能推荐、舆情分析、新闻分类等领域具有极高的应用价值。现阶段,藏文文本分类的主要研究集中在借用英汉等语言文本分类技术构建分类器,英汉等语言以词做分类特征基元构建分类器。由于受藏文分词技术制约,直接以词做藏文文本分类特征基元,其性能有较大的影响。该文在分析文本分类流程及藏文文本构成的基础上,研究了藏文文本分类特征基元选择方法,提出了一种融合词和音节的藏文文本分类特征基元选择方法,并以CNN模型构建的分类器验证了该方法的有效性。Text classification refers to automatically determining a document for its category according to the predefined topic categories.At present,the most existing researches on Tibetan text classification are focused on using English and Chinese text classification technology to build classifiers,which are usually based on word features.Due to the restriction of Tibetan word segmentation technology,the performance of Tibetan text classification is greatly affected by using word features.This paper proposes a feature primitives selection method for Tibetan text classification by combining words and syllables,and the classifier constructed by CNN model verifies the effectiveness of the method.

关 键 词：自然语言处理 藏文 基元 文本分类 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]