基于jieba中文分词的中文文本语料预处理模块实现  

作　　者：石凤贵[1] 

机构地区：[1]马鞍山师范高等专科学校软件工程系,安徽马鞍山243041

出　　处：《电脑知识与技术》2020年第14期248-251,257,共5页Computer Knowledge and Technology

基　　金：安徽省教育厅科学研究项目资助(KJ2017A852)。

摘　　要：文本预处理是文本分析理解的基础,预处理结果可以直接影响到文本分析的准确率。中文文本语句结构复杂,词语之间没有明显的分隔标记,需要进行分词来理解语句。分词是文本预处理的基础,词的切分准确性影响文本预处理结果。本文分词采用jieba中文分词工具,实现了文本预处理模块。

关 键 词：文本分词 文本预处理 去停用词 

分 类 号：TP181[自动化与计算机技术—控制理论与控制工程]