中文分词中的统计学  

作　　者：李舰 

机构地区：[1]统计之都

出　　处：《中国统计》2020年第10期34-35,共2页China Statistics

摘　　要：中文分词指的是将一些汉语的段落或者句子切分成一个一个单独的词,可以用来进行文本分析。中文不像英文那样有天然的空格把词隔开,所以需要分词。例如句子“上海自来水来自海上”可以分成“上海/自来水/来自/海上”。如果把一篇文章或者多篇文章都进行分词操作,就可以得到每个词的频数,根据频数的大小绘制图形,称为词云图,这是中文分词后的最典型的应用。笔者之前刚好写了10期的文章,如果把所有的文章分词后统计词频,再把出现频率越高的词画得越大,频率越低的词画得越小,就可以得到下图所示的词云图。

关 键 词：中文分词 文本分析 绘制图形 词频 空格 频数 自来水 统计学 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术] C8[自动化与计算机技术—计算机科学与技术]