云计算平台上两种中文分词算法的实现对比研究  

作　　者：周寅 龙广富 

机构地区：[1]武汉船舶职业技术学院,湖北武汉430050

出　　处：《电脑知识与技术》2021年第9期191-192,共2页Computer Knowledge and Technology

基　　金：武汉船舶职业技术学院校内一般课题(编号:2019y15):基于机器学习的中文分词方法的研究。

摘　　要：现如今,常用的中文分词算法为IKAnalyzer(简称为:IK)和ICTCLAS(简称为:IC)两种,这两种算法也可以说是如今的主流中文分词算法,为了能够更好的研究两种算法的性能,本文首先利用理论对两种算法在单机环境下的性能进行分析,而后通过Hadoop分布式文件管理系统(简称为:HDFS)、Hadoop集群和并行处理大数据集的MapReduce所共同组成的系统框架,并将算法优化后,通过开展大量的实践性实验对两种不同算法在分布式环境下对大数据集进行处理后的表现进行比较,而后得出具体的分析结果,希望能够为相关人士带来帮助。

关 键 词：云计算 IKAnalyzer ICTCLAS HADOOP 比较 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]