两种中文分词算法在云计算平台上的实现及比较  被引量:5

Two Chinese Word Segmentation Algorithms in the Realization of the Cloud Computing Platform

在线阅读下载全文

作  者:孟帮杰 王占刚[1] 

机构地区:[1]天津工业大学计算机科学与软件学院,天津300387

出  处:《网络安全技术与应用》2014年第12期67-67,71,共2页Network Security Technology & Application

基  金:天津市自然科学基金;合同编号:13JCYBJC16800

摘  要:当前IKAnalyzer(IK)和ICTCLAS(IC)是主流的中文分词算法。文中首先通过理论对比二者在单机环境下的性能,然后使用Hadoop集群、Hadoop分布式文件管理系统(HDFS)和并行处理大数据集的Map Reduce组成的框架,利用优化后的算法,通过大量的实验对二者在分布式环境下处理大数据集的表现做出比较。the current IKAnalyzer ( IK ) and ICTCLAS ( IC ) is the mainstream of the Chinese segmentation algorithm. Firstly by theoretical performancecomparison between these two in the single machine environment, and then use the Hadoop cluster, Hadoop distributed file management system ( HDFS ) and parallel processing of large data sets composed of MapReduceframework, using the optimized algorithm, by comparison to make a lot of experiments on the two in the distributed environment for processing large data sets performance.

关 键 词:IKAnalyzer 倒置排序 HDFS MAP REDUCE HADOOP 

分 类 号:TP391.1[自动化与计算机技术—计算机应用技术]

 

参考文献:

正在载入数据...

 

二级参考文献:

正在载入数据...

 

耦合文献:

正在载入数据...

 

引证文献:

正在载入数据...

 

二级引证文献:

正在载入数据...

 

同被引文献:

正在载入数据...

 

相关期刊文献:

正在载入数据...

相关的主题
相关的作者对象
相关的机构对象