检索规则说明:AND代表“并且”;OR代表“或者”;NOT代表“不包含”;(注意必须大写,运算符两边需空一格)
检 索 范 例 :范例一: (K=图书馆学 OR K=情报学) AND A=范并思 范例二:J=计算机应用与软件 AND (U=C++ OR U=Basic) NOT M=Visual
机构地区:[1]天津工业大学计算机科学与软件学院,天津300387
出 处:《网络安全技术与应用》2014年第12期67-67,71,共2页Network Security Technology & Application
基 金:天津市自然科学基金;合同编号:13JCYBJC16800
摘 要:当前IKAnalyzer(IK)和ICTCLAS(IC)是主流的中文分词算法。文中首先通过理论对比二者在单机环境下的性能,然后使用Hadoop集群、Hadoop分布式文件管理系统(HDFS)和并行处理大数据集的Map Reduce组成的框架,利用优化后的算法,通过大量的实验对二者在分布式环境下处理大数据集的表现做出比较。the current IKAnalyzer ( IK ) and ICTCLAS ( IC ) is the mainstream of the Chinese segmentation algorithm. Firstly by theoretical performancecomparison between these two in the single machine environment, and then use the Hadoop cluster, Hadoop distributed file management system ( HDFS ) and parallel processing of large data sets composed of MapReduceframework, using the optimized algorithm, by comparison to make a lot of experiments on the two in the distributed environment for processing large data sets performance.
关 键 词:IKAnalyzer 倒置排序 HDFS MAP REDUCE HADOOP
分 类 号:TP391.1[自动化与计算机技术—计算机应用技术]
正在载入数据...
正在载入数据...
正在载入数据...
正在载入数据...
正在载入数据...
正在载入数据...
正在载入数据...
正在链接到云南高校图书馆文献保障联盟下载...
云南高校图书馆联盟文献共享服务平台 版权所有©
您的IP:216.73.216.38