分布式网络爬虫框架Crawlzilla  

作　　者：徐海啸[1,2] 董飒 李翔[1,2] 于洪梅 吴旗[1,2] 

机构地区：[1]吉林大学计算机科学与技术学院,吉林省长春市130012 [2]高性能计算中心,吉林省长春市130012

出　　处：《电子技术与软件工程》2017年第18期25-26,共2页ELECTRONIC TECHNOLOGY & SOFTWARE ENGINEERING

摘　　要：互联网技术的飞速发展带了网络信息的爆炸式增长,互联网已经成为了企业,机构和个人发布信息的主要平台。据CNNIC(中国互联网络信息中心)发布的2015年中国网民搜索行为研究报告中指出,截止到2015年12月,我国搜索引擎用户达到了5.66亿,使用率为82.3%,手机搜索用户达4.78亿,使用率为77.1%。互联网的发展速度日益加快,随之而来的是爆炸式的信息体量的增长。传统的搜索引擎已经不能够满足一些企业和单位内部的个性化检索的需求。本文将对通用爬虫框架Crawlzilla做简要的分析,并说明其在企业内部制定个性检索服务的可行性。

关 键 词：爬虫 Crawlzilla 搜索引擎 

分 类 号：TP391.3[自动化与计算机技术—计算机应用技术]