网络数据采集框架Nutch及其应用研究  

作　　者：周飚 

机构地区：[1]重庆财经职业学院

出　　处：《中国管理信息化》2019年第18期167-169,共3页China Management Informationization

摘　　要：随着大数据与云计算、物联网、人工智能进一步融合,各行各业产生了海量电子化数据,建立大数据应用首要解决的问题就是采集数据,其中,Apache Nutch是用于数据采集的爬虫框架。为采集若干人才招聘网站职位需求数据,采用MySQL数据库进行数据存储,采用Nutch实现网站数据采集,采用排程框架Quartz实现数据定时采集和更新。

关 键 词：NUTCH 分布式 爬虫框架 CRAWLER Quartz排程 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术]