基于Java线程池技术的数据爬虫设计与实现  

作　　者：刘文[1] 王标[1] 王丁[1] 

机构地区：[1]国际关系学院,北京100091

出　　处：《电脑编程技巧与维护》2016年第7期8-9,21,共3页Computer Programming Skills & Maintenance

摘　　要：为了改善数据获取爬虫程序的运行性能和提高数据获取效率,分析了数据爬虫的原理与架构,设计并实现了一种基于Java线程池技术的爬虫程序架构。该爬虫程序采用多个线程并行处理页面,极大地改善了数据获取的效率,提高了用来获取数据的机器的资源利用率。

关 键 词：JAVA多线程 线程池 数据爬虫 

分 类 号：TP311.52[自动化与计算机技术—计算机软件与理论]