基于Java平台的分布式网络爬虫系统研究  

作　　者：郑豪[1] 何彦雨 

机构地区：[1]北京林业大学工学院,北京100083

出　　处：《科技创新与应用》2017年第1期112-112,共1页Technology Innovation and Application

摘　　要：近年来,互联网行业取得了飞速发展,国内网民数量不断增加,互联网在人民生活中的影响日益显著。文章主要分析了网络爬虫的基本原理和设计过程,介绍了网络爬虫开发过程中所采用的编程语言、开发环境以及分析工具,介绍了目前网络爬虫经常遇到的反爬措施和应对方法。通过对比不同编程语言、编程环境在实现网络爬虫过程中的优势和不足,得出更为适合编写网络爬虫的开发方式。通过对比不同网络分析工具在抓取网络封包和分析数据中的功能特点,向设计者推荐了分析网络请求和查看数据的有效工具。

关 键 词：爬虫技术 分布式 JAVA 互联网 

分 类 号：TP393.4[自动化与计算机技术—计算机应用技术]