十分钟解决爬虫问题 超轻量级反爬虫方案  

作　　者：陆文 

机构地区：[1]上海岂安科技

出　　处：《计算机与网络》2017年第17期58-60,共3页Computer & Network

摘　　要：爬虫和反爬虫日益成为每家公司的标配系统。爬虫在情报获取、虚假流量、动态定价、恶意攻击、薅羊毛等方面都能起到很关键的作用,所以每家公司都或多或少的需要开发一些爬虫程序,业界在这方面的成熟的方案也非常多;有矛就有盾,每家公司也相应的需要反爬虫系统来达到数据保护、系统稳定性保障、竞争优势保持的目的。

关 键 词：情报获取 爬虫程序 动态定价 数据保护 IPTABLES 恶意攻击 REQUEST http 规则引擎 访问日志 

分 类 号：TP393.08[自动化与计算机技术—计算机应用技术]