基于消息队列的分布式爬虫——以电商产品数据为例  

作　　者：施鹭[1] 

机构地区：[1]芜湖职业技术学院,安徽芜湖241003

出　　处：《信息记录材料》2020年第4期176-179,共4页Information Recording Materials

基　　金：2018年度安徽省高校科学研究项目:基于大数据分析的智能贩卖管控系统的研究与应用(KJ2018A0702)。

摘　　要：电子商务类网站越来越多的影响人们的生活,上网购物已经成为不同年龄段的人们的日常消费行为了。国内外知名的几个主流的电商网站,比如淘宝、京东、苏宁易购、亚马逊中国、当当网等,人们可以随时随处通过他们的PC端网站、移动手机端APP软件、微信小程序端、支付宝小程序端等,购买生活、学习和工作中几乎所需要的一切商品。

关 键 词：java消息队列 爬虫 分布式集群 大数据存储 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]