一种基于RabbitMQ的论坛舆情爬取方案及实现  

作　　者：冯扬 

机构地区：[1]武汉虹旭信息技术有限责任公司,湖北430000

出　　处：《网络安全技术与应用》2018年第10期47-48,共2页Network Security Technology & Application

摘　　要：随着互联技术的普及和应用,网民在互联网上进行意见表达的需求日益增多,而各大网络论坛也早已成为资讯传播与意见讨论的公共平台。对于各种社会事件的发酵与舆情传播,网络论坛早已是不可或缺的媒体工其之一。本系统基于对网络论坛舆情监控的需求,基于Rabbit MQ队列管理服务,实现了一种高并发,高鲁棒性的系统后台爬虫方案,有针对性的对舆情信息进行爬取搜集,为后续分析系统提供可靠的第一手数据。

关 键 词：RabbitMQ 网络舆情 分布式爬虫 多线程 爬虫策略 消息确认 心跳检测 队列管理 

分 类 号：TP393.08[自动化与计算机技术—计算机应用技术] TP391.3[自动化与计算机技术—计算机科学与技术]