采用Scrapy分布式爬虫技术的微博热点舆情信息获取与分析  

Acquisition and Analysis of Weibo Public Opinion Information Using Scrapy Distributed Crawler

作　　者：董少林 李钟慎[1] DONG Shao-lin;LI Zhong-shen(Huaqiao University,Xiamen 361021,China)

机构地区：[1]华侨大学,福建厦门361021

出　　处：《电脑与信息技术》2020年第5期23-26,共4页Computer and Information Technology

基　　金：福建省自然科学基金资助项目(项目编号:2019J01060)。

摘　　要：文章通过2020年3月28日到4月4日四川凉山发生的火灾期间,相关微博话题“凉山木里火灾”的微博内容和微博评论内容进行舆情分析,设计Scrapy分布式爬虫以及分布式数据库技术对该热点话题进行数据获取,再采用Matlab的视图化技术进行时间上的热度分析,最后基于评论内容的文本信息进行利用SnowNLP等进行情感分析,利用Wordcloud得到关键词词云,可以看出人们的情绪偏悲观,关键词多以“辛苦”、“平安”等对消防员的致敬为主。Based on March 28,2020 to April 4th during the fire that happened in sichuan liangshan,weibo related topic"liangshan muli fire"microblogging public opinion analysis content and weibo comments content,design Scrapy distributed crawler and distributed database technology for data acquisition of the hot topics,and the time by the view of Matlab technology on heat analysis,based on the comments on the content of text information using SnowNLP emotional analysis,Wordcloud is used to get the key words,it can be seen that people's mood is pessimistic,the key words are"hard","peace"and so on to pay tribute to the firefighters.

关 键 词：微博话题 分布式爬虫 情感分析 文本聚类 词云 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]