互联网数据挖掘与分析平台设计与实现  

作　　者：李翔坤[1] 

机构地区：[1]大连东软信息学院计算机科学与技术系,辽宁大连116023

出　　处：《科技风》2022年第10期71-73,共3页

摘　　要：面对移动互联网中庞大的数据量,如何进行挖掘和可视化的分析是当前大数据研究的一个热点。本文搭建了一个互联网数据挖掘与分析平台,首先采用基于Scrapy框架搭建的爬虫系统从互联网络爬取了大量新闻数据与招聘数据,通过Sphinx和CoreSeek经过google-diff-match-patch算法去重,最后利用R语言对这些数据进行可视化分析,从而为制定决策提供更好的依据。

关 键 词：互联网数据 R语言 Scrapy 可视化分析 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]