基于互联网大数据的事件智能抓取和画像  

Internet-based big data event intelligent crawl and portrait

作　　者：李方方[1] 陈容华[1] 秦胜男 戴胜 Li Fangfang;Chen Ronghua;Qin Shengnan;Dai Sheng(Nanjing Vocational College of Information Technology,Nanjing 210043,China)

机构地区：[1]南京信息职业技术学院

出　　处：《无线互联科技》2020年第1期20-21,共2页Wireless Internet Technology

基　　金：2019年江苏省大学生创新创业训练计划项目;项目名称：智能座位自动分配算法的设计与实现;项目编号：NJCIT2019Y18;2017年江苏省工程研发中心项目;项目名称：变电站解锁钥匙箱监控系统;项目编号：KF20160402

摘　　要：文章主要以航空公司为背景,通过爬虫获取和航班量相关的事件信息,并且对这些事件进行智能抓取和建模画像,主要采用了URL去重算法和4种分布式调度算法进行事件抓取,通过近义词匹配进行事件去重,最后对抓取的事件进行画像建模和可视化展现。This article mainly takes the airline as the background, through the reptile to obtain and flight volume-related event information, and the capture of these events intelligent and modeling. The URL de-heavy algorithm and four distributed scheduling algorithms are used to carry out event crawling, and the event to be re-emphasised by close word matching, and finally the image modeling and visual representation of the crawled events is carried out.

关 键 词：大数据 机器学习 智能抓取 画像 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]