基于MVC设计模式的微博数据采集框架  

A Microblog Data Collection Method Based on MVC

作　　者：王志文[1] 陈珂[1] 陈晓升[1] 郑远飞 陈坚旋 

机构地区：[1]广东石油化工学院计算机与电子信息学院,广东茂名525000

出　　处：《广东石油化工学院学报》2017年第1期31-36,共6页Journal of Guangdong University of Petrochemical Technology

基　　金：广东省自然科学基金项目(2016A030307049);大学生创新创业训练与培育项目(201411656017;2015DCA004;2016py A033;2015py A041;2015py A042);大学生拔尖创新人才培养"培英计划"项目

摘　　要：针对现有社交数据采集工具在采集量和采集广度上受限与复用性差等问题,提出了一种基于MVC设计模式的数据采集设计方案,设计了可扩展的工作流处理流程,降低了开发耦合度,减少了开发的工作量。在此基础上,利用Java等技术搭建了快速而简捷的微博数据采集框架,实现并增强了抓取微博数据等功能,为用户提供了一个灵活、可扩展、易复用的微博数据采集环境。This paper analyzes the advantages and disadvantages of the existing social data collection tools, and then points out its limitation on the breadth of the sampling volume, its poor extensibility and reusability as well. This paper then proposes a data collection method based on MVC, and design an extensible workflow, which reduces the development coupling degree and workload. On this basis, Java technology is employed to set up a quick and simple microblog data collection framework, implementing and enhancing the function of mi-croblog data collection, and providing users with a flexible, scalable and reusable environment to collect microblog data.

关 键 词：爬虫 微博 JAVA 数据采集 MVC 

分 类 号：TP393[自动化与计算机技术—计算机应用技术]