一种基于Chrome扩展程序的网络数据采集方法  

AN INTERNET DATA COLLECTION METHOD BASED ON CHROME EXTENSION

作　　者：沈洪洲[1] 

机构地区：[1]南京邮电大学管理学院,江苏南京210023

出　　处：《计算机应用与软件》2016年第7期10-13,55,共5页Computer Applications and Software

基　　金：国家自然科学基金项目(71403134);教育部人文社会科学研究青年基金项目(14YJCZH122);江苏高校哲学社会科学研究基金项目(2014SJB009)

摘　　要：采集大量的网络数据可以为相关的科学研究提供重要的数据基础。针对科研工作者无法方便灵活地采集针对性网络数据的现状,提出基于Chrome扩展程序的网络数据采集方法,从网页中析取数据,或通过Ajax技术从网页服务器端直接读取结构化的数据,并对采集到的数据进行集中处理和存储。最终的执行效果表明,该方法可以突破动态网页技术的限制,无需处理复杂的用户登录逻辑,并可支持多用户场景下的分布式网络数据采集。Collecting large amounts of Internet data can provide important data base for relevant scientific research. For the current situation that researchers can't easily and flexibly collect targeted Internet data,this paper proposes a Chrome extension-based Internet data collection method,which will extract data from a Webpage,or read the structured data directly from Webpage server with Ajax technology,and makes centralised processing and storage for the collected data. The final implementation results indicate that this new method can break through the restrictions of dynamic Webpage technology,avoids the complex logic of user login and supports distributed Internet data collection in multi-user scenarios as well.

关 键 词：Chrome扩展程序 网络数据采集 AJAX 分布式 

分 类 号：TP302[自动化与计算机技术—计算机系统结构]