基于Selenium WebDriver的自动交互式数据采集技术研究  

Research on Automatic Interactive Data Acquisition Technology Based on Selenium WebDriver

作　　者：侯志江[1] 

机构地区：[1]天津理工大学图书馆,天津300384

出　　处：《图书情报导刊》2017年第4期57-61,共5页Journal of Library and Information Science

基　　金：天津市哲学社会科学研究规划项目"基于网络问答社区开展协作式新型知识服务的实证研究"(项目编号:TJTQ16-003Q)

摘　　要：针对现有数据采集方法的不足,提出了基于Selenium WebDriver的自动化交互式数据采集技术,并以京东某众筹项目话题信息的采集为例,验证了该方案的有效性。实验结果表明,该方案可以解决现代Ajax网页动态生成数据的采集问题,是一种交互功能强大、具有较强灵活性和通用性的数据采集技术。Aiming at the deficiency of the existing data acquisition methods,this paper proposes an automatic interactive data acquisition technology based on Selenium WebDriver,proves the effectiveness of the method taking the topic information collection of a public project raised by Jingdong as an example. The experimental results show that the proposed scheme can solve the problem of dynamic data collection of modem Ajax pages, and is a powerful data acquisition technology with strong interaction and flexibility.

关 键 词：数据采集 WebDriver 网页解析 动态内容获取 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]