基于Scrapy的新闻网页数据抓取设计  

作　　者：秦亚红 普措才仁[1] 

机构地区：[1]西北民族大学数学与计算机科学学院,甘肃省兰州市730030

出　　处：《电子技术与软件工程》2020年第4期170-171,共2页ELECTRONIC TECHNOLOGY & SOFTWARE ENGINEERING

基　　金：国家自然基金项目(NO.61662065);甘肃省科技计划重点项目(NO.18YF1FA122)。

摘　　要：本文使用Python开发语言、Scrapy爬虫框架以及MySQL数据库设计抓取新闻网页中的新闻数据,并存储到数据库中。新闻语言文本自身的真实性和时代性,具有非常重要的研究意义和价值。网络爬虫技术使网上新闻数据得以获取、利用,为新闻信息研究提供了数据支持,保证了相关研究工作的顺利开展。

关 键 词：网络爬虫 网页数据抓取 Scrapy 

分 类 号：TP393.092[自动化与计算机技术—计算机应用技术] TP391.1[自动化与计算机技术—计算机科学与技术]