基于Python的TarBase V8网站爬虫设计与实现  

Design and Implementation of Web Crawler on TarBase V8 Web Site Based in Python

作　　者：蒋辉[1] 谢云洁 JIANG Hui;XIE Yun-jie(School of Computer Science,University of South China,Hengyang 421001,China)

机构地区：[1]南华大学计算机学院,湖南衡阳421001

出　　处：《电脑知识与技术》2020年第20期20-22,31,共3页Computer Knowledge and Technology

基　　金：湖南省教育厅科研课题(项目编号:17C1377)。

摘　　要：在数据爆炸的时代,人们通过搜索引擎从网上来查找自己所需要的数据。但并不是所有的网站都提供所需要的数据下载。网络爬虫技术可以将查找到的数据抓取下来,以供研究人员研究使用。Scrapy是使用Python语言开发开源的爬虫框架。该文将利用Scrapy框架和Python语言设计和实现一个TarBase V8网站爬虫,对其网站miRNA靶基因数据进行获取以及存储。In the era of data explosion,we can get the information or data from the internet by using search engines.But not all web⁃sites provide the data downloads we need.These data can be captured from the internet for the researching purpose by using web crawler technology.Scrapy is an open source web crawler framework which is developed by Python.In the paper,we design and de⁃velop a web crawler which is based on Scrapy framework and Python for capturing the miRNA targets data from the TarBase V8 website.

关 键 词：Scrapy 网络爬虫 搜索引擎 信息检索 miRNA靶基因 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]