基于Python的网络爬虫的设计与实现  

作　　者：郭婺 郭建[1] 张劲松 石翠萍[1] 刘道森[1] 刘超[1] 

机构地区：[1]齐齐哈尔大学,黑龙江齐齐哈尔161006

出　　处：《信息记录材料》2023年第4期159-162,共4页Information Recording Materials

基　　金：齐齐哈尔大学教育科学研究项目(GJZRZX202011);黑龙江省省属本科高校基本科研业务费项目(135509212)。

摘　　要：在如今“互联网+”的新时代背景下,大数据技术、人工智能技术、应用程序技术等现代科技与现代社会的融合日渐紧密。正因如此,Python以低成本、低难度、开放化、简洁化等诸多特点,从编程语言领域中脱颖而出,长期占据各大编程语言排行榜的领先地位,受到使用者的青睐和好评。本文主要针对基于Python的网络爬虫系统的设计与实现展开探究与讨论。系统采用Python做爬虫语言,采用beautifulsoup库进行数据爬虫,数据处理请求连接采用Resquests多线程方式进行URL处理。首先使用Python中的Scrapy框架定向抓取股票信息,通过定向URL爬取股票信息并存入数据库,最后通过数据可视化的形式对爬虫数据进行呈现。

关 键 词：PYTHON 网络爬虫系统 互联网+ 

分 类 号：TP31[自动化与计算机技术—计算机软件与理论]