大数据背景下的网络信息采集策略研究  

Research on the Strategy of Network Information Collection under the Background of Big Data

作　　者：齐虎春[1] QI Hu-chun

机构地区：[1]内蒙古化工职业学院计算机与信息工程系,内蒙古呼和浩特010070

出　　处：《内蒙古科技与经济》2020年第13期79-81,共3页Inner Mongolia Science Technology & Economy

基　　金：2018年度内蒙古化工职业学院自然科学科研项目“基于大数据的网络信息采集技术研究”(项目编号HYZR1805);内蒙古自治区教育科学研究“十三五”规划课题2019年度立项课题“高职院校技能大赛成果转化与促进专业课程建设的实践研究”(项目编号NZJGH2019197)。

摘　　要：介绍了网络爬虫技术的运行原理,分析了作为搜索引擎核心技术的通用网络爬虫的搜索策略,进而实现了采用两种搜索策略的网络爬虫,并在互联网中进行了信息爬取,最后比较总结了两种搜索策略的技术特点及优化研究方向。

关 键 词：网络爬虫 深度优先搜索 广度优先搜索 Python实现分析 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]