影响百度爬虫对网站抓取量的因素  

作　　者：袁毅 

出　　处：《计算机与网络》2017年第22期51-51,共1页Computer & Network

摘　　要：百度爬虫抓取量,其实就是百度爬虫对站点一天抓取网页的数量,从百度内部消息来说,一般会抓两种网页,其中一个是这个站点产生新的网页,一般中小型站当天就可以完成,大型网站可能完成不了。另一种是百度以前抓过的网页,它是需要更新的,比如一个站点已经被百度收录了5万,那么百度会给出一个时间段,比如30天,然后平均一下,

关 键 词：大型网站 百度 抓取 爬虫 网页 站点 

分 类 号：TP393.092[自动化与计算机技术—计算机应用技术]