详解4种类型的爬虫技术  

作　　者：傅一平 

机构地区：[1]不详

出　　处：《计算机与网络》2021年第6期37-38,共2页Computer & Network

摘　　要：聚焦爬虫技术聚焦网络爬虫也就是主题网络爬虫,它增加了链接评价和内容评价模块,其爬行策略实现要点就是评价页面内容以及链接的重要性。基于链接评价的爬行策略,主要是以Web页面作为半结构化文档,其中拥有很多结构信息可用于评价链接重要性。还有一个是利用Web结构来评价链接价值的方法,也就是HITS法,通过计算每个访问页面的Authority权重和Hub权重来决定链接访问顺序。

关 键 词：主题网络爬虫 聚焦爬虫 WEB结构 聚焦网络爬虫 爬行策略 页面内容 爬虫技术 链接价值 

分 类 号：TP393.092[自动化与计算机技术—计算机应用技术]