商品评论聚焦爬虫算法设计与实现  

Design and implementation of focused crawler algorithms of product reviews

作　　者：方美玉[1,2] 郑小林[2] 陈德人[2] 华艺 施艳 

机构地区：[1]浙江外国语学院科学技术学院,杭州310012 [2]浙江大学计算机科学与技术学院,杭州310027

出　　处：《吉林大学学报（工学版）》2012年第S1期377-381,共5页Journal of Jilin University:Engineering and Technology Edition

基　　金：国家自然科学基金项目(61003254);国家科技支撑计划项目(2008BAH24B03);浙江省自然科学基金项目(Y1080130;Y1101304)

摘　　要：从商品评论抽取算法出发,使用开放应用编程接口调用和链接跟踪的方法,分别设计了基于通用爬虫原理和开放应用编程接口(OpenAPI)的商品评论聚焦爬虫算法。在此基础上实现了淘宝网和京东网商品评论收集程序。最后将两者与通用爬虫算法进行比较,证实了二者的程序设计具有针对性强、数据采集实时性好、易嵌入开发等优点,为实时评论数据采集技术的研究提供了新思路。从商品评论抽取算法出发,使用开放应用编程接口调用和链接跟踪的方法,分别设计了基于通用爬虫原理和开放应用编程接口(OpenAPI)的商品评论聚焦爬虫算法。在此基础上实现了淘宝网和京东网商品评论收集程序。最后将两者与通用爬虫算法进行比较,证实了二者的程序设计具有针对性强、数据采集实时性好、易嵌入开发等优点,为实时评论数据采集技术的研究提供了新思路。

关 键 词：计算机软件 商品评论 开放应用编程接口 聚焦爬虫 爬虫算法 

分 类 号：T-55[一般工业技术]