Web论坛数据源增量爬虫的研究  

Research on Web Forum Data Source Incremental Crawler

作　　者：蔡欣宝[1] 郭若飞[1] 赵朋朋[1] 崔志明[1] 

机构地区：[1]苏州大学智能信息处理及应用研究所,苏州215006

出　　处：《计算机工程》2010年第9期285-287,共3页Computer Engineering

基　　金：国家自然科学基金资助项目(60673092);2008年江苏省重大科技支撑与自主创新基金资助项目(BE2008044)

摘　　要：针对Web论坛站点结构复杂、内容更新快等特点,提出一种针对论坛的增量信息采集算法,使用站点地图重建技术及网页更新频繁度估计方法,根据站点地图选择有效的链接,按照网页更新频度确定网页的采集频度。实验结果表明,该方法是有效的。According to the characters of Web forum site such as the complex structure and quickly updating contents,an algorithm of forum incremental information sampling is presented.The technologies of site map rebuilding and estimating the frequency of page update are used.According to the site map,the crawler selects effective links.According to the frequency of Web page update,the crawler determines the crawling frequency of the Web page.Experimental results indicate this method is effective.

关 键 词：WEB论坛 增量爬虫 站点地图 泊松模型 

分 类 号：TP311.52[自动化与计算机技术—计算机软件与理论]