基于社区增量自适应爬虫研究  

Spider study based on incremental adaptive of community

作　　者：马睿[1] 

机构地区：[1]暨南大学信息科学技术学院,广东广州510632

出　　处：《微型机与应用》2010年第21期45-48,共4页Microcomputer & Its Applications

摘　　要：在分析传统的网络蜘蛛搜索特点的基础上,充分利用Web资源分布的特点,提出了基于在线增量自适应算法的搜索策略。该算法一方面避免了过早陷入Web搜索最优子空间的陷阱;另一方面不断对爬虫数据库更新,以提高其对链接主题的判断能力。通过对四所著名大学计算机网站做的搜索实验,表明新的算法可以有效地提高网络蜘蛛的搜索性能。After abstracting the characteristics of traditional Web spider and making full use of characteristics of Web resources distribution,the paper proposes community incremental adaptive algorithm search strategy.On the one hand,the algorithm avoids premature falling into the trap of Web optimal subspace.On the other hand,it constantly updates the database to enhance its ability to link the subject to judge.The search experiment of four famous university＇s computer Website shows that the new algorithm can improve the search properties of Web spider.

关 键 词：网络蜘蛛 搜索策略 在线增量自适应 

分 类 号：TP391.3[自动化与计算机技术—计算机应用技术]