基于网页特征关键词的近似检测算法  

Similar Detection Algorithm Research Based on the Features Keyword of Web Page

作　　者：闫亮[1] 李先国[1] 

机构地区：[1]西北工业大学计算机学院,西安710072

出　　处：《科学技术与工程》2009年第4期919-923,共5页Science Technology and Engineering

摘　　要：针对海量web文本信息,利用从网页主题内容提取出来的特征关键词,在倒排索引基础上建立相似度计算模型。对一篇新入库的网页文档,利用所包含的关键词迅速缩小进行相似度计算的网页范围,提高计算效率。实验结果表明该算法是有效的,小规模评测结果得到较好的效果。rithm was To solve near-replicas of large-scale Web pages crawled by search roposed that tobe processed based on terms extracted from the Web pages. The algorithm and improves efficiency largely. engine, a similarity dealing algoreduces the scale of Web pages

关 键 词：近似网页 关键词 搜索引擎 网页消重 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术]