MD5算法在消除重复网页算法中的应用  

The Application of MD5 to Remove the Repeated Pages

作　　者：彭曙蓉[1] 章兢[2] 杨文忠[2] 

机构地区：[1]长沙理工大学电气与信息工程学院,湖南长沙410075 [2]湖南大学电气与信息工程学院,湖南长沙410082

出　　处：《电脑知识与技术》2005年第10期15-16,共2页Computer Knowledge and Technology

基　　金：教育部重点项目(教技司2001224)

摘　　要：Internet用户通过常用搜索引擎获取Web信息时,往往得到了大量的重复网页信息,从而导致搜索效率不高。本文利用MD5算法成熟及可移植性好的特点,提出了一种基于MD5的消除重复网页的算法,实验证明该算法能有效的去除重复网页,时间和空间的复杂度不高,具有较强的实用价值。The Searching Engines often return massive repeated pages information to Intemet users and result in low searching efficiency. Considering the mature and portability of MD5, an algorithm based on MD5 is proposed to remove the repeated pages. The experiment indicates this algorithm is effective＇and its complexity of time and space is not high. It is showed that the study is practicable and valid.

关 键 词：搜索引擎 重复网页 MD5 

分 类 号：TP393[自动化与计算机技术—计算机应用技术]