两种适用于中文信息搜集的URL散列函数的研究  

Two Effective Functions on Hashing URL in Collecting Chinese Information

作　　者：李村合[1] 何淑庆[1] 张培颖[1] 

机构地区：[1]中国石油大学(华东)计算机与通信工程学院,东营257061

出　　处：《计算机系统应用》2006年第7期42-44,48,共4页Computer Systems & Applications

摘　　要：为了适应Internet信息量的快速增长,搜索引擎采用分布式技术搜集信息。采用分布式搜集技术的具体应用中主要存在两个关键问题:URL匹配和系统负载平衡。针对现有的几种分布式信息搜集系统的设计中存在的一些不足,提出了利用URL分级散列进行定位和匹配的方法。根据中文网络信息的特点,分析了几个对字符串散列较好的函数,设计了两种URL散列函数,应用于分布式中文信息搜集系统中。实验表明,系统在减少URL匹配的资源消耗和提高系统负载的均衡性方面有很好的效果。

关 键 词：散列函数 分布式 搜索引擎 匹配 负载平衡 

分 类 号：TP391.3[自动化与计算机技术—计算机应用技术]