基于RSS的分布式新闻博客搜索引擎设计  

A Design of Distributed News & Weblog Search Engine Based on RSS

作　　者：刘峰[1] 施水才[1] 肖诗斌[1] 王弘蔚[1] 

机构地区：[1]北京信息科技大学中文信息处理研究中心,北京100101

出　　处：《现代图书情报技术》2007年第1期29-32,共4页New Technology of Library and Information Service

基　　金：国家自然科学基金项目"Web数据挖掘技术研究"(项目编号:60272084);北京市教育委员会科技发展计划重点项目"面向大规模真实文本的数据挖掘技术"(项目编号:KZ200310772013);北京市教委项目"中文垃圾邮件过滤和追踪技术研究"(项目编号:KM200510772008);"数字内容的安全身份认证与版权保护技术研究"(项目编号:KM200610772008)的研究成果之一

摘　　要：针对传统搜索引擎对频繁更新的新闻和博客网站的搜索实时性较差的现状,提出利用RSS提供的结构化数据,通过Pastry协议,实现索引的分布式存储和传输,同时使用Bloom filter数据结构压缩索引文件,构建一个基于RSS的P2P分布式的新闻博客搜索引擎,从而达到对频繁更新站点的实时性搜索,同时减少存储成本。For the problem of traditional search engine can＇ t get completed and updated copies of the whole Web in time, especially news and Weblog site with high update frequency, this paper designes a distributed news ＆ Weblog search engine based on RSS syndicated data. Using the pastry protocol, distributed data could be stored and transferred smoothly. This paper also compresses index file with Bloom filter. So the news and Weblog site with high update frequency could be searched in time and the cost of storage could be reduced. The system has a bright future.

关 键 词：RSS PASTRY BLOOM filter分布式搜索引擎 

分 类 号：TP391.3[自动化与计算机技术—计算机应用技术]