垂直搜索引擎系统的研究与实现  

Research and Implement of Vertical Search Engine

作　　者：李广丽[1] 刘觉夫[1] 

机构地区：[1]华东交通大学信息工程学院,南昌330013

出　　处：《情报杂志》2009年第10期144-147,169,共5页Journal of Intelligence

基　　金：江西省教育厅基金项目资助"分布式网络机器人的软件研究"(编号:赣教技字[2006]177号);华东交通大学校立基金资助"基于SOA架构的垂直搜索引擎的研究与实现"(编号:08xx05)

摘　　要：给出了垂直搜索引擎的体系结构,然后分别设计了垂直搜索引擎的三大核心模块:主题词库、网络机器人和中文分词。在主题词库模块中设计了一个分层的主题词库系统,该词库将颗粒大的主题词置于词库高层,而将颗粒小的主题词置于词库低层,既考虑了主题搜索的广度,也考虑了主题搜索的精度。而在网络机器人设计过程中则综合运用了多线程及基于VSM的主题相关度判断算法进行主题网页爬行,在中文分词设计中则采用最大正向匹配算法完成中文分词。实验表明,多线程是提高网络机器人爬行速度的关键。此外,搜索引擎的准确率达到了63%。

关 键 词：垂直搜索引擎 网络机器人 主题相关度 哈希表 向量空间模型 LUCENE 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]