基于专业信息深度挖掘的搜索引擎Spider的设计与实现  

Design and Implementation of a Full Text Search Engine Spider Based on Specific Information Mining

作　　者：赵恒永[1] 沈坚[1] 山岚[1] 

机构地区：[1]北京化工大学信息科学与技术学院。北京100029

出　　处：《计算机工程与科学》2009年第6期18-20,43,共4页Computer Engineering & Science

摘　　要：本文针对专业全文搜索引擎的特点,设计并实现了一种网络机器人。通过二维矢量工作队列实现站点式深度优先搜索,采用页面站点加权算法动态控制站点的处理时间。完成了网络上与专业相关信息的集中收集和处理,并探讨了网络机器人对专业的侧重性以及向通用全文搜索引擎网络机器人转换的可行性。The paper designs and implements a full text search engine Spider based on specific information mining, carries out site depth-first search by two-dimensional vector workload queue, uses a page-site weighted algorithm to dynamically control the tenure of site processing, accomplishes a concentrative collection and processing of specialization-related information from the Internet, and discusses the inclination of Spider to the specializations and the transformation for a universal full text search engine.

关 键 词：搜索引擎 网络机器人 工作队列 加权算法 任务平衡 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程]