基于最大熵分类器的Deep Web查询接口自动判定  

Automatic identifying query interfaces of deep Web with maximum entropy classifier

作　　者：方巍[1] 黄黎[1] 崔志明[1] 

机构地区：[1]江苏省计算机信息处理技术重点实验室

出　　处：《计算机工程与应用》2008年第21期133-137,共5页Computer Engineering and Applications

基　　金：国家自然科学基金( the National Natural Science Foundation of China under Grant No.60673092);2005年度教育部科研重点项目(the Key Project of Chinese Ministry of Education under Grant No.205059);2006 年江苏省“六大人才高峰”项目( the“Six Talent Peak”Project of Jiangsu Province under Grant No.06-E-037);2006 年度江苏省软件和集成电路业专项经费项目(the Specialized Fund Pro-ject for the Software and IC of Jiangsu Province in 2006 under Grant No.[2006]221- 41);2007 年江苏省重点实验室开放基金项目(theProject of Jiangsu Key Laboratory of Computer Information Processing Technology)

摘　　要：Web中包含着海量的高质量信息,它们通常处在网络深处,无法被传统搜索引擎索引,将这样的资源称为Deep Web。因为查询接口是Deep Web的唯一入口,所以要获取Deep Web信息就必须判定哪些网页表单是Deep Web查询接口。由于最大熵模型可以综合观察到的各种相关或不相关的概率知识,对许多问题的处理都可以达到较好的结果。因此,基于最大熵模型的分类性能,利用最大熵分类算法自动判定查询接口。并通过实验,将最大熵分类法与其它常用分类方法进行了比较,结果显示它的分类性能优于Bayes方法和C4.5方法,与SVM方法相当,表明这是一种非常实用的查询接口分类方法。Tremendous high-quality web information is deeply hidden in the Web,which can not be indexed by traditional search engines,so we call them Deep Web.Since query interface is the only entrance to the Deep Web,we must distinguish query interfaces of Deep Web.Since the Maximum Entropy Model could integrate various correlative and irrelative probability knowledge,it could deal with many problem well.So we use Maximum Entropy Model for query interface categorization in this paper.Compared with Bayes,C4.5 and SVM,Maximum Entropy shows its high quality.Moreover,it is useful to query interface categorization.

关 键 词：DEEP Web 网页表单 特征提取 最大熵模型 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程]