网页信息自动抽取技术的研究  

Research on automatic extraction technology of Web information

作　　者：胡少荣[1] 孟嗣仪[1] 刘云[1] 张彦超[1] 丁飞[1] 

机构地区：[1]北京交通大学网络舆论安全研究中心,100044

出　　处：《铁路计算机应用》2010年第9期37-40,共4页Railway Computer Application

基　　金：国家自然科学基金资助项目(60972012);教育部培育基金项目(707006);教育部哲学人文社会科学研究重大课题(08WL1101);铁道部科技研究开发计划重点课题(2008X019);北京市教育委员会学科建设与研究生建设项目资助(JXKJD20090001);通信与信息系统北京市重点实验室资助项目(JSYJD20090001)

摘　　要：在网络舆情分析中,经常要从大量的网页信息中抽取出有用的数据。但一般的网页信息抽取技术都是基于对HTML文档的分析。本文提出网页信息自动抽取的方法,可以滤除网页噪声,快速准确地获取所需要的网页信息。该方法首先将HTML转换为结构化的XML文档,然后结合DOM4J和XPath语言建立网页解析模板库,最后根据模板的抽取规则对网页信息进行抽取。实验证明,该方法具有较高的回召率和查准率。In online public opinion analysis,it was needed to extract valuable information from large amount of Web source.But the common way of Web information extraction technology was based on the analysis of HTML documents.This paper proposed automatic extraction technology of Web information,it could eliminate noisy content,extract information efficiently.This method transformed HTML into structured XML model,then built Web pages parser template library by DOM4J and XPath,finally extracted the Web information according to rules of the parser template.Result showed that this method was high with recall and precision with retrieving.

关 键 词：自动抽取 网页信息 解析模板 XPATH 网络舆情 

分 类 号：TP39[自动化与计算机技术—计算机应用技术]