基于HTML标记用途分析的网页正文提取技术  

Content extraction technique for web pages based on HTML-tags

作　　者：常红要[1] 朱征宇[1] 陈烨[1] 张鹏[1] 曾丽芳[1] 

机构地区：[1]重庆大学计算机学院,重庆400044

出　　处：《计算机工程与设计》2010年第24期5187-5191,共5页Computer Engineering and Design

基　　金：国家科技支撑计划基金项目(2007BAH08B04)

摘　　要：通过分析噪音数据特点和它所产生的影响,利用HTML的结构特征,提出了一种基于区域分块的HTML元素删除法,可用于网页正文的自动提取。实验结果表明,该方法能有效地得到大多数HTML网页的主体内容部分。针对HTML文件的解析方法不仅可以用于提取HTML文件的主体文本,也可以用于得到HTML文件中其它HTML元素的内容。An HTML element deleting method for extracting automatically the contents of a web page based on a technique of region sub-block is proposed by analyzing the data noise characteristics and its impact on the content of a web page and by using the structure characteristics of HTML-tags.The experiments show that the new method can extract effectively the main part of the contents of a web page in most cases.The tag analyzing method for HTML documents proposed can be used not only to extract the text of an HTML file,but also to obtain the contents of other HTML elements.

关 键 词：HTML网页 数据挖掘 内容抽取 噪音数据 元素删除法 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]