一种基于同层网页相似性去除网页噪音的方法  

Noise Elimination Method in Web Pages Based on the Similarity of Same Layer Pages

作　　者：袁明轩[1] 张选平[1] 蒋宇[1] 赵仲孟[1] 

机构地区：[1]西安交通大学电信学院软件研究所,710049

出　　处：《计算机工程》2006年第23期61-63,共3页Computer Engineering

摘　　要：一个普通的Web页面可以被分成信息块和噪音块两部分。基于web信息检索的第1步就是过滤掉网页中的噪音块。通过网页的特性可以看出,同层网页大多具有相似的显示风格和噪音块。在VIPS算法的基础上,该文提出一种基于同层网页相似性的匹配算法,这个算法可以被用来过滤网页中的噪音块。通过实验检测,算法可以达到95%以上的准确率。A common Web page could be separated into two categories： valuable segments and noise segments. The first step of information retrieval on the Web is to eliminate noise segments or blocks. This paper studies the properties of Web pages and finds out that Web pages with a common URL prefix always have the similar presentation styles and noise segments. Based on vision-based page segmentation （VIPS）, it proposes an approximate sub-tree matching algorithm, which could be used to eliminate noise segmentations in a Web page. The implemented algorithm could achieve 95% accurate noise block.

关 键 词：网页噪音 VIPS算法 相似树比较 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]