一种基于不完整数据集的网页分类技术  

作　　者：蔡崇超[1] 

机构地区：[1]湖州职业技术学院机电工程分院,浙江湖州313000

出　　处：《软件导刊》2011年第1期143-145,共3页Software Guide

摘　　要：常用的网页分类技术大多基于普通文本分类方法,没有充分考虑到网页分类的特殊性——网页本身的半结构化特征以及网页中存在大量干扰分类的噪音信息,同时多数网页分类的测试集和训练集来源于同一个样本集而忽视了测试集中可能包含无类别样本的可能。基于向量空间模型,将样本集看成由有类别样本和无类别样本两部分组成,同时选择了样本集来自于相同的网站,在去除网页噪音基础上结合文本相似度算法和最优截尾法,提出了一种基于不完整数据集的网页分类技术LUD(Learning by Unlabeled Data)来改善分类效果,提高分类精度。实验证明:LUD算法与传统的分类方法相比较而言,不但可以提高已有类别样本的分类精度,更主要的是提供了一种发现新类别样本的方法。

关 键 词：不完整数据集 文本相似度 网页分类 网页去噪 

分 类 号：TP393.01[自动化与计算机技术—计算机应用技术]