WEB文本海量数据挖掘应用中的多点数据采集及处理问题研究  

Research of Multi-Point Data Collecting and Processing in the Massive Web-text Mining Application

作　　者：曾锡山[1] 胡俊荣[2] 

机构地区：[1]华南师范大学计算机学院,广州510631 [2]华南师范大学图书馆,广州510631

出　　处：《情报杂志》2010年第8期131-135,共5页Journal of Intelligence

基　　金：广东省软科学基金项目"改革开放30年广东省科技投入产出科学计量学研究"(编号:2009B070300107)的研究成果之一

摘　　要：对海量数据采集与挖掘技术的问题,提出如何利用WEB文本进行多断点控制、并发采集、网上清洗等新技术方法进行海量数据采集及处理,构建了基于WEB文本海量数据挖掘的应用统计系统,实现了三千多万条原始数据的采集、转换、统计。

关 键 词：WEB挖掘 文本挖掘 海量数据 数据转换 网上清洗 

分 类 号：TP274[自动化与计算机技术—检测技术与自动化装置]