WEB文献资料采集系统  

Web Literature Collection System

作　　者：马创新[1] 

机构地区：[1]南京师范大学文学院,南京210097

出　　处：《计算机系统应用》2012年第7期9-12,37,共5页Computer Systems & Applications

基　　金：国家社科基金重大项目(10&ZD117);江苏高校重点研究基地重大项目(2010JDXM023);江苏省教育厅高校哲学社会科学基金(2011SJB740010);江苏省高校自然科学研究项目(11KJD520009)

摘　　要：为了能够充分利用WEB上丰富的文献资源,设计了一个专业的WEB文献资料采集系统WLES。该系统集成了网页抓取和网页清洗两方面技术,并且引入机器学习方法到网页清洗中,通过机器对训练语料的学习得到一个清洗模型,然后用该模型来实施网页清洗。实验证明该系统在网页抓取和网页清洗方面都具有优良的性能,能够满足使用者的文献采集需求。In order to take advantage of the rich literature resources on the WEB,this paper designed a professional web literature collection system WLES.The WLES integrates Web crawling and Web cleaning technology.The machine learning method is introduced to the study of Web cleaning.Machine learning on the training data can get a clean model,and then use the model to implement web cleaning.Experiments show： WLES in web crawling and web page cleaning has an excellent performance,to meet the needs of the user＇s literature collection.

关 键 词：文献资料采集 机器学习 网页清洗 清洗模型 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术]