针对Web论坛的一种结构化数据自动抽取方法  

Automatic structured data extraction from Web forums

作　　者：关冕[1] 马军[1] 

机构地区：[1]山东大学计算机科学与技术学院,山东济南250101

出　　处：《山东大学学报（理学版）》2010年第5期42-47,共6页Journal of Shandong University(Natural Science)

基　　金：国家自然科学基金资助项目(60970047);山东省自然科学基金资助项目(Y2008G19);山东省科技攻关资助项目(2008GG10001026;2007GG10001002)

摘　　要：由于网页布局设计的复杂性和用户发表帖子的灵活性,从论坛网页中抽取结构化的数据是一项未能很好解决并非常具有挑战性的任务。本文提出了一种从任意的论坛站点中自动抽取结构化数据的通用解决方案,通过分析网页结构发现列表页和帖子页中的数据记录,并利用一组产生式规则从发现的数据记录中抽取结构化的数据。实验结果表明该方法在抽取论坛数据记录方面明显优于已有的方法,对论坛帖子的标题、作者、发表时间和内容文本块等元数据的抽取达到了较高的准确率。Because of both complex page layout designs and unrestricted user created posts,extracting structured data from Web forum pages is a very challenging task and not easily solved.A general solution to automatically extract structured data from any forum site was proposed.By analyzing page structure,a group of data records were found from both list page and post page,and then a set of production rules was used to extract structured data from these data records.Experimental results showed that the proposed approach significantly outperformed some existing methods in extracting data records and achieved high accuracy in extracting some metadata of Web forums such as title,author,time and content.

关 键 词：论坛 结构化数据 信息抽取 WEB挖掘 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]