网络舆情中的信息预处理与自动摘要算法  

Web Data Preprocessing and Automatic Abstract for the Public Opinion

作　　者：廉捷[1] 刘云[1] 

机构地区：[1]北京交通大学电子信息工程学院,北京100044

出　　处：《北京交通大学学报》2010年第5期94-99,共6页JOURNAL OF BEIJING JIAOTONG UNIVERSITY

基　　金：国家自然科学基金资助项目(60972012);北京市自然科学基金资助项目(4102047);教育部哲学人文社会科学研究重大课题(08WL1101);北京市教育委员会学科建设与研究生建设项目资助(JXKJD20090001);科技人员服务企业项目资助(2009GJA00048);中央高校基本科研业务费专项资金资助(2009YJS007)

摘　　要：提出了一套从互联网原始数据中提取有效信息,利用网页模版对这些信息进行格式化整理,并依据网络舆情的特点对正文信息进行自动摘要处理,在自动摘要处理过程中引入倒排索引概念简化了算法复杂度,基于关键词的权重分析保证了算法能够更准确的找到人们关心的信息.测试结果支持了本文提出的算法.This paper firstly introduced an approach of the data preprocessing and formatting from the original web pages based on web wrappers. Then, an algorithm of automatic abstract for the public opinion is presented. During the process of the automatic abstract operation, we use the technique of Inverted-Index to furthermore decrease the algorithm＇s complexity. And the policy of weight analysis based on key words is used to ensure people to find the most cared information. Finally, the experiment results show that the proposed algorithm is very efficient.

关 键 词：自动摘要 网页预处理 信息抽取 倒排索引 网络舆情 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]