基于Hadoop的房产信息服务的方法  

Method of real estate information services based on Hadoop

作　　者：俞栋辉[1] 于明远[1] 叶蕾[1] 梁荣华[1] 

机构地区：[1]浙江工业大学计算机科学与技术学院,浙江杭州310023

出　　处：《华中科技大学学报（自然科学版）》2012年第S1期66-69,共4页Journal of Huazhong University of Science and Technology(Natural Science Edition)

基　　金：国家自然科学基金资助项目(61070114);浙江省自然科学基金重点资助项目(Z1090630);浙江省自然科学基金资助项目(Y1110768;Y1100950);浙江省教育厅基金资助项目(Y200907698)

摘　　要：针对大数据信息服务的运算效率的问题,提出一种基于Hadoop的房产信息服务方法,设计并实现了一个房产信息服务原型系统.使用Hadoop搭建分布式文件系统,在该文件系统之上使用RCFile对数据进行存储管理.此外,在该系统中集成数据索引、数据压缩等技术,并提出一种SQL高效查询机制——SQL-JM,将SQL查询转变成MapReduce作业,提高查询效率.前端使用一些信息可视化技术,如Treemap,StreamGraph,折线图等对数据进行直观展示.用户通过浏览器登录该系统后,可以申请并使用相关房产信息服务.Hive,HadoopDB,MySQL等数据库系统的查询对比实验验证了该系统能提高查询效率.针对大数据信息服务的运算效率的问题,提出一种基于Hadoop的房产信息服务方法,设计并实现了一个房产信息服务原型系统.使用Hadoop搭建分布式文件系统,在该文件系统之上使用RCFile对数据进行存储管理.此外,在该系统中集成数据索引、数据压缩等技术,并提出一种SQL高效查询机制——SQL-JM,将SQL查询转变成MapReduce作业,提高查询效率.前端使用一些信息可视化技术,如Treemap,StreamGraph,折线图等对数据进行直观展示.用户通过浏览器登录该系统后,可以申请并使用相关房产信息服务.Hive,HadoopDB,MySQL等数据库系统的查询对比实验验证了该系统能提高查询效率.

关 键 词：房产信息服务 HADOOP 查询优化 原型系统 数据管理 

分 类 号：N55[自然科学总论]