公安交通管理大数据迁移融合处理应用场景及解决方法  

Research and Implementation of Large Data Migration Processing Method in Public Security and Traffic Management

作　　者：邵志骅 许卉莹 崔林山 

机构地区：[1]公安部交通管理科学研究所,无锡214151

出　　处：《中国公共安全（学术版）》2016年第3期73-76,共4页China Public Security(Academy Edition)

基　　金：国家科技支撑计划项目;项目名称"道路交通安全智能化管控关键技术及集成示范";项目编号:2014BAG01B00

摘　　要：本文针对公安交通管理信息系统开发建设中遇到数据处理、融合、迁移的需求,从跨网段数据批量处理、多源数据融合、结构化数据向分布式大数据平台迁移三个应用场景着手,分别介绍Spring Batch批处理框架、Kettle Etl工具及Sqoop数据迁移工具,并结合具体场景介绍其优势。旨在为同样面临数据批处理、数据迁移融合需求的应用提供一种解决方式。Againsting the needs of data processing, migration, integration in public security and traffic management information system development and construction, from three scenarios of data batch processing, data fusion of multiple data sources, structured data migration to large distributed data platform, this paper introduced a Spring batch framework, Kettle Etl tools and Sqoop data migration tool, combined with its advantages, designed to provide a solution for the applications that need data batch processing, data migration integration.

关 键 词：数据批处理 多源数据融合 数据迁移 

分 类 号：TU991.3[建筑科学—市政工程]