流式计算技术在山东省非考核地面气象自动站数据实时处理中的应用  

作　　者：冯勇 李微 袁雅涵 

机构地区：[1]山东省气象局气象防灾减灾重点实验室 [2]山东省气象信息中心 [3]济南高新技术产业开发区气象局

出　　处：《数字技术与应用》2022年第9期149-153,共5页Digital Technology & Application

基　　金：基于“天擎”的气象数据可视化服务关键技术研究(山东省气象局重点课题2021sdqxz06);基于“天擎”的机器学习平台关键技术研究与开发(山东省气象局重点课题2021sdqxz02);山东省精准预报技术创新团队、山东台风与海洋气象创新团队共同资助。

摘　　要：本文基于山东省气象大数据云平台“天擎”,采用Storm流式处理技术,从数据收集、数据解码、数据入库、数据监控等方面设计数据处理原型,解决2021年4月标准格式切换后非考核地面气象自动站数据无法提供数据服务的难题,并与多线程处理程序进行时效对比,实践表明,基于Storm的数据处理程序更能满足现有业务系统对数据时效的要求。

关 键 词：数据监控 多线程处理 数据收集 流式计算 数据处理程序 数据实时处理 数据解码 数据入库 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]