基于物联网的大数据采集与存储技术解决方案  

作　　者：秦磊 林希佳 周轩 郭磊 王路 吴成庆 王娜 

机构地区：[1]江苏金陵智造研究院有限公司,江苏南京210001

出　　处：《科学技术创新》2021年第32期104-107,共4页Scientific and Technological Innovation

摘　　要：为实现不同厂商、不同品牌及不同通信接口的设备数据采集,研讨一种针对智能智造领域及智慧园区领域的设备规模化、通用化数据采集的方法,通过NEETY高性能网络编程框架、Project Reactor响应式编程框架、NoSQL数据库及接口协议集成的方式来获取所需的设备数据。使用Mqtt与Kafka相结合的方式,实现多源设备与平台间大数据量的实时交互,获取设备状态数据,例如模具状态监控设备需采集电池电量、2G信号强度、NB信号强度,WIFI信号强度、温度、工作状态、控制软件版本号、通信软件版本号、2G基站LAC号、2G基站CI号等数据。MQTT接口协议传输数据,Kafka进行数据接收与推送,Storm实时处理采集的数据,借助Elasticsearch行列混合存储数据库进行存储。数据处理和缓存的系统性能损耗全部转移至数据库服务器端。

关 键 词：数据采集 Netty Mqtt Kafka Elasticsearch 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]