基于Spark SQL技术的工业数据统计研究  

作　　者：胡志宝 陆会明[1] 

机构地区：[1]华北电力大学控制与计算机工程学院,北京102206

出　　处：《科学技术创新》2021年第6期58-61,共4页Scientific and Technological Innovation

摘　　要：对于获得的大量工业数据,然后对数据进行统计分析可以知道生产过程的运行情况,从而决定是否需要对过程或者方案进行调整。本文使用SparkSQL并行计算框架,利用Spark SQL在Java中集成的API,结合Java编程语言,对得到的工业数据进行常规统计,得到了数据的均值、均方差、最值等,对数据进行超限统计,得到过程量超过上限值的各个时间段的开始时间点和结束时间点及超限时间段的持续时长。

关 键 词：Spark SQL 数据处理 工业数据 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]