基于Spark Streaming、Kafka构建数据中心加工引擎的实践  

作　　者：叶惠仙[1] 

机构地区：[1]福建农业职业技术学院信息工程学院,福建350007

出　　处：《网络安全技术与应用》2023年第3期51-53,共3页Network Security Technology & Application

摘　　要：本文针对数据加工目前存在无法对变动的数据进行实时的数据捕捉、变换以及投递到程序进行数据计算,数据的实时计算力比较差,对数据缓冲的效率不高,不能控制数据流速度。在大量数据查询的情况,效率不高,性能不佳等问题。提出用OGG(Oracle Golden Gate)For Big Data整合Spark Streaming以及Kafka实现高可靠、高效、实时、高扩展性的数据加工引擎,实现数据的实时加工到数据集市中。并经过一系列加工、整理和汇总来满足数据处理的需要,并对业务数据通过实时同步加工整合记录数据,按需设计,形成各异依据应用。

关 键 词：OGG For Big Data Spark Streaming Kafka 数据集市 加工引擎 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论] TP308[自动化与计算机技术—计算机科学与技术]