基于Flink on YARN平台的应用研究  

作　　者：蔡鲲鹏 马莉娟 

机构地区：[1]阜阳师范大学计算机与信息工程学院,安徽阜阳236041 [2]阜阳师范大学历史文化与旅游学院,安徽阜阳236041

出　　处：《科技创新与应用》2020年第16期173-175,178,共4页Technology Innovation and Application

基　　金：安徽省自然科学基金项目(编号:KJ2018A0352)

摘　　要：对于海量实时数据而言,基于Flink on YARN平台可以对这些数据进行并行化处理。在接下来的工作机制和相关技术中,重点分析了基于此平台典型的流架构的数据传输模式,在此基础上,比对了流处理系统和批处理系统的差异点。对于不同数据处理系统,分析总结了Flink所面临的一些挑战,希望以此为Flink的进一步研究提供参考。For massive real-time data,these data can be processed in parallel based on Flink on YARN platform.In the following working mechanism and related technologies,the data transmission mode based on the typical stream architecture of this platform is analyzed,and on this basis,the differences between the stream processing system and the batch processing system are compared.For different data processing systems,the analysis summarizes some of the challenges faced by Flink,hoping to provide a reference for Flink’s further research.

关 键 词：Flink on YARN 流架构 流处理系统 批处理系统 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]