基于Spark和Kudu技术的施工人员准实时数据仓库  

作　　者：杨彦彬 YANG Yanbin

机构地区：[1]中通服软件科技有限公司,上海200050

出　　处：《信息技术与信息化》2021年第12期91-93,共3页Information Technology and Informatization

摘　　要：随着大数据计算技术和存储技术的发展,数据仓库的实时性要求也越来越高,原有的离线数据仓库建模技术和理论已不能适应某些业务的需求。基于此,提出了利用Apache的开源组件Spark和Kudu作为技术手段,并按照业务实时性要求,有针对性的调整了离线大数据仓库维度建模方法,建设了运营商施工人员准实时数据仓库,并顺利上线运营。运营结果表明,Spark和Kudu结合之后能最大限度满足此类业务的建设需求。

关 键 词：大数据 数据仓库 Kudu SPARK 维度建模 

分 类 号：TU71[建筑科学—建筑技术科学] TP311.13[自动化与计算机技术—计算机软件与理论]