大规模数据处理系统的设计与优化研究——以常熟农商银行为例  

作　　者：刘伟明 武恩赐 张媛 

机构地区：[1]江苏常熟农村商业银行股份有限公司,江苏苏州215500 [2]上海天正智能数据服务有限公司,上海200030 [3]苏州银丰睿哲信息科技有限公司,江苏苏州215000

出　　处：《新潮电子》2024年第12期37-39,共3页

摘　　要：随着互联网和物联网应用的迅猛发展,数据量急剧增长。传统的关系型数据库在存储和查询时的实时性要求面临挑战,同时数据结构的多样化,不同类型的数据库相互交织,数据流转和整合处理变得更加复杂,成本也在上升。为满足企业数字化转型的需求,需要构建一个规模宏大的异构数据处理平台,实现资源统一调配,兼容不同的数据格式。同时实现存储和计算的并行处理,统一用户开发接口,以满足数据流转和整合处理的需求,提高业务的实时性和安全性。针对海量数据,设计了一套数据处理系统,该系统能够满足数据收集、处理和存储的需求,并具有出色的拓展性、高度可靠性和强大的实时性。这个系统非常适合处理大规模数据,有很好的性能,以提高数据分析和挖掘的效率。

关 键 词：大数据 结构化查询 数据分析 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]