基于大数据的档案化数据管理系统设计与实现  

Design and Lmplementation of Archival Data Management System Based on Big Data

作　　者：杨子剑 胡俊[1] 蔡静 

机构地区：[1]中国人民银行征信中心 [2]中征(北京)征信有限责任公司

出　　处：《信息技术与标准化》2021年第6期19-23,共5页Information Technology & Standardization

摘　　要：针对传统范式化数据管理模式在大数据平台下无法有效对复杂结构数据进行管理的问题,提出一种档案化的数据管理方案,并使用大数据技术构建了数据管理系统,实现对复杂结构数据的有效管理。档案化数据管理按照对象建档,通过在档案中聚合与对象相关的信息,实现减少关系运算,提高数据处理性能的目标。采用NewSearch大数据平台构建档案化数据管理系统,并应用于征信系统运维基础平台的建设。In view of the problem that the traditional paradigm data management mode can not effectively manage the complex structure data under the big data platform,this paper introduces a kind of archival data management scheme,and employs big data technology to build a data management system in order to realize the effective management of complex structure data.Archival data management creates files according to objects.By aggregating information,related to objects in files,it can reduce relational operations and improve data processing performance.NewSearch big data platform is adopted to build archival data management system,and applied to the construction of the operation and maintenance of basic platform.

关 键 词：档案化 大数据 数据管理系统 分布式存储 元数据 

分 类 号：G270.7[文化科学—档案学] TP311.13[自动化与计算机技术—计算机软件与理论]