数据湖元数据管理体系:需求剖析、功能架构与未来展望  

Metadata Management System for Data Lakes:Requirements Analysis,Functional Architecture,and Future Directions

作　　者：张贵香 贾君枝 薛鹏珍 Zhang Guixiang;Jia Junzhi;Xue Pengzhen

机构地区：[1]中国人民大学信息资源管理学院,北京100872

出　　处：《图书与情报》2025年第1期106-116,共11页Library & Information

基　　金：中国人民大学2024年“求是学术-栋梁”育人育才项目“文物知识本体语义互操作研究”(项目编号:581124063909)研究成果之一。

摘　　要：随着全球数据产量呈现指数级增长,传统数据管理系统正面临数量庞大、多样化和实时性要求的挑战。数据湖作为大型原始数据存储库,已成为有效处理各种类型和规模数据的关键工具。为了防止数据湖演变为数据沼泽,必须重视元数据的有效管理。文章聚焦数据湖数据生命周期,探究数据湖元数据管理需求,归纳数据湖元数据类型;综合分析各领域的元数据架构,梳理数据湖元数据系统功能,揭示其在整个数据湖系统中的关键作用,并提出了数据湖元数据管理发展方向。探讨了数据湖的运作机制以及数据湖元数据管理逻辑,为应对不断增长的数据挑战提供了有力支持。As global data production grows exponentially,traditional data management systems are increasingly challenged by demands for handling massive,diverse,and real-time data.Data lakes,serving as extensive repositories for raw data,have emerged as essential tools for managing data of varying types and scales.To prevent data lakes from deteriorating into data swamps,effective metadata management is crucial.Focusing on the data lifecycle within data lakes,this paper explores metadata management requirements,categorizes types of metadata in data lakes,and provides a comprehensive analysis of metadata architectures across various fields.The study further synthesizes current metadata architectures in data lakes and outlines the core functionalities of metadata management systems,highlighting their critical role in data lake ecosystems.This discussion of data lake operation mechanisms and metadata management logic aims to support the growing data management challenges.

关 键 词：数据湖 元数据管理 元数据系统 

分 类 号：TP311.3[自动化与计算机技术—计算机软件与理论] G353.1[自动化与计算机技术—计算机科学与技术]