PandaDB:一种异构数据智能融合管理系统  

PandaDB:Intelligent Management System for Heterogeneous Data

作　　者：沈志宏[1] 赵子豪 王华进 刘忠新[1] 胡川 周园春[1,2] SHEN Zhi-Hong;ZHAO Zi-Hao;WANG Hua-Jin;LIU Zhong-Xin;HU Chuan;ZHOU Yuan-Chun(Computer Network Information Center,Chinese Academy of Sciences,Beijing 100190,China;University of Chinese Academy of Sciences,Beijing 100049,China)

机构地区：[1]中国科学院计算机网络信息中心,北京100190 [2]中国科学院大学,北京100049

出　　处：《软件学报》2021年第3期763-780,共18页Journal of Software

基　　金：中国科学院战略性先导科技专项(B类)课题(XDB38030300);国家自然科学基金(61836013);科技部创新方法工作专项(2019IM020100);中国科学院信息化专项课题(XXH13503)。

摘　　要：随着大数据应用的不断深入,对大规模结构化/非结构化数据进行融合管理和分析的需求日益凸显.然而,结构化/非结构化数据在存储管理方式、信息获取方式、检索方式方面的差异给融合管理和分析带来了技术挑战.提出了适用于异构数据融合管理和语义计算的属性图扩展模型,并定义了相关属性操作符和查询语法.接着,基于智能属性图模型提出异构数据智能融合管理系统PandaDB,并详细介绍了PandaDB的总体架构、存储机制、查询机制、属性协存和AI算法集成机制.性能测试和应用案例证明,PandaDB的协存机制、分布式架构和语义索引机制对大规模异构数据的即席查询和分析具有较好的性能表现,该系统可实际应用于学术图谱实体消歧与可视化等融合数据管理场景.With the development of big data application,the demand of large-scale structured/unstructured data fusion management and analysis is becoming increasingly prominent.However,the differences in management,process,retrieval of structured/unstructured data brings challenges for fusion management and analysis.This study proposes an extended property graph model for heterogeneous data fusion management and semantic computing,defines related property operators and query syntax.Based on the intelligent property graph model,this study implements PandaDB,an intelligent heterogeneous data fusion management system.This study depicts the architecture,storage mechanism,query mechanism,property co-storage,AI algorithm scheduling,and distributed architecture of PandaDB.Test experiments and cases show that the co-storage mechanism and distributed architecture of PandaDB have good performance acceleration effects,and can be applied in some scenarios of fusion data intelligent management such as academic knowledge graph entity disambiguation.

关 键 词：数据管理系统 异构数据融合 图数据模型 即席查询 人工智能 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]