基于分片的高维稀疏数据存储模式优化研究  

Storage model optimization toward high dimensional sparse data based on slicing

作　　者：邵慧萌[1] 舒红平[1] 郑皎凌[1] 许源平[1] 文立玉[1] 

机构地区：[1]成都信息工程学院软件工程系,成都610225

出　　处：《计算机工程与应用》2013年第18期99-104,共6页Computer Engineering and Applications

基　　金：国家重点基础研究发展规划(973)(No.2012CB518500);国家自然科学基金青年基金(No.61202250;No.61203172);四川省教育厅青年基金项目(No.11ZB088);四川省应用基础计划(No.2012JY0112);成都市科技计划项目(No.12DXYB100JH-002);成都信息工程学院中青年学术带头人科研基金(No.J201208;No.J201101);成都信息工程学院引进人才项目(No.KYTZ201110;No.KYTZ201111);四川省科技支撑计划项目(No.2011SZZ027)

摘　　要：针对大型数据库中高维稀疏关系表空字段对存储空间的占用问题,通过利用传统行存储数据库模拟列式存储数据库的工作原理,设计了一种基于分片的数据库结构。通过实验分析,数据库存储空间比原始模式降低了27.42%左右。在对高维稀疏数据中五个字段进行查询时,I/O数据块个数降低至原始模式的35.27%,对高维稀疏数据中四个字段进行查询时,I/O数据块个数降低至原始模式的28.22%,而随着字段的减少I/O数据块仍会进一步减少,从而提高了数据库的访问效率。In large databases,empty fields in high dimensional sparse table may occupy a large amount of storage space.To deal with this problem,a slicing based database structure,which simulates the principle of column-store database in traditional rowstore database,is designed.By analyzing on testing results,the storage space is decreased about 27.42% lower than the original model.The number of I/O data block is reduced to 35.27% when five fields of high-dimensional sparse data are queried,and 28.22% when four fields are selected.There will be a further reduction when the number of fields reduces.Therefore the accessing efficiency for database is improved.

关 键 词：高维 稀疏数据 列式存储数据库 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]