FDSS:基于HDFS的海量音乐特征数据存储系统  

FDSS:HDFS Based Massive Music Feature Data Storage System

作　　者：范远超[1] 徐辰[1] 于政[1] 周敏奇[1] 王晓玲[1] 

机构地区：[1]华东师范大学软件学院上海市高可信计算重点实验室,上海200062

出　　处：《计算机研究与发展》2011年第S3期374-378,共5页Journal of Computer Research and Development

基　　金：国家自然科学基金重点项目(61033007);国家"九七三"重点基础研究发展计划基金项目(2010CB328106);上海市教委科技创新项目(10ZZ33);教育部新世纪人才支撑计划基金项目(NCET-10-0388)

摘　　要：随着互联网上音乐数目的迅速增长,传统的单机和小规模分布式平台已经不能满足海量音乐特征数据管理的需要;Hadoop分布式文件系统(HDFS)具有可扩展性、高可用性、容错性的优势,为海量音乐特征数据提供了有效的管理平台.提出了海量音乐特征数据存储系统FDSS:基于HDFS平台和MapReduce框架,设计了音乐特征数据的存储结构,实现了海量音乐特征数据的存储和读取;结合格雷码为音乐特征数据建立索引,优化了数据分布和快速读取;引入分布式内存缓存Memcached存储频繁访问的数据,优化了数据读取时间.系统演示了对海量级音乐特征数据的分布式存储和对指定音乐特征数据的快速读取功能.随着互联网上音乐数目的迅速增长,传统的单机和小规模分布式平台已经不能满足海量音乐特征数据管理的需要;Hadoop分布式文件系统(HDFS)具有可扩展性、高可用性、容错性的优势,为海量音乐特征数据提供了有效的管理平台.提出了海量音乐特征数据存储系统FDSS:基于HDFS平台和MapReduce框架,设计了音乐特征数据的存储结构,实现了海量音乐特征数据的存储和读取;结合格雷码为音乐特征数据建立索引,优化了数据分布和快速读取;引入分布式内存缓存Memcached存储频繁访问的数据,优化了数据读取时间.系统演示了对海量级音乐特征数据的分布式存储和对指定音乐特征数据的快速读取功能.

关 键 词：HDFS MAPREDUCE 音乐特征数据 格雷码 MEMCACHED 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]