一种支持高维数据查询的并行索引机制  

A parallel index mechanism for large scale high dimensional data

作　　者：王寅峰[1,2] 刘昊[1] 狄盛 胡昊宇 

机构地区：[1]香港大学计算机系 [2]深圳信息职业技术学院,广东深圳518029

出　　处：《华中科技大学学报（自然科学版）》2011年第S1期156-160,共5页Journal of Huazhong University of Science and Technology(Natural Science Edition)

基　　金：国家高技术研究发展计划资助项目(2006AA01A111);Hong Kong RGC Grant(HKU7176/06E);香港教资会专用设备建设基金资助项目(SEGHKU09)

摘　　要：提出了一种基于独立特征的并行索引体系结构以检索符合正态分布的高维数据.通过分析并行搜索的多维数据及其复杂度,结合用户设定的维度权重返回待核实的结果,最后通过加权相似度计算函数合并检索结果以完成kNN查询.针对高维数据的异构性特点,给出了规范情景上下文信息数据的算法.通过联合香港大学的2个社区和深圳先进研究院的CNGrid社区进行的测试,证明基于并行检索机制的100NN查询准确率可达93%,在千万个高维数据中的检索时间小于0.7s,结果表明所提出的并行索引机制能有效提高查询效率,尤其适合海量高维数据的有偏组合特征查询.提出了一种基于独立特征的并行索引体系结构以检索符合正态分布的高维数据.通过分析并行搜索的多维数据及其复杂度,结合用户设定的维度权重返回待核实的结果,最后通过加权相似度计算函数合并检索结果以完成kNN查询.针对高维数据的异构性特点,给出了规范情景上下文信息数据的算法.通过联合香港大学的2个社区和深圳先进研究院的CNGrid社区进行的测试,证明基于并行检索机制的100NN查询准确率可达93%,在千万个高维数据中的检索时间小于0.7s,结果表明所提出的并行索引机制能有效提高查询效率,尤其适合海量高维数据的有偏组合特征查询.

关 键 词：组合查询 高维数据索引 熵 位置敏感哈希函数 中国国家网格 

分 类 号：N55[自然科学总论]