基于深度典型相关性分析的跨媒体语义检索  

Cross-media semantic retrieval with deep canonical correlation analysis

作　　者：王述 史忠植[1] WANG Shu;SHI Zhongzhi(Key Laboratory of Intelligent Information Processing, Institute of Computing Technology , Chinese Acadezn y of Sciences, Beijing 100190;University of Chinese Academy of Sciences, School of Fngineering Science, Beijing 100049)

机构地区：[1]中国科学院计算技术研究所智能信息处理重点实验室,北京100190 [2]中国科学院大学工程科学学院,北京100049

出　　处：《中国科学技术大学学报》2018年第4期322-330,共9页JUSTC

基　　金：国家重点基础研究发展计划(973)(2013CB329502);国家自然科学基金(61035003)资助

摘　　要：基于典型相关性分析的跨媒体检索是一种将不同媒体特征通过相关性分析映射到同构的最大相关子空间,并在子空间中完成跨媒体数据间的相似性比较和检索的方法.典型相关性分析(canonical correlation analysis,CCA)是一种线性模型,并不能很好地挖掘跨媒体数据中的复杂相关关系.为此针对深度典型相关性分析(deep CCA,DCCA)的结构进行改进,使用隐含狄利克雷分布(latent Dirichlet allocation,LDA)发现文本语义信息并学习语义映射,提出了跨媒体深度相关性学习模型(cross-media correlation learning with deep canonical correlation analysis,CMC-DCCA)以及跨媒体语义相关性检索方法(cross-media semantic correlation retrieval,CMSCR).在维基百科文本图像数据集上的实验证明,CMC-DCCA模型能够较好地挖掘跨媒体数据中的复杂相关关系,CMSCR在跨媒体检索中具有较好的性能.The cross-media retrieval with canonical correlation analysis （CCA） is a method to map different media features to the largest correlation isomorphism subspace through the canonical correlation analysis, and compare the similarity between cross-media data in the subspace. However CCA is a linear model and can not adequately exploit the complex correlation between cross-media data. The structure of the traditional deep canonical correlation analysis （DCCA） is improved, and the latent dirichlet allocation （LDA） is used to discover the semantic information in the text data and learns the semantic mapping. The cross-media correlation learning with deep canonical correlation analysis （CMC DCCA） and the cross media semantic correlation retrieval （CMSCR） are proposed. Experiments on the Wikipedia text image dataset shows that the CMC-DCCA model can mine the complex correlation between cross-media data better, and that CMSCR has better performance in cross-media retrieval.

关 键 词：典型相关性分析 深度典型相关性分析 语义映射 跨媒体检索 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]