面向视听跨媒体检索的神经认知计算模型研究  

Research of Neural Cognitive Computing Model for Visual and Auditory Cross-media Retrieval

作　　者：刘扬[1,2,3] 涂春龙[4] 郑逢斌[1,3] 

机构地区：[1]河南大学空间信息处理实验室,开封475004 [2]河南大学环境与规划学院,开封475004 [3]河南大学计算机与信息工程学院,开封475004 [4]浙江大学生物医学工程系,杭州310027

出　　处：《计算机科学》2015年第3期19-25,30,共8页Computer Science

基　　金：国家自然科学基金(61305042;61202098);国防科技工业民用专项科研技术研究项目(2012A03A0939);河南省教育厅科学技术研究重点项目(13A520071)资助

摘　　要：跨媒体语义映射和跨媒体语义检索是跨媒体搜索引擎的核心技术问题。对视听神经认知的功能、层次和结构进行了分析,借鉴深度信念网络和时空层次记忆模型的设计思想,建立了一种仿脑的面向视听跨媒体应用的神经认知计算模型。依据神经系统的信息处理机制和认知理论的功能架构来设计可计算模型,系统地讨论了皮层柱的视听信息整合机制和协同认知的处理流程。本模型可为解决跨媒体语义映射和跨媒体语义检索的相关应用提供借鉴和参考,对实现非冯·诺依曼结构的仿脑认知计算进行了一次有意义的探索。Cross-media semantic mapping and cross-media semantic retrieval are key problems of the search engine.In this paper,we analyzed the functionality,the hierarchy and the structure of the brain’s neurocognitive,and established a in-like neural cognitive computing model for visual and auditory cross-media application after taking into account the idea of deep belief network and hierarchical temporal memory.According to the mechanism of information processing in central nervous system and framework of functional approach in cognitive theories,we designed computational model,and discussed systematically information integration mechanism in cortical column and cooperative cognitive processing of visual and auditory.This model provides a reference to resolve application of cross-media semantic mapping and retrieval,and is significant exploration for brain-like cognitive computation of non-von Neumann structure.

关 键 词：媒体神经认知计算 跨媒体语义检索 跨媒体语义映射 认知计算 仿脑计算 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]