建模连续视觉特征的图像语义标注方法  

Semantic Image Annotation by Modeling Continuous Visual Features

作　　者：李志欣[1,2,3] 施智平[1] 刘曦[1,3] 史忠植[1] 

机构地区：[1]中国科学院计算技术研究所智能信息处理重点实验室,北京100190 [2]广西师范大学计算机科学与信息工程学院,桂林541004 [3]中国科学院研究生院,北京100049

出　　处：《计算机辅助设计与图形学学报》2010年第8期1412-1420,共9页Journal of Computer-Aided Design & Computer Graphics

基　　金：国家"九七三"重点基础研究发展计划项目(2007CB311004);国家科技支撑计划(2006BAC08B06);国家自然科学基金重点项目(60933004);国家自然科学基金(60775035;60903141;60970088)

摘　　要：针对图像检索中存在的"语义鸿沟"问题,提出一种对连续视觉特征直接建模的图像自动标注方法.首先对概率潜语义分析(PLSA)模型进行改进,使之能处理连续量,并推导对应的期望最大化算法来确定模型参数;然后根据不同模态数据各自的特点,提出一个对不同模态数据分别处理的图像语义标注模型,该模型使用连续PLSA建模视觉特征,使用标准PLSA建模文本关键词,并通过不对称的学习方法学习2种模态之间的关联,从而能较好地对未知图像进行标注.通过在一个包含5000幅图像的标准Corel数据集中进行实验,并与几种典型的图像标注方法进行比较的结果表明,文中方法具有更高的精度和更好的效果.In order to bridge the semantic gap in image retrieval, this paper proposes an approach to annotate image automatically by modeling continuous visual features directly. Firstly, we extend probabilistic latent semantic analysis （PLSA） to model continuous quantity. In addition, corresponding Expectation-Maximization algorithm is derived to determine the model parameters. Secondly, in terms of the characteristics of different modalities, we present a semantic annotation model which employs continuous PLSA and standard PLSA to model visual features and textual words respectively. The model learns the correlation between these two modalities by an asymmetric learning approach and then it can predict semantic annotation precisely for unseen images. Finally, we conduct experiments on a standard Corel dataset consisting of 5 000 images. In comparison to several state-of-the-art approaches, our approach can achieve higher accuracy.

关 键 词：图像自动标注 概率潜语义分析 主题模型 连续视觉特征 图像检索 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]