基于Resnet-Bert网络模型的跨媒体检索方法  

Cross-media Retrieval Based on Resnet-Bert Network Model

作　　者：闫盈盈 曹扬 洒科进 支婷 YAN Yingying;CAO Yang;SA Kejin;ZHI Ting(CETC Big Data Research Institute Co.,Ltd.,Guiyang 550022;National Engineering Research Center for Big Data Application on Improving Government Governance Capabilities,Guiyang 550022)

机构地区：[1]中电科大数据研究院有限公司,贵阳550022 [2]提升政府治理能力大数据应用技术国家工程研究中心,贵阳550022

出　　处：《计算机与数字工程》2023年第2期390-395,共6页Computer & Digital Engineering

基　　金：国家自然科学基金项目(编号:U19B2020);天津市科技计划项目(编号:18ZXZNGX00370);2021年海南省重大科技计划项目“海南自贸港社会管理服务信息系统和ODAE协同关键技术研究及应用示范”(编号:ZDKJ2021051);贵州省2020年科技支撑计划项目(编号:黔科合支撑[2020]4Y058)资助。

摘　　要：针对跨模态检索研究中模态较少以及效果不佳问题,提出一种基于Resnet-Bert网络模型的跨媒体检索方法。利用图像识别较佳的卷积神经网络模型Resnet与文本处理效果较佳的Bert模型,在图像、视频、音频和文本四种媒体类型数据之间建立跨媒体统一表征类别标签空间。通过不同模态信息的迁移学习与关联挖掘,实现了更高的跨媒体检索精度。在公开数据集上进行实验,采用平均精度均值指标作为评价指标。试验表明,提出的方法在跨媒体检索效果上具有提升作用。For less modalities and poor effect in the cross-media retrieval research,a new cross-media retrieval method is proposed which based on Resnet-Bert network model.Combining the convolutional neural network model Resnet with better image recognition and Bert model with better text processing effect,a cross-media joint representation space based on topic label is established between the four media types of image,video,audio and text.Through transfer learning and association mining of different modality information,a higher cross-media retrieval accuracy is achieved.Many experiments are carried out on the open datasets,and the average accuracy mean map is used as the evaluation criteria.Experimental results show that our method can greatly improve the performance of cross-media retrieval.

关 键 词：跨媒体检索 Resnet Bert 类别标签 统一表征 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]