基于CLIP的多模态视频文本检索系统  

Multimodal video text retrieval system based on CLIP

作　　者：叶柯 陈相余 麻福旦 YE Ke;CHEN Xiangyu;MA Fudan(Hangzhou Dianzi University,Hangzhou 310018,China)

机构地区：[1]杭州电子科技大学,杭州310018

出　　处：《计算机应用文摘》2023年第15期28-30,共3页Chinese Journal of Computer Application

基　　金：国家级大学生创新创业训练项目(202210336020)。

摘　　要：计算机视觉(Computer Vision,CV)与自然语言处理(Natural Language Processing,NLP)技术已逐渐趋于成熟,结合视觉和语言的多模态领域技术将成为学界和业界的研究热点。文章使用CLIP预训练模型,结合图像与语言两种模态信息,进一步将图像拓展至视频,利用FFmpeg处理视频,并对视频与文本信息进行嵌入(embedding)和余弦相似度匹配,从而实现利用纯文本检索视频中符合该文本语义的片段。Computer Vision(CV)and Natural language processing(NLP)technologies have gradually become mature,and multimodal domain technology combining vision and language will become a research hotspot in academia and industry.The article uses a CLIP pre training model,combining image and language modal information,to further expand the image to video.FFmpeg is used to process the video,and embedding and cosine similarity matching are performed on the video and text information to achieve pure text retrieval of segments in the video that match the semantics of the text.

关 键 词：多模态 CLIP FFmpeg处理 文本检索视频 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]