基于门控多头注意力机制的视频摘要  

Video Summarization Based on Gated Multi-head Attention Mechanism

作　　者：王坤阳 高伟 滕国伟[1] 

机构地区：[1]上海大学通信与信息工程学院,上海200444 [2]上海文广科技(集团)有限公司,上海200233

出　　处：《工业控制计算机》2022年第12期120-122,共3页Industrial Control Computer

摘　　要：技术能降低原始视频冗余程度,减小视频存储空间和浏览时间。现有的视频摘要方法大多采用递归结构,不仅计算复杂而且模型很难并行化运行。为了解决这个问题,提出了一种基于门控多头注意力机制的视频摘要网络模型(GMPAVS),该模型包含两种多头自注意模块,能同时捕获时间帧之间的全局和局部依赖关系,同时引入了相对位置编码和绝对位置编码,用于捕获视频的时间相关性。在两个基准数据集SumMe和TVSum上的实验结果证明了该方法的有效性。Video summarization technology can reduce the redundancy of original videos as well as video storage space and browsing time.Most of the existing video summarization methods adopt a recursive structure,which is not only computationally complex but also makes it difficult to run the model in parallel.To address this issue,this paper proposes a video summarization network model(GMPAVS)based on a gated multi-head attention mechanism.The model contains two multihead self-attention modules,which can simultaneously capture the global and local dependencies between time frames,and introduce relative position encoding and absolute position encoding to capture the temporal correlation of videos.

关 键 词：视频摘要 并行化 注意力机制 相对位置编码 

分 类 号：TP391.41[自动化与计算机技术—计算机应用技术]