基于多模态融合与注意力机制的实时视频通信延迟补偿方法  

作　　者：李元好 张如青 薛峰 LI Yuanhao;ZHANG Ruqing;XUE Feng

机构地区：[1]郑州经贸学院大数据与人工智能学院,河南郑州451191 [2]河南省多模态感知与智能交互技术工程研究中心,河南郑州451191

出　　处：《信息技术与信息化》2024年第11期97-100,共4页Information Technology and Informatization

基　　金：2023年郑州经贸学院校级科研平台(多模态数据感知与融合技术工程研究中心);2023年度郑州经贸学院青年科研基金项目“基于二维码技术的高校多媒体教室智能管理系统的研究与实现”。

摘　　要：在实时视频通信中,网络环境往往复杂多变,导致视频数据的传输出现不同程度延迟,影响用户体验。为此,提出基于多模态融合与注意力机制的实时视频通信延迟补偿方法。利用多模态融合技术与注意力机制深度提取并强化了实时视频通信延迟中关键的延迟特征,以此准确预测并计算实时视频通信的延迟。基于这些精准数据,建立延迟补偿器模型,进一步优化数据帧处理路径,实现实时视频通信的延迟补偿。仿真测试表明,所提出的方法能够将视频通信整体延迟时间控制在0.3 s内,证明基于多模态融合与注意力机制的实时视频通信延迟补偿方法能够显著减少延迟,确保通信流畅无阻,给用户带来即时互动的极致体验。

关 键 词：多模态融合 注意力机制 实时视频 通信延迟 延迟补偿 

分 类 号：TN919.8[电子电信—通信与信息系统]