融合预训练技术的多模态学习研究专题前言  

Preface

作　　者：宋雪萌 聂礼强 申恒涛 田奇 黄华[5] SONG Xue-Meng;NIE Li-Qiang;SHEN Heng-Tao;TIAN Qi;HUANG Hua

机构地区：[1]山东大学计算机科学与技术学院,山东青岛266237 [2]哈尔滨工业大学(深圳)计算机科学与技术学院,广东深圳518055 [3]电子科技大学计算机科学与工程学院,四川成都611731 [4]华为技术有限公司,广东深圳518129 [5]北京师范大学人工智能学院,北京100875

出　　处：《软件学报》2023年第5期1997-1999,共3页Journal of Software

摘　　要：在当今信息爆炸的时代,海量多媒体数据涌现在互联网上.为更好地理解和分析多媒体数据,多模态学习逐渐成为研究热点.深度学习凭借其优秀的数据表征能力,成为多模态学习的主要技术之一.然而,现有的有标注数据集规模有限,往往难以保证复杂深度学习模型的泛化能力,这给传统的多模态学习研究带来了巨大挑战.为此,预训练技术逐渐引发国内外诸多学者的关注,为多模态学习研究领域提供了新的发展机遇.专题强调多模态学习与预训练技术的深度融合,研究融合预训练技术的多模态学习,包括两方面:(1)利用预训练模型强大的通用表征能力,解决多模态学习领域研究相关的痛点、难点问题;(2)利用多模态学习领域丰富的理论积淀,促进预训练相关技术的发展.专题围绕多模态数据分析技术,通过探讨多模态学习与预训练技术的深度融合,重点关注面向多模态学习的预训练技术、融入预训练技术的多模态内容理解以及融入预训练技术的多模态生成,旨在有效结合多模态学习技术与预训练技术,实现多模态学习技术和预训练技术的相辅相成,促进多模态学习领域的研究发展.

关 键 词：深度学习 深度融合 预训练 信息爆炸 多媒体数据 多模态学习 表征能力 互联网 

分 类 号：TP391.41[自动化与计算机技术—计算机应用技术] TP391.1[自动化与计算机技术—计算机科学与技术]