基于语义增强的单阶段文本生成图像方法  

作　　者：兰才俊 姚剑敏[1,2] 胡海龙 陈恩果[1] 严群 LAN Caijun;YAO Jianmin;HU Hailong;CHEN Enguo;YAN Qun

机构地区：[1]福州大学物理与信息工程学院,福建福州350108 [2]晋江市博感电子科技有限公司,福建泉州362216

出　　处：《信息技术与信息化》2025年第1期5-9,共5页Information Technology and Informatization

基　　金：国家自然科学基金(62175032);福建省杰出青年基金项目(2024J010046)。

摘　　要：文本到图像生成是一项极具挑战性的跨模态任务,目标是根据给定文本描述生成对应的图像。尽管现阶段相关研究在视觉呈现方面效果优异,但仍存在细节表达不够精细、语义一致性欠佳等问题。基于此,文章提出了一种基于语义增强的生成对抗模型,将文本进行编码后送入条件增强模块进行处理,丰富文本语义特征。在生成网络中,添加一个自适应块,在仿射变换前将上一层的输出和文本语义信息输入自适应块进行进一步的信息增强。并通过引入对比损失,提高文本与生成图像之间的语义一致性。将这一方法在MSCOCO和CUB birds 200 两个数据集上进行训练测试,实验结果表明,与其他模型相比,性能得到了较高提升。

关 键 词：语义增强 文本生成图像 生成对抗网络 对比损失 

分 类 号：TP391.41[自动化与计算机技术—计算机应用技术] TP18[自动化与计算机技术—计算机科学与技术]