融合内容和图片特征的中文摘要生成方法研究  

Generating Chinese Abstracts with Content and Image Features

作　　者：全安坤 李红莲[1] 张乐 吕学强[2] Quan Ankun;Li Honglian;Zhang Le;Lyu Xueqiang(School of Information&Communication Engineering,Beijing Information Science and Technology University,Beijing 100101,China;Beijing Key Laboratory of Internet Culture and Digital Dissemination Research,Beijing Information Science and Technology University,Beijing 100101,China)

机构地区：[1]北京信息科技大学信息与通信工程学院,北京100101 [2]北京信息科技大学网络文化与数字传播北京市重点实验室,北京100101

出　　处：《数据分析与知识发现》2024年第3期110-119,共10页Data Analysis and Knowledge Discovery

基　　金：国家自然科学基金项目(项目编号:62171043);北京信息科技大学“勤信人才”培育计划基金项目(项目编号:QXTCP B201908)的研究成果之一。

摘　　要：【目的】为解决现有根据单一文本特征生成的中文摘要质量不佳问题,提出一种融合内容和图片特征的中文摘要生成方法。【方法】使用BERT提取文本特征,使用ResNet提取图片特征,该特征能够对文本特征进行补充与验证,并利用注意力机制将两种模态特征进行融合,最终将融合后的特征送入指针生成网络模型进一步生成质量更高的中文摘要。【结果】实验结果表明,所提方法相较于仅使用单一文本模态生成中文摘要的方法,在ROUGE-1、ROUGE-2和ROUGE-L指标上分别有1.9、1.3和1.4个百分点的提升。【局限】实验数据主要来源于新闻领域,在其他领域中的效果有待验证。【结论】加入图片信息能够使融合后的特征保存更多重要信息,帮助模型更好地定位关键内容,使生成的摘要更具有概括性和可读性。[Objective]This paper proposes a new Chinese abstract generation method integrating content and image features.It aims to improve the performance of existing methods based on text features.[Methods]First,we used the BERT to extract text features and used ResNet to extract image features.Then,we utilized these features to complement and validate each other.Third,we fused the two modal features with the attention mechanism.Finally,we inputted the fused features into a pointer generation network to generate higher-quality Chinese abstracts.[Results]Compared to models solely relying on single text modality,the proposed method showed improvements of 1.9%,1.3%,and 1.4% on ROUGE-1,ROUGE-2,and ROUGE-L metrics,respectively.[Limitations]The experimental data were primarily retrieved from the news domain,and the model’s effectiveness in other fields remains to be verified.[Conclusions]Incorporating image information allows the fused features to retain more important information.It helps the model identify the key content better and makes the generated abstracts more comprehensive and readable.

关 键 词：特征融合 BERT ResNet 注意力机制 摘要生成 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]