一种基于BERT的多级连贯性文本分割方法  

A BERT-BASED HIERARCHICAL ADJACENT COHERENCE TEXT SEGMENTATION METHOD

作　　者：赵怡博 蒋峰 李培峰[1] Zhao Yibo;Jiang Feng;Li Peifeng(School of Computer Science and Technology,Soochow University,Suzhou 215006,Jiangsu,China)

机构地区：[1]苏州大学计算机科学与技术学院,江苏苏州215006

出　　处：《计算机应用与软件》2024年第10期262-268,324,共8页Computer Applications and Software

基　　金：国家自然科学基金面上项目(61772354);国家自然科学基金重点项目(61836007)。

摘　　要：文本分割是自然语言处理(NLP)领域的一项重要任务。现有的工作大多是只关注文章整体信息或只着重于局部文本信息的模型,不能同时兼顾整体和局部的信息,因此,该文提出一种基于BERT的多级连贯性文本分割模型(HAC-BERT)。该模型能够通过对整体信息和局部信息分别建模,并通过权重相加的方式,同时关注局部信息和整体信息,从而取得更好的性能。在大规模文本分割语料上进行训练,并在多个不同领域的文本分割数据集上进行测试,实验结果表明,该文提出的模型有良好的性能和领域适应能力。Text segmentation is an important task of natural language processing(NLP).However,most of the existing works only focus on the overall information of the article or only focus on the local text information and cannot consider the global and local information at the same time.This paper proposes a BERT-based hierarchical adjacent coherence text segmentation model(HAC-BERT),which can model the overall information and local information separately through adding weights while paying attention to both partial information and overall information to achieve better performance.HAC-BERT was trained on large-scale text segmentation corpus and tested on multiple text segmentation datasets in different fields.The experimental results show that the proposed model has good performance and domain adaptability.

关 键 词：文本分割 自然语言处理 神经网络 BERT 

分 类 号：TP181[自动化与计算机技术—控制理论与控制工程]