基于SBERT与少量标注样本的文档查重句子相似度评估技术  

作　　者：杨霄航 尹春林 朱华 李超 孙建文 

机构地区：[1]云南电网有限责任公司电力科学研究院,云南昆明650217

出　　处：《云南电业》2024年第6期24-29,共6页Yunnan Electric Power

摘　　要：文档查重是自然语言处理领域中的一项重要应用。准确评估句子相似度,对生成高质量的文档查重报告具有重要意义。但目前主流的句子相似度计算方法得到的相似度值较为集中,结果无法直接应用于查重报告。为了改进这一问题,本文提出一种基于SBERT与少量标注样本的句子相似度评估技术,利用SBERT构造句子对特征向量,利用少量人工标注的句子对相似度构造监督学习任务,确保模型能够更好地捕捉句子间的相似性。在某公司科技项目文档数据集上的实验结果表明,本文方法与句子相似度人工标注结果更为接近,在评估句子相似度方面优于传统方法。

关 键 词：SBERT 文本相似度 查重 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]