基于汉字部件直方图的文本复制检测算法  

作　　者：姜丽清[1] 黄华军[1] 谢黎黎[1] 

机构地区：[1]中南林业科技大学计算机与信息工程学院,湖南410004

出　　处：《网络安全技术与应用》2015年第3期58-59,共2页Network Security Technology & Application

摘　　要：现有文本复制检测技术均基于相似度计算,针对其模型特征表示高维稀疏、算法设计复杂低效等问题,本文提出了一种新的基于汉字部件直方图的文本复制检测算法。其基本原理是根据汉字的数学表达式理论将文本中的所有汉字进行部件拆分,对部件频率进行统计,构造文本汉字部件直方图,以其作为文本的特征表示并将其间的相似度距离值作为复制检测评估依据。通过实验确定了巴氏距离为直方图相似度距离的计算公式。对比实验结果表明本算法查准率、召回率、F1值方面具有可取性。

关 键 词：复制检测 汉字部件 相似度距离 直方图 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术]