一种设备端中英分词算法的设计与实现  

作　　者：高群 

机构地区：[1]安徽三联学院计算机工程学院,安徽合肥230601

出　　处：《电脑知识与技术》2024年第16期19-22,共4页Computer Knowledge and Technology

基　　金：安徽三联学院2024年度校级科研平台重点项目:中英分词算法在智能设备上的应用及优化(项目编号:PTZD2024013)。

摘　　要：文章针对设备端中英文分词的需求,设计并实现了一种端侧中英文分词算法。该算法基于词典匹配原则,结合散列hash算法实现高效的词典查找。通过优化词典结构、采用自适应分词策略以及引入用户反馈机制等策略,提高了分词的准确率和处理速度。实验结果表明,无论在通用PC还是低性能嵌入式设备上,该算法都表现出良好的性能。在人工标注的中文和英文测试集上,整句分词准确率分别达到90%和80%以上,为设备端分词的实现提供了一种可行的思路。未来的工作重点是进一步优化英文处理,并适配低端硬件设备。

关 键 词：中英文分词算法 设备端算法 词典匹配 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术]