基于深度学习的彝文分词系统设计与实现  

作　　者：王承先 

机构地区：[1]中央民族大学中国少数民族语言文学学院

出　　处：《中国信息界》2024年第2期228-233,共6页Information China

摘　　要：引言。分词作为自然语言处理(Natural Language Processing,NLP)中重要的基础性任务,已经广泛应用于信息检索[1]、文本分类[2]、机器翻译[3]、智能问答[4]等多个领域,并且分词任务的准确率直接影响着任务的性能[5]。按照技术划分为三大类:基于词典、统计和基于深度学习方法。其中,基于词典方法需要构建足够大的词典,通过正向、逆向或双向匹配等匹配规则,将词典中的数据与待分词文本匹配进行分词[6-7]。但该方法对词典质量要求高,容易产生未登录词难以识别、分词后容易产生歧义的问题。

关 键 词：自然语言处理 文本分类 未登录词 信息检索 匹配规则 双向匹配 机器翻译 深度学习 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]