自然语言处理系统测评及标准化研究  

Evaluation and Standardization Study for Natural Language Processing System

作　　者：赵春昊 陈敏刚[2,3] 徐斯颖 丁敏捷 索照青 

机构地区：[1]上海依图网络科技有限公司 [2]上海市计算机软件评测重点实验室 [3]上海计算机软件技术开发中心 [4]上海财经大学 [5]香港大学,中国香港

出　　处：《信息技术与标准化》2023年第10期48-56,63,共10页Information Technology & Standardization

基　　金：上海市科技创新行动计划技术标准项目“自然语言处理系统测评规范”标准研制及应用,项目编号:22DZ2205500。

摘　　要：自然语言处理作为人工智能领域的重要分支,近年来得到了显著的发展。为填补我国在自然语言处理系统测评标准化建设的空白,介绍了自然语言处理技术及测评发展现状,梳理了自然语言处理国内外相关标准,针对自然语言处理系统测评标准化需求研究提出测评指标体系,并提出了一种自然语言处理系统测评标准化流程和方法。Natural Language Processing(NLP)which is an important branch in the field of artificial intelligence,has made significant progress in recent years.In order to fill the gap in the standardization construction of NLP system evaluation in China,this paper discusses the current development status of natural language processing technology and evaluation,combs through the relevant standards,and study the standardization requirements for natural language processing system evaluation and propose an evaluation indexes of the NLP system.Finally the paper proposes a standardized process and method for evaluating the NLP system.

关 键 词：自然语言处理 系统测评 标准化 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术]