空间语义理解能力评测任务设计的新思路—SpaCE2021数据集的研制  

SpaCE2021:A New Benchmark for Chinese Spatial Language Understanding

作　　者：詹卫东[1] 孙春晖 岳朋雪 唐乾桐 秦梓巍 ZHAN Weidong;SUN Chunhui;YUE Pengxue;TANG Qiantong;QIN Ziwei

机构地区：[1]北京大学中国语言学研究中心/中文系,北京100871 [2]北京大学计算语言学教育部重点实验室,北京100871

出　　处：《语言文字应用》2022年第2期99-110,共12页Applied Linguistics

基　　金：国家科技创新2030“新一代人工智能”重大项目(2020AAA0106701);国家自然科学基金项目(62076008、61936012)资助。

摘　　要：中文空间语义理解评测任务(SpaCE2021)以判断题的形式呈现,包括3个子任务:(1)中文空间语义正误判断;(2)中文空间语义异常归因合理性判断;(3)中文空间语义正误判断与异常归因合理性判断联合任务。SpaCE2021数据集包含18000多道判断题,语料规模超过200万汉字。相较于传统空间语义角色标注及空间推理任务,SpaCE2021兼顾了语料的真实性、数据集构建方法的便捷性以及空间语义理解的挑战性,是中文空间语义理解专项评测领域新的尝试。This paper introduces SpaCE2021,a Chinese Spatial Language Understanding Evaluation benchmark.It contains three sub-tasks:(1)single sentence judgement,for classifying Chinese sentences that contain spatial expressions as acceptable or unacceptable according to their normal or abnormal spatial semantics;(2)error explanation and sentence pair judgement task,for judging whether a reason can explain an incorrect sentence with spatial semantic anomaly;(3)a joint task of the previous two sub-tasks.Space2021 data set contains more than 18000 judgment questions,and the corpus size is more than 2 million Chinese characters.Compared with traditional spatial semantic role tagging and spatial reasoning tasks,space2021takes into account the authenticity of corpus,the convenience of data set construction method and the challenge of spatial semantic understanding.It is a new attempt in the special evaluation field of Chinese spatial language understanding.

关 键 词：空间语义理解 空间语义异常 分类任务 空间语义句集 自然语言处理评测 

分 类 号：H087[语言文字—语言学]