大语言模型时代Text-to-SQL更准确的评估指标  

作　　者：蒋鹏 

机构地区：[1]西南石油大学计算机科学学院,四川成都610000

出　　处：《电脑知识与技术》2025年第1期76-78,88,共4页Computer Knowledge and Technology

摘　　要：大型语言模型(LLM)已成为推进Text-to-SQL任务的强大工具。研究发现,基于LLM的模型在不同评估指标下,其性能表现与经过微调的模型存在显著差异。因此,文章分析了测试套件执行准确度(EXE)和精确集匹配准确度(ESM)在评估基于LLM的Text-to-SQL模型时的不足,并提出了改进指标EESM(Enhanced Exact Set Matching)。实验结果表明,EXE和ESM分别存在高达13.2%和10.8%的假阳性和假阴性率,而EESM的假阳性率和假阴性率分别仅为0.2%和1.8%,表明EESM能够提供更准确的评估。

关 键 词：EESM 增强的精确集匹配准确度 测试套件执行准确度 精确集匹配准确度 Text-to-SQL 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]