“真实”的鸿沟:人类认知与大语言模型判定新闻真实的比较研究  

作　　者：虞鑫[1] 王金鹏 

机构地区：[1]清华大学新闻与传播学院

出　　处：《当代传播》2024年第5期17-23,共7页Contemporary Communication

基　　金：国家社会科学基金青年项目“突发公共事件中媒体坚守新闻真实性的路径、机制与方法研究”成果之一,编号:21CXW001;清华大学自主科研计划“智能时代的认知战作用机制研究”阶段性成果,编号:2023THZWYY05。

摘　　要：随着ChatGPT等生成式人工智能技术日益嵌入人们的生产生活中,技术背后可能带来的算法偏向、虚假信息等诸多问题愈发为人们所重视。为了更好地评估大语言模型的认识能力和潜在偏见,本文引入“图灵实验”(Turing Experiment)的方法,让大语言模型模拟人类的态度和行为,将“新闻真实性判定”作为测量人类认知与大语言模型的特定任务,在针对中美德三国民众的问卷调查(N=3000)中设计判定新闻真实性的调查实验(政治新闻组/非政治新闻组),并通过大语言模型GPT-3.5依据性别、国别等人口学因素生成与人类样本相对应的3000份“硅样本”(silicon sample),进而对比分析其在判定新闻真实性上的认知能力和潜在偏见。研究发现,ChatGPT在判定新闻真实性这一复杂认知任务上有着明显的优势,同时也存在薄弱环节,在政治新闻、真实新闻的判断上表现得比人类更准确,但在判别非政治新闻、虚假新闻上表现得不如人类。ChatGPT还存在着一定的代际偏见和语言偏见。就公众本身而言,政治新闻、虚假新闻仍是人们鉴别新闻的薄弱环节。

关 键 词：大语言模型 ChatGPT 人工智能 虚假新闻 图灵实验 

分 类 号：G206[文化科学—传播学]