跨模态情感计算在混合式学习中的应用  

作　　者：孙珠婷 张运波 符晓芳 

机构地区：[1]海南热带海洋学院计算机科学与技术学院,海南三亚572000

出　　处：《电脑知识与技术》2024年第32期159-161,共3页Computer Knowledge and Technology

基　　金：海南省高等学校教育教学改革项目(项目编号:Hnjgzc2023-28、Hnjg2022-90);三亚市院地科技合作项目(项目编号:2017YD12);2023年海南热带海洋学院校级教育教学改革项目(项目编号:RHYjg2023-24)。

摘　　要：在高校混合式学习模式下,线上自主探究结合线下协作学习能够收集到学习过程数据。这些数据对于分析学习者的情感状态具有重要意义,而情感状态往往是影响学习表现和结果的关键因素。情感计算基于人工智能技术,通过阿里云提供的物联网(IoT)平台,将传感器设备收集到的学习者大数据通过AMQP协议传输到服务器,再调用阿里云提供的第三方接口实现硬件大数据收集,如心电图、脑电图等,以获取学习者的生理情感状态,包括体温、身体动作、语言、心率以及个性特征等情感大数据。卷积神经网络(CNNs)适用于视觉图像识别,能够获取、分析和计算学习者面部表情情绪数据,并针对采集的文本、图像、语音及视频等学习大数据,提供跨模态情感数据融合方法。

关 键 词：情感计算 跨模态 物联网 CNNS 混合式学习 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程]