基于上下文的多通道语义融合  

Multimodal semantic fusion based on context

作　　者：张婕[1] 王丹力[1] 

机构地区：[1]中国科学院软件研究所人机交互技术与智能信息处理实验室,北京100080

出　　处：《计算机工程与设计》2007年第1期1-3,35,共4页Computer Engineering and Design

基　　金：国家973重点基础研究发展计划基金项目(2002CB312103);国家自然科学基金项目(60373056)

摘　　要：多通道交互已经成为人机交互领域一个重要的研究方向,对多通道输入的信息进行语义融合是其中的关键问题。提出了一种将上下文与传统语义融合相结合的方法,并将这一方法应用在面向儿童使用的讲故事原型系统中。儿童通过受限的自然语言、笔的勾画等方式进行故事创作。结果表明,笔和语音结合的多通道交互方式能够使得儿童更方便、自然地与计算机进行交互,结合上下文的语义融合方法能够在一定程度上修正输入错误。Multimodal interaction has become an important direction in the field of human computer interaction, and how to fuse multimodal inputs in a semantic level is the key problem. A method that combines context with the traditional semantic fusion is presented, and it is applied to a storytelling prototype for children. Children could create stories with restricted natural language and pen strokes. It concludes that the multimodal interaction combined with pen and voice could make the communication between children and computer more convenient and natural, and the context-based semantic fusion method could correct input errors to some extent.

关 键 词：多通道交互 多通道语义融合 多通道用户界面 上下文 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]