基于单摄像头的自然用户接口引擎开发  

A Single Camera Based Natural User Interface Engine Development

作　　者：宋伟[1] 于少波[1] 黎佳雪 王辉柏[1] 

机构地区：[1]北方工业大学计算机学院,北京100144

出　　处：《北方工业大学学报》2015年第1期20-29,41,共11页Journal of North China University of Technology

基　　金：2015年度北京市教委科研计划项目(KM2015_10009006);科研基地建设项目(PXM2015_014212_000024);中央支持地方专项(PXM2014_014212_000097);北方工业大学科研启动基金;北京市留学人员科技活动项目

摘　　要：自然用户接口(NUI)通过自然且直观的操作方法实现了人机交互中的控制接口,是人机交互手段研究的一个新兴的方向.本文利用廉价的网络摄像头作为NUI应用的信号输入端,设计了一套基于单摄像头的NUI结构,并通过融合CUDA工具包和DirectX软件开发包(SDK),开发了实时的NUI引擎系统.引擎使用网络摄像头进行视频捕捉后,利用图形处理器(GPU)编程方法实现实时的图形处理,并结合DirectX SDK展示NUI应用.为了检验所提出的实时NUI引擎的性能,本文利用其开发了若干非触摸操作的混合现实游戏和应用,实验结果表明本引擎实现了实时直观的交互式操作.Natural user interfaces（NUI）are a novel way to provide human computer interaction（HCI）with natural and intuitive operation interfaces.This paper designs a single camera based NUI architecture using an inexpensive web camera as a means of input device for NUI applications.By integrating the CUDA toolkit and the DirectX software development kit（SDK）,a real-time NUI engine system is developed.The system captures video via the web camera,implements real-time image processing using graphic processing unit（GPU）programming,and presents the NUI applications using the DirectX SDK.To verify the efficacy of the proposed NUI engine,this paper utilizes it in the development of several touch-less operation applications and mixed reality games.The experienmantal results confirm that the engine realizes real-time and intuitive interactive operations.

关 键 词：自然用户接口 人机交互 GPU编程 混合现实技术 无触摸操作 实时图像处理 

分 类 号：TP37[自动化与计算机技术—计算机系统结构]