多模态融合智能机器人的交互应用研究  

Research on Interactive Application of Multimodal Fusion Intelligent Robots

作　　者：杨晨杰 YANG Chenjie(School of Management,Tianjin University of Technology,Tianjin 300384,China)

机构地区：[1]天津理工大学管理学院,天津300384

出　　处：《成组技术与生产现代化》2024年第4期33-38,共6页Group Technology & Production Modernization

基　　金：国家自然科学基金资助项目(51775357)。

摘　　要：采用多模态融合技术,将视觉、语音等多模态信息引入人与机器人的交互过程,以改善交互效率,实现自然、高效、无接触的人机交互。由实验可知:利用Kinect传感器对RGB模态、Depth模态、Skeleton模态和Audio模态的信息进行采集和处理,可以实现对机器人运动的有效控制。The multi-modal fusion intention perception technology integrating visual,speech and other multi-modal information is introduced into the interaction process between humans and robots to improve interaction efficiency and achieves natural,efficient and con-tactless human-machine interaction.The experiment shows that Kinect sensors can be used to collect and process multi-modal data such as RGB information,Depth information,Skeleton information and voice information of gestures,effective control of robot motion can be achieved.

关 键 词：多模态融合 智能人机交互 Kinect传感器 AUBO-i5机器人 

分 类 号：TP242[自动化与计算机技术—检测技术与自动化装置]