动作与音乐的节奏特征匹配模型  

Rhythm Based Motion-Music Matching Model

作　　者：樊儒昆[1] 傅晶[2] 程司雷[1] 张翔[1] 耿卫东[1] 

机构地区：[1]浙江大学CAD&CG国家重点实验室,杭州310027 [2]浙江理工大学艺术与设计学院,杭州310018

出　　处：《计算机辅助设计与图形学学报》2010年第6期990-996,共7页Journal of Computer-Aided Design & Computer Graphics

基　　金：国家自然科学基金(60633070;60773183);国家"八六三"高技术研究发展计划(2007AA01Z311);国家科技支撑计划项目(2007BAH11B02;2007BAH11B03);教育部新世纪人才计划(NCET-07-0743);长江学者和创新团队计划(IRT0652)

摘　　要：针对计算机动画制作中的自动编舞和配乐问题,提出一个基于节奏特征的动作-音乐匹配模型.首先分析出动作和音乐数据的节奏特征,然后使用动态时间规整算法度量动作与音乐片段的匹配程度,从而形成动作与音乐节奏匹配的计算模型.自动编舞或配乐流程包括预处理和实时匹配2个阶段.在预处理阶段,利用节奏特征匹配模型预先计算,获得数据库中所有潜在的动作和音乐片段组合的匹配程度,并得到一个动作-音乐映射图;在实时匹配阶段,首先通过图遍历的方法来搜索出与输入具有最佳节奏匹配的候选动作或者音乐,然后进一步对这些候选动作或者音乐数据的节奏特征点进行适当的优化调整,形成自动编舞或者配乐的结果.实验结果表明,该模型能够有效地指导用户编排出所期望的舞蹈动作或背景音乐.This paper presents a rhythm based motion-music correlation model for motion choreographing and music dubbing in computer animation.The model measures motion-music matching quality by applying dynamic time warping（DTW）algorithm on the extracted rhythm features of motion and music sequences.The overall motion-music matching pipeline is decomposed into two phases：pre-computation and real-time matching.During pre-computation phase,the motion-music correlation model calculates the matching quality of all possible motion-music pairs in database and constructs a motion-music mapping graph.During real-time matching phase,we locate the best-fit motion or music sequences from the mapping graph,then optimize the matching quality by fine-tuning the positions of rhythm feature points inside the candidate motion or music sequences.The experimental results indicate that our model can effectively generate desirable motion or music sequences well matched to input data.

关 键 词：节奏分析 动作合成 音乐合成 动态时间规整算法 

分 类 号：TP391.41[自动化与计算机技术—计算机应用技术]