一种基于双重学习模型的可视语音合成系统  

Visual Speech Synthesis Based on Learning Model

作　　者：孙艳丰[1] 林仙平[1] 尹宝才[1] 贾熹滨[1] 

机构地区：[1]北京工业大学,计算机学院,多媒体与智能软件技术北京市重点实验室,北京100124

出　　处：《北京工业大学学报》2009年第5期702-707,共6页Journal of Beijing University of Technology

基　　金：国家自然科学基金资助项目(60533030);北京市自然科学基金资助项目(4061001);北京市属市管高等学校人才强教计划资助项目;国家科技支撑计划资助项目(2007BAH13B01).

摘　　要：为了在可视语音合成中获得更具有真实感的口型动画,提出了一种基于双重学习模型的合成方法.通过隐马尔可夫模型和遗传算法相结合的方法,可以更好地学习出语音特征与可视特征间的映射关系.该模型能去除传统语音识别领域在对大样本语音空间提取语音特征时的冗余信息,达到更好的可视语音预测效果.另外,在口型特征的表示上提出了一种基于面部动画参数特征点的几何特征表示,不仅对在不一致的光照条件下获得的训练样本有较好的鲁棒性,能更好地表征口型本身变化,而且与传统的主成分分析特征相比,具有较小的向量维数,提高了训练和合成速度.In order to generate more realistic mouth animation in visual speech synthesis,this paper proposed a method based on a two-level learning model.The authors can learn the potential mapping relationship between acoustic features and the visual features through the combination of HMM(Hidden Markov Models) and GA(Genetic Algorithms).This model can decrease the redundant information in abstracting acoustic features for large acoustic sample space and predict more realistic mouth animation.In addition,this paper also proposed a new method based on FAP points in mouth feature expression.This method can eliminate the effect by illumination and decrease the dimensions of mouth feature vector.It improves the speed of training and synthesis.

关 键 词：遗传算法 隐马尔可夫模型 语音合成 特征提取 语音处理 语音识别 

分 类 号：TU391.4[建筑科学—结构工程]