基于光谱不变性特征的交叉光谱立体匹配  

Cross-spectral stereo matching using spectral-invariant feature

作　　者：朱康 ZHU Kang(Shanghai Institute of Microsyst ＆ Information Technology,Chinese Academy of Sciences,Shanghai 200050,China;University of Chinese Academy of Sciences,Beijing 100864,China;School of Information Science ＆ Technology,ShanghaiTech University,Shanghai 201210,China)

机构地区：[1]中国科学院上海微系统与信息技术研究所,上海200050 [2]中国科学院大学,北京100864 [3]上海科技大学信息科学与技术学院,上海201210

出　　处：《电子设计工程》2018年第19期184-188,193,共6页Electronic Design Engineering

基　　金：上海市优秀学术带头人计划项目(X-110-17-001)

摘　　要：双目立体匹配是计算机视觉的重要领域之一。由其获得的深度信息对于场景重建有着非常重要的作用。对于交叉光谱图像对(左、右视角采样于不同谱段的二维图像组)而言,图像匹配点之间由于采样光谱差异而存在灰度差异,所以在立体匹配过程中,基于亮度恒定性假设的传统立体匹配算法会失效。基于上述问题,本文章设计了一种基于HOG的光谱不变性特征描述子,对光谱数据进行光谱不变性特征提取,形成稠密的特征描述子,并计算交叉光谱图像对特征描述子之间的巴氏距离,最后利用马尔科夫随机场估计场景深度信息。本文章分别在双目立体匹配数据集和实际采集的光谱图像对上验证了该交叉光谱立体匹配方法的准确性和鲁棒性。Binocular stereo matching is one of important fields in computer vision. It can acquire depth information, which is significant for 3D reconstruction of scene. For cross-spectral image pair （images on left and right views are captured from different spectra） , corresponding pixels on different images exist intensity inconsistence due to spectral difference. Hence, the traditional stereo matching methods based on brightness constancy will be invalid. For solving this problem, this paper devises a novel spectral- invariant feature descriptor based on HOG. Then calculating pairwise Bhattacharyya distance on feature descriptor of cross-spectral image pair. Finally, using a Markov Random Field （MRF） refine the disparity map. This paper verifies the accuracy and robustness of this cross-spectral stereo matching method both on binocular stereo matching dataset and captured cross-spectral image pairs.

关 键 词：立体匹配 多光谱成像 光谱不变性特征描述子 巴氏距离 马尔科夫随机场 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]