基于深度学习的多模态融合技术在医学图像处理中的研究进展  

Research progress of deep learning-based multimodal fusion technology in medical image processing

作　　者：刘亚茹 石浩 孙冠群 董静静 苏丹 陈杰(综述)[2] 辛均益(审校) LIU Yaru;SHI Hao;SUN Guanqun

机构地区：[1]杭州医学院信息工程学院,浙江杭州311399 [2]浙江省人民医院杭州医学院附属人民医院信息中心,浙江杭州310014

出　　处：《实用放射学杂志》2022年第12期2077-2079,共3页Journal of Practical Radiology

基　　金：浙江省自然科学基金(LQ19H160016);浙江省卫生计生委项目“非结构化医疗信息的元数据研究”(00004C32016KYB077)。

摘　　要：医学图像在疾病预防、治疗和管理等各个医学领域发挥着极其重要的作用[1]。现代医学影像技术为临床诊断提供了CT、MRI、功能磁共振成像(functional magnetic resonance imaging,fMRI)、正电子发射计算机体层成像(positron emission tomography,PET)和单光子发射计算机体层成像(single photon emission computed tomography,SPECT)等不同模态的医学图像[2]。单一模态的医学图像仅能捕获患者局部生理信息。例如,MRI呈现软组织结构信息,PET侧重展示脏器在功能和代谢方面的变化。综合利用多模态医学图像,充分挖掘图像各类信息,能够辅助医生全面深刻了解病患状况,已成为医学图像处理领域的重要研究问题[3]。近年来,深度学习在医学领域得到广泛应用[4-6],基于深度学习的多模态融合技术也取得重要突破。该技术可将不同分布、不同来源、不同类型的医学图像整合至同一全局空间,提高模型预测的准确率与鲁棒性[7]。本文讨论并总结基于深度学习的多模态融合技术的常见结构及其在医学图像处理任务中的应用,进一步分析该领域存在的挑战,并对多模态融合技术在医学图像处理领域的发展做出展望。

关 键 词：多模态融合 医学图像处理 深度学习 正电子发射计算机体层成像 软组织结构 代谢方面 医学领域 生理信息 

分 类 号：TP181[自动化与计算机技术—控制理论与控制工程] R444[自动化与计算机技术—控制科学与工程]