李樹濤，吳小俊，馬佳義，白相志，劉羽，李輝，韓向娣

1.湖南大學(xué)，長(zhǎng)沙 410082；2.江南大學(xué)，無錫 214122；3.武漢大學(xué)，武漢 430072；4.北京航空航天大學(xué)，北京 102206；5.合肥工業(yè)大學(xué),合肥 230009；6.《中國(guó)圖象圖形學(xué)報(bào)》編輯部, 北京 100190

圖像融合技術(shù)旨在提取和整合多源圖像中的互補(bǔ)信息，以生成具有完整場(chǎng)景表達(dá)能力的融合圖像，從而提升決策系統(tǒng)在目標(biāo)檢測(cè)、場(chǎng)景解析等高層視覺任務(wù)上的準(zhǔn)確性及可靠性，在醫(yī)學(xué)、安防、遙感、數(shù)碼攝影等安全和民用領(lǐng)域具有廣泛的應(yīng)用前景。

典型的圖像融合任務(wù)包括多模態(tài)醫(yī)學(xué)圖像融合、紅外與可見光圖像融合、多聚焦圖像融合、多曝光圖像融合、高光譜/多光譜/全色圖像融合及超分等。然而，多源圖像融合目前仍然面臨多方面挑戰(zhàn)，包括對(duì)信息源的不同理解定義、對(duì)后端任務(wù)有益信息的定義、信息分解的方式、互補(bǔ)和冗余信息的區(qū)分、有效融合規(guī)則的設(shè)計(jì)、多源圖像的配準(zhǔn)、融合圖像的質(zhì)量評(píng)估等。近年來，人工智能和高性能計(jì)算快速發(fā)展，大規(guī)模多媒體數(shù)據(jù)的智能應(yīng)用需求日趨廣泛，多媒體數(shù)據(jù)的融合、轉(zhuǎn)換、理解、搜索、推理與推薦等方向的新問題也不斷涌現(xiàn)，推動(dòng)了多媒體智能處理與分析技術(shù)的迅速發(fā)展，在學(xué)術(shù)界和產(chǎn)業(yè)界均引起極大關(guān)注。

為深入探討和研究上述問題，展示我國(guó)學(xué)者在圖像融合技術(shù)方面的重要進(jìn)展，《中國(guó)圖象圖形學(xué)報(bào)》邀請(qǐng)業(yè)內(nèi)專家共同策劃推出“圖像融合”?？?，收錄該方向具有創(chuàng)新性、突破性的研究成果。以期為相關(guān)領(lǐng)域的研究人員提供參考。

?？盏筋I(lǐng)域內(nèi)相關(guān)學(xué)者積極踴躍的投稿。經(jīng)過嚴(yán)格評(píng)審，“圖像融合”?？彩珍泴W(xué)術(shù)論文20篇，包括“綜述”6篇、“紅外與可見光圖像融合”6篇、“醫(yī)學(xué)圖像處理”4篇、“遙感圖像處理”3篇以及“多模態(tài)信息融合”1篇。

“綜述”欄目中，《基于深度學(xué)習(xí)的圖像融合方法綜述》對(duì)不同融合任務(wù)場(chǎng)景下的前沿深度融合算法進(jìn)行全面論述和分析。首先，介紹圖像融合的基本概念以及不同融合場(chǎng)景的定義。針對(duì)多模圖像融合、數(shù)字?jǐn)z影圖像融合以及遙感影像融合等不同的融合場(chǎng)景，從網(wǎng)絡(luò)架構(gòu)和監(jiān)督范式等角度全面闡述各類方法的基本思想，并討論各類方法的特點(diǎn)。其次，總結(jié)各類算法的局限性，并給出進(jìn)一步改進(jìn)方向。再次，簡(jiǎn)要介紹不同融合場(chǎng)景中常用的數(shù)據(jù)集，并給出各種評(píng)估指標(biāo)的具體定義。對(duì)于每一種融合任務(wù)，從定性評(píng)估、定量評(píng)估和運(yùn)行效率等多角度全面比較其中代表性算法的性能。論文提及的算法、數(shù)據(jù)集和評(píng)估指標(biāo)已匯總至https://github.com/Linfeng-Tang/Image-Fusion。最后，給出了結(jié)論以及圖像融合研究中存在的一些嚴(yán)峻挑戰(zhàn)，并對(duì)未來可能的研究方向進(jìn)行了展望。

《多模態(tài)視覺跟蹤方法綜述》以闡述可見光—紅外跟蹤方法為主，從信息融合的角度將現(xiàn)有方法劃分為結(jié)合式融合和判別式融合，分別進(jìn)行了詳細(xì)介紹和分析，并對(duì)不同類方法的優(yōu)缺點(diǎn)進(jìn)行了分析和比較。然后，對(duì)其他多模態(tài)視覺跟蹤任務(wù)的研究工作進(jìn)行了介紹，并對(duì)不同多模態(tài)視覺跟蹤任務(wù)的優(yōu)缺點(diǎn)進(jìn)行了分析和比較。最后，對(duì)多模態(tài)視覺跟蹤方法進(jìn)行了總結(jié)以及對(duì)未來發(fā)展進(jìn)行展望。

《遙感圖像全色銳化的卷積神經(jīng)網(wǎng)絡(luò)方法研究進(jìn)展》回顧當(dāng)前遙感圖像全色銳化問題在卷積神經(jīng)網(wǎng)絡(luò)方面的一些進(jìn)展，并針對(duì)前述問題發(fā)布相關(guān)數(shù)據(jù)集和代碼編寫框架。1)詳細(xì)介紹7種典型的基于卷積神經(jīng)網(wǎng)絡(luò)的全色銳化方法，并在統(tǒng)一數(shù)據(jù)集上進(jìn)行公平比較(包括與典型傳統(tǒng)方法的比較)；2)詳細(xì)介紹訓(xùn)練—測(cè)試數(shù)據(jù)集的仿真細(xì)節(jié)，并發(fā)布相關(guān)衛(wèi)星(如WorldView-3，QuickBird，GaoFen2，WorldView-2)的全色銳化訓(xùn)練—測(cè)試數(shù)據(jù)集；3)針對(duì)本文介紹的7種基于卷積神經(jīng)網(wǎng)絡(luò)的方法，發(fā)布基于Pytorch深度學(xué)習(xí)庫(kù)的Python代碼統(tǒng)一編寫框架，便于后來初學(xué)者的入門、開展研究以及公平比較；4)發(fā)布統(tǒng)一的全色銳化傳統(tǒng)—深度學(xué)習(xí)方法MATLAB測(cè)試軟件包，便于后來學(xué)者進(jìn)行公平的實(shí)驗(yàn)測(cè)試對(duì)比；5)對(duì)本領(lǐng)域的未來研究方向進(jìn)行討論和展望。相關(guān)數(shù)據(jù)集和代碼詳見：https://liangjiandeng.github.io/PanCollection.html。

《深度學(xué)習(xí)多聚焦圖像融合方法綜述》對(duì)基于深度學(xué)習(xí)的多聚焦圖像融合方法進(jìn)行系統(tǒng)綜述，將現(xiàn)有方法分為基于深度分類模型的和基于深度回歸模型的兩大類，對(duì)每一類的代表性方法進(jìn)行介紹；然后基于3個(gè)多聚焦圖像融合數(shù)據(jù)集和8個(gè)常用的客觀質(zhì)量評(píng)價(jià)指標(biāo)，對(duì)25種代表性融合方法進(jìn)行了性能評(píng)估和對(duì)比分析；最后總結(jié)了該研究方向存在的一些挑戰(zhàn)性問題，并對(duì)后續(xù)研究進(jìn)行展望。旨在幫助相關(guān)研究人員了解多聚焦圖像融合領(lǐng)域的研究現(xiàn)狀，促進(jìn)該領(lǐng)域的進(jìn)一步發(fā)展。

《深度學(xué)習(xí)時(shí)代圖像融合技術(shù)進(jìn)展》首先介紹了圖像融合問題建模，并從傳統(tǒng)方法視角逐漸向深度學(xué)習(xí)視角過渡。具體地，從數(shù)據(jù)集生成、神經(jīng)網(wǎng)絡(luò)構(gòu)造、損失函數(shù)設(shè)計(jì)、模型優(yōu)化和性能評(píng)估等方面總結(jié)了基于深度學(xué)習(xí)的圖像融合研究現(xiàn)狀。此外，討論了選擇性圖像融合這類衍生問題建模(比如，基于高分辨率紋理圖融合的深度圖增強(qiáng))，回顧了一些基于圖像融合實(shí)現(xiàn)其他視覺任務(wù)的代表性工作。最后，根據(jù)現(xiàn)有技術(shù)的缺陷，提出目前圖像融合技術(shù)存在的挑戰(zhàn)，并對(duì)未來發(fā)展趨勢(shì)進(jìn)行了展望。

《醫(yī)學(xué)圖像融合方法綜述》對(duì)近年國(guó)內(nèi)外發(fā)表的相關(guān)文獻(xiàn)進(jìn)行綜述。對(duì)醫(yī)學(xué)圖像融合技術(shù)進(jìn)行分類，將融合方法分為傳統(tǒng)方法和深度學(xué)習(xí)方法兩類并總結(jié)其優(yōu)缺點(diǎn)。結(jié)合多模態(tài)醫(yī)學(xué)圖像成像原理和各類疾病的圖像表征，分析不同部位、不同疾病的融合方法的相關(guān)技術(shù)并進(jìn)行定性比較?？偨Y(jié)現(xiàn)有多模態(tài)醫(yī)學(xué)圖像數(shù)據(jù)庫(kù)，并按分類對(duì)25項(xiàng)常見的醫(yī)學(xué)圖像融合質(zhì)量評(píng)價(jià)指標(biāo)進(jìn)行概述。總結(jié)22種基于傳統(tǒng)方法和深度學(xué)習(xí)領(lǐng)域的多模態(tài)醫(yī)學(xué)圖像融合算法。此外，本文進(jìn)行實(shí)驗(yàn)，比較基于深度學(xué)習(xí)與傳統(tǒng)的醫(yī)學(xué)圖像融合方法的性能，通過對(duì)3組多模態(tài)醫(yī)學(xué)圖像融合結(jié)果的定性和定量分析，總結(jié)各技術(shù)領(lǐng)域醫(yī)學(xué)圖像融合算法的優(yōu)缺點(diǎn)。最后，對(duì)醫(yī)學(xué)圖像融合技術(shù)的現(xiàn)狀、重難點(diǎn)和未來展望進(jìn)行討論。

我們期待廣大讀者和科技人員通過“圖像融合”?？?，能夠更深入、更全面地了解該領(lǐng)域的最新方法和應(yīng)用，吸引更多學(xué)者從事相關(guān)研究并產(chǎn)生具有國(guó)際影響力的優(yōu)秀成果，為本領(lǐng)域的發(fā)展做出新的貢獻(xiàn)。

?？幬瘯?huì)：

李樹濤，湖南大學(xué)教授，主要研究方向?yàn)閳D像處理、信息融合、稀疏表示、壓縮感知，模式識(shí)別、機(jī)器學(xué)習(xí)。

吳小俊，江南大學(xué)教授，主要研究方向?yàn)槿斯ぶ悄堋⒛Ｊ阶R(shí)別、計(jì)算機(jī)視覺。

馬佳義，武漢大學(xué)教授，主要研究方向?yàn)橛?jì)算機(jī)視覺、圖像處理、模式識(shí)別和信息融合。

白相志，北京航空航天大學(xué)教授，主要研究方向?yàn)槿斯ぶ悄?、?shù)學(xué)形態(tài)學(xué)、模糊理論、生物醫(yī)學(xué)圖像分析。

劉羽，合肥工業(yè)大學(xué)副教授，主要研究方向?yàn)閳D像處理、醫(yī)學(xué)圖像分析、機(jī)器學(xué)習(xí)和信息融合。

李輝，江南大學(xué)講師，主要研究方向?yàn)樯疃葘W(xué)習(xí)，圖像處理，多模態(tài)信息融合。

?？?zé)編：

韓向娣，副編審，主要研究方向?yàn)閷W(xué)術(shù)出版和媒體傳播。E-mail：hanxd201310@aircas.ac.cn