?？盗?，諶雨章，沈君鳳，曾張帆，潘永才，王繹沖

（湖北大學計算機與信息工程學院，武漢 430062）

（?通信作者電子郵箱zengzhangfan@hotmail.com）

0 引言

隨著軍事的發(fā)展和監(jiān)控領(lǐng)域?qū)τ谝挂曅枨蟮奶岣?，夜視成像技術(shù)一直是研究者們關(guān)注的焦點。目前，由于新型的夜視儀或雙目紅外攝像頭往往存在著購置成本較高的問題，使得很多領(lǐng)域仍然廣泛使用著基于主動紅外技術(shù)的紅外攝像頭［1］，并往往依賴于算法來實現(xiàn)夜視圖像的去模糊與清晰化。

夜視領(lǐng)域處理算法主要分為紅外夜視圖像處理、微光夜視圖像處理和紅外微光圖像融合三大板塊。對于紅外圖像處理板塊，陳軍等［2］提出了一種平穩(wěn)小波域的紅外圖像增強算法，有效解決了紅外圖像對比度低、噪聲大的問題；曹海杰等［3］提出了一種自適應逆直方圖均衡化細節(jié)增強算法，避免了增強的紅外圖像產(chǎn)生過亮或過暗的問題；Liu 等［4］提出了一種基于四元數(shù)全變分法的紅外圖像超分辨率重建方法，利用相鄰點之間的相關(guān)性，提高圖像的抗噪能力和重建效果。對于微光夜視圖像處理板塊，王瑞堯等［5］提出了最大差值圖決策的低照度圖像自適應增強算法，能夠?qū)σ归g等弱光源條件下的彩色圖像有效增強；劉小園等［6］提出了一種適用于夜視環(huán)境的視頻圖像去噪和增強算法，能夠有效增強夜視圖像的可視性和清晰度；Bu 等［7］采用正則化恢復模型解決了夜視遙感圖像亮度較低的問題，提高了恢復圖像的質(zhì)量；Ma 等［8］提出了一種基于HSI 顏色模型的微光傳感器圖像增強算法，不僅顯著提高了圖像的亮度和對比度，而且避免了顏色失真。對于紅外微光圖像融合板塊，朱浩然等［9］提出了基于灰度變換與兩尺度分解的夜視圖像融合方法，融合后的圖像能夠適合人眼感知，具有較好的視覺效果；楊釩等［10］提出了紅外與微光圖像開窗配準融合處理方法，通過紅外與微光圖像各個像素點的對應匹配關(guān)系來完成窗口圖像的快速配準與融合；Bamrungthai 等［11］開發(fā)了一個紅外相機和可見光相機組成的圖像融合系統(tǒng)；Liu等［12］結(jié)合新的分解、特征提取和融合方案，提出了一種新的融合方法來保持紅外和可見光圖像的細節(jié)。但是普遍存在以下問題:1）運行效率低和過度依賴退化模型，導致夜視圖像處理效果并不理想，雖然在評價數(shù)值上有所提升，但是并沒有起到實質(zhì)性效果；2）對圖像的處理時間較長，且對硬件性能要求較高，使算法在實用范圍和實時性方面受到了極大的限制。因此，提出一種不受硬件條件限制、能夠快速處理夜視圖像的方法，從而得到高分辨率、高質(zhì)量的夜視圖像顯得尤為迫切和必要。

隨著深度學習的發(fā)展，越來越多的學者將深度學習引入到夜視圖像處理的領(lǐng)域當中。針對夜間圖像存在光照不均勻、色偏嚴重的現(xiàn)象，鄒鵬等［13］提出了基于神經(jīng)網(wǎng)絡(luò)的光照分布預測夜視復原算法，這種算法解決了夜視圖像的模糊問題，提高了夜視圖像的成像質(zhì)量，但是在光線弱、亮度低的環(huán)境下卻顯得有些乏力。紅外圖像能夠很好解決夜視環(huán)境下低照度的成像問題，王丹等［14］也提出了對于紅外圖像的超分辨率重建方法，雖然這種方法很好地凸顯了紅外圖像的細節(jié)信息，但是所用模型只能對紅外圖像進行處理，不適用于彩色夜視圖像。

針對以上問題，本文提出了一種基于紅外微光圖像融合的深度學習夜視圖像復原方法。該方法不僅解決了單一圖像信息不足的問題，也通過引入深度學習的方法，對兩種圖像進行端到端的重建和復原。本文建立了兩個深度卷積神經(jīng)網(wǎng)絡(luò):一個是對紅外圖像進行超分辨率重建，意在得到細節(jié)信息豐富的紅外圖像；另一個是對微光圖像進行圖像增強，意在得到亮度較高的夜視圖像。最后通過融合算法將兩種處理后的圖像進行融合，得到成像質(zhì)量高、清晰度好的夜視圖像。

1 本文方法

本文采用深度學習的方法，對紅外進行超分辨率重建，對微光圖像進行亮度增強，最后融合得到清晰的夜視圖像。本文方法的結(jié)構(gòu)如圖1所示。

圖1 本文方法的結(jié)構(gòu)Fig.1 Structure of proposed method

1.1 基于全連接多尺度殘差分塊的兩種網(wǎng)絡(luò)建立

針對紅外圖像分辨率低、對比度低、視覺效果模糊的特點，本文建立了基于全連接多尺度殘差分塊（Fully connected Multi-scale Residual learning Block，F(xiàn)MRB）的圖像超分辨率重建方法，對夜視紅外圖像進行超分辨率重建，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 紅外圖像的超分辨率重建網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Super-resolution reconstruction network structure of infrared images

本文所提出模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。本文的模型將未經(jīng)處理的低分辨率圖像（Low-Resolution image，LR）作為輸入，通過網(wǎng)絡(luò)傳輸上采樣獲取較高的分辨率。模型的結(jié)構(gòu)主要包括:

1）提取LR 低層信息的卷積層，由1 個卷積層（CONVolution layer，CONV）組成；

2）用于學習高層信息的多尺度殘差學習網(wǎng)絡(luò)，包含32個FMRB；

3）用于層次特征融合的結(jié)構(gòu)，由1 個瓶頸層（Bottleneck）組成；

4）高分辨率（High-Resolution，HR）圖像重建層，包含1個上采樣層（PixelShuffle）和2個卷積層。

其中FMRB為本文提出的全連接多尺度殘差分塊，能夠?qū)D像信息進行多尺度的分解和提取，使得網(wǎng)絡(luò)能夠獲得更好的學習效果?，F(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)超分辨率（Super-Resolution Convolutional Neural Network，SRCNN）重建算法，網(wǎng)絡(luò)深度較淺，不能對圖像信息進行較好的提取，而本文算法具有更深的網(wǎng)絡(luò)深度，由32 層FMRB 組成的多尺度殘差學習網(wǎng)絡(luò)能夠使處理后的圖像具有較好的重建效果。針對普通超分辨率重建網(wǎng)絡(luò)由于層數(shù)過多引起的梯度彌散現(xiàn)象，本文所提網(wǎng)絡(luò)通過FMRB 中各個單元全連接的方式，避免了彌散問題，同時也降低了計算的復雜度，極大提升了網(wǎng)絡(luò)的運行速度。

針對微光圖像信噪比低、可見效果差的特點，本文建立了基于深度學習的圖像增強網(wǎng)絡(luò)，從而對微光圖像進行增強處理，提高圖像的亮度和可見度，使得圖像具有更好的視覺效果。其網(wǎng)絡(luò)結(jié)構(gòu)對圖像信息的提取部分和上文網(wǎng)絡(luò)基本相同，但是圖像重建模塊換成了色彩復原模塊，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 微光圖像的增強網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Enhancement network structure of low-light-level images

微光圖像增強網(wǎng)絡(luò)將低亮度圖像（Low-Light image，LL）作為輸入，通過網(wǎng)絡(luò)進行信息提取和顏色復原，得到最終的高亮度圖像（High-Light image，HL）。模型的結(jié)構(gòu)主要包括:

1）提取LL圖像低層信息的卷積層，由1個CONV組成；

2）用于學習高層信息的多尺度殘差學習網(wǎng)絡(luò)，包含50個FMRB；

3）用于層次特征融合的瓶頸層，由1個Bottleneck組成；

4）HL顏色復原層，包含1個三通道輸出的卷積層。

目前基于深度學習對圖像進行亮度增強的網(wǎng)絡(luò)模型并不多見，本文建立了“多尺度殘差學習”加“顏色復原”網(wǎng)絡(luò)模型對微光圖像進行亮度增強。相較于普通的物理模型算法，本文模型能夠進行端到端的圖像增強，F(xiàn)MRB 信息提取層使微光圖像特征被更好地學習，增強后的圖像經(jīng)過一層三通道輸出卷積層處理，使最終輸出圖像具有更好的顏色效果。

1.2 兩種深度學習網(wǎng)絡(luò)的異同點

圖2 所示網(wǎng)絡(luò)，是專門針對紅外夜視圖像進行超分辨率重建的模型結(jié)構(gòu)，其考慮了紅外圖像分辨率差、視覺效果模糊的特點，運用多尺度殘差學習網(wǎng)絡(luò)進行圖像的特征提取。圖3 所示網(wǎng)絡(luò)，是專門針對微光夜視圖像進行圖像增強的模型結(jié)構(gòu)，其考慮了微光圖像信噪比低、可見效果差的特點，同樣運用本文所提出的多尺度殘差學習結(jié)構(gòu)來進行圖像信息的提取。但不同的是，相較于紅外圖像包含的細節(jié)信息，微光圖像一般包含了更多的人物輪廓和場景信息，含有的信息更加豐富，因此對于微光圖像的處理需要更深的網(wǎng)絡(luò)進行處理，以得到更好的增強效果。兩個網(wǎng)絡(luò)在圖像信息提取部分結(jié)構(gòu)相同，都使用了相同的瓶頸層來進行圖像的層次特征融合，但是微光圖像對應的網(wǎng)絡(luò)深度更大。

圖2 網(wǎng)絡(luò)和圖3 網(wǎng)絡(luò)后半部分完全不同。圖2 網(wǎng)絡(luò)后半部分，是對紅外圖像進行超分辨率重建的結(jié)構(gòu)，兩個卷積層和一個上采樣結(jié)構(gòu)提高了圖像的分辨率，使得紅外圖像的細節(jié)信息更加具體，圖像更加清晰；圖3 網(wǎng)絡(luò)的后半部分，是對微光圖像的顏色復原結(jié)構(gòu)。由于在微光圖像經(jīng)過50 層FMRB學習處理后，其對比度和信噪比已經(jīng)得到提升，但是顏色卻不夠自然，具有一定的失真。因此本文使用一個具有三通道輸出的卷積層來對處理后的微光圖像進行顏色復原，以得到可見度高、清晰度好的微光圖像。

超分辨率重建網(wǎng)絡(luò)通過對源圖像ISR下采樣得到低分辨率圖像ILR，經(jīng)過網(wǎng)絡(luò)處理后得到高分辨率圖像IHR；圖像增強網(wǎng)路隨機降低源圖像IHQ的亮度和對比度從而得到低亮度圖像ILL，經(jīng)過網(wǎng)絡(luò)處理后得到高亮度圖像IHL。而誤差函數(shù)的目的就是計算ISR與IHR以及IHL與IHQ之間的差別。因此選取一個好的誤差函數(shù)，可以盡可能地降低差別，從而使兩個網(wǎng)絡(luò)同時達到較好的學習效果。本文采用均方誤差（Mean Square Error，MSE）作為誤差函數(shù):

其中:MSE1是圖2 網(wǎng)絡(luò)的誤差函數(shù)表達式；MSE2是圖3 網(wǎng)絡(luò)的誤差函數(shù)表達式。

1.3 圖像特征的提取

兩種網(wǎng)絡(luò)對紅外夜視圖像和微光夜視圖像的特征提取主要由兩部分組成:層次特征融合結(jié)構(gòu)（Hierarchical Feature Fusion Structure，HFFS）和全連接多尺度殘差分塊（FMRB）。

文獻［15］研究表明，隨著網(wǎng)絡(luò)深度的增加，網(wǎng)絡(luò)對圖像的重建能力會越來越好。但是如果由于網(wǎng)絡(luò)的彌漫現(xiàn)象，導致隨著網(wǎng)絡(luò)深度的增加，圖像特征在傳輸過程中逐漸消失，重建的效果還不如淺層的網(wǎng)絡(luò)結(jié)構(gòu)。在這一問題的驅(qū)使下，許多學者提出了相應的解決方法，其中最為簡單的解決方法是建立密度連接的卷積神經(jīng)網(wǎng)絡(luò)，如文獻［16］方法，該方法使得網(wǎng)絡(luò)中任意的兩層都有直接的連接，每一層的輸入都是之前所有層的并集，有效地解決了梯度彌散的現(xiàn)象。但是這種方法不能充分利用輸入圖像的特征，并且在處理時會產(chǎn)生過多的冗余信息。

本文提出了多尺度的殘差學習網(wǎng)絡(luò)，不僅通過殘差分塊的方式有效解決了梯度彌散問題，在分塊中也同樣采取了全連接的方式，使圖像信息能夠受到不同尺度卷積層的處理和提取，有效地避免了現(xiàn)有方法不能充分利用圖像信息的問題。并且對于信息冗余現(xiàn)象，本文提出了一種簡單的層次化特征融合結(jié)構(gòu)，引入了一個以1×1的卷積核為結(jié)構(gòu)關(guān)鍵的瓶頸層，從所有層次特征中自適應地提取有用的信息，極好地解決了信息冗余的問題，減少了網(wǎng)絡(luò)計算的復雜度。層次特征融合結(jié)構(gòu)（HFFS）的輸出可以表示為:

其中，M0是第一卷積層的輸出，Mi表示第i個FMRB 的輸出，[M0，M1，…，MN]表示級聯(lián)操作。

全連接多尺度殘差分塊（FMRB）能夠?qū)W習不同卷積下圖像的特征，充分利用了圖像的信息，其結(jié)構(gòu)如圖4 所示。FMRB 包含兩部分:多尺度特征融合和局部殘差學習。全連接多尺度殘差分塊的具體結(jié)構(gòu)如圖4所示。

圖4 FMRB結(jié)構(gòu)Fig.4 Structure of FMRB

對于多尺度特征融合，不同于以往的工作，本文構(gòu)造了一個雙旁路網(wǎng)絡(luò)，不同的旁路使用不同的卷積核。這些旁路之間的信息可以相互共享，從而能夠檢測出不同尺度下的圖像特征，可以用公式表示為:

其中，ω和b分別表示權(quán)重和偏差，上標表示它們所在的層數(shù)，下標表示該層中使用的卷積核的大?。沪?x)=max(0，x)表示ReLU（Rectified Linear Unit）函數(shù)；A1、A2、A3、B1、B2、B3分別表示不同尺度下的特征，[A1，B1]、[A1，A2，B1，B2]表示這些特征圖像的融合；M表示發(fā)送到FMRB 的特征映射的數(shù)量。因此，第一卷積層的輸入和輸出具有M個特征映射，第二卷積層有2M個特征映射，這些特征映射被連接起來并發(fā)送到1×1 卷積層。該層將這些特征映射的數(shù)目減少到M，因此FMRB 的輸入和輸出具有相同數(shù)目的特征映射，這種特別的體系結(jié)構(gòu)使得多個FMRB能夠同時使用。

對于局部殘差學習部分，為了提高網(wǎng)絡(luò)的效率，本文對每個FMRB 都采用殘差學習，在形式上，全連接多尺度殘差分塊（FMRB）可以表示為:

其中:Mn-1和Mn分別代表FMRB 的輸入和輸出；S′+Mn-1通過在各個元素間快捷連接而執(zhí)行。這種局部殘差學習的方法使用使得計算的復雜性極大降低，同時也提高了網(wǎng)絡(luò)對圖像信息的提取性能。

1.4 自適應加權(quán)平均融合算法

當采集的紅外圖像和微光圖像分別通過對應的深度卷積神經(jīng)網(wǎng)絡(luò)處理之后，得到了細節(jié)增強的紅外夜視圖像和亮度提高的微光圖像。此時如何將兩者進行融合顯得尤為關(guān)鍵。為了使紅外圖像的細節(jié)信息和微光圖像的場景信息完美融合，不產(chǎn)生過多冗余信息，本文采用自適應加權(quán)的平均融合算法，通過圖像的顯著性來進行圖像的加權(quán)融合。

圖像的顯著性是指在圖像的像素值和均值之間的差別，當像素值與均值相差越遠時，其顯著性越高，圖像在融合時所占權(quán)重也就越大。高斯函數(shù)能夠根據(jù)偏離均值的遠近得到不同的結(jié)果，從而能對圖像顯著性進行定量的分析。自適應加權(quán)平均融合算法是分別計算紅外夜視圖像和微光圖像在像素(i，j)處的顯著性。

融合分三種情況進行，若紅外圖像更為顯著，根據(jù)圖像的顯著性以及高斯函數(shù)可構(gòu)建出微光圖像的權(quán)重為:

根據(jù)微光圖像wvis可得紅外圖像的權(quán)重為wir(i，j)=1-wvis(i，j)。因此，最終的融合圖像可以表示為:

其中:VIS(i，j)、IR(i，j)分別代表微光圖像、紅外圖像在像素點(i，j)處的權(quán)值；δir代表紅外圖像方差；μn代表圖像均值。若可見光圖像更為顯著，則紅外圖像的權(quán)重可以表示為:

根據(jù)wir可得wvis(i，j)=1-wir(i，j)，此時融合圖像的表達式為:

其中δvis為可見光方差。若紅外圖像和微光圖像兩者的顯著性相同，此時將兩者權(quán)重同時賦值為0.5，則融合后的圖像表達式為:

分析可知，自適應加權(quán)平均方法能夠?qū)⑽⒐鈭D像和紅外圖像包含的主要結(jié)構(gòu)融合到結(jié)果圖像中，使得融合圖像包含的場景信息更加完整。在實驗過程中，分別采用公共數(shù)據(jù)集、室內(nèi)圖像、室外圖像進行實驗驗證，此時三種圖像的差異性具有明顯的區(qū)別，因此自適應加權(quán)融合算法能夠更好地處理不同環(huán)境下的圖像融合，使融合圖像的質(zhì)量達到最好。

2 實驗與結(jié)果分析

2.1 數(shù)據(jù)集的選取與建立

對于超分辨率重建網(wǎng)絡(luò)和圖像增強網(wǎng)絡(luò)，本文選用不同的圖像進行網(wǎng)絡(luò)的學習和訓練。對于圖像增強網(wǎng)絡(luò)，構(gòu)造了一個包含大量高質(zhì)量圖像（High-Quality image，HQ）和低亮度圖像（LL）的數(shù)據(jù)集來學習FMRB網(wǎng)絡(luò)中的參數(shù)。本文方法在UCID［17］數(shù)據(jù)集和BSD 數(shù)據(jù)集中初步選取了20 000多張圖像，但是這些圖像往往存在著對比度較低、曝光不足或模糊失焦等問題。因此需對圖像進行進一步的篩選，排除清晰度低、尺寸太大或太小，以及計算機生成的圖像，從而獲得了10 000張質(zhì)量高、清晰度好的HQ 圖像。之后將這些圖像通過Photoshop 進行隨機亮度降低操作，并采用Gamma 矯正，使每幅HQ 圖像生成1 幅LL 圖像。因此，本文一共擁有了10 000個訓練樣本對。將這10 000 個樣本對分成10 組，每組含有1 000 個樣本對，采用交叉訓練的方法投入網(wǎng)絡(luò)中進行訓練，即每一輪訓練都會選取9 組樣本對作為訓練集，剩下的1 組將用作測試集，并用其對網(wǎng)絡(luò)參數(shù)進行調(diào)節(jié)，每一輪的測試集都不同，以此種方式循環(huán)10 輪，便構(gòu)成了交叉訓練。通過此方式，能有效地篩選出對網(wǎng)絡(luò)訓練更有利的數(shù)據(jù)集，防止因為部分訓練集效果不佳而對網(wǎng)絡(luò)整體效果產(chǎn)生影響。

對于紅外圖像超分辨率網(wǎng)絡(luò)的訓練，本文在FLIR 數(shù)據(jù)集中篩選了10 000張分辨率較高的紅外圖像（HR），對每張圖像進行下采樣，獲得一張對應的低分辨率圖像（LR）。因此，紅外數(shù)據(jù)集總共含有10 000 個訓練樣本對，依舊使用上述交叉訓練方法進行網(wǎng)絡(luò)參數(shù)的學習和訓練。

2.2 訓練過程及參數(shù)設(shè)置

本文參數(shù)設(shè)置的重點是FMRB 層數(shù)的設(shè)置。為了找到最合適的層設(shè)置，本文實驗做了很多嘗試來設(shè)置FMRB 的層數(shù)。為了節(jié)省訓練時間，不需要使用所有的數(shù)據(jù)集。在數(shù)據(jù)集中隨機選取100 張圖像作為訓練集，10 張圖像作為每個實驗的測試集。不同F(xiàn)MRB層設(shè)置的測試結(jié)果如圖5所示。

圖5 不同F(xiàn)MRB層數(shù)設(shè)置的測試結(jié)果Fig.5 Test results of different FMRB layer settings

通過峰值信噪比（Peak Signal to Noise Ratio，PSNR）來判斷訓練效果。根據(jù)結(jié)果，本文將重構(gòu)網(wǎng)絡(luò)的FMBR 層設(shè)置為32 層，并將增強網(wǎng)絡(luò)的FMRB 層設(shè)置為50 層。接下來，對網(wǎng)絡(luò)進行交叉訓練。本文將10 000 個樣本對分成10 組，每組包含1 000個樣本對，并采用交叉訓練的方法進行網(wǎng)絡(luò)訓練。也就是說，每輪訓練將選擇9 組樣本對作為訓練集，剩下的1 組作為測試集，可以調(diào)整網(wǎng)絡(luò)參數(shù)。每輪測試集不同，周期為10 輪。這樣可以有效地篩選出更有利于網(wǎng)絡(luò)訓練的數(shù)據(jù)集，防止一些訓練集效果不佳而影響網(wǎng)絡(luò)整體效果。交叉訓練結(jié)果如圖6所示。

由圖6可以看出，經(jīng)過10輪交叉訓練，本文中的兩個網(wǎng)絡(luò)都取得了良好的訓練效果。超分辨網(wǎng)絡(luò)的PSNR 值達到了32.20 dB，增強網(wǎng)絡(luò)的PSNR值達到了30.79 dB。

圖6 交叉訓練結(jié)果Fig.6 Cross training results

2.3 實驗配置

本文實驗的訓練平臺為:操作系統(tǒng)為Ubuntu 14.04，CPU 為Core i7-7700K（Quad-core 4.2 GHz），顯卡為NIVID GTX 1080ti。訓練測 試平臺 為CUDA8.0，cuDNN5.1，Pytorch0.4，Python3.6。在主要參數(shù)學習率的設(shè)置上，本文采用的是學習率衰減的辦法，這樣能有效防止訓練時間過長。設(shè)定初始學習率為0.001，每迭代100 000次，學習率降為原來的1/10，采用隨機梯度下降（Stochastic Gradient Descent，SGD）法對網(wǎng)絡(luò)進行訓練。

2.4 評價指標的選取

峰值信噪比（PSNR）和結(jié)構(gòu)相似度（Structural SIMilarity，SSIM）是衡量圖像重建和增強質(zhì)量最常用的兩個指標。前者定量計算處理結(jié)果與原始圖像之間的誤差。PSNR越高，失真越小，而SSIM 越接近1，恢復效果越好。因此，本文將這兩個指標用于公共數(shù)據(jù)集實驗，客觀評價各種重建方法的優(yōu)缺點。但在現(xiàn)場實驗中，由于沒有參考圖像，無法使用PSNR 和SSIM。因此本文選擇模糊度量（Blur Measure，BM）［18-19］、灰度平均梯度（Grayscale Mean Gradient，GMG）和拉普拉斯和（Laplace Sum，LS）［18］作為評價指標。BM 值越小，圖像越清晰；GMG和LS值越高，圖像質(zhì)量越高。BM的表達式為:

其中:Dvertical和Dhorizontal表示垂直和水平方向上的不同圖像；F(i，j)是圖像平面上(i，j)點的像素；(M，N)是圖像的大小。BM 可以在0～1 的范圍進行規(guī)范化。GMG 和LS 的表達式如下:

2.5 結(jié)果分析

為了客觀地評價本文方法性能，首先進行公共數(shù)據(jù)集實驗，分別測試了兩種網(wǎng)絡(luò)模型對圖像的處理水平；然后，進行了現(xiàn)場實驗，測試融合后圖像對夜視的復原效果。在公共數(shù)據(jù)集實驗中，本文從NTE 公共數(shù)據(jù)集中選取紅外圖像，進行下采樣操作，再通過本文重建網(wǎng)絡(luò)進行處理，并將本文方法實驗結(jié)果和SRCNN［20］、VDSR（accurate image Super-Resolution using Very Deep convolutional networks）［21］、DRCN（Deeply-Recursive Convolutional Network for image super-resolution）［22］、EDSR（Enhanced Deep residual networks for single image Super-Resolution）［23］四種超分辨率重建算法進行對比；從NTE 中選取高清圖像，進行亮度降低操作，再通過本文增強模型進行處理，將其實驗結(jié)果和現(xiàn)有圖像增強算法SRIE（a weighted variational model for Simultaneous Reflectance and Illumination Estimation）［24］、MSRCR（Multi-Scale Retinex with Color Restoration）［25］、LIME（Low-light image enhancement via Illumination Map Estimation）［26］進行對比。在現(xiàn)場實驗中，選取了紅外攝像頭拍攝的紅外圖像和微光圖像，經(jīng)過本文方法進行圖像的重建、增強及融合，并和現(xiàn)有的融合算法如文獻［11］算法和文獻［27］算法進行對比。

將本文方法與其他對比方法進行訓練時間的比較，具體的訓練時間如表1 所示。本文方法訓練時間最少，具有一定優(yōu)勢。

表1 不同方法訓練時間對比Tab.1 Comparison of training time of different methods

對于超分辨率重建網(wǎng)絡(luò)的測試，本文選取了兩張NET 公共數(shù)據(jù)集中的紅外圖像，將下采樣后的圖像進行超分辨率重建，意在將低對比度、低信噪比的紅外圖像重建為高分辨率、細節(jié)效果好的清晰圖像。PSNR 和SSIM 由原圖和處理后的圖像計算得出，具體的測試結(jié)果如圖7～8所示。

圖7 紅外圖像重建效果對比（林蔭道）Fig.7 Reconstruction effect comparison of infrared images（avenue）

圖8 紅外圖像重建效果對比（房子）Fig.8 Reconstruction effect comparison of infrared images（house）

從圖像的重建效果來看，SRCNN 方法消除了一定程度的模糊，但是引入了較大的振鈴效應。VDSR 減弱了振鈴效應，但圖像失真沒有得到很好的改善。DRCN 提高了圖像的分辨率，但圖像的失真問題仍舊沒有得到實質(zhì)性的改善?？梢?，對比方法在提高分辨率和去模糊方面有著顯著的效果，但是不能有效地糾正圖像失真。本文方法不僅能消除一定的圖像噪聲，而且能顯著改善圖像的失真度，驗證了本文重建算法的有效性。

從評價結(jié)果來看，相比之下SRCNN方法的PSNR值最小，表明圖像失真情況最為嚴重；VDSR 方法的SSIM 值比SRCNN方法的SSIM 值要大，但增幅很小。從各項評價指標來看，本文方法處理的圖像均取得了最好的結(jié)果，可見本文方法重建圖像的質(zhì)量較高。在運行時間方面，本文方法所需時間最短，優(yōu)勢明顯。

對于圖像增強網(wǎng)絡(luò)的測試，本文選取了兩張NET 公共數(shù)據(jù)集中的高清圖像，將亮度降低后的圖像進行超分辨率重建，將信噪比低、可見效果差的紅外圖像增強為高亮圖，獲取視覺效果好的清晰圖像。PSNR 和SSIM 由高清圖像和處理后的圖像計算得出，結(jié)果如圖9～10所示。

圖9 微光圖像增強效果對比（雨棚）Fig.9 Enhancement effect comparison of low-light-level images（canopy）

從圖像的增強效果看，SRIE 方法處理后的圖像較原圖像亮度有所增強，但是仍然較暗。MSRCR 方法對圖像的亮度進行過度的提升，雖然圖像亮度很高，但是曝光度過大，不適于人眼觀察。LIME 方法相較于前兩種方法處理效果更佳，并且擁有較短的處理時間，但是其仍然存在圖像亮度較暗的問題。本文方法不僅使圖像具有了較好的亮度，圖像的顏色也沒有失真，具有更好的視覺效果。

從評價結(jié)果上看，本文方法處理的圖像PSNR 值最大，可見本文方法對失真問題的處理效果最佳；其SSIM 值最小，可見本文方法增強的圖像質(zhì)量最佳，更逼近于原高清圖像。

對于現(xiàn)場實驗，實驗設(shè)備配置如下:鏡頭焦距為6 mm，監(jiān)控角度為60°，監(jiān)控距離為15～25 m，供電電壓為12 VDC。相機兩側(cè)的擋板尺寸為高1.2 m、寬1 m，用于模擬夜間的弱光條件。捕獲的圖像被傳送到計算機進行處理和顯示。實驗系統(tǒng)的具體硬件結(jié)構(gòu)如圖11所示。

圖10 微光圖像增強效果對比（街道）Fig.10 Enhancement effect comparison of low-light-level images（street）

圖11 實驗系統(tǒng)圖像采集結(jié)構(gòu)Fig.11 Image acquisition structure of experimental system

測量矩陣M由Bayer 陣列的定義確定。由于M包含G 通道值和NIR通道值的數(shù)據(jù)，其表示如下:

參數(shù)α和β是分別形成G 通道值和NIR 通道值的相機濾波器的相對感光系數(shù)。所以α+β=1且0 ＜α＜1，0 ＜β＜1。

在現(xiàn)場實驗中，本文分別在室內(nèi)和室外進行實驗，測試本文方法對于夜視圖像的復原效果。對于室內(nèi)夜視圖像測試，實驗的目的是讓拍攝的物體細節(jié)更加具體，達到增加夜視監(jiān)控的識別效果；對于室外夜視圖像測試，實驗的目的是讓拍攝的車牌信息更加清晰明顯，達到增加監(jiān)控探頭獲取車牌信息的能力和效果。由于現(xiàn)場測試中沒有高清晰度的原始圖像來計算PSNR 和SSIM，因此本文選擇BM、GMG 和LS來評估恢復圖像。超分辨率重建圖像如圖12 所示，增強圖像如圖13 所示，融合圖像如圖14所示。具體評價值見表2～7。

圖12 現(xiàn)場紅外圖像超分辨率重建結(jié)果Fig.12 Super-resolution reconstruction result of infrared images in field test

圖13 現(xiàn)場微光圖像增強結(jié)果Fig.13 Enhancement results of low-light-level images in field test

圖14 現(xiàn)場圖像融合結(jié)果Fig.14 Image fusion results in field test

表2 現(xiàn)場室內(nèi)紅外圖像超分辨率重建評價結(jié)果Tab.2 Evaluation results of super-resolution reconstruction of infrared indoor images in field test

表3 現(xiàn)場室外紅外圖像超分辨率重建評價結(jié)果Tab.3 Evaluation results of super-resolution reconstruction of infrared outdoor images in field test

表4 現(xiàn)場室內(nèi)微光圖像增強評價結(jié)果Tab.4 Evaluation results of enhanced indoor low-light-level images in field test

表5 現(xiàn)場室外微光圖像增強評價結(jié)果Tab.5 Evaluation results of enhanced outdoor low-light-level images in field test

表6 現(xiàn)場室內(nèi)融合圖像評價結(jié)果Tab.6 Evaluation results of indoor fusion images in field test

表7 現(xiàn)場室外融合圖像評價結(jié)果Tab.7 Evaluation results of outdoor fusion images in field test

從圖像效果看，對于室內(nèi)夜視圖像的復原，紅外圖像的重建使物體的細節(jié)更加具體化，微光圖像的增強使場景視覺效果更適于人眼觀察。經(jīng)過自適應加權(quán)平均融合算法計算，在室內(nèi)夜視圖像的融合中，紅外圖像每個像素點的顯著性普遍優(yōu)于微光圖像，因此在融合時紅外圖像所占的權(quán)重更大，融合后的室內(nèi)圖像所包含紅外圖像的信息也更多。復原后的圖像能夠更好看清物體的具體信息和特征，表明本文方法對室內(nèi)夜視圖像具有較好的復原效果；對于室外夜視圖像，紅外圖像的重建使車牌信息更加清晰，微光圖像的增強使室外場景信息更加突出。在室外夜視圖像的融合中，微光圖像每個像素點的顯著性普遍更優(yōu)，因此融合后的室外圖像包含更多微光圖像的信息。復原后的圖像車牌信息更加清晰可見，表明本文方法對室外夜視圖像具有較好的復原效果。

從評價結(jié)果看，BM 值越小，圖像越清晰，GMG 和LS 值越大，圖像質(zhì)量越高。無論是室內(nèi)還是室外的夜視復原圖像都具有很小的BM值和很大的GMG、LS值，可見本文方法復原后的夜視圖像質(zhì)量較高。

3 結(jié)語

基于深度學習的思想，本文提出了兩種基于全連接多尺度殘差分塊（FMBR）的深度學習網(wǎng)絡(luò)，能分別對紅外圖像和微光圖像的特征提取和學習訓練。通過公共數(shù)據(jù)集實驗可知，相較于SRCNN，使用融入FMRB 的深度學習網(wǎng)絡(luò)得到的紅外夜視重建圖像的PSNR 和SSIM 平均值分別提升3.56 dB和0.091 2；相較于MSRCR，得到的微光夜視增強圖像的PSNR 和SSIM 平均值分別提升6.82 dB 和0.132 1，重建圖像的清晰度明顯得到改善，增強圖像的亮度也明顯得到提升，融合后的夜視圖像具有較好的復原效果。

不可否認的是，由于紅外圖像屬于灰度圖像，在和微光圖像融合后難免會出現(xiàn)顏色失真的現(xiàn)象，但是本文方法致力于夜視圖像的細節(jié)凸顯和信息復原，顏色的輕度失真有時不僅不會影響復原圖片的質(zhì)量，反而會增強圖像的視覺效果，因此對本文方法的可行性方面并無影響。同時在現(xiàn)場實驗中，本文發(fā)現(xiàn)對于室內(nèi)夜視圖像，紅外圖像往往更為顯著；而對于室外夜視圖像，微光圖像往往更為顯著。因此對于以后的夜視復原方法，可以更多地對不同場景夜視圖像的復原做進一步研究，以便得到更好的復原效果。