韓 澤， 藺素珍， 黃福升， 趙競(jìng)超， 劉 震

(中北大學(xué) 大數(shù)據(jù)學(xué)院， 山西 太原 030051)

0 引 言

多波段圖像融合是當(dāng)前高精度智能探測(cè)系統(tǒng)的關(guān)鍵技術(shù)之一. 現(xiàn)有的圖像融合技術(shù)基于空域、 頻域[1]、 混合域[2]或深度學(xué)習(xí)[3]， 可以將不同譜段， 不同模態(tài)的信息較好地綜合到一幅灰度圖像中用于后續(xù)的目標(biāo)自動(dòng)識(shí)別. 不過(guò)在重大探測(cè)中， 為更精準(zhǔn)地識(shí)別目標(biāo)和正確決策， 往往需要人在回路， 由于灰度圖像用于人眼觀察在信息分辨敏感程度、 真實(shí)感和舒適感方面存在不足， 所以， 目前在多波段圖像自適應(yīng)融合的同時(shí)對(duì)其彩色化具有廣泛的需求.

現(xiàn)階段將圖像融合結(jié)果彩色化主要有3種方法：① 顏色遷移[4-5]： 該類(lèi)方法通過(guò)匹配灰度圖像與參考圖像的顏色分布、 紋理等信息， 將參考圖像的顏色遷移到融合結(jié)果中， 但需要依賴(lài)先驗(yàn)知識(shí)選擇參考圖像， 結(jié)果的好壞依賴(lài)于參考圖像選擇， 不利于工程化. ② 偽彩色融合[6-7]： 該類(lèi)方法將輸入圖像組合轉(zhuǎn)換到顏色空間內(nèi)， 利用紅外與可見(jiàn)光圖像的差異信息構(gòu)成各色度分量， 但圖像的顏色往往不符合人眼的認(rèn)知習(xí)慣， 會(huì)影響人觀察時(shí)的舒適感. ③ 自動(dòng)彩色化[8-10]： 新近有學(xué)者將深度學(xué)習(xí)應(yīng)用于灰度圖像的自動(dòng)彩色化， 該類(lèi)方法通過(guò)一種端到端的網(wǎng)絡(luò)去學(xué)習(xí)彩色化模型， 使得網(wǎng)絡(luò)輸入灰度圖像輸出彩色化的結(jié)果， 相比于前兩種方法， 該類(lèi)方法顏色恢復(fù)更接近自然， 并且使用方便， 但該類(lèi)方法當(dāng)前多用于可見(jiàn)光圖像處理， 并且需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練， 而多波段融合圖像缺乏訓(xùn)練數(shù)據(jù)， 無(wú)法得到有效的模型. 綜上所述， 單一的方法難以對(duì)多波段融合圖像有效處理， 因此多波段融合圖像的彩色化還需進(jìn)一步探索.

本文以多波段融合圖像為對(duì)像， 基于深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolution Neural Network, DCNN)對(duì)其進(jìn)行彩色化， 為解決訓(xùn)練數(shù)據(jù)缺乏的問(wèn)題， 在可見(jiàn)光模型的訓(xùn)練庫(kù)中用加入顏色遷移和偽彩色等方法得到效果較好的圖像， 并且構(gòu)建網(wǎng)絡(luò)時(shí)在網(wǎng)絡(luò)的輸入層以及中間特征處理層添加額外的卷積操作， 輸入層的卷積能使網(wǎng)絡(luò)在輸入前對(duì)圖像預(yù)處理， 并且所用的濾波器是通過(guò)學(xué)習(xí)得到的， 特征提取層之后的卷積能使網(wǎng)絡(luò)具有對(duì)噪聲特征處理以及在紅外特征與可見(jiàn)光特征之間建立關(guān)聯(lián)的能力， 從而提高網(wǎng)絡(luò)對(duì)融合結(jié)果彩色化的穩(wěn)定性.

1 圖像彩色化方法

1.1 YUV顏色空間

在RGB顏色空間內(nèi)， 任意色彩都可用R,G,B3個(gè)不同顏色分量相加得到， 而YUV空間用圖像的灰度值(Y)和色差(UV)共同控制圖像的色彩， 其中Y通道是圖像的灰度信息與UV通道共同控制顏色信息.YUV彩色空間的優(yōu)勢(shì)是它的灰度和顏色是分離的， 即使UV信號(hào)丟失， 也能有灰度圖像利用. 根據(jù)這一特性， 可將灰度融合結(jié)果看作僅有Y通道而UV通道信息丟失的殘缺圖像， 彩色化過(guò)程就是根據(jù)Y通道的信息去生成UV通道， 因此本文將灰度融合結(jié)果當(dāng)作Y通道圖像， 利用DCNN來(lái)生成UV通道圖像從而得到彩色融合結(jié)果.

1.2 總體思路

本文的整體思路如圖 1 所示.

圖 1 總體思路圖Fig.1 The basic ideas image

1) 將彩色訓(xùn)練圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)UV顏色空間.

2) 在網(wǎng)絡(luò)輸入端輸入訓(xùn)練圖像的Y通道圖像， 以UV通道圖像為目標(biāo)圖像訓(xùn)練網(wǎng)絡(luò)， 使其能根據(jù)輸入的Y通道信息自動(dòng)生成UV通道圖像.

3) 待網(wǎng)絡(luò)誤差穩(wěn)定后， 將灰度融合結(jié)果當(dāng)作Y通道信息輸入網(wǎng)絡(luò)中， 網(wǎng)絡(luò)的輸出為預(yù)測(cè)的UV通道圖像.

4) 將灰度融合圖像當(dāng)作Y通道圖像， 將其與網(wǎng)絡(luò)輸出的UV通道圖像組合然后轉(zhuǎn)換到RGB空間即可得到彩色化的融合結(jié)果.

1.3 網(wǎng)絡(luò)的結(jié)構(gòu)和訓(xùn)練

網(wǎng)絡(luò)的結(jié)構(gòu)如圖 2 所示， 為了降低網(wǎng)絡(luò)訓(xùn)練的難度， 選擇在圖像分類(lèi)里應(yīng)用較多的VGG網(wǎng)絡(luò)作為底層特征提取網(wǎng)絡(luò)， 考慮到網(wǎng)絡(luò)的深度和內(nèi)存大小， VGG僅用了前4層； 由于VGG網(wǎng)絡(luò)中存在下采樣操作， 要想輸出和原圖像大小相同的圖像， 要再進(jìn)行逆變換， 直接用卷積網(wǎng)絡(luò)去實(shí)現(xiàn)逆變換， 一方面逆變換部分需要學(xué)到圖像的超分辨率， 這就需要很深的網(wǎng)絡(luò)結(jié)構(gòu)； 另一方面網(wǎng)絡(luò)層數(shù)過(guò)深又難以訓(xùn)練. 利用殘差編碼器[11]跳躍連接， 解決了深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難的問(wèn)題， 并且跨接的方式還使后面的網(wǎng)絡(luò)能得到輸入原始信息， 很適合重構(gòu)任務(wù). 本文選擇殘差編碼器作為網(wǎng)絡(luò)的重構(gòu)部分， 讓C1,C2,C3和C4的輸出直接跨接輸送給C10,C9,C8和C7， 使得C7～C10層能通過(guò)利用C1～C4層提取到的特征進(jìn)行逐層重構(gòu).

VGG網(wǎng)絡(luò)的激活函數(shù)不變， 其余層的激活函數(shù)選擇ELUs(Exponential Linear Units, ELUs)[13]來(lái)提高網(wǎng)絡(luò)的穩(wěn)定性. 圖 2 中C1層對(duì)圖像進(jìn)行預(yù)處理并且將單通道灰度圖像轉(zhuǎn)換為3通道圖像使其能輸入到VGG網(wǎng)絡(luò)中，C2～C5為VGG16網(wǎng)絡(luò)的前4層，C6～C10為殘差編碼器的結(jié)構(gòu)，C11層為網(wǎng)絡(luò)的輸出層， 考慮到圖像的顏色由UV通道共同控制，UV通道之間存在相關(guān)性， 因此網(wǎng)絡(luò)的輸出為預(yù)測(cè)得到的UV通道. CON表示卷積操作， DOW為下采樣操作， BN為Batch Normalization[12]操作， UP為上采樣操作.

圖 2 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 The network structure

網(wǎng)絡(luò)采用反向傳播算法進(jìn)行訓(xùn)練， 在訓(xùn)練時(shí)VGG部分參數(shù)保持不變， 誤差函數(shù)為

式中：w,b為網(wǎng)絡(luò)待訓(xùn)練的參數(shù)；zu和zv分別為網(wǎng)絡(luò)的UV通道輸出；yu和yv分別為標(biāo)簽UV通道的標(biāo)簽圖像；n為訓(xùn)練樣本的個(gè)數(shù). 為了加快網(wǎng)絡(luò)的訓(xùn)練， 采用Adam[14]優(yōu)化算法， 該方法能對(duì)網(wǎng)絡(luò)的每個(gè)參數(shù)自適應(yīng)確定學(xué)習(xí)率， 使得訓(xùn)練速度更快； mini-batch大小取8， 共迭代42 000個(gè)mini-batch， 網(wǎng)絡(luò)使用Tensorflow進(jìn)行構(gòu)建， 顯卡為GTX1060.

DCNN學(xué)習(xí)到的是輸入圖像像素與顏色的映射關(guān)系， 這種映射建立的橋梁是圖像的特征， 訓(xùn)練集直接影響彩色結(jié)果的準(zhǔn)確性和自然感， 當(dāng)訓(xùn)練集中缺少某類(lèi)物體特征時(shí)， 網(wǎng)絡(luò)無(wú)法建立該特征與顏色的映射， 就會(huì)導(dǎo)致顏色錯(cuò)誤和不連續(xù)的問(wèn)題. 本文主要面向安防監(jiān)控、 汽車(chē)夜視輔助駕駛等應(yīng)用， 這些場(chǎng)景多包含道路、 建筑、 植被、 人和天空等戶(hù)外目標(biāo)， 因此訓(xùn)練集主要由戶(hù)外場(chǎng)景圖像構(gòu)成. 為了保證網(wǎng)絡(luò)能對(duì)融合圖像彩色化并且自然， 訓(xùn)練集包括可見(jiàn)光圖像和挑選后的彩色融合結(jié)果. 訓(xùn)練集共1 000張圖像， 其中有100幅是從互聯(lián)網(wǎng)收集到的人工上色的紅外圖像， 還有100幅是顏色遷移和偽彩色結(jié)果[15-16]， 這些圖像都通過(guò)人工挑選， 僅選擇其中的戶(hù)外場(chǎng)景和彩色自然感較好的圖像， 可見(jiàn)光圖像來(lái)自ImageNet數(shù)據(jù)集， 多波段圖像來(lái)自TNO數(shù)據(jù)集.

2 實(shí)驗(yàn)結(jié)果與分析

圖 3～圖 5 為3組測(cè)試圖像， 均為3波段融合結(jié)果(紅外長(zhǎng)波圖像、 近紅外圖像和可見(jiàn)光圖像)， 圖像來(lái)自TNO圖像融合數(shù)據(jù)集， 測(cè)試圖像不包含在網(wǎng)絡(luò)的訓(xùn)練集中. 為了驗(yàn)證本文方法的有效性， 選擇文獻(xiàn)[8]的方法和文獻(xiàn)[9]的方法進(jìn)行對(duì)比， 其中文獻(xiàn)[8]和文獻(xiàn)[9]方法的訓(xùn)練庫(kù)中僅有可見(jiàn)光圖像. 從結(jié)果可以看出， 文獻(xiàn)[9]的結(jié)果色彩分布不均勻， 不連續(xù)， 顏色分布沒(méi)有規(guī)律， 不但不利于觀察， 反而會(huì)干擾人的判斷. 文獻(xiàn)[8]方法色彩分布雖然均勻， 但其顏色較淡， 所有目標(biāo)的色彩都基本相同， 效果提升不明顯. 本文方法的彩色化結(jié)果相對(duì)較好， 顏色分布均勻， 能將植物涂成綠色， 墻壁為橙色， 道路為青色， 更接近自然狀態(tài).

圖 3 第1組測(cè)結(jié)果Fig.3 Group 1 test image

圖 4 第2組測(cè)結(jié)果Fig.4 Group 2 test image

圖 5 第3組測(cè)結(jié)果Fig.5 Group 3 test image

為了對(duì)各方法結(jié)果進(jìn)行比較， 本文從中北大學(xué)大數(shù)據(jù)學(xué)院圖像處理專(zhuān)業(yè)的研究生中抽取20名視力正常的學(xué)生(男女各半)對(duì)結(jié)果進(jìn)行評(píng)價(jià)， 這些受試者在實(shí)驗(yàn)開(kāi)始前先進(jìn)行相關(guān)知識(shí)培訓(xùn)， 再輪流在同一臺(tái)電腦上對(duì)3組測(cè)試圖像依次評(píng)價(jià)， 每幅圖像觀察2 min， 然后對(duì)各方法的彩色結(jié)果從整體舒適感， 真實(shí)感和色彩豐富程度3方面進(jìn)行主觀評(píng)價(jià)， 評(píng)價(jià)等級(jí)采用克特5級(jí)量表法[1]劃分， 5個(gè)等級(jí)分別為很好、 好、 一般、 不好、 很不好， 對(duì)應(yīng)分值分別為5分、 4分、 3分、 2分和1分.

由于主觀觀察受觀察環(huán)境、 受試者專(zhuān)業(yè)情況等因素影響， 本文對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了客觀評(píng)價(jià). 所用的評(píng)價(jià)指標(biāo)有： ① 顏色數(shù)， 顏色數(shù)通過(guò)統(tǒng)計(jì)圖像中顏色的數(shù)量， 間接反映圖像顏色的豐富程度， 值越大越好. ② 標(biāo)準(zhǔn)差， 首先將彩色圖像轉(zhuǎn)換到Y(jié)UV顏色空間， 分別計(jì)算UV通道的標(biāo)準(zhǔn)差， 再將結(jié)果相加， 標(biāo)準(zhǔn)差可反映數(shù)據(jù)的離散程度， 由于UV通道代表顏色信息， 標(biāo)準(zhǔn)差越小， 圖像顏色整體分布越集中， 間接說(shuō)明圖像顏色更連續(xù)， 更均勻， 主觀感覺(jué)就更好.

圖 6 為主客觀評(píng)價(jià)指標(biāo)結(jié)果， 其中整體舒適感、 自然感和顏色豐富程度為20名受試者各項(xiàng)指標(biāo)的平均結(jié)果， 顏色數(shù)和標(biāo)準(zhǔn)差結(jié)果縮放到0～5. 從圖 6 中可看出： 本文方法的整體舒適感和自然感最好， 色彩豐富程度相比雖不如文獻(xiàn)[9]， 但顏色更均勻， 無(wú)論主觀評(píng)價(jià)和客觀評(píng)價(jià)各項(xiàng)指標(biāo)均最為理想.

圖 6 3組測(cè)試圖像主觀評(píng)價(jià)平均結(jié)果Fig.6 The results of subjective eraluation of group 3 test image

3 結(jié) 論

本文針對(duì)傳統(tǒng)多波段融合圖像為灰色不利于人眼觀察的問(wèn)題， 提出了多波段融合圖像彩色化方法， 主要有以下工作： ① 從理論上分析了可見(jiàn)光圖像的自動(dòng)彩色化方法無(wú)法適應(yīng)于融合結(jié)果的原因. ② 在可見(jiàn)光自動(dòng)彩色化模型的訓(xùn)練庫(kù)中添加顏色遷移、 偽彩色融合等方法的彩色結(jié)果， 使網(wǎng)絡(luò)能學(xué)習(xí)到融合圖像的特征. ③ 在傳統(tǒng)模型的輸入層和特征提取層增加更多的操作來(lái)減輕環(huán)境干擾對(duì)結(jié)果的影響， 并且使網(wǎng)絡(luò)能在紅外特征與可見(jiàn)光特征之間建立聯(lián)系. 實(shí)驗(yàn)結(jié)果表明： 本文方法能對(duì)融合結(jié)果進(jìn)行自動(dòng)彩色化， 不需要額外的參考圖像， 顏色自然， 方便易用.

本文提出的多波段融合圖像彩色化方法可應(yīng)用于安防監(jiān)控、 汽車(chē)夜視輔助駕駛等需要人在回路的系統(tǒng)， 對(duì)于其他應(yīng)用， 在構(gòu)建訓(xùn)練集時(shí)應(yīng)包含應(yīng)用場(chǎng)景所有的類(lèi)型的物體， 并且圖像數(shù)量要多， 顏色要自然. 由于多波段彩色融合圖像相比于可見(jiàn)光獲取更加困難， 且本文訓(xùn)練集相對(duì)較小， 使得結(jié)果中部分位置存在顏色不均勻， 因此下一步的工作是： 擴(kuò)大訓(xùn)練集規(guī)模并且提高模型對(duì)不同類(lèi)型融合結(jié)果的魯棒性以及提高彩色結(jié)果的連續(xù)性.

參考文獻(xiàn)：

[1] 藺素珍, 朱小紅, 王棟娟, 等. 基于嵌入式多尺度變換的多波段圖像融合[J]. 計(jì)算機(jī)研究與發(fā)展, 2015, 52(4)： 952-959.

Lin Suzhen, Zhu Xiaohong, Wang Dongjuan, et al. Multi-band image fusion based on embedded multi-scale transform[J]. Journal of Computer Research and Development, 2015, 52(4)： 952-959. (in Chinese)

[2] Lin S Z, Wang D J, Wang X X, et al. Multi-band texture image fusion based on the embedded multi-scale decomposition and possibility theory[J]. Spectroscopy & Spectral Analysis, 2016(7)： 2337-2343.

[3] 藺素珍, 韓澤. 基于深度堆疊卷積神經(jīng)網(wǎng)絡(luò)的圖像融合[J]. 計(jì)算機(jī)學(xué)報(bào), 2017, 40 (11)： 1-13.

Lin Suzhen, Han Ze. Images fusion based on deep stack convolutional neural network[J]. Chinese Journal of Computers, 2017, 40 (11)： 1-13. (in Chinese)

[4] 王世亮, 徐崗, 儲(chǔ)清林, 等. 基于放縮系數(shù)和均值的多參數(shù)顏色遷移[J]. 中國(guó)圖象圖形學(xué)報(bào), 2013, 18(11)： 1536-1541.

Wang Shiliang, Xu Gang, Chu Qinglin, et al. Color transfer with multiple parameters by combining the scaling and mean values[J]. Journal of Image and Graphics, 2013, 18(11)： 1536-1541. (in Chinese)

[5] Arbelot B, Vergne R, Hurtut T, et al. Local texture-based color transfer and colorization[J]. Computers & Graphics, 2016, 62： 15-27.

[6] 李惠. 基于生物視覺(jué)融合機(jī)制的圖像增強(qiáng)算法研究[D]. 西安： 電子科技大學(xué), 2016.

[7] 孫鳳梅. 多傳感器圖像彩色融合方法研究[D]. 長(zhǎng)沙： 湖南大學(xué), 2009.

[8] Efros A A, Efros A A, Efros A A, et al. Real-time user-guided image colorization with learned deep priors[J]. Acm Transactions on Graphics, 2017, 36(4)： 119-125.

[9] Tinyclouds. Automatic colorization[EB/OL]. http:∥tinyclouds.org/colorize/, 2017.

[10] Suárez P L, Sappa A D, Vintimilla B X. Infrared Image Colorization Based on a Triplet DCGAN Architecture[C]. Computer Vision and Pattern Recognition Workshops. IEEE, 2017： 212-217

[11] He K, Zhang X, Ren S, et al. Deep Residual Learning for Image Recognition[C]. Computer Vision and Pattern Recognition (CVPR), 2016: 1-9.

[12] Loffe S, Szegedy C. Batch Normalization： Accelerating Deep Network Training by Reducing Internal Covariate Shift[C]. International Conference on Machine Learning. JMLR.org, 2015: 448-456.

[13] Djork-Arné Clevert, Sepp Hochreiter T U. Fast and accurate deep network learning by exponential linear units (ELUs)[C]. ICLR, 2016: 1-14.

[14] Kingma D, Ba J. Adam： a method for stochastic optimization[C]. The 3rd International Conference for Learning Representations, 2015: 1-15.

[15] Toet A. Natural colour mapping for multiband nightvision imagery[J]. Information Fusion, 2003, 4(3)： 155-166.

[16] Toet A, Franken E M. Perceptual evaluation of different image fusion schemes.[J]. Displays, 2003, 24(1)： 25-37.