張 帆，徐志超

(1.中國(guó)礦業(yè)大學(xué)(北京)機(jī)電與信息工程學(xué)院，北京 100083; 2.中國(guó)礦業(yè)大學(xué)(北京)智慧礦山與機(jī)器人研究院，北京 100083)

實(shí)現(xiàn)井下工作面少人乃至無(wú)人作業(yè)是安全開(kāi)采和智慧礦山建設(shè)最重要的目標(biāo)之一，研究礦井智能視頻監(jiān)控系統(tǒng)優(yōu)化方法及其關(guān)鍵技術(shù)，對(duì)促進(jìn)礦井智能安全開(kāi)采技術(shù)發(fā)展及智慧礦山建設(shè)具有十分重要的意義[1-3]。傳統(tǒng)的視頻監(jiān)控系統(tǒng)中圖像壓縮方法采用經(jīng)典的Nyquist采樣定理來(lái)解決視頻圖像的信號(hào)采集、編碼和解碼問(wèn)題。然而，礦井視頻圖像的數(shù)據(jù)量大，采用傳統(tǒng)的壓縮方法不僅浪費(fèi)大量的采樣資源，而且在井下通信環(huán)境帶寬資源有限條件下使得系統(tǒng)開(kāi)銷較大。采用常規(guī)的圖像編解碼方法難以解決視頻圖像壓縮處理時(shí)出現(xiàn)的圖像模糊、視頻傳輸延遲等問(wèn)題，直接影響礦井視頻圖像的實(shí)時(shí)傳輸和智能監(jiān)控性能[4]。

對(duì)上述問(wèn)題，現(xiàn)有的解決方法或把礦井圖像的重構(gòu)看成凸優(yōu)化問(wèn)題，或通過(guò)稀疏逼近間接解決圖像的重構(gòu)問(wèn)題，但上述方法均涉及重構(gòu)問(wèn)題的迭代求解，其重構(gòu)算法的運(yùn)算時(shí)間較長(zhǎng)，依然給礦井視頻監(jiān)控系統(tǒng)應(yīng)用帶來(lái)實(shí)時(shí)性問(wèn)題。

近年流行的基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法，為解決圖像壓縮與重構(gòu)的問(wèn)題提供了新的技術(shù)思路。卷積神經(jīng)網(wǎng)絡(luò)在分類識(shí)別、目標(biāo)檢測(cè)和圖像重構(gòu)等應(yīng)用研究中引起廣泛關(guān)注[5-8]。在深度學(xué)習(xí)的框架中，編碼器、解碼器的參數(shù)均通過(guò)大量數(shù)據(jù)學(xué)習(xí)得出。其優(yōu)勢(shì)在于一旦模型訓(xùn)練完成，其重構(gòu)用時(shí)短，且能得到優(yōu)于傳統(tǒng)壓縮感知重構(gòu)方法所獲得的圖像復(fù)原質(zhì)量。MOUSAVI等提出的DeepInverse[5]嘗試了使用三層卷積層代替?zhèn)鹘y(tǒng)的迭代方法重構(gòu)圖像，其重構(gòu)時(shí)間可達(dá)到低于傳統(tǒng)方法的百分之一的水平，在實(shí)時(shí)性方面表現(xiàn)出色。KULKARNI等提出的ReconNet[8]使用六層卷積層對(duì)圖像進(jìn)行分塊壓縮感知，圖像的重構(gòu)質(zhì)量較DeepInverse有明顯提升，表明適當(dāng)提升網(wǎng)絡(luò)層數(shù)對(duì)提升重構(gòu)質(zhì)量有幫助。但ReconNet的壓縮感知分塊處理意味著每個(gè)圖像塊的重構(gòu)結(jié)果拼接后，分塊之間會(huì)出現(xiàn)假輪廓，即使進(jìn)一步進(jìn)行去噪處理也不能完全消除假輪廓對(duì)圖像質(zhì)量的負(fù)面影響。雖然現(xiàn)有的深度學(xué)習(xí)方法極大地推進(jìn)了圖像壓縮與重構(gòu)的發(fā)展，但是通過(guò)現(xiàn)有方法得到的重構(gòu)圖像中，圖像的保真度仍有欠缺，特別是物體與物體邊界較為模糊。近年來(lái)流行的基于深度學(xué)習(xí)的圖像超分辨率成像方法，給礦井圖像的壓縮與重構(gòu)方法提供了理論借鑒。

筆者根據(jù)圖像超分辨率成像方法，基于深度學(xué)習(xí)實(shí)現(xiàn)圖像的壓縮與重構(gòu)，通過(guò)建立一種新的網(wǎng)絡(luò)結(jié)構(gòu)，據(jù)此對(duì)礦井原始圖像進(jìn)行采樣;在此基礎(chǔ)上提出采用離散小波結(jié)構(gòu)相似度(Discrete Wavelet Similarity,DW-SSIM)計(jì)算損失函數(shù)的方法，通過(guò)將DW-SSIM損失與均方誤差損失相融合，利用融合后的損失函數(shù)訓(xùn)練網(wǎng)絡(luò)，從而改善重構(gòu)信號(hào)的保真度、解決圖像邊緣模糊等問(wèn)題。實(shí)驗(yàn)驗(yàn)證了本文方法的有效性。

1 相關(guān)理論及問(wèn)題描述

1.1 壓縮感知與信號(hào)重構(gòu)

根據(jù)Donoho壓縮感知理論[8]，信號(hào)的采樣模型可表示為

y=Φx

(1)

式中，x∈N為待壓縮采樣的原始稀疏信號(hào);測(cè)量矩陣Φ∈M×N對(duì)信號(hào)進(jìn)行降采樣;y是經(jīng)過(guò)壓縮采樣得到的信號(hào)。

當(dāng)x可以被稀疏表示且Φ滿足約束等距性質(zhì)(RIP)時(shí)[9-12]，信號(hào)x的重構(gòu)可以看成是對(duì)信號(hào)稀疏逼近的凸優(yōu)化問(wèn)題:

(2)

式中，λ為拉格朗日乘子；Ψs=x，s為x在稀疏基Ψ的稀疏表示；當(dāng)解得s=s*時(shí)，可以進(jìn)一步使用Ψs=x求出對(duì)原始信號(hào)的恢復(fù)。由于對(duì)此問(wèn)題的求解，無(wú)論是使用貪婪方法的匹配追蹤[12-14]還是基于凸優(yōu)化的基追蹤[12-13,15]，其重構(gòu)過(guò)程都涉及多次迭代，因而圖像重構(gòu)耗時(shí)大大增加，無(wú)法應(yīng)用于實(shí)時(shí)性要求高的場(chǎng)合。因此需要尋求一種能快速進(jìn)行圖像重構(gòu)的方法。

1.2 圖像重構(gòu)與網(wǎng)絡(luò)訓(xùn)練

如果把圖像的重構(gòu)看作回歸問(wèn)題，則可利用卷積神經(jīng)網(wǎng)絡(luò)來(lái)重構(gòu)圖像，即通過(guò)網(wǎng)絡(luò)建立輸入與輸出之間的映射關(guān)系f，使得

(3)

(4)

式中，L為由損失函數(shù)計(jì)算所得的誤差;w為網(wǎng)絡(luò)中各個(gè)神經(jīng)元的權(quán)重;t為當(dāng)前的訓(xùn)練周期;α為學(xué)習(xí)率(0<α<1)，是調(diào)節(jié)權(quán)重更新大小的常數(shù)。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的重構(gòu)算法

2.1 礦井圖像重構(gòu)模型

考慮到f1和f2的關(guān)聯(lián)，可以將其置于同一個(gè)網(wǎng)絡(luò)中，通過(guò)“端到端”的訓(xùn)練方式得到f1和f2，使得網(wǎng)絡(luò)可以擴(kuò)展成既能學(xué)習(xí)編碼、也能夠?qū)W習(xí)重構(gòu)圖像的形式:

(5)

受殘差網(wǎng)絡(luò)ResNet[18]和超分辨率圖像成像方法[19]的啟發(fā)，本文提出一種新的礦井圖像重構(gòu)模型，如圖1所示。該模型由編碼網(wǎng)絡(luò)和重構(gòu)網(wǎng)絡(luò)兩部分組成。

圖1 礦井圖像壓縮重構(gòu)模型

(1)壓縮編碼:壓縮編碼網(wǎng)絡(luò)接受100像素×100像素的灰度圖像作為輸入，通過(guò)下采樣矩陣與向量化了的輸入圖像進(jìn)行矩陣乘法，獲得對(duì)原始圖像的編碼，即

y=f1(x)=Ax+b

(6)

式中，A為下采樣矩陣;b為偏置向量。本文使用全連接層實(shí)現(xiàn)映射f1，因此A和b都是待優(yōu)化的網(wǎng)絡(luò)參數(shù)，二者均在訓(xùn)練開(kāi)始前用隨機(jī)數(shù)初始化。

(2)圖像重構(gòu):本文將圖像重構(gòu)看成是礦井圖像特征提取的逆過(guò)程，而礦井圖像特征提取網(wǎng)絡(luò)通常包含多個(gè)下采樣層，因此本文通過(guò)多次上采樣，將特征圖變換為與原始圖像具有相同高和寬的特征圖。圖中所示3次上采樣輸出高×寬依次為50像素×50像素、75像素×75像素、100像素×100像素的特征圖，采用最近鄰插值法對(duì)上述特征圖進(jìn)行上采樣操作。

進(jìn)一步地，在多次上采樣之間使用殘差網(wǎng)絡(luò)塊對(duì)重構(gòu)網(wǎng)絡(luò)進(jìn)行優(yōu)化。本文使用的殘差網(wǎng)絡(luò)塊重構(gòu)網(wǎng)絡(luò)如圖1所示，殘差網(wǎng)絡(luò)塊有結(jié)構(gòu)1和結(jié)構(gòu)2兩種組成形式。兩種結(jié)構(gòu)的殘差網(wǎng)絡(luò)塊，其卷積層、批標(biāo)準(zhǔn)化層[20]和LeakyReLU[21]非線性激活層分別用符號(hào)Conv，BN和LReLU表示。殘差網(wǎng)絡(luò)塊中的卷積層的卷積核大小均為3×3。每層卷積層由96個(gè)卷積核組成。其中，結(jié)構(gòu)1的組成更為復(fù)雜，能夠更好地對(duì)兩次上采樣之間的特征圖進(jìn)行優(yōu)化;而結(jié)構(gòu)2采用直接跨越連接方式有利于梯度下降的快速傳播，能加快重構(gòu)網(wǎng)絡(luò)的收斂。本文交替使用這兩種殘差網(wǎng)絡(luò)塊，以獲得網(wǎng)絡(luò)優(yōu)化效果和網(wǎng)絡(luò)訓(xùn)練收斂速度的平衡。

最后利用優(yōu)化后的重構(gòu)網(wǎng)絡(luò)將特征圖聚合成重構(gòu)圖像。

上述過(guò)程用公式表示為

(7)

式中，符號(hào)“*”為卷積;gi(i=1,2,…,n)為殘差網(wǎng)絡(luò)塊處理輸入的特征圖并進(jìn)行上采樣;Wa為深度為1的卷積層，用于將特征圖聚合為重構(gòu)圖像。

2.2 損失函數(shù)

2.2.1l2損失

損失函數(shù)是卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的優(yōu)化目標(biāo)。最常用到的損失函數(shù)是l2損失，在文獻(xiàn)中通常以峰值信噪比(PSNR)及均方誤差(MSE)的形式出現(xiàn)[22]。

圖像信號(hào)的PSNR定義為

(8)

(9)

式(9)中MSE一定程度上描述了兩個(gè)信號(hào)之間的差異程度，但它并不能完全反映重構(gòu)信號(hào)的保真度。這是因?yàn)橛肕SE描述圖像信號(hào)之間的差異時(shí)，信號(hào)的保真度與信號(hào)中各成分的時(shí)空關(guān)系被忽視[22]。當(dāng)誤差信號(hào)的能量之和相同或相近時(shí)，將會(huì)出現(xiàn)看起來(lái)大不相同的兩幅圖像具有相同或相近的MSE情況。

2.2.2結(jié)構(gòu)相似度

為了解決l2損失不能完全反映圖像重構(gòu)的保真度問(wèn)題，學(xué)者們又提出了其他的圖像質(zhì)量評(píng)估方法，其中結(jié)構(gòu)相似度指數(shù)(SSIM)[22-24]使用最為廣泛。

假設(shè)x和y是兩幅高和寬相同的圖像，SSIM表征了兩幅圖像之間亮度l(x,y)、對(duì)比度c(x,y)和結(jié)構(gòu)s(x,y)的相似性，則SSIM表示為

SSIM(x,y)=l(x,y)c(x,y)s(x,y)=

(10)

式中，μx和μy分別為x和y的均值;σx和σy分別為x和y的標(biāo)準(zhǔn)差;σxy為樣本的互相關(guān)。Ci(i=1,2,3)為小的正常數(shù)，本文中SSIM計(jì)算取C1=C2=C3=0.01。

SSIM一定程度上彌補(bǔ)了l2損失的不足，然而圖像的相對(duì)平移、輕微縮放、輕微旋轉(zhuǎn)都會(huì)較大影響SSIM的數(shù)值。針對(duì)這些問(wèn)題，SAMPAT M P等提出了復(fù)小波結(jié)構(gòu)相似度(CW-SSIM)[25]。CW-SSIM雖然對(duì)微小的旋轉(zhuǎn)、平移具有魯棒性，但是其引入的復(fù)數(shù)運(yùn)算在計(jì)算時(shí)開(kāi)銷較大，因此也不宜作為損失函數(shù)使用。

2.2.3離散小波結(jié)構(gòu)相似度

本文提出一種基于離散小波變換的結(jié)構(gòu)相似度計(jì)算方式，稱為離散小波結(jié)構(gòu)相似度(Discrete Wavelet Structural Similarity)，簡(jiǎn)稱DW-SSIM。

對(duì)于二維的礦井圖像信號(hào)f(x,y)∈N×N，可用離散小波將其分解為

(11)

其中，j0=0;N為圖像的邊長(zhǎng);Wφ,Wψ為分解系數(shù);φ(x,y)為haar尺度函數(shù);ψ(x,y)為haar小波函數(shù);H，V，D為不同函數(shù)名的標(biāo)記。

(12)

i={H,V,D}

(13)

根據(jù)采用多分辨率分析的haar小波分解與重構(gòu)所包含的高頻信號(hào)和低頻信號(hào)，則礦井圖像的DW-SSIM表示為

(14)

(15)

(16)

式中，J為圖像多分辨率分解的最大分解層級(jí)，本文取J=3;符號(hào)W(1)，W(2)分別為原始圖像和重構(gòu)圖像的小波變換系數(shù);K為防止算術(shù)不穩(wěn)定的正常數(shù)，本文取K=0.01。

2.2.4本文所采用的損失函數(shù)

鑒于l2損失和結(jié)構(gòu)相似度在圖像質(zhì)量評(píng)估方面的優(yōu)點(diǎn)，本文融合上述2種圖像評(píng)估方法作為損失函數(shù)，融合后的損失函數(shù)表示為

(17)

式(17)中第一項(xiàng)為l2損失，

(18)

其中，LF為對(duì)均方誤差函數(shù)的歸一化，LF的值域是[0,1]。式(17)中第二項(xiàng)為結(jié)構(gòu)相似度損失，

(19)

3 實(shí)驗(yàn)與分析

為了驗(yàn)證算法的有效性，本文進(jìn)行了仿真實(shí)驗(yàn)。將本文方法與近年來(lái)較為知名的ReconNet[8],D-AMP[26]和TVAL3[27]算法進(jìn)行了測(cè)試比較。這些算法的實(shí)現(xiàn)均根據(jù)作者提供的網(wǎng)站獲取，并且保持了其設(shè)置的默認(rèn)值。實(shí)驗(yàn)平臺(tái)采用Nvidia Tesla K80，Intel(R)Xeon(R)CPU和12 GB內(nèi)存的Ubuntu 18.04.2。使用的深度學(xué)習(xí)軟件包是Pytorch 1.0.1。

我們采集了某礦井不同場(chǎng)景的監(jiān)控視頻，如圖2所示，并抽取了視頻序列中的關(guān)鍵幀得到47 493張彩色圖像。首先對(duì)這些圖像進(jìn)行了灰度化，并進(jìn)行了100像素×100像素的中心裁剪作為本文算法的訓(xùn)練數(shù)據(jù)集。通過(guò)水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)來(lái)進(jìn)行數(shù)據(jù)增補(bǔ)。在網(wǎng)絡(luò)訓(xùn)練時(shí)，選取的批次大小為64。

在同樣的實(shí)驗(yàn)條件下，本文考察了上述幾種算法的礦井圖像重構(gòu)質(zhì)量與重構(gòu)時(shí)間。其中，重構(gòu)質(zhì)量通過(guò)PSNR和SSIM進(jìn)行評(píng)估。重構(gòu)時(shí)間復(fù)雜度則由各種重構(gòu)算法的運(yùn)算耗時(shí)來(lái)表征。在不同壓縮比條件下，利用各種算法對(duì)測(cè)試圖像進(jìn)行重構(gòu)，圖像重構(gòu)的PSNR和SSIM分別見(jiàn)表1，2，其中，r為壓縮比。

圖2 本文實(shí)驗(yàn)所選用的測(cè)試場(chǎng)景

表1 不同算法在測(cè)試圖像重構(gòu)的PSNR

表2 不同算法在測(cè)試圖像重構(gòu)的SSIM

Table 2 SSIM for different algorithms on the test images

場(chǎng)景算法r=0.25r=0.20r=0.15r=0.10r=0.04r=0.01D-AMP[25]0.68540.67930.63760.51480.17350.0363(a)ReconNet[5]0.54700.49470.43770.42670.33710.2431TVAL3[26]0.38300.31460.25740.18380.21100.1608本文方法0.73200.74760.70490.63030.49230.3498D-AMP0.95940.95210.91770.89340.14590.0544(b)ReconNet0.87370.83080.79130.76310.61670.4181TVAL30.76220.75400.72820.66820.52520.4313本文方法0.96950.96590.96570.95250.90240.6631D-AMP0.96680.95950.94420.89930.37860.0121(c)ReconNet0.92270.89760.86030.81620.62520.4091TVAL30.68720.67400.63210.57910.48480.2248本文方法0.97490.96820.97070.94710.87480.5321D-AMP0.92020.89380.87110.82630.17660.0581(d)ReconNet0.72360.67230.65680.63810.52390.3894TVAL30.77790.75590.67600.56260.42520.4100本文方法0.92030.91450.91580.87720.82910.6939D-AMP0.87110.67930.80270.71870.28290.0634(e)ReconNet0.77280.73190.67710.65220.54600.4318TVAL30.54450.48680.50690.41270.37940.3372本文方法0.87930.87640.86390.80580.69210.5359

從表1可以看出，當(dāng)壓縮比≥0.20時(shí)，在測(cè)試的多數(shù)礦井圖像上D-AMP方法取得了最高的PSNR值，其次是本文方法，而ReconNet和TVAL3相對(duì)較差;而當(dāng)壓縮比在0.10～0.15時(shí)，本文方法在測(cè)試的多數(shù)礦井圖像上取得最高PSNR值，其次才是DAMP，ReconNet和TVAL3依然相對(duì)較差;尤其是，當(dāng)壓縮比≤0.04時(shí)，本文方法在所有的測(cè)試圖像上均取得最優(yōu)的PSNR值，ReconNet次之，而D-AMP和TVAL3相對(duì)較差。由表1進(jìn)一步分析可知，隨著壓縮比r的逐漸減小，上述重構(gòu)方法的PSNR均呈現(xiàn)下降趨勢(shì)，其中D-AMP方法和TVAL3方法下降較為顯著，而本文方法下降較緩慢，這是因?yàn)楫?dāng)壓縮比非常小時(shí)，本文算法在獲得極其稀少的礦井原始圖像信息情況下，能夠通過(guò)深度學(xué)習(xí)的方法獲取礦井圖像的內(nèi)在結(jié)構(gòu)和特征，從而更好地重構(gòu)礦井原始圖像。

此外，由表2進(jìn)一步分析可知，本文方法在不同壓縮比條件下，在所有測(cè)試圖像上均取得了最高SSIM，這是因?yàn)楸疚姆椒ㄔ谟?xùn)練網(wǎng)絡(luò)時(shí)采用了離散小波結(jié)構(gòu)相似度損失作為損失函數(shù)的一部分，從而使本文方法在保留重構(gòu)圖像的細(xì)節(jié)和結(jié)構(gòu)特征方面較其他方法更有優(yōu)勢(shì)。

綜合表1,2，說(shuō)明本文方法具有良好的圖像重構(gòu)能力，尤其是在小壓縮比情況下，本文方法在峰值信噪比和結(jié)構(gòu)相似度方面明顯優(yōu)于其他算法。

圖3展示了測(cè)試圖像在壓縮比r=0.04時(shí)利用不同算法的重構(gòu)結(jié)果。其中綠色矩形框中的圖像區(qū)域?yàn)榧t色矩形框中區(qū)域放大的結(jié)果。由圖3可以看出，在r=0.04壓縮比條件下，使用本文方法得到的重構(gòu)圖像，無(wú)論是PSNR還是SSIM都遠(yuǎn)高于其他方法。進(jìn)一步仔細(xì)觀察圖2所示的重構(gòu)結(jié)果，可以發(fā)現(xiàn)本文方法能更好保留了圖像中的輪廓細(xì)節(jié)，特別是場(chǎng)景(b)中的礦燈和礦工服的反光條，以及場(chǎng)景(d)中的礦用傳送帶邊緣較為清晰，而其他方法的重構(gòu)結(jié)果則相對(duì)模糊。相較于本文方法，而從其他方法的重構(gòu)圖像中分辨出前景和背景則顯得有些困難。因此，上述實(shí)驗(yàn)進(jìn)一步說(shuō)明，在小壓縮比情況下，與其他方法相比，本文方法的圖像重構(gòu)清晰度更好。

圖3 不同算法對(duì)場(chǎng)景(a),(b),(c),(d),(e)的重構(gòu)圖像，所有圖像均以壓縮比r=0.04的采樣重構(gòu)

圖4給出了測(cè)試圖像在壓縮比r=0.10時(shí)的重構(gòu)圖像。在此壓縮比條件下，盡管在場(chǎng)景(a)和場(chǎng)景(d)的圖像重構(gòu)中，本文方法得到的重構(gòu)PSNR值比D-AMP低，但是觀察紅色矩形框標(biāo)記的區(qū)域可以明顯看出，本文方法的重構(gòu)圖像對(duì)圖像邊緣的保留更完好。而且，本文方法在這一壓縮比下的重構(gòu)SSIM仍高于其他方法。圖4進(jìn)一步表明，在較大壓縮比情況下，本文方法仍然能取得較高的圖像保真度，特別是能保持礦井圖像物體邊緣的清晰度，這對(duì)獲取井下環(huán)境視頻監(jiān)控的低分辨率礦井圖像的前景和背景至關(guān)重要。

圖4 不同算法對(duì)場(chǎng)景(a),(b),(c),(d),(e)的重構(gòu)圖像，所有圖像均以壓縮比r=0.10的采樣重構(gòu)

表3給出了在不同壓縮比條件下幾種重構(gòu)方法的平均運(yùn)算耗時(shí)比較，但需要指出的是，D-AMP和TVAL3算法只能在CPU環(huán)境下運(yùn)行，而ReconNet算法和本文方法可在GPU或CPU上運(yùn)行。從表3可以看出，在CPU平臺(tái)上，TVAL3重構(gòu)算法運(yùn)算耗時(shí)最短，ReconNet算法和本文方法次之，而采用D-AMP重構(gòu)算法運(yùn)算耗時(shí)最長(zhǎng)，這是因?yàn)镈-AMP在圖像重構(gòu)過(guò)程中涉及的迭代次數(shù)過(guò)多，因此運(yùn)算耗時(shí)較長(zhǎng)。TVAL3算法對(duì)迭代過(guò)程進(jìn)行了優(yōu)化，因而耗時(shí)短。ReconNet算法和本文方法雖然不涉及迭代計(jì)算，但是重構(gòu)過(guò)程中需要進(jìn)行大量的矩陣乘法和卷積運(yùn)算，而目前CPU的架構(gòu)決定了無(wú)法快速地進(jìn)行矩陣乘法和卷積運(yùn)算，因此在CPU環(huán)境下，本文方法和ReconNet算法運(yùn)算耗時(shí)較長(zhǎng)。但另一方面，本文方法和ReconNet算法在GPU平臺(tái)上運(yùn)行最快，運(yùn)算耗時(shí)比TVAL3重構(gòu)算法小了一個(gè)數(shù)量級(jí)。這是因?yàn)镚PU能高速計(jì)算矩陣乘法和卷積，更適合基于深度學(xué)習(xí)的本文方法和ReconNet算法。進(jìn)一步考察表3發(fā)現(xiàn)，本文方法在GPU實(shí)驗(yàn)環(huán)境下能夠達(dá)到0.01 s/幀的處理速度，完全可以滿足礦井圖像數(shù)據(jù)的實(shí)時(shí)采集和處理需要，而且在同樣測(cè)試環(huán)境下，本文方法至少比ReconNet算法快0.01 s，說(shuō)明本文方法在圖像重構(gòu)方面具有更好的實(shí)時(shí)性。

表3 不同算法的圖像重構(gòu)平均用時(shí)

此外，為了進(jìn)一步考察本文方法在井下環(huán)境的抗噪性能，對(duì)含噪圖像進(jìn)行了壓縮重構(gòu)的仿真實(shí)驗(yàn)。為了模擬井下霧塵環(huán)境噪聲影響，本文對(duì)場(chǎng)景(a)分別加入均值為0，標(biāo)準(zhǔn)差分別為5,10,15,20,25和30的高斯噪聲，并對(duì)加噪圖像在壓縮比為0.25與0.04的情況下進(jìn)行壓縮與重構(gòu)，實(shí)驗(yàn)結(jié)果如圖5所示。由圖5可知，在噪聲干擾的條件下，對(duì)于絕大多數(shù)情況，本文方法的重構(gòu)質(zhì)量?jī)?yōu)于其他方法，而且噪聲標(biāo)準(zhǔn)差越大、壓縮比r越小，本文方法的優(yōu)勢(shì)越明顯。另外，本文方法的重構(gòu)PSNR,SSIM隨噪聲變化的幅度較小，在壓縮比r為0.04時(shí)，本文方法的PSNR波動(dòng)小于0.5 dB，SSIM波動(dòng)小于0.05，說(shuō)明本文方法具有較強(qiáng)的噪聲魯棒性。

綜合來(lái)看，與其他方法相比，本文方法在壓縮比較小情況下能取得更好的重構(gòu)效果，對(duì)噪聲環(huán)境下的圖像重構(gòu)具有魯棒性，且本文方法的重構(gòu)時(shí)間很短。

圖5 有噪聲條件下不同算法對(duì)場(chǎng)景(a)在壓縮比r為0.25,0.04的情況下的重構(gòu)結(jié)果比較

4 結(jié) 論

(1)為解決礦井監(jiān)控圖像的壓縮與重構(gòu)問(wèn)題，本文提出了一種基于殘差網(wǎng)絡(luò)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并提出基于DW-SSIM的損失函數(shù)與均方誤差損失函數(shù)訓(xùn)練網(wǎng)絡(luò)參數(shù)方法。

(2)實(shí)驗(yàn)表明，本文方法在壓縮比較小時(shí),PSNR和SSIM指標(biāo)均優(yōu)于其他的傳統(tǒng)壓縮感知方法，且本文方法的重構(gòu)時(shí)間較短，能有效提高礦井監(jiān)控圖像的清晰度，有助于改善礦井監(jiān)控系統(tǒng)的實(shí)時(shí)性能。

(3)在相同壓縮比及噪聲條件下，本文方法的重構(gòu)PSNR和SSIM優(yōu)于其他算法，且重構(gòu)PSNR，SSIM隨噪聲變化的幅度較小，本文方法對(duì)礦井環(huán)境下的圖像重構(gòu)具有較強(qiáng)的抗噪性和魯棒性。