宮艷晶，黃 民，黃小龍

(北京信息科技大學(xué) 機(jī)電工程學(xué)院，北京 100192)

0 引言

傳統(tǒng)的火災(zāi)識(shí)別方法以氣體型、感溫型、光感型及煙感型傳感器為主，通過(guò)檢測(cè)火災(zāi)中的物理特性進(jìn)行信息融合，判斷火災(zāi)是否發(fā)生[1]。目前氣體型、感溫型、光感型及煙感型傳感器已經(jīng)得到了廣泛的應(yīng)用。但由于傳感器位置固定，導(dǎo)致探測(cè)范圍受到限制，如裝滿貨物的工廠、長(zhǎng)通道的建筑、森林等，探測(cè)范圍受限，很難及時(shí)發(fā)現(xiàn)火災(zāi)[2]。傳感器采集信息單一，易受到光照、氣流的影響，從而導(dǎo)致誤報(bào)漏報(bào)的情況，影響火災(zāi)信息傳輸?shù)膶?shí)時(shí)性和準(zhǔn)確度。

隨著深度學(xué)習(xí)的發(fā)展，利用圖像識(shí)別技術(shù)檢測(cè)是否有火災(zāi)發(fā)生成為有效且直接的方法。Qin Y.等[3]使用基于DS證據(jù)理論的多分類器融合火焰檢測(cè)算法來(lái)對(duì)相同的火焰特征進(jìn)行分類，將分類結(jié)果融合后作出初步?jīng)Q策。Kim J.J.等[4]使用Faster R-CNN算法在火災(zāi)圖像中檢測(cè)到火焰。

雖然基于卷積神經(jīng)網(wǎng)絡(luò)的火焰分割方法在一定程度上優(yōu)于傳統(tǒng)的火焰識(shí)別，但仍然存在一些問(wèn)題。例如：火災(zāi)圖像復(fù)雜，火焰區(qū)域很容易受到煙霧等背景信息的影響，導(dǎo)致編碼器無(wú)法提取到有效的火焰特征，還存在用于訓(xùn)練的樣本數(shù)較少導(dǎo)致過(guò)擬合現(xiàn)象的弊端。本文以UNet神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，引入 ResNet-34殘差網(wǎng)絡(luò)結(jié)構(gòu)，損失函數(shù)采用以交叉熵?fù)p失BCELoss與 Dice損失兩者進(jìn)行線性組合的形式，規(guī)避了由于網(wǎng)絡(luò)梯度消失而出現(xiàn)的網(wǎng)絡(luò)退化，提高火焰圖像的分割精度。

1 模型建立

最早提出UNet 網(wǎng)絡(luò)結(jié)構(gòu)是將其運(yùn)用于醫(yī)學(xué)圖像細(xì)胞分割當(dāng)中，并取得了很好的分割效果。UNet網(wǎng)絡(luò)結(jié)構(gòu)以下采樣、上采樣和跳躍連接為主要構(gòu)成部分，如圖1所示[5]。從結(jié)構(gòu)的左右來(lái)看，左邊是圖片壓縮部分，即編碼結(jié)構(gòu)，由3×3尺寸的卷積層、ReLU函數(shù)和2×2尺寸的池化層構(gòu)成。對(duì)輸入圖像共進(jìn)行4次下采樣，每經(jīng)過(guò)2×2池化層操作，特征圖的尺寸下降，同時(shí)通道數(shù)翻倍，采用卷積層和下采樣層來(lái)實(shí)現(xiàn)圖像尺寸的縮小，并提取圖像的淺層特征。UNet的右半部分的作用是對(duì)圖像進(jìn)行解碼，通過(guò)和編碼部分對(duì)應(yīng)的4次2×2的反卷積層實(shí)現(xiàn)上采樣，擴(kuò)大特征圖的尺寸，從而恢復(fù)原圖像的大小。

圖1 UNet網(wǎng)絡(luò)結(jié)構(gòu)

在UNet卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，引入ResNet殘差塊部分[6]，圖2所示為ResNet-UNet神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖2 ResNet-UNet網(wǎng)絡(luò)結(jié)構(gòu)

圖3 ResNet-UNet網(wǎng)絡(luò)結(jié)構(gòu)

ResNet-UNet編碼過(guò)程的層級(jí)明確，5個(gè)卷積層和1個(gè)池化層構(gòu)成了殘差塊，旨在將輸入數(shù)據(jù)256×256維度轉(zhuǎn)變?yōu)?6×16維度的特征信息。在編碼過(guò)程中，步長(zhǎng)設(shè)置為1，卷積核設(shè)置為3×3，在圖像數(shù)據(jù)經(jīng)過(guò)殘差塊的過(guò)程中，通過(guò)對(duì)折圖片大小與對(duì)折通道數(shù)量，來(lái)保證圖像特征信息不丟失。在解碼過(guò)程中，含有1個(gè)反卷積層和5個(gè)卷積層，目的是將下采樣層獲得的16×16維特征信息轉(zhuǎn)為256×256維。ResNet-UNet網(wǎng)絡(luò)結(jié)構(gòu)中，將編碼后處理得到的特征圖融合解碼部分的特征圖，更好地保留了圖像的特征信息。

由于火焰特征復(fù)雜，在火災(zāi)發(fā)生區(qū)域火焰的覆蓋面大，且覆蓋面不集中等，需要經(jīng)過(guò)多次運(yùn)算才能提高模型擬合的準(zhǔn)確度，網(wǎng)絡(luò)層數(shù)越多，越容易導(dǎo)致梯度彌散或梯度爆炸。因此在UNet神經(jīng)網(wǎng)絡(luò)中引入殘差神經(jīng)網(wǎng)絡(luò)，來(lái)解決由網(wǎng)絡(luò)深度帶來(lái)的問(wèn)題。以UNet網(wǎng)絡(luò)框架為基礎(chǔ)，采用ResNet-34網(wǎng)絡(luò)作為神經(jīng)網(wǎng)絡(luò)特征提取前端，提高火焰的分割準(zhǔn)確度。

如圖3所示，在特征提取層，將512×512的火災(zāi)圖像輸入到網(wǎng)絡(luò)中，經(jīng)過(guò)ResNet-34殘差網(wǎng)絡(luò)結(jié)構(gòu)對(duì)圖像進(jìn)行特征提取，保留ResNet-34的獨(dú)立卷積結(jié)構(gòu)和殘差結(jié)構(gòu)。同時(shí)為了保證ResNet-34網(wǎng)絡(luò)和UNet網(wǎng)絡(luò)完美融合，需要將ResNet-34網(wǎng)絡(luò)最后一層的卷積通道數(shù)和ResNet-UNet網(wǎng)絡(luò)特征提取最后一個(gè)殘差模塊處理后的通道數(shù)保持一致?；赨Net神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)模型，采用插值處理手段，達(dá)到圖像分辨率復(fù)原的目的。并將網(wǎng)絡(luò)提取的特征部分與下采樣進(jìn)行拼接融合，形成新的特征。在形成新的特征后需要依次重復(fù)3×3的卷積操作、批正則化和ReLU操作。

由于火焰圖像的特征不明顯，火災(zāi)在圖像中所占比例差異大，因此取代了二進(jìn)制的交叉熵?fù)p失函數(shù)，采用交叉熵?fù)p失BCELoss與 Dice損失線性組合并對(duì) Dice 損失加權(quán)來(lái)解決該問(wèn)題。采用Dice Loss非線性損失函數(shù)與二進(jìn)制交叉損失函數(shù)相結(jié)合的方法，改善數(shù)據(jù)極度不平衡問(wèn)題。在關(guān)注整體圖像損失度的前提下，更注重目標(biāo)物損失度的變化，從而避免特征面積對(duì)分割精度的影響。

Dice損失函數(shù)的損失率LD為

LD=

(1)

BCELoss函數(shù)的損失率LB為

ln(1-xn))

(2)

Dice_BCE_Loss函數(shù)的損失率LDB為

LDB=0.5LB+LD

(3)

式中：N為分割圖片的所有像素點(diǎn)個(gè)數(shù)；p為模型預(yù)測(cè)訓(xùn)練集的前景像素點(diǎn)個(gè)數(shù)；r為訓(xùn)練集標(biāo)簽中真實(shí)的前景像素點(diǎn)個(gè)數(shù)；n為每次訓(xùn)練的次數(shù)；xn為損失函數(shù)訓(xùn)練的自變量；yn為梯度變化的因變量。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集處理

通過(guò)網(wǎng)絡(luò)搜索到含有火焰的圖片1 000張、干擾圖片200張作為原始數(shù)據(jù)集。由于圖片有限，無(wú)法滿足訓(xùn)練的需求，通過(guò)對(duì)圖片隨機(jī)旋轉(zhuǎn)、鏡像、按比例隨機(jī)縮放方法，形成了6 000張圖片，擴(kuò)充火焰數(shù)據(jù)集，將訓(xùn)練集、驗(yàn)證集和測(cè)試集按3∶1∶1的比例分配。圖4為本文中數(shù)據(jù)增強(qiáng)操作示例。

圖4 數(shù)據(jù)增強(qiáng)操作示例

為了提高火焰的分割準(zhǔn)確度，首先將圖像的尺寸統(tǒng)一裁剪為512×512像素，再通過(guò)灰度化處理變?yōu)榛叶葓D像。圖片顯示的顏色從黑色到白色，顏色值是連續(xù)無(wú)窮多的，這一特征對(duì)于火焰圖像比較適合[7]，因?yàn)榛鹧嫦鄬?duì)于周圍的物體來(lái)說(shuō)是比較亮的。本文選取了8 bit的灰度圖，顏色值有256種。相較于三通道彩色圖，灰度圖的網(wǎng)絡(luò)輸入層減少到原來(lái)的1/3。

為了防止火焰圖像中噪聲點(diǎn)的干擾，即火焰周圍被火焰照亮的地方的亮度和火焰類似，或嚴(yán)重干擾后期卷積神經(jīng)網(wǎng)絡(luò)對(duì)火焰圖像的學(xué)習(xí)，導(dǎo)致火焰周圍被照亮的地方誤判為火焰造成過(guò)度分割，采用均值濾波的方式對(duì)火焰圖像進(jìn)行處理，消除火焰圖像中的干擾性噪聲點(diǎn)[8]。火災(zāi)圖像會(huì)忽略均值濾波帶來(lái)的圖片模糊化，因?yàn)榫禐V波在模板尺寸小的情況下不會(huì)破壞火焰的特征，并且這些特征可以通過(guò)卷積網(wǎng)絡(luò)學(xué)習(xí)。

最后，為了提高火焰圖像的對(duì)比度，突出火焰的特征，采用自適應(yīng)均衡化的方法，通過(guò)調(diào)整圖像的直方圖分布，增強(qiáng)火焰和背景的對(duì)比度，使火焰圖像中的火焰和周圍環(huán)境亮度上有更大的差異，有利于網(wǎng)絡(luò)訓(xùn)練[9]。

2.2 實(shí)驗(yàn)細(xì)節(jié)

實(shí)驗(yàn)采用的系統(tǒng)環(huán)境為Ubuntu 18.01，64位操作系統(tǒng)，CPU為E5-2682 v4@2.50GHz，顯卡為 2080Ti。網(wǎng)絡(luò)實(shí)驗(yàn)依托于Pytorch框架。

在訓(xùn)練改進(jìn)的ResNet-UNet網(wǎng)絡(luò)模型過(guò)程中，模型中的參數(shù)如表1所示。

表1 訓(xùn)練過(guò)程中實(shí)驗(yàn)參數(shù)設(shè)置

為了防止實(shí)驗(yàn)過(guò)程中圖像處理出現(xiàn)訓(xùn)練過(guò)擬合的現(xiàn)象，采用早停法來(lái)控制是否終止[10]。當(dāng)實(shí)驗(yàn)中每輪訓(xùn)練結(jié)束后，記錄驗(yàn)證集上的測(cè)試結(jié)果，當(dāng)實(shí)驗(yàn)中損失不斷上升時(shí)，選擇停止實(shí)驗(yàn)，并將之前訓(xùn)練的驗(yàn)證集的精度作為改進(jìn)的ResNet-UNet網(wǎng)絡(luò)的最終參數(shù)。

設(shè)置學(xué)習(xí)率為0.000 3,每次訓(xùn)練學(xué)習(xí)率減少0.000 1，直到訓(xùn)練次數(shù)達(dá)到初始化的數(shù)據(jù)，或者因?yàn)樵缤７▽?dǎo)致實(shí)驗(yàn)的終止。

2.3 評(píng)價(jià)指標(biāo)

在圖像處理過(guò)程中，根據(jù)網(wǎng)絡(luò)處理后的預(yù)測(cè)結(jié)果和標(biāo)注圖像的不同，實(shí)驗(yàn)的結(jié)果可以分為4類，即真陽(yáng)性、真陰性、假陽(yáng)性、假陰性。

預(yù)測(cè)值為正例，記為P；預(yù)測(cè)值為反例，記為N；預(yù)測(cè)值與真實(shí)值相同，記為T(mén)；預(yù)則值與真實(shí)值相反，記為F；預(yù)測(cè)類別為P，真實(shí)類別也為P的記為T(mén)P(真陽(yáng)性)；預(yù)測(cè)類別為P，真實(shí)類別為N的記為FP(假陽(yáng)性)；預(yù)測(cè)類別為N，真實(shí)類別也為N的記為T(mén)N(真陰性)；預(yù)測(cè)類別為N，真實(shí)類別為P的記為FN(假陰性)。

在火焰分割過(guò)程中，通過(guò)對(duì)圖像標(biāo)記區(qū)域的處理，實(shí)現(xiàn)二值化。

實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)采用Dice準(zhǔn)確性和Hausdorff_95。

2.3.1 Dice準(zhǔn)確性

Dice系數(shù)主要判斷兩個(gè)樣本之間的相似度[11]。本文利用Dice值表示預(yù)測(cè)得到的火焰分割圖像和作為標(biāo)準(zhǔn)的火焰圖像之間的重合度。Dice值的計(jì)算公式為

XDice=2nTP/(nFP+2nTP+nFN)

(4)

式中：nTP為T(mén)P樣本數(shù)；nFP為FP樣本數(shù)；nTN為T(mén)N樣本數(shù)；nFN為FN樣本數(shù)。Dice的取值范圍為[0,1],當(dāng)Dice值越接近1時(shí)，表示預(yù)測(cè)的火焰圖片和標(biāo)準(zhǔn)火焰圖片越相似，同理當(dāng)Dice值越接近0時(shí)，表示網(wǎng)絡(luò)分割效果越差或者網(wǎng)絡(luò)分割錯(cuò)誤。

2.3.2 Hausdorff_95

Hausdorff_95計(jì)算的是預(yù)測(cè)值和真實(shí)值對(duì)于特征點(diǎn)集之間的距離，Hausdorff_95越小，說(shuō)明預(yù)測(cè)值和真實(shí)值越接近。

Hausdorff的計(jì)算公式如下：

DH(P,T)=max (dPT,dTP)

(5)

其中，

dPT=maxp∈Pmint∈Td(p,t)

(6)

dTP=maxt∈Tminp∈Pd(p,t)

(7)

式(5)為雙向Hausdorff距離，是Hausdorff距離的基本形式，它度量了兩個(gè)點(diǎn)集間的最大不匹配程度；式(6)和式(7)中的dPT和dTP分別稱為從P集合到T集合和從T集合到P集合的單向Hausdorff距離，即dPT實(shí)際上首先對(duì)點(diǎn)集合P中的p到距離此點(diǎn)最近的點(diǎn)集合T中t之間的距離進(jìn)行比較，取該距離中的最大值作為dPT的值，dTP同理可得。

Hausdorff_95是指Hausdorff的值乘以95%，目的是為了消除離群值的一個(gè)非常小的自己的影響。Hausdorff_95的計(jì)算公式如下：

DH95(P，T)=0.95×DH(P,T)

(8)

Dice對(duì)火焰的內(nèi)部填充比較敏感，而Hausdorff 距離對(duì)分割出的邊界比較敏感。

2.4 實(shí)驗(yàn)結(jié)果分析

選取UNet、ResNet-UNet和改進(jìn)的ResNet-UNet進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)中將ResNet-UNet簡(jiǎn)稱為ResUNet,將改進(jìn)后的ResNet-UNet稱為nResUNet。

如圖5所示為ResNet-UNet和本文改進(jìn)的網(wǎng)絡(luò)模型分割后產(chǎn)生的對(duì)比圖，從圖中可以看出，改進(jìn)后的網(wǎng)絡(luò)模型對(duì)火焰圖像的分割邊界更平滑，火焰分割效果更好。

圖5 ResUNet和nResUNet的網(wǎng)絡(luò)分割對(duì)比

如圖6所示為不同算法對(duì)火焰圖像分割的Dice效果。

圖6 三種算法的Dice指標(biāo)對(duì)比圖

分別計(jì)算不同算法的Dice值如表3所示。由表3可知，本文提出的改進(jìn)ResNet-UNet算法，在火焰分割任務(wù)上Dice值達(dá)到了0.847，較原來(lái)的ResNet-UNet網(wǎng)絡(luò)準(zhǔn)確度有所提升。

表3 不同算法的Dice值比較

如圖7所示為3種算法Hausdorff_95指標(biāo)的對(duì)比。

圖7 三種算法Hausdorff_95指標(biāo)對(duì)比

表4 不同算法的Hausdorff_95效果比較

根據(jù)表4的數(shù)據(jù)分析可知，nResUNet算法在火焰分割任務(wù)上Hausdorff_95效果是最好的。因此在3種算法中，本文提出的算法分割的效果和真實(shí)值最為接近。

3 結(jié)束語(yǔ)

針對(duì)現(xiàn)有的火焰圖像分割不準(zhǔn)確等問(wèn)題，本文提出改進(jìn)的ResNet-UNet算法。基于UNet網(wǎng)絡(luò)結(jié)構(gòu)，引入ResNet-34網(wǎng)絡(luò)結(jié)構(gòu)，保留ResNet-34的獨(dú)立卷積結(jié)構(gòu)和殘差結(jié)構(gòu)，加深網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)將每次下采樣部分處理的特征和上采樣進(jìn)行拼接融合。同時(shí)，為了防止火焰圖像中噪聲點(diǎn)干擾可能導(dǎo)致的過(guò)度分割，采用均值濾波對(duì)火焰圖像進(jìn)行處理，消除圖像中的噪聲點(diǎn)，提高火焰的圖像分割性能。實(shí)驗(yàn)表明，和ResNet-UNet神經(jīng)網(wǎng)絡(luò)相比，本研究提出的改進(jìn)方法準(zhǔn)確度提高了11%，同時(shí)Hausdorff_95效果更好，網(wǎng)絡(luò)得出的預(yù)測(cè)值和真實(shí)值更為接近，有效地提高了火焰的分割性能。