張俊鵬，劉 輝，李清榮

(昆明理工大學(xué)信息工程與自動化學(xué)院，云南 昆明 650000)

1 引言

工業(yè)煙塵排放是導(dǎo)致大氣污染的主要原因[1]。對工業(yè)煙塵進(jìn)行監(jiān)測，可以及時發(fā)現(xiàn)污染問題并采取治理措施，對污染治理有著重要意義。近年來，計算機(jī)視覺系統(tǒng)得益于其非接觸、響應(yīng)及時等特點，在工業(yè)中得到了廣泛的應(yīng)用[2]。Hsu等[3]設(shè)計了基于計算機(jī)視覺技術(shù)的工業(yè)煙塵排放實時監(jiān)測系統(tǒng)。使用計算機(jī)視覺系統(tǒng)對工業(yè)煙塵排放進(jìn)行監(jiān)測，具備更好的實時性，同時可以有效減少人力物力的使用。采用計算機(jī)視覺進(jìn)行煙塵監(jiān)測的流程可以分為圖像采集、圖像分割、特征提取和結(jié)果輸出幾部分。首先通過工業(yè)攝像機(jī)獲取煙塵排放視頻信息，之后對采集的圖像進(jìn)行處理，將煙塵區(qū)域從圖像中分割出來，最后計算煙塵區(qū)域平均灰度值，將其與林格曼煙氣黑度圖進(jìn)行對比判定污染等級[4]。其中，將煙塵區(qū)域和背景準(zhǔn)確分離是整個過程的關(guān)鍵和難點所在。

基于數(shù)字圖像處理技術(shù)的工業(yè)煙塵分割方法包括紋理分析法[5 - 7]、基于區(qū)域的方法[8 - 10]、基于閾值的方法[11 - 14]和差分法[14 - 16]。其中，紋理分析法旨在根據(jù)煙塵特有的紋理特性識別圖像中的煙塵，LBP(Local Binary Patterns)憑借其反映圖像的局部紋理特征[17]的特點，被應(yīng)用于煙塵檢測任務(wù)中，如趙敏等[5]分別提取了3種不同的改進(jìn)的LBP特征，之后使用支持向量機(jī)分類。Yuan[7]構(gòu)建了多尺度圖像金字塔架構(gòu)，提取每一層LBP和基于方差的LBP特征生成LBP金字塔，計算對應(yīng)的直方圖并訓(xùn)練分類器進(jìn)行煙塵識別。基于煙塵的紋理特性識別煙塵的不足之處在于紋理作為一種人工設(shè)計的特征，用于識別更多的具備不同特征煙塵時的魯棒性仍有待提高[18]?；趨^(qū)域的方法則根據(jù)圖像中像素的相似性分割出特定的區(qū)域[19]。張曉梅等[8]使用了區(qū)域生長、區(qū)域分裂與合并的方法分割煙塵圖像；王亞楠等[9]將區(qū)域生長算法應(yīng)用于視頻中的煙塵區(qū)域分割。因為區(qū)域生長需要手動確認(rèn)種子點，所以人為因素較多，而且分割結(jié)果中會出現(xiàn)空洞，而區(qū)域分割與合并方法雖然解決了區(qū)域生長的空洞問題，但是會出現(xiàn)分割邊緣不準(zhǔn)確的情況[8]?；陂撝档姆椒╗20]根據(jù)圖像的灰度直方圖確定一個或多個閾值，再根據(jù)像素的灰度值和閾值的比較結(jié)果進(jìn)行分類。褚益[21]提出了基于貝葉斯決策理論的最小誤差與閾值分割方法。類似的還有顏色建模的方法，如Calderara等[11]提出一種改進(jìn)的貝葉斯方法，通過小波變換系數(shù)和顏色信息分析圖像能量確定煙塵區(qū)域?；陂撝祷蝾伾姆椒ㄈ菀资艿焦饩€變化的影響，而且在煙塵和背景物體顏色相近時無法有效區(qū)分煙塵和背景[13]。差分法是檢測靜止背景中運(yùn)動目標(biāo)的常用方法，背景建模法作為差分法的一種，在煙塵檢測任務(wù)中有著較為廣泛的應(yīng)用。王文哲等[14]首先構(gòu)造一種實時更新的背景模型，對之后的待檢測圖像使用差分法確定煙塵區(qū)域。魏旭賓等[15]首先通過差分圖像確定大致的煙塵目標(biāo)區(qū)域，之后構(gòu)造高斯背景統(tǒng)計模型確定分割閾值。因為差分法的檢測目標(biāo)不限定于煙塵，即檢測的是一段時間內(nèi)所有移動的物體，故容易受到突然闖入的飛鳥等因素的干擾[3]。

目前，卷積神經(jīng)網(wǎng)絡(luò)等深度網(wǎng)絡(luò)被廣泛應(yīng)用于圖像分類[22]、目標(biāo)檢測[23]等任務(wù)中，并取得了相比于傳統(tǒng)數(shù)字圖像處理方法更高的準(zhǔn)確度。訓(xùn)練深度網(wǎng)絡(luò)需要大量數(shù)據(jù)，但深度網(wǎng)絡(luò)的優(yōu)勢在于具備更好的適應(yīng)性，同時提供了端到端的解決方案，即由輸入端的數(shù)據(jù)直接得到輸出端的結(jié)果，避免了數(shù)字圖像處理方法分割煙塵過程中常使用的圖像預(yù)處理和結(jié)果修復(fù)等多個步驟。使用深度網(wǎng)絡(luò)模型檢測圖像中煙塵的方法包括目標(biāo)檢測和語義分割2類[24]。目標(biāo)檢測是一種基于候選區(qū)域的檢測方法，如Zhang等[18]將Faster R-CNN(Faster Region-Convolutional Neural Network)應(yīng)用于煙塵檢測，程淑紅等[25]提出了結(jié)合高斯模型與YOLO v2網(wǎng)絡(luò)的煙塵檢測方法，首先使用混合高斯模型確定大致的煙塵區(qū)域，在此基礎(chǔ)上訓(xùn)練YOLO網(wǎng)絡(luò)，以確定最終的煙塵區(qū)域。目標(biāo)檢測的結(jié)果是用矩形框框出的圖像中的煙塵區(qū)域，導(dǎo)致結(jié)果中必然包含大量背景區(qū)域，會影響后續(xù)基于林格曼煙氣黑度等級的污染等級計算結(jié)果。另一類語義分割的方法通過對每一個像素進(jìn)行分類從而實現(xiàn)圖像目標(biāo)區(qū)域的像素級分割。王文哲[26]使用了全卷積網(wǎng)絡(luò)對煙塵圖像進(jìn)行分割;Yuan等[27]設(shè)計了包含粗糙分割和精細(xì)分割2個分支的網(wǎng)絡(luò)，2個分支都采用了編碼解碼結(jié)構(gòu)的卷積網(wǎng)絡(luò)；Yang等[28]采用條件生成對抗網(wǎng)絡(luò)模型分割連續(xù)視頻幀中的煙霧區(qū)域?；谌矸e網(wǎng)絡(luò)的方法雖然達(dá)到了較高的準(zhǔn)確度，但是在復(fù)雜場景下的分割準(zhǔn)確度還有待提高，如背景中和煙塵相似度較高的云的干擾會對分割準(zhǔn)確度造成影響，經(jīng)常出現(xiàn)將一部分屬于云的區(qū)域判斷為煙塵的情況。

本文以全卷積網(wǎng)絡(luò)為基礎(chǔ)模型，針對由于煙塵和云的相似性較高導(dǎo)致的全卷積網(wǎng)絡(luò)難以有效區(qū)分二者這一問題，提出一種結(jié)合長短時記憶網(wǎng)絡(luò)模塊的全卷積網(wǎng)絡(luò)模型。煙塵和云雖然有較高的相似性，但從序列圖像數(shù)據(jù)中可以發(fā)現(xiàn)，煙塵的運(yùn)動速度明顯快于背景中云的速度，故本文通過分析序列數(shù)據(jù)中煙塵的動態(tài)特性對煙塵和背景中的云進(jìn)行區(qū)分。全卷積網(wǎng)絡(luò)只分析圖像的空間特性，為賦予網(wǎng)絡(luò)處理序列圖像的能力，采用結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)的方案，在現(xiàn)有全卷積網(wǎng)絡(luò)對圖像空間特征提取的基礎(chǔ)上，添加長短時記憶網(wǎng)絡(luò)模塊用于提取時序特征，提出一種結(jié)合長短時記憶網(wǎng)絡(luò)模塊的全卷積網(wǎng)絡(luò)，通過捕獲序列圖像間的更多特征信息來對運(yùn)動的煙塵和背景進(jìn)行有效區(qū)分。實驗結(jié)果表明，本文模型可以有效區(qū)分煙塵和背景中的云，同時對全卷積網(wǎng)絡(luò)分割結(jié)果中常出現(xiàn)干擾點的問題也有改善，煙塵的分割結(jié)果準(zhǔn)確度更高。

2 煙塵特性分析

工業(yè)煙塵作為一種非剛體物質(zhì)，具有形狀不固定、邊緣毛糙、和云相似度較高等特點，這些特點給煙塵分割任務(wù)造成了一定的困難。為了觀察網(wǎng)絡(luò)模型分割不同場景中煙塵的表現(xiàn)，將煙塵排放圖像按照如圖1所示的5個場景進(jìn)行分類:易辨場景、薄煙場景、多目標(biāo)煙塵場景、小區(qū)域煙塵場景、干擾(云)場景。

Figure 1 Classification of smoke image scenes圖1 煙塵圖像場景分類

前期工作中使用煙塵數(shù)據(jù)集訓(xùn)練了全卷積網(wǎng)絡(luò)并對生成的模型進(jìn)行了測試，再根據(jù)模型預(yù)測結(jié)果與手動標(biāo)記結(jié)果計算相關(guān)的評價指標(biāo)。從分割結(jié)果中發(fā)現(xiàn)，全卷積網(wǎng)絡(luò)在干擾場景測試集上表現(xiàn)最差，測試結(jié)果中出現(xiàn)了大量的將一部分云預(yù)測為煙塵的現(xiàn)象；在指標(biāo)方面，在干擾場景測試集上的各項評價指標(biāo)明顯低于其他場景中的。

分析造成這一問題的原因，煙塵和干擾場景中主要的干擾元素(云)在顏色與紋理上均表現(xiàn)出較高的相似性，導(dǎo)致全卷積網(wǎng)絡(luò)僅根據(jù)圖像的空間特征難以對二者進(jìn)行有效區(qū)分。因為序列圖像中的煙塵是運(yùn)動的，而背景中云的狀態(tài)是靜止的或者運(yùn)動較緩慢，所以可以通過序列圖像的時間特征區(qū)分煙塵和云，那么一個具備圖像序列特征處理能力的網(wǎng)絡(luò)應(yīng)該可以區(qū)分二者，從而提升網(wǎng)絡(luò)的抗干擾性能。

3 基于FCN-LSTM的工業(yè)煙塵圖像分割模型

為了提高全卷積網(wǎng)絡(luò)的抗干擾能力，本文模型在全卷積網(wǎng)絡(luò)提取工業(yè)煙塵圖像空間特征的基礎(chǔ)上增加了長短時記憶模塊，通過記憶序列圖像的上下文信息，捕獲遠(yuǎn)距離標(biāo)簽的依賴性。本文提出的模型結(jié)構(gòu)如圖2所示，分為2部分：煙塵圖像空間特征提取部分和煙塵圖像時序特征提取部分。

3.1 煙塵圖像的空間特征提取

煙塵空間特征提取網(wǎng)絡(luò)選擇的是語義分割領(lǐng)域中經(jīng)典的全卷積網(wǎng)絡(luò)FCN(Fully Convolutional Network)[29]，全卷積網(wǎng)絡(luò)接收任意尺寸的圖像，經(jīng)過網(wǎng)絡(luò)的預(yù)測，生成像素級的圖像分割結(jié)果，能夠有效滿足工業(yè)煙塵分割任務(wù)的需要。

3.1.1 全卷積網(wǎng)絡(luò)

全卷積網(wǎng)絡(luò)是由卷積神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換而成的用于圖像語義分割的網(wǎng)絡(luò)模型，全卷積網(wǎng)絡(luò)的基本組成仍然是卷積層和池化層，圖像經(jīng)過的這一系列計算可以表示為:

Xm+1=ReLU(pool(w*Xm+b))

(1)

其中,Xm表示第m層的輸入圖像或特征圖，w表示卷積過濾器權(quán)重，b表示偏置，*表示卷積計算，pool(·)函數(shù)表示池化操作，ReLU(·)表示激活函數(shù)，Xm+1表示經(jīng)過該層計算后輸出的特征圖。

Figure 2 Network structure of this paper圖2 本文網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)接收固定尺寸的輸入圖像，經(jīng)過卷積計算后經(jīng)由全連接層輸出對應(yīng)分類數(shù)目的n維向量，這一操作使預(yù)測結(jié)果丟失了圖像的空間信息。全卷積網(wǎng)絡(luò)通過將全連接層替換為使用1×1尺寸卷積核的卷積層，保留圖像的空間信息，通過對每個像素分別進(jìn)行預(yù)測得到像素級的分割結(jié)果。另一方面，雖然網(wǎng)絡(luò)中的池化層增大了感受野的同時減少了計算消耗，但也使特征圖的尺寸逐漸變小，經(jīng)過最后一層卷積層運(yùn)算后的特征圖尺寸是原始圖像的1/32。為了將這一粗糙輸出映射到原始圖像的密集像素，使用插值的方式對其進(jìn)行反卷積操作，恢復(fù)至原始圖像尺寸，在網(wǎng)絡(luò)中執(zhí)行上采樣以進(jìn)行端到端的學(xué)習(xí)。為了細(xì)化分割結(jié)果，全卷積網(wǎng)絡(luò)使用了跳躍結(jié)構(gòu)融合深層的全局信息和淺層的局部信息。通過融合不同層次的池化層結(jié)果，衍生出FCN-16s和FCN-8s 2種模型。

3.1.2 工業(yè)煙塵圖像分割的全卷積網(wǎng)絡(luò)結(jié)構(gòu)

本文模型的前端是全卷積網(wǎng)絡(luò)結(jié)構(gòu),用于對輸入的煙塵排放圖像進(jìn)行空間特征提取。網(wǎng)絡(luò)接收任意尺寸的三通道煙塵圖像，輸出單通道的煙塵分割結(jié)果。全卷積網(wǎng)絡(luò)部分包括8組卷積層(圖2中conv1～conv8)、5個池化層(pool1～pool5)和3個反卷積層(deconv1～deconv3)。卷積層用于煙塵圖像的空間特征提取，每一層卷積后連接ReLU激活函數(shù)層，池化層增大網(wǎng)絡(luò)的感受野的同時減少網(wǎng)絡(luò)的參數(shù)。為了減少訓(xùn)練對數(shù)據(jù)量的需求，同時提高訓(xùn)練的速度，網(wǎng)絡(luò)前半部分的卷積層和池化層(conv1～conv5，pool1～pool4)的參數(shù)使用預(yù)訓(xùn)練的VGG-19(Visual Geometry Group)模型的權(quán)重，每層卷積層之后是ReLU激活函數(shù)計算，池化層的池化方式是平均池化。后半部分(conv6～conv8)是替換掉分類網(wǎng)絡(luò)原有全連接層的卷積層，保持了特征圖原有的空間信息，添加dropout層用于防止過擬合問題的發(fā)生。采用跳躍結(jié)構(gòu)提高分割結(jié)果的準(zhǔn)確度，最后一個卷積層輸出的結(jié)果進(jìn)入反卷積層，進(jìn)行2倍上采樣操作，和第4層池化層的結(jié)果進(jìn)行相加。融合后的結(jié)果再進(jìn)行一次2倍上采樣，和第3層池化層的結(jié)果再次融合后作為煙塵圖像空間特征提取的結(jié)果。

3.2 煙塵圖像的時序特征提取

全卷積網(wǎng)絡(luò)只分析圖像的空間特性，為了使網(wǎng)絡(luò)能夠?qū)π蛄袌D像進(jìn)行處理，在網(wǎng)絡(luò)后半部分使用循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提取圖像的時序特征。

3.2.1 長短時記憶網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)[30]因為其對序列數(shù)據(jù)的處理能力被廣泛應(yīng)用于目標(biāo)追蹤、自然語言處理等任務(wù)中，長短時記憶LSTM(Long Short-Term Memory)網(wǎng)絡(luò)[31]是特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)，憑借其特有的門控結(jié)構(gòu)解決了循環(huán)神經(jīng)網(wǎng)絡(luò)在處理過長序列時容易出現(xiàn)的梯度消失問題，因此更適用于處理序列數(shù)據(jù)。盡管LSTM在處理時序關(guān)系時有很好的表現(xiàn)，但LSTM計算中使用的按位(pointwise)乘法操作產(chǎn)生了大量的空間數(shù)據(jù)冗余。針對這一問題，文獻(xiàn)[32]提出了ConvLSTM，使用卷積計算替換了門控函數(shù)中原有的按位乘法運(yùn)算。ConvLSTM結(jié)構(gòu)的門控函數(shù)通過Sigmoid和卷積運(yùn)算實現(xiàn)，如式(2)～式(7)所示：

i=σ(wi*Xt+Ii*Ht-1+bi)

(2)

f=σ(wf*Xt+If*Ht-1+bf)

(3)

y=tanh(wy*Xt+Iy*Ht-1+by)

(4)

o=σ(wo*Xt+Io*Ht-1+bo)

(5)

Ct=f°Ct-1+i°y

(6)

Ht=o°tanh(Ct)

(7)

其中，Xt表示t時刻輸入的特征圖，Ht-1表示t-1時刻的輸出特征圖，Ct-1表示t-1時刻的存儲向量，σ(·)表示Sigmoid運(yùn)算，tanh(·)表示tanh運(yùn)算，°表示矩陣乘法運(yùn)算，*表示卷積運(yùn)算，w和I表示不同的權(quán)重項，i表示輸入門的計算結(jié)果，f表示遺忘門的計算結(jié)果，y表示輸入值，o表示輸出門，Ct表示新狀態(tài)，Ht表示輸出。

3.2.2 工業(yè)煙塵圖像分割的長短時記憶結(jié)構(gòu)

LSTM可以對序列煙塵圖像進(jìn)行處理，每次處理的除了當(dāng)前幀的煙塵圖像，還包括之前的圖像的特征信息，使用舊的特征信息對當(dāng)前的特征信息進(jìn)行輔助判斷。其特有的門控結(jié)構(gòu)可以保留有用的特征信息，對于無用的信息則及時丟棄。LSTM通過此種方式處理煙塵排放圖像的時序特征信息，對煙塵和背景中的干擾元素進(jìn)行區(qū)分。

本文模型后端是一個卷積化的長短時記憶模塊(convLSTM)，用于根據(jù)上一時刻的特征信息與當(dāng)前的特征信息進(jìn)行特征的提取，長短時記憶層的輸入除了當(dāng)前經(jīng)過全卷積網(wǎng)絡(luò)處理的特征圖，還包括上一時刻的狀態(tài)信息Ht-1和Ct-1。

網(wǎng)絡(luò)中的convLSTM結(jié)構(gòu)如圖3所示，通過遺忘門、輸入門和輸出門3個門控結(jié)構(gòu)控制信息對網(wǎng)絡(luò)的影響，門控結(jié)構(gòu)通過卷積操作和Sigmoid計算實現(xiàn)。遺忘門根據(jù)上一時刻的Ht-1和當(dāng)前時刻的Xt決定遺忘Ct-1中哪些信息；輸入門計算Xt和Ht-1,決定輸入的影響t時刻狀態(tài)存儲向量Ct的信息；輸出門計算Xt，Ct和Ht-1,確定當(dāng)前時刻的輸出Ht。convLSTM產(chǎn)生隱藏向量和存儲向量2個輸出，分別用于輸出和狀態(tài)的更新。隱藏向量和存儲向量以全0的方式初始化，初始化時維度大小同輸入Xt的維度一致。計算過程中通過補(bǔ)0(padding)的方式，保持特征圖計算前后的尺寸不變。長短時記憶層輸出的特征圖前2個維度的尺寸是原始圖像的1/8，最后通過第3個反卷積層進(jìn)行8倍上采樣恢復(fù)至原始圖像的尺寸。網(wǎng)絡(luò)末端的Softmax層作用是給出所有可能分類的歸一化

Figure 3 Structure of LSTM layer圖3 長短時記憶層結(jié)構(gòu)

的概率分布，通過比較每個像素屬于2個分類(煙塵和背景)的概率來確定該像素所屬類別，得到最終的預(yù)測結(jié)果。

3.3 網(wǎng)絡(luò)參數(shù)設(shè)置

本文模型的網(wǎng)絡(luò)參數(shù)設(shè)置如表1所示，下采樣部分由一系列的卷積、池化操作組成，上采樣部分由反卷積操作、長短時記憶層組成。

Table 1 Network parameters setting表1 網(wǎng)絡(luò)參數(shù)設(shè)置

4 實驗與分析

4.1 實驗平臺與數(shù)據(jù)

實驗使用的深度學(xué)習(xí)框架是TensorFlow，訓(xùn)練網(wǎng)絡(luò)模型所用計算機(jī)配置為Intel(R)Xeon(R)CPU E5-2620 v4 @2.10 GHz處理器，64 GB內(nèi)存，11 GB RAM的NVIDIA Geforce RTX2080Ti顯卡。

實驗所用數(shù)據(jù)取自于在實際鋼廠拍攝的工業(yè)煙塵排放視頻。因為冒煙位置較多而且經(jīng)常出現(xiàn)在不同位置，所以在不同監(jiān)測點安置了多個工業(yè)攝像機(jī)采集煙塵排放信息，視頻采集均在白天進(jìn)行。采集的煙塵排放視頻分辨率為1280×720,幀率為30 fps，共計60 GB。從每個視頻中提取10～20幅圖像，共提取1 289幅圖像用于數(shù)據(jù)集的制作。使用圖像標(biāo)注程序labelme對圖像中的煙塵區(qū)域進(jìn)行人工標(biāo)記，以制作標(biāo)簽圖，制作的標(biāo)簽圖如圖4所示。黑色部分為背景區(qū)域，白色部分為煙塵區(qū)域。共計1 289組原圖和標(biāo)簽圖，其中1 052組作為訓(xùn)練集，237組作為測試集。為擴(kuò)充數(shù)據(jù)集，對其進(jìn)行了90°，270°的旋轉(zhuǎn)以及水平、上下翻轉(zhuǎn)，將訓(xùn)練集和測試集擴(kuò)充至5 260組和1 185組，并將圖像的分辨率統(tǒng)一調(diào)整為224×224。為了驗證本文模型對不同場景下煙塵的識別能力，將測試集中的1 185幅圖像劃分為1組易辨識場景和4組復(fù)雜場景，復(fù)雜的場景包括：存在多處煙塵的場景、煙塵稀薄表現(xiàn)出透明性的場景、煙塵區(qū)域較小的場景和存在云干擾的場景，每一分類下測試圖像的數(shù)量如表2所示，訓(xùn)練集共有5 260組圖像。

Figure 4 Original images and manually labeled labels圖4 原始圖像和人工標(biāo)記標(biāo)簽

Table 2 Number of test set images

4.2 評價指標(biāo)

為量化對模型的測試結(jié)果，選擇了以下評價指標(biāo)：查準(zhǔn)率P(Precision)、查全率R(Recall)、F1度量(F1-score)[33]和交并比IoU(Intersection over Union)[34]。其中，查準(zhǔn)率是被正確分類的正樣本數(shù)量與被預(yù)測為正樣本的數(shù)量之比，定義如式(8)所示。查全率是被正確分類的正樣本數(shù)量與正樣本數(shù)量之比，定義如式(9)所示。因為查全率和查準(zhǔn)率2項指標(biāo)相互矛盾，一項指標(biāo)較高時，另一項指標(biāo)往往較低，故通過F1度量對查全率和查準(zhǔn)率進(jìn)行調(diào)和平均。F1度量定義如式(10)所示。其中，β用于調(diào)整權(quán)重，若認(rèn)為查準(zhǔn)率重要，則減小β；若認(rèn)為查全率重要，則增大β。β=1時2者權(quán)重相同，稱作F1度量。在煙塵圖像分割實驗中為了同時考慮查全率和查準(zhǔn)率2項指標(biāo)，故設(shè)定β為1，表明查全率和查準(zhǔn)率在實驗中同等重要。交并比是語義分割的標(biāo)準(zhǔn)度量，為計算真實值(Ground Truth)和預(yù)測值(Predicted Segmentation)之比，定義如式(11)所示。

(8)

(9)

(10)

(11)

其中，在實驗中一共有2個類別：煙塵(用i表示)和背景(用j表示)。pii指屬于類別i被預(yù)測為i的像素數(shù)量，pij指屬于類別i但被預(yù)測為j的像素數(shù)量，pji指屬于類別j但被預(yù)測為i的像素數(shù)量。

4.3 實驗結(jié)果對比

4.3.1 分割結(jié)果對比

為了驗證本文模型分割工業(yè)煙塵的表現(xiàn)，將本文提出的模型(FCN-LSTM)與其他5種用于圖像分割的深度網(wǎng)絡(luò)模型進(jìn)行了對比，包括文獻(xiàn)[26]中使用的FCN模型、文獻(xiàn)[35]中提出的采用多尺度卷積結(jié)構(gòu)的全卷積網(wǎng)絡(luò)(下文記作m-FCN)、文獻(xiàn)[36]采用的編碼-解碼結(jié)構(gòu)的網(wǎng)絡(luò)(下文記作en-de)、文獻(xiàn)[27]采用的雙分支特征融合的網(wǎng)絡(luò)模型(下文記作t-FCN)和文獻(xiàn)[37]提出的U-Net模型(下文記作U-Net)。訓(xùn)練模型的超參數(shù)均設(shè)置為：batch_size=1,學(xué)習(xí)率=1e-4，迭代次數(shù)=1e+5。用相同訓(xùn)練集分別對上述幾種模型進(jìn)行了訓(xùn)練。訓(xùn)練結(jié)束后分別對幾種模型進(jìn)行測試，在5組測試集上的分割結(jié)果對比如圖5～圖9所示，測試結(jié)果的量化指標(biāo)對比如表3所示。

4.3.2 結(jié)果分析

(1)在易辨場景下，en-de的分割結(jié)果中丟失了小區(qū)域的煙塵目標(biāo)(圖6c第1、3行)，t-FCN分割結(jié)果的邊緣部分不準(zhǔn)確(圖6d第2、3行)，m-FCN分割結(jié)果的完整性不佳(圖6f第1行)，F(xiàn)CN錯誤識別小部分的非煙塵區(qū)域為煙塵(圖6g第1、2行)，U-Net和FCN-LSTM的煙塵分割結(jié)果更準(zhǔn)確。

(2)在小區(qū)域煙塵場景下，en-de、t-FCN和U-Net均出現(xiàn)了不同程度的分割煙塵區(qū)域不完整的情況(圖7c第1、3行，圖7d第1、3行,圖7e第2行)，F(xiàn)CN、m-FCN和FCN-LSTM 3個模型的分割結(jié)果相對準(zhǔn)確。

Figure 5 Comparison of segmentation results in legible scenes 圖5 易辨場景分割結(jié)果對比

Figure 6 Comparison of segmentation results in small-area smoke scenes圖6 小區(qū)域煙塵場景分割結(jié)果對比

Figure 7 Comparison of segmentation results in thin smoke scenes圖7 薄煙場景分割結(jié)果對比

Figure 8 Comparison of segmentation results in multiple smoke scenes圖8 多目標(biāo)煙塵場景分割結(jié)果對比

Figure 9 Comparison of segmentation results in interfering scenes圖9 干擾(云)場景分割結(jié)果對比

Table 3 Comparison of test indicators

(3)薄煙場景下，幾種模型均出現(xiàn)了不同程度的邊緣不準(zhǔn)確的情況(圖8第3行)，en-de的分割結(jié)果中還出現(xiàn)了空洞(圖8c第1、2行)，U-Net和m-FCN的分割結(jié)果不完整(圖8e第3行，圖8f第3行)，F(xiàn)CN-LSTM雖然也存在邊緣不準(zhǔn)確的問題(圖8h第3行)，但在所有結(jié)果中更接近手動標(biāo)記的結(jié)果。

(4)多目標(biāo)煙塵場景對比中，en-de分割結(jié)果中存在空洞(圖9c第1行)且不準(zhǔn)確(圖9c第3行)，t-FCN、U-Net、m-FCN和FCN結(jié)果的完整性不佳(圖9第3行)，F(xiàn)CN-LSTM分割結(jié)果的完整性相比于其它模型更佳(圖9h第2行)。

(5)在干擾場景下，en-de、mFCN和FCN都在不同程度上受到了云的干擾(圖10c第1行，圖10f第3行，圖10g第2、3行)，其中FCN對于云的抗干擾能力最差，將很多屬于云的區(qū)域識別為煙塵,t-FCN和U-Net的問題是分割出的煙塵區(qū)域存在空洞(圖10d第3行，圖10e第3行)，F(xiàn)CN-LSTM在分割完整性和抗干擾性方面均優(yōu)于其他模型，分割結(jié)果更準(zhǔn)確。

綜上，en-de模型的煙塵分割結(jié)果中容易出現(xiàn)空洞，t-FCN模型因為采用的雙分支特征融合結(jié)構(gòu)，相比en-de的煙塵分割結(jié)果更準(zhǔn)確，但對邊緣分割部分的準(zhǔn)確性不足。U-Net和m-FCN存在分割結(jié)果不完整的問題，F(xiàn)CN模型在分割煙塵時更容易受到來自云的干擾，抗干擾能力較差，而FCN-LSTM模型表現(xiàn)出最佳的抗干擾能力，在其他模型均出現(xiàn)誤分割或是分割煙塵區(qū)域不完整的情況下，仍然保持了更為準(zhǔn)確的分割結(jié)果。這是因為FCN-LSTM模型既考慮了圖像的空間特征，又結(jié)合了時間序列特征，通過動態(tài)特征有效區(qū)分了煙塵和背景中的干擾，煙塵分割結(jié)果在所有模型中最接近人工標(biāo)記。

表3展示了所有模型的測試結(jié)果指標(biāo)對比。其中，en-de的IoU指標(biāo)明顯低于其他模型的，這是因為該網(wǎng)絡(luò)未使用預(yù)訓(xùn)練VGG模型的網(wǎng)絡(luò)權(quán)重[27]。t-FCN是一種基于en-de的模型，通過在其原有的網(wǎng)絡(luò)結(jié)構(gòu)上添加一條并行的較淺的網(wǎng)絡(luò)實現(xiàn)對分割結(jié)果的二次精細(xì)化。在本節(jié)的對比實驗中，為了驗證新增的并行網(wǎng)絡(luò)對分割性能的提升，網(wǎng)絡(luò)各層權(quán)重的初始化同en-de模型保持一致，統(tǒng)一在參數(shù)初始化階段使用正態(tài)分布。量化指標(biāo)對比結(jié)果表明，t-FCN相比于en-de有提升。FCN-LSTM在IoU和F1 2項指標(biāo)上表現(xiàn)最佳，憑借其對序列煙塵圖像間上下文信息的處理有效增強(qiáng)了對工業(yè)煙塵的分割效果，在5個場景中均領(lǐng)先于其他模型，在干擾場景測試集上的領(lǐng)先幅度最大，相比于改進(jìn)前的FCN模型，IoU指標(biāo)最高提升了8.04%，F(xiàn)1指標(biāo)最高提升了5.12%。

5 結(jié)束語

本文針對應(yīng)用全卷積網(wǎng)絡(luò)于復(fù)雜場景中工業(yè)煙塵分割時容易受到干擾的問題，提出一種基于FCN-LSTM的工業(yè)煙塵圖像分割網(wǎng)絡(luò)模型。相比于全卷積網(wǎng)絡(luò)只能對圖像的空間特征進(jìn)行提取，本文提出的網(wǎng)絡(luò)可以同時提取圖像的空間特征和時序特征。長短時記憶層通過門控結(jié)構(gòu)控制前一時刻的信息對當(dāng)前時刻信息的影響，使網(wǎng)絡(luò)能夠捕獲序列信息中遠(yuǎn)距離的標(biāo)簽依賴性，從而提升了網(wǎng)絡(luò)對動態(tài)煙塵圖像背景中靜止干擾元素的區(qū)分能力，提高了模型對云的抗干擾能力，改善了分割結(jié)果中常出現(xiàn)干擾點的情況。將測試集圖像按照易辨場景和4種復(fù)雜場景進(jìn)行分類后，對本文模型同其他5種用于圖像分割的深度網(wǎng)絡(luò)模型在各個測試集上進(jìn)行了對比測試，并通過IoU與F1 2項指標(biāo)量化分割結(jié)果。實驗結(jié)果表明，本文模型的抗干擾能力更強(qiáng)，復(fù)雜場景中分割煙塵準(zhǔn)確度更高。