馬樂 魏雄 鄭明 許萍萍 同小軍

摘要：利用煙霧檢測實現(xiàn)秸稈燃燒檢測，針對傳統(tǒng)煙霧檢測方法中煙霧特征提取難、卷積神經(jīng)網(wǎng)絡(luò)方法檢測準(zhǔn)確率低等問題，提出了FBF神經(jīng)網(wǎng)絡(luò)的秸稈燃燒煙霧檢測方法。神經(jīng)網(wǎng)絡(luò)提取特征時，低層網(wǎng)絡(luò)的特征語義信息比較少，目標(biāo)位置準(zhǔn)確；高層的特征語義信息比較豐富，目標(biāo)位置比較粗略，對特征圖采用自下而上的提取、自上而下和橫向連接融合的方法。在保證較大特征被提取利用的情況下，使得較小的特征有更好的學(xué)習(xí)及利用，提高了煙霧識別的準(zhǔn)確率。與現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對比，實驗結(jié)果表明該方法具有較高的檢測準(zhǔn)確率。相比Faster RCNN檢測網(wǎng)絡(luò)，檢測準(zhǔn)確率提高了10%，誤報率降低了16.2%。

關(guān)鍵詞：FBF；秸稈燃燒檢測；特征圖融合

中圖分類號：TP391.4文獻(xiàn)標(biāo)志碼：A文章編號：1008-1739（2020）24-66-4

0引言

秸稈燃燒產(chǎn)生的大顆粒物質(zhì)會造成空氣污染，是環(huán)境保護(hù)中一個非常嚴(yán)重的問題[1]，秸稈的不充分燃燒產(chǎn)生大量的碳化物危害人類生命健康。秸稈燃燒檢測可以提供實時秸稈燃燒信息，及時制止燃燒行為有利于環(huán)境保護(hù)?，F(xiàn)有秸稈燃燒檢測主要是靠檢測秸稈燃燒產(chǎn)物來實現(xiàn)的，煙霧檢測是秸稈燃燒檢測的重要手段之一，是近年來機器視覺領(lǐng)域研究的熱點和難點。

目前大多數(shù)方法都是利用火災(zāi)和煙霧的顏色、紋理、幾何、閃爍和運動等視覺特征方法實現(xiàn)煙霧檢測。Yamagishi[2]和Yamaguchi[3]提出了一種基于火焰時空波動數(shù)據(jù)的火焰檢測算法，該方法使用顏色信息取得了煙霧檢測較好的成果，但不能消除火焰接近顏色物體引起的干擾。類似的紋理[4-5]、Hog、高斯模型[6]等方法對特定的特征有很好的效果，但不能排除其他因素的干擾，這些方法在實際應(yīng)用中還存在魯棒性的問題。Yuan[7]和Chunyu[8]提出了利用煙霧運動信息進(jìn)行煙霧檢測，該特征能夠很好地描述煙霧的運動信息，提升了煙霧檢測的準(zhǔn)確性。

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）從圖像分類到目標(biāo)提取和語義分割等計算機視覺中取得了前所未有的成功，與傳統(tǒng)的計算機視覺方法相比，深度學(xué)習(xí)方法避免了手工設(shè)計并主導(dǎo)了許多著名的基準(zhǔn)評估。深度學(xué)習(xí)在煙霧探測中的應(yīng)用研究日益受到重視。Frizzi[9]和Tao[10]用CNN從不同方向進(jìn)行煙霧探測，CNN克服了煙霧特征提取難的問題，但秸稈燃燒的野外環(huán)境復(fù)雜，產(chǎn)生的煙霧的顏色、梯度等視覺特征不固定，這2種方法在檢測中難以將煙霧與外界干擾區(qū)分開，導(dǎo)致檢測精度不高。

提出了一種基于FBF神經(jīng)網(wǎng)絡(luò)的秸稈燃燒煙霧檢測方法，在特征融合和Faster RCNN網(wǎng)絡(luò)基礎(chǔ)上實現(xiàn)秸稈燃燒檢測。Faster RCNN[11]用網(wǎng)絡(luò)結(jié)構(gòu)較深的VGG16網(wǎng)絡(luò)提取特征圖，該網(wǎng)絡(luò)對較小的特征沒有較好效果。針對特征提取網(wǎng)絡(luò)的不足進(jìn)行研究，用CNN自下而上特征提取的特性，結(jié)合自上而下和橫向鏈接的特征融合方法來構(gòu)造新的特征圖，利用包含有更強的特征信息的特征圖訓(xùn)練檢測模型，提升秸稈燃燒煙霧檢測的準(zhǔn)確率。實驗結(jié)果表明，該方法能獲得更高的準(zhǔn)確率和較低的誤報率。

1 Faster RCNN

CNN在目標(biāo)檢測研究中發(fā)揮了非常重要的作用?；趨^(qū)域的CNN（RCNN）是一種非常重要且非常成功的通用目標(biāo)檢測框架，提供了有效的監(jiān)督學(xué)習(xí)。RCNN生成類別相關(guān)區(qū)域的建議并利用這些定義了檢測器可用的候選檢測集。RCNN提高了精度，但也存在低速等缺點。Girshick對RCNN的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)，提出了Fast RCNN[14]檢測網(wǎng)絡(luò)。Fast RCNN支持對共享卷積特征的端到端檢測器訓(xùn)練，并顯示出令人信服的準(zhǔn)確性和速度。在RCNN的基礎(chǔ)上，多損失函數(shù)的使用以及回歸和區(qū)域分類的融合提高了整個網(wǎng)絡(luò)的速度，F(xiàn)ast RCNN還加入了ROI池化層，從性能上優(yōu)化了整個結(jié)構(gòu)。Fast RCNN一定程度上加快了RCNN的檢測速度，但是用于選擇性搜索的候選框選擇機制非常耗時，Girshick對Fast RCNN再次改進(jìn)，提出了Faster RCNN檢測網(wǎng)絡(luò)。Faster RCNN網(wǎng)絡(luò)提出了一種使用RPN代替選擇性搜索新的候選框選擇機制。RPN與訓(xùn)練網(wǎng)絡(luò)共享一個網(wǎng)絡(luò)層，大大節(jié)省了時間。Faster RCNN結(jié)構(gòu)如圖1所示，RPN網(wǎng)絡(luò)基本上以零資源消耗但同時生成了含有正樣本的區(qū)域建議，F(xiàn)aster RCNN形成了一個統(tǒng)一的端到端的學(xué)習(xí)框架。

2特征圖融合

特征提取在目標(biāo)檢測中占據(jù)著十分重要的地位，特征提取的質(zhì)量很大程度上影響著最終檢測的效果。CNN中的特征提取是利用卷積、池化等操作完成的，隨著卷積和池化層的逐步深入，特征的語義信息和位置信息也在發(fā)生改變。低層的特征語義信息比較少，但是目標(biāo)位置準(zhǔn)確；高層的特征語義信息比較豐富，但是目標(biāo)位置比較粗略。將低層的目標(biāo)信息和高層的語義信息相結(jié)合，使得特征圖具有更強的特征信息。利用CNN特征提取的特點，進(jìn)行特征圖信息的加強。

2.1自下而上的路徑

CNN的前饋計算就是自下而上的路徑，特征圖經(jīng)過卷積核計算，通常是越變越小，也有一些特征層的輸出和原來大小一樣，稱為相同網(wǎng)絡(luò)階段（Same Network Stage，SNS）。在特征提取過程中對每個階段定義一個金字塔級別，然后選擇每個階段的最后一層的輸出作為特征圖的參考集。選擇最后一層的特征層是很自然的，因為每個階段的最深層具有最強的特征。

2.2自上而下的路徑和橫向連接

自上而下的路徑是將低層次的特征和高層次語義信息進(jìn)行融合。方法就是把語義更強地更抽象的高層特征圖進(jìn)行上取樣，然后把該特征橫向連接至前一層特征，因此高層特征得到加強。值得注意的是，橫向連接的2層特征在空間尺寸上要相同，這樣做是為了利用底層的定位細(xì)節(jié)信息。

自上而下的路徑把高層特征做2倍上采樣（最鄰近上采樣法），然后將其和對應(yīng)的前一層特征結(jié)合（前一層經(jīng)過1*1的卷積核，目的是改變通道數(shù)，要和后一層的通道數(shù)相同），結(jié)合方式就是做像素間的加法。重復(fù)迭代該過程，直至生成最精細(xì)的特征圖。為了后面的應(yīng)用能夠在所有層級共享分類層，這里使用3*3卷積后的輸出通道為，這設(shè)為256。因此所有額外的卷積層具有256通道輸出，如圖2所示。

3 FBF煙霧識別模型設(shè)計

現(xiàn)有秸稈燃燒檢測主要秸稈燃燒產(chǎn)生的煙霧作為檢測的目標(biāo)，但煙霧沒有固定的顏色和形狀，這對傳統(tǒng)方法的特征提取增加了很多難度。CNN的出現(xiàn)很大程度上緩解了特征提取難的問題，卷積神經(jīng)網(wǎng)絡(luò)不需要將特征提取和分類訓(xùn)練分開，在一定程度提升了煙霧識別的準(zhǔn)確率。

秸稈燃燒煙霧檢測的場景是在野外，監(jiān)控設(shè)備獲取秸稈燃燒畫面的圖像野外場景復(fù)雜、客觀物體（房屋、河流等）、光照、天氣等對煙霧檢測造成了干擾。利用CNN的煙霧檢測方法在準(zhǔn)確率上有待提高。因此，提出了一種FBF煙霧識別方法，本方法對其特征提取的網(wǎng)絡(luò)進(jìn)行改進(jìn)，使網(wǎng)絡(luò)可以提取到更多信息的特征，從而使檢測的準(zhǔn)確率更高。將特征圖與Faster RCNN神經(jīng)網(wǎng)絡(luò)融合后的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。本文的特征提取網(wǎng)絡(luò)是先經(jīng)過自下而上的路徑，提取每一層金字塔的最后一層卷積后的特征圖，再利用自上而下的路徑，將除了第一層金字塔外的其他金字塔層得到的特征圖進(jìn)行上采樣，然后把每層金字塔上采樣后的特征圖進(jìn)行橫向連接至前一層特征，從而實現(xiàn)特征圖的融合。

訓(xùn)練集圖像經(jīng)過融合的特征提取網(wǎng)絡(luò)后，得到包含有更強特征信息的特征圖，然后經(jīng)過RPN，ROIPooling，RCNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到最終的網(wǎng)絡(luò)模型。

在自下而上和自上而下的2個過程中，低層次的特征信息和高層次的語義信息進(jìn)行的融合，使得煙霧的特征信息更加全面。在自上而下的融合過程中，將自下而上的卷積層的結(jié)果進(jìn)行了一個1×1的卷積過程，是對2個不同的特征圖的通道的統(tǒng)一化。自上而下的路徑把高層特征做2倍上采樣，然后將其和對應(yīng)的前一層特征結(jié)合，結(jié)合方式就是做像素間的加法。重復(fù)迭代該過程，直至生成最精細(xì)的特征圖，最終得到的預(yù)測模型更準(zhǔn)確。

4實驗

為了評估所提出的方法是否能使測量更準(zhǔn)確，在以下平臺上進(jìn)行了實驗：Inter-Core i7，64 GB RAM，NVIDIA Geforce RTX 2080 Ti GPU，操作系統(tǒng)為Windows10，使用Tensorflow框架來實現(xiàn)網(wǎng)絡(luò)。

4.1數(shù)據(jù)集

本實驗使用的數(shù)據(jù)集圖像來自于實際項目中由高塔攝像頭采集的圖像畫面。數(shù)據(jù)集分為3組，分別命名為Data1，Data2，Data3。Data1如圖4所示，有21 464張含有煙霧的圖像，將圖像中的煙霧區(qū)域打標(biāo)，作為改進(jìn)的Faster RCNN網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集。Data2和Data3分別含有10 000張圖像，Data2如圖5所示，圖像含有煙霧作為測試的正樣本，Data3如圖6所示，圖像不含煙霧作為測試的負(fù)樣本。

4.2網(wǎng)絡(luò)模型訓(xùn)練

實驗基于Tensorflow框架，該網(wǎng)絡(luò)采用隨機梯度下降法（SGD）對每層的參數(shù)進(jìn)行更新，最小批量為256，動量為0.9，權(quán)值衰減為0.000 1，初始學(xué)習(xí)率為0.01。將RPN網(wǎng)絡(luò)的2個閾值設(shè)置為0.3和0.7，且卷積網(wǎng)絡(luò)模型的訓(xùn)練使用了GPU并行處理。

4.3評價指標(biāo)

從圖7中的數(shù)據(jù)結(jié)果可以分析出，與AlexNet、Faster RCNN秸稈燃燒煙霧檢測方法相比較，本文的方法再煙霧檢測的準(zhǔn)確率、召回率、誤報率都有更好的表現(xiàn)。在對Faster RCNN和本文的實驗數(shù)據(jù)對比中發(fā)現(xiàn)，在負(fù)樣本的識別中有較大的提升，數(shù)據(jù)中較小的某些特征（房屋、湖泊、河流）識別更加準(zhǔn)確，減少了誤報數(shù)量，降低了誤報率。同時，在原有較好的正樣本的識別基礎(chǔ)上，進(jìn)一步提升了識別的準(zhǔn)確率。由此說明，本文方法改進(jìn)的Faster RCNN網(wǎng)絡(luò)更加成功，多特征圖的融合使得識別率更高。