柳同軍，年福東，呂 剛，蔣鵬飛，吳 超

(合肥學(xué)院 先進(jìn)制造工程學(xué)院，安徽 合肥 230601)

火災(zāi)是人類社會生產(chǎn)活動中最普遍的災(zāi)害之一，火災(zāi)發(fā)生突然不易控制，并且會對社會生產(chǎn)造成嚴(yán)重的阻礙，對人們的生命財(cái)產(chǎn)安全構(gòu)成嚴(yán)重的威脅。因此，實(shí)時的火災(zāi)監(jiān)測系統(tǒng)對維持社會穩(wěn)定，保障人類的生命財(cái)產(chǎn)安全有著至關(guān)重要的作用，圖像火焰檢測技術(shù)是一種基于圖像的火災(zāi)檢測方法，具有檢測精度高，效率快等優(yōu)點(diǎn)，被越來越多的用于火災(zāi)檢測和早期預(yù)警[1-4]?；鹧嬗卸喾N顏色，它的形狀和輪廓會隨著時間變化而變化，它具有閃爍和動態(tài)紋理特征，火焰的形狀、輪廓、運(yùn)動和紋理特征不可預(yù)測。傳統(tǒng)的火焰檢測方法，包括通過傳感器檢測溫度的方法[5-7]，但是由于技術(shù)缺陷，存在誤檢、漏檢、檢測延時等問題[8-11]，很難達(dá)到實(shí)時監(jiān)測并進(jìn)行預(yù)警的目的。隨著圖像處理技術(shù)和計(jì)算機(jī)視覺的發(fā)展，圖像火焰檢測技術(shù)得到了大量的研究[12-14]。目前，圖像火焰檢測方法主要有基于人工設(shè)計(jì)的圖像特征和基于卷積神經(jīng)網(wǎng)絡(luò) (CNN) 提取的圖像的深度特征。在基于圖像的深度特征的方法中，一般將火焰檢測看作分類任務(wù)，將卷積神經(jīng)網(wǎng)絡(luò)作為分類器，這種方法一般準(zhǔn)確率較低，且無法定位火焰準(zhǔn)確位置[15]。我們提出一種基于超像素定位火焰區(qū)域引導(dǎo)的Faster R-CNN的模型，結(jié)合掩膜卷積技術(shù)，在超像素定位的火焰區(qū)域中的超像素的聚類中心設(shè)置錨點(diǎn)，使得僅在超像素定位的火焰區(qū)域附近生成錨，大大減少了錨的數(shù)量，減少了Faster R-CNN火焰檢測的計(jì)算量，提高了檢測效率，并提高了圖像火焰檢測的性能。

1 材料與方法

1.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)使用的硬件平臺均為Inter(R) Xeon(R) W-2123 CPU @3.6GHz和32G顯存的NVIDIA Quadro P4000 GPU，軟件開發(fā)環(huán)境為python，搭建模型使用的框架為TensorFlow，所使用的操作系統(tǒng)為Ubuntu16.0.4。實(shí)驗(yàn)過程中，F(xiàn)aster R-CNN使用的網(wǎng)絡(luò)為ResNet50。此外，還使用到了opencv 3.4.4庫。模型訓(xùn)練過程中，動量參數(shù)(momentum)設(shè)定為0.9，學(xué)習(xí)率(learning rate)設(shè)定為0.001，批處理大小(batch size)設(shè)定為64。

1.2 超像素定位火焰區(qū)域及拋錨策略

超像素是具有相似紋理、顏色、亮度等特征的相鄰像素構(gòu)成的有一定視覺意義的不規(guī)則像素塊，它利用像素之間特征的相似性將像素分組,用少量的超像素代替大量的像素來表達(dá)圖片特征,很大程度上降低了圖像處理的復(fù)雜程度。簡單的線性迭代聚類(SLIC)是實(shí)現(xiàn)超像素分割的一種算法，它將彩色圖像轉(zhuǎn)化為CIELAB顏色空間和XY坐標(biāo)下的5維特征向量，然后對5維特征向量構(gòu)造距離度量標(biāo)準(zhǔn)，對圖像像素進(jìn)行局部聚類。原始圖像和SLIC算法處理后的圖像如下圖1和圖2所示。

圖1 原始圖像

圖2 SLIC算法處理后圖像

為了通過超像素定位火焰區(qū)域，我們通過Santos等[16]提出的標(biāo)注超像素的方法，在數(shù)據(jù)集中選取一部分圖片進(jìn)行超像素真實(shí)標(biāo)簽的標(biāo)注，其中包含火焰的圖片為823張，不包含火焰的圖片為1084張，供后續(xù)模型的訓(xùn)練、驗(yàn)證和測試。通過超像素火焰區(qū)域檢測產(chǎn)生的不規(guī)則輪廓均被轉(zhuǎn)換為邊界矩形，并判斷它與真實(shí)標(biāo)簽的交集，若相交比例大于0.5，則判定對應(yīng)的超像素為火焰區(qū)域；若不大于0.5，則判定為非火焰區(qū)域。通過這種方法，結(jié)合Inception網(wǎng)絡(luò)，訓(xùn)練出模型，即達(dá)到通過超像素對火焰區(qū)域進(jìn)行初步定位的目的。通過超像素定位火焰區(qū)域模型定位火焰區(qū)域的效果如下圖3所示，其中灰色框代表非火焰區(qū)域超像素，白色框代表火焰區(qū)域模型。

圖3 超像素定位火焰區(qū)域效果圖

Faster R-CNN進(jìn)行目標(biāo)檢測的過程中，對于非特定目標(biāo)的檢測任務(wù)，為了保證整個圖像被合適的錨覆蓋，要求錨點(diǎn)廣泛地分布在圖像的每個區(qū)域。但對于火焰檢測任務(wù)，圖像區(qū)域的種類只有火焰和背景，密集的拋錨策略會使得錨生成在很多沒有火焰的圖像區(qū)域，嚴(yán)重影響檢測效率。本文中，我們通過超像素目標(biāo)定位方法訓(xùn)練模型，來檢測圖像中的候選火焰區(qū)域，受到Wang等[17]提出的引導(dǎo)性拋錨策略的啟發(fā)，提出了基于超像素定位火焰區(qū)域模型引導(dǎo)的稀疏的拋錨策略，僅在超像素定位的候選火焰區(qū)域的聚類中心設(shè)置錨點(diǎn)，對應(yīng)圖中綠色框表示的火焰區(qū)域的聚類中心設(shè)為錨點(diǎn)。每個錨點(diǎn)生成9種不同形狀大小的錨，從而提升火焰檢測的效率與準(zhǔn)確性。

1.3 模型結(jié)構(gòu)

設(shè)計(jì)了一個由超像素定位引導(dǎo)的Faster R-CNN的模型結(jié)構(gòu)，該結(jié)構(gòu)如下圖4所示。首先，將圖像輸入預(yù)先訓(xùn)練好的超像素定位火焰模型，獲取基于該模型生成的火焰候選區(qū)域；然后將超像素定位后的圖片輸入卷積層，進(jìn)行特征提取，輸出特征圖；接著將特征圖輸入RPN網(wǎng)絡(luò)，同時通過超像素定位火焰模型進(jìn)行引導(dǎo)，在候選火焰區(qū)域每一個超像素的聚類中心生成錨，得到經(jīng)過篩選和回歸后的火焰區(qū)域；最后，將火焰區(qū)域輸入分類網(wǎng)絡(luò)，得到最終的分類和精準(zhǔn)的檢測框。其中RPN網(wǎng)絡(luò)，經(jīng)過超像素定位火焰模型的引導(dǎo)，僅在候選火焰區(qū)域進(jìn)行卷積，其他區(qū)域置零，從而減少計(jì)算量，提高模型的檢測效率。

圖4 由超像素定位引導(dǎo)的Faster R-CNN的模型結(jié)構(gòu)

1.4 模型訓(xùn)練

對于模型的訓(xùn)練，參考Ren等[18]的訓(xùn)練策略進(jìn)行訓(xùn)練。模型結(jié)構(gòu)中的RPN網(wǎng)絡(luò)和分類網(wǎng)絡(luò)會進(jìn)行候選框的分類和回歸，均會產(chǎn)生計(jì)算誤差。對于分類誤差，本文采用交叉熵?fù)p失計(jì)算；對于候選框的回歸誤差，則采用平滑L1損失函數(shù)計(jì)算。此外，本文利用Aslan等[11]提出的訓(xùn)練策略，以端對端的形式進(jìn)行訓(xùn)練。訓(xùn)練過程中，將通過超像素定位的候選火焰區(qū)域外的候選框?yàn)V除，僅火焰區(qū)域的候選框參加訓(xùn)練。訓(xùn)練過程中的損失包含上述四個誤差，利用交叉熵?fù)p失計(jì)算RPN和分類網(wǎng)絡(luò)中的候選框分類誤差，利用平滑L1損失函數(shù)計(jì)算候選框的回歸誤差，整個模型的損失為四個誤差之和，損失函數(shù)公式如公式 (1) 所示。

(1)

其中fce為交叉熵?fù)p失函數(shù)，fsL1為平滑L1損失函數(shù)，ci為第i個候選框是否包含火焰的置信度，ci*為該候選框?qū)?yīng)真實(shí)候選框的置信標(biāo)簽，ri為該候選框的回歸的修正量，ri*為該候選框?qū)?yīng)真實(shí)候選框回歸需要的修正量。

2 結(jié)果與分析

2.1 檢測數(shù)據(jù)集分析

通過數(shù)據(jù)挖掘技術(shù)抓取圖像，以及作者模擬場景采集火焰視頻數(shù)據(jù)形成數(shù)據(jù)集，圖5為部分?jǐn)?shù)據(jù)集圖片，包括含火焰和不含火焰圖片總共32089張，其中含火焰圖片17156張，不含火焰圖片14933張。在實(shí)驗(yàn)過程中我們選擇數(shù)據(jù)集中的一部分圖片作為訓(xùn)練集、驗(yàn)證集和測試集，并預(yù)先對訓(xùn)練和驗(yàn)證集進(jìn)行標(biāo)注，訓(xùn)練集、驗(yàn)證集和測試集中的正負(fù)樣本數(shù)量如表1所示?；谇懊嫣岢龅膶?shí)驗(yàn)環(huán)境，通過表1中的訓(xùn)練集訓(xùn)練模型，利用驗(yàn)證集進(jìn)行模型優(yōu)化，得到基于各方法的檢測模型。

表1 訓(xùn)練、驗(yàn)證及測試集的圖片數(shù)量

2.2 檢測模型的測試分析

利用測試集對檢測模型進(jìn)行測試。表2展示了原始Faster R-CNN方法與本文的超像素定位引導(dǎo)的Faster R-CNN的比較。從表2可以看到：通過超像素定位引導(dǎo)的Faster R-CNN方法得到的檢測模型檢測性能優(yōu)于原始Faster R-CNN生成的模型，檢測效率也優(yōu)于原始Faster R-CNN生成的模型。

表2 原始Faster R-CNN方法和超像素定位引導(dǎo)的Faster R-CNN的比較

2.3 檢測模型的有效性分析

通過表3和表4，我們比較了原始Faster R-CNN方法、黃杰等人[14]的方法和超像素定位引導(dǎo)的Faster R-CNN方法在檢測性能和效率方面的差異。由表3和表4可以看出，超像素定位引導(dǎo)的Faster R-CNN方法的生成的模型測試時所需的運(yùn)行時間更短，模型評估的精準(zhǔn)度更好，因此，我們判定超像素定位引導(dǎo)的Faster R-CNN方法生成的模型的檢測效率更高，性能更好。

表3 三種Faster R-CNN方法的運(yùn)行時間的比較

表4 三種Faster R-CNN方法的精準(zhǔn)度的比較

此外，圖5展示了實(shí)驗(yàn)環(huán)境下，通過測試集測試的對火焰圖像的檢測結(jié)果，可以看出，圖像中的火焰均被正確檢出，說明我們的模型是有效的。

圖5 檢測結(jié)果實(shí)例

3 結(jié)語

本文基于Faster R-CNN的目標(biāo)檢測方法，提出了由超像素定位火焰模型引導(dǎo)的火焰檢測方法，僅在火焰區(qū)域的超像素的聚類中心生成錨。這種改變提高了Faster R-CNN算法在圖像火焰檢測上的性能和效率。在本文的數(shù)據(jù)集下，對現(xiàn)有的幾種方法進(jìn)行比較，對這些模型進(jìn)行評估后，本文的方法在檢測速度方面提升了16%，并且有較好的檢測精度。通過實(shí)驗(yàn)，驗(yàn)證了該方法生成的模型對圖像火焰檢測有較好的性能和效率。在未來的方向上，通過優(yōu)化超像素定位火焰區(qū)域模型，進(jìn)一步提高檢測效率，減少計(jì)算量。此外，考慮將本文方法應(yīng)用于實(shí)際場景，例如森林火災(zāi)檢測、工廠火災(zāi)監(jiān)控等存在火災(zāi)風(fēng)險的場景中。