李瑩　李忠　李海洋　孫可可

摘? 要： 為了快速準(zhǔn)確地對(duì)圖片中的火焰進(jìn)行分割檢測(cè)，消除燈光等疑似火焰區(qū)域的干擾，提出基于RGB和HSV顏色空間的火焰檢測(cè)模型并結(jié)合CNN提取火焰輪廓。通過(guò)觀察RGB三分量在顏色直方圖中的分布特征，制定新的約束條件，并結(jié)合HSV顏色空間，消除復(fù)雜背景對(duì)其進(jìn)行的干擾，最后利用CNN對(duì)提取出火焰輪廓進(jìn)行分類檢測(cè)，進(jìn)一步消除對(duì)燈光等疑似火焰區(qū)域的誤檢。實(shí)驗(yàn)結(jié)果表明，該算法可以準(zhǔn)確地檢測(cè)出火焰區(qū)域，降低了誤檢率。

關(guān)鍵詞： 火焰檢測(cè); 卷積神經(jīng)網(wǎng)絡(luò); 顏色空間; 輪廓特征

中圖分類號(hào)：TP321? ? ? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ?文章編號(hào)：1006-8228（2019）12-67-04

Flame detecting with the combination of color space and CNN

Li Ying， Li Zhong， Li Haiyang， Li Haiyang， Sun Keke

（Institute of Disaster Prevention， Emergency Management College， Hebei 065201， China）

Abstract： In order to detect the flame quickly and accurately and eliminate the interference of suspected flame area， a flame detection model based on RGB and HSV color space and CNN （convolution neural networks） are proposed to extract the flame contour. By observing the distribution characteristics of RGB three components in the color histogram， new constraints are formulated， and combined with HSV color space， the interference of complex background is eliminated. Finally， CNN is used to extract flame contour to further eliminate false detection of suspected flame areas. The experimental results show that the algorithm can detect the flame accurately and reduce the false detection rate.

Key words： flame detection; convolutional neural networks; color space; contour feature

0 引言

針對(duì)火災(zāi)險(xiǎn)情的火焰檢測(cè)技術(shù)快速發(fā)展。其中基于傳感器的火焰檢測(cè)技術(shù)已較成熟，如光電感煙探測(cè)器、氣體式探測(cè)器、感煙火災(zāi)探測(cè)器、紅外線探測(cè)器等[1]。但是基于傳感器的火焰檢測(cè)方法不僅安裝過(guò)程繁瑣，而且容易受到周圍環(huán)境的影響，這導(dǎo)致不能及時(shí)準(zhǔn)確地檢測(cè)出火災(zāi)的發(fā)生。另一種是基于圖像的火焰檢測(cè)[2]技術(shù)，相對(duì)于傳統(tǒng)的傳感器檢測(cè)，基于圖像的火焰檢測(cè)不僅可以及時(shí)準(zhǔn)確地檢測(cè)出火焰區(qū)域，而且可以對(duì)現(xiàn)場(chǎng)實(shí)時(shí)監(jiān)控。

根據(jù)火焰的顏色空間特征，高偉偉[2]等根據(jù) RGB和HIS 顏色模型之間的關(guān)系，提出了一種新的顏色判斷規(guī)則，對(duì)火焰區(qū)域進(jìn)行尺寸檢測(cè)，準(zhǔn)確地提取了火焰候選區(qū)域.劉立等人[3]為準(zhǔn)確的分割出火焰區(qū)域和背景區(qū)域，提出了基于YIQ顏色空間火焰輪廓提取算法，可以有效地提取火焰輪廓，但該算法容易對(duì)燈光產(chǎn)生誤檢。羅媛媛[4]利用 YCbCr顏色空間進(jìn)行火焰檢測(cè)，但由于RGB、HSV顏色空間相關(guān)性較大，易受強(qiáng)光的影響[5-6]。劉佳麗等人[7]對(duì)RGB顏色空間進(jìn)行了修改，得到正交的Ohta 顏色空間，該顏色空間能夠很好地彌補(bǔ)RGB顏色空間的缺陷。雖然上述方法成功地檢測(cè)出火焰區(qū)域，但基于顏色空間的火焰檢測(cè)方法容易受到周圍光線的影響而導(dǎo)致檢測(cè)精度下降。

隨著近幾年深度學(xué)習(xí)的發(fā)展，越來(lái)越多的人將深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于火焰檢測(cè)。嚴(yán)云洋等人[1]利用候選區(qū)域生成網(wǎng)絡(luò)（Region Proposal Network，RPN）提取火焰候選區(qū)域，實(shí)現(xiàn)在復(fù)雜的背景下識(shí)別火焰區(qū)域?；靥斓热薣8]根據(jù)火焰的類型將火焰類數(shù)據(jù)集進(jìn)行分類，實(shí)現(xiàn)對(duì)火焰的多類型檢測(cè)。雖然基于深度神經(jīng)網(wǎng)絡(luò)的火焰檢測(cè)模型檢測(cè)效果較準(zhǔn)確，但訓(xùn)練模型時(shí)對(duì)硬件的要求較高且訓(xùn)練時(shí)間周期較長(zhǎng)。

本文提出了基于RGB顏色空間和HSV顏色空間的火焰檢測(cè)模型，并結(jié)合CNN（Convolutional Neural Networks）根據(jù)火焰的輪廓特征進(jìn)一步對(duì)火焰區(qū)域進(jìn)行判斷，首先在RGB和HSV顏色空間上對(duì)火焰圖片進(jìn)行初步檢測(cè)，圈出疑似火焰區(qū)域。之后提取火焰的輪廓特征，通過(guò)LeNet-5網(wǎng)絡(luò)[9]模型的訓(xùn)練，再對(duì)疑似火焰區(qū)域進(jìn)一步判斷其是否為火焰。

1 火焰在RGB和HSI顏色空間上的特征

1.1 RGB顏色空間中火焰顏色特征

RGB是目前比較常見(jiàn)的面向硬件設(shè)備的彩色模型，根據(jù)人眼的構(gòu)造，所有的顏色都可以由三種基本顏色組成[6]，分別為紅色（Red）、綠色（Gree）和藍(lán)色（Blue），它們以不同的比例可以組合成任意一種顏色?；鹧娴念伾彩怯扇齻€(gè)顏色基量以不同的比例進(jìn)行組合。本文利用從網(wǎng)絡(luò)中搜索的火焰圖片，將其中的火焰區(qū)域截取出來(lái)，如圖1 所示，并利用python語(yǔ)言對(duì)其中的RGB三個(gè)顏色基量進(jìn)行提取，畫(huà)出曲線圖，如圖2所示。

從三個(gè)顏色基量曲線的分布中可以看出，藍(lán)色分量的像素值最小，紅色分量的像素值最大，因此在RGB顏色空間模型中建立以下約束條件來(lái)識(shí)別火焰：

R>G>B? ⑴

其中R>120，G>50，B>60。

1.2 HSV顏色空間中火焰顏色特征

HSV顏色空間[10]是顏色的另一種表達(dá)形式，它是一種基于感知的顏色模型。它將圖像顏色信號(hào)分為三種屬性，分別為色調(diào)（Hue，H），飽和度（Saturation，S）和亮度（Value，V）。

首先，將圖1中的火焰區(qū)域進(jìn)行RGB顏色空間到HSV顏色空間的轉(zhuǎn)換，然后將HSV三分量以曲線圖的形式展現(xiàn)出來(lái)，如圖3所示，其中黑色曲線表示H（色調(diào)）分量，藍(lán)色曲線表示S（飽和度）分量，黃色曲線表示V（亮度）分量。

通過(guò)觀察火焰區(qū)域在HSV顏色空間上像素分布情況，火焰的色度大多在紅色和黃色之間，亮度基本處于飽和狀態(tài)，因此在HSV顏色空間模型中建立以下約束條件用來(lái)識(shí)別火焰。

2 火焰在RGB和HSI顏色空間上的輪廓檢測(cè)

2.1 火焰區(qū)域的形態(tài)學(xué)操作

關(guān)于在RGB顏色空間和HSV顏色空間上建立一定的約束條件來(lái)對(duì)火焰區(qū)域進(jìn)行分割已在本文第1章中詳細(xì)闡述，為了驗(yàn)證該約束條件的正確性，在網(wǎng)絡(luò)上選取一張存在火焰區(qū)域的圖片，如圖4所示，對(duì)其進(jìn)行火焰區(qū)域分割，分割結(jié)果如圖5所示。

為了更清晰的顯示出火焰區(qū)域，需要對(duì)分割結(jié)果圖進(jìn)行圖像形態(tài)學(xué)中的閉操作，先膨脹后腐蝕。它具有填充圖片中細(xì)小空洞，起到連接火焰區(qū)域的像素點(diǎn)和平滑邊界的作用，結(jié)果如圖6所示。

2.2 疑似火焰區(qū)域檢測(cè)結(jié)果

在對(duì)火焰區(qū)域進(jìn)行形態(tài)學(xué)操作后，將圖片中存在火焰的區(qū)域畫(huà)出預(yù)測(cè)框，從結(jié)果中可以看出，基于RGB顏色空間和HSV顏色空間的火焰檢測(cè)模型可以對(duì)具有明顯火焰區(qū)域的圖像進(jìn)行檢測(cè)，如圖7所示。但容易對(duì)燈光等疑似火焰區(qū)域產(chǎn)生誤檢，如圖8所示。

從圖7和圖8中可以看出，單純的在顏色空間上檢測(cè)容易存在誤檢情況，其顏色與火焰相似，但它并不是火焰。所以，從火焰的輪廓特征進(jìn)行觀察，發(fā)現(xiàn)火焰的輪廓存在不規(guī)則的特征，而圖8中的檢測(cè)區(qū)域邊緣沒(méi)有尖角等不規(guī)則特征。在此基礎(chǔ)上，進(jìn)一步使用CNN訓(xùn)練模型對(duì)火焰輪廓進(jìn)行區(qū)分檢測(cè)。

3 基于CNN的火焰輪廓特征分類

為了消除光源等疑似火焰區(qū)域的干擾，本文使用CNN對(duì)火焰的輪廓特征進(jìn)行訓(xùn)練。CNN模型采用的是LeNet-5，共有7層（不包括輸入層），其中兩層卷積層，兩層池化層，三個(gè)全連接層。每層都包含不同數(shù)量的訓(xùn)練參數(shù)。首先從原始數(shù)據(jù)集圖中取一個(gè)樣本（X，Yp），將X輸入到網(wǎng)絡(luò)，之后計(jì)算其相應(yīng)的實(shí)際輸出值Op。最后計(jì)算實(shí)際輸出Op與期望輸出Yp的差，按照極小化誤差的方法進(jìn)行反向傳播來(lái)調(diào)整權(quán)矩陣。

首先在網(wǎng)絡(luò)上利用爬蟲(chóng)技術(shù)爬取350張圖片并根據(jù)其輪廓特征進(jìn)行分類，其中有300張火焰圖片和50張非火焰圖片，分類結(jié)果如表1所示，然后提取火焰輪廓特征圖，如圖9所示，將其送入LeNet-5網(wǎng)絡(luò)模型，在卷積層提取火焰輪廓的局部特征，之后在全連接層將卷積層提取的局部特征重新通過(guò)權(quán)值矩陣組裝成完整的火焰輪廓圖。若輪廓特征符合火焰的尖角輪廓等不規(guī)則特征，則判定其為火焰區(qū)域。

檢測(cè)結(jié)果如圖10和圖11所示。從中可以看出，該模型準(zhǔn)確地將火焰區(qū)域和非火焰區(qū)域識(shí)別出來(lái)。

4 實(shí)驗(yàn)及結(jié)果分析

為了檢測(cè)本文提出的基于RGB顏色空間和HSV顏色空間并結(jié)合CNN的火焰檢測(cè)模型的檢測(cè)效果，本文對(duì)在網(wǎng)絡(luò)上爬取的300張火焰圖片和50張非火焰圖片進(jìn)行檢測(cè)，檢測(cè)結(jié)果顯示，在350張樣本圖片中，成功識(shí)別火焰區(qū)域和非火焰區(qū)域322張，準(zhǔn)確率達(dá)到95.0%，如表2所示，其高于單純?cè)赗GB顏色空間上檢測(cè)的準(zhǔn)確率。

5 結(jié)論

本文首先分析火焰在RGB顏色空間和HSV顏色空間的像素值分布特點(diǎn)，建立一定的約束條件，然后對(duì)火焰區(qū)域進(jìn)行初步檢測(cè)。為解決對(duì)燈光等疑似火焰區(qū)域的誤檢情況，本文結(jié)合LeNet-5網(wǎng)絡(luò)模型，對(duì)初步檢測(cè)的火焰輪廓進(jìn)行分類，進(jìn)一步判斷該區(qū)域是否存在火焰。實(shí)驗(yàn)證明，該方法能較準(zhǔn)確地檢測(cè)火焰區(qū)域，準(zhǔn)確率為95.0%，具有良好的泛化性和魯棒性。

參考文獻(xiàn)（References）：

[1] 嚴(yán)云洋，朱曉妤，劉以安，高尚兵.基于Faster R-CNN模型的火焰檢測(cè)[J].南京師大學(xué)報(bào)（自然科學(xué)版），2018.41（3）：1-5

[2] 高偉偉，曹江濤.一種基于RGB與HIS顏色空間模型的火焰尺寸檢測(cè)方法研究[J].遼寧石油化工大學(xué)學(xué)報(bào)，2014.34（4）：63-66

[3] 劉立，曾花.基于YIQ顏色空間的火焰輪廓提取算法[J].南華大學(xué)學(xué)報(bào)（自然科學(xué)版），2016.30（2）：72-77+82

[4] 羅媛媛. 基于YCbCr顏色空間的森林火災(zāi)探測(cè)技術(shù)的研究[D].長(zhǎng)沙：中南林業(yè)科技大學(xué)，2013.

[5] 劉佳麗，葉炯耀.基于Ohta顏色空間的多信息融合火焰檢測(cè)[J/OL].華東理工大學(xué)學(xué)報(bào)（自然科學(xué)版）：1-7[2019-06-17].

[6] 吳建勝，高云玲，張賓.一種基于視頻的火焰檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用與軟件，2014.31（1）：173-175+190

[7] 沐小會(huì)，陳嘉卿，宋英磊.火焰特征提取研究在火災(zāi)探測(cè)中的運(yùn)用[J].電子設(shè)計(jì)工程，2016.24（21）：188-190

[8] 回天，哈力旦·阿布都熱依木，杜晗.結(jié)合Faster R-CNN的多類型火焰檢測(cè)[J].中國(guó)圖象圖形學(xué)報(bào)，2019.24（1）：73-83

[9] 劉金利，張培玲.改進(jìn)LeNet-5網(wǎng)絡(luò)在圖像分類中的應(yīng)用[J/OL].計(jì)算機(jī)工程與應(yīng)用：1-9[2019-06-20].

[10] 周建平.基于HSV顏色空間的水下運(yùn)動(dòng)目標(biāo)提取[J].電腦知識(shí)與技術(shù)，2018.14（21）：230-232

[11] CHENGXF，WUJH，YUANX，et al. Principles for a video fire detection system[J].Fire Safety Journal，1999.33（1）：57-69

[12] NODA S，UEDAK. Fire detection in tunnels using an image processing method[C]//In：Proceedings of Vehicle Navigation and Information Systems Conference，Japan，1994：57-62.

[13] CHENT，YUANHY，SUGF，et al. Automatic fire searching and suppression system for large space[J].Fire Safety Journal，2004.39（4）：297-307