徐小強(qiáng)， 張瑞琦， 冒 燕， 陳 旭

(武漢理工大學(xué) 自動(dòng)化學(xué)院， 湖北 武漢 430070)

為保證水面上的安全，快速消滅水面火災(zāi)已經(jīng)成為人們研究的重點(diǎn).目前的消防艇主要采用人工滅火裝置，當(dāng)遇到嚴(yán)重火情時(shí)需要同時(shí)出動(dòng)多艘消防艇進(jìn)行滅火，可能會(huì)對(duì)消防人員的人身安全產(chǎn)生威脅.與傳統(tǒng)的消防艇中由消防人員負(fù)責(zé)尋找火焰位置進(jìn)行滅火不同，在無(wú)人消防艇中需要由無(wú)人艇自動(dòng)尋找火焰區(qū)域進(jìn)行滅火.如何檢測(cè)倒影、防止水面倒影影響火焰檢測(cè)，已成為無(wú)人消防艇應(yīng)用中亟待解決的問(wèn)題.

近幾年，國(guó)內(nèi)外研究者針對(duì)火焰顏色特征、形態(tài)特征及運(yùn)動(dòng)特征等提出了多種火焰識(shí)別方法[1-3].文獻(xiàn)[4]建立了在RGB色彩模式(即紅、綠、黃色彩模式)與HSV空間下的火焰識(shí)別模型，但是提取出來(lái)的火焰區(qū)域比較寬泛，火焰在水中的倒影區(qū)域也會(huì)被認(rèn)為是火焰區(qū)域.文獻(xiàn)[5]提出了YCbCr空間的火焰識(shí)別模型，有效地利用火焰色彩信息提取了火焰區(qū)域，但是對(duì)于亮度高的火焰區(qū)域以及火焰倒影和火光區(qū)域識(shí)別效率低.文獻(xiàn)[6]提出了在HSI空間下的火焰分割模型，該方法對(duì)干擾魯棒性差，檢測(cè)出的火焰區(qū)域?qū)挿?

針對(duì)以上模型對(duì)水面上火焰識(shí)別的不足，筆者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于目標(biāo)識(shí)別中[7]，判斷圖片中是否含有火焰圖像，然后結(jié)合YCbCr空間下的火焰識(shí)別方法，根據(jù)折射和反射后水中火焰倒影與火焰的亮度差，提出一種濾除掉水面上火焰倒影的火焰識(shí)別方法—基于YCbCr水面火焰識(shí)別方法.

1 基于卷積神經(jīng)網(wǎng)絡(luò)的火焰判別

為了分割出圖片中較為精確的火焰區(qū)域，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖片中是否含有火焰進(jìn)行判斷.

1.1 卷積神經(jīng)網(wǎng)絡(luò)

1.2 試驗(yàn)過(guò)程

使用卷積神經(jīng)網(wǎng)絡(luò)tensorflow框架[11-13]進(jìn)行設(shè)計(jì)，對(duì)輸入圖片中是否含有火焰進(jìn)行判斷.進(jìn)行深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖1所示.

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

1) 為了獲得更多的樣本，采用對(duì)圖片矩陣重新調(diào)整像素為32×32×3，再將圖片隨機(jī)裁剪出5張像素為28×28×3的圖片，對(duì)圖片進(jìn)行隨機(jī)水平翻轉(zhuǎn)，將像素為28×28×3的圖片送入網(wǎng)絡(luò).

2) 卷積神經(jīng)網(wǎng)絡(luò)包括3個(gè)卷積層、3個(gè)池化層、一個(gè)全連接層和一個(gè)輸出層.① 第1個(gè)卷積層C1使用32個(gè)大小為2×2×3的卷積核，提取出32張像素為28×28的特征圖，每個(gè)卷積層之后采用relu激活函數(shù).② 第1個(gè)池化層P1是將第1個(gè)卷積層提取到的特征圖作為輸入的2×2最大池化層.③ 第2個(gè)卷積層C2使用64個(gè)大小為3×3×32的卷積核，提取出64張像素為14×14的特征圖，每個(gè)卷積層之后采用relu激活函數(shù).④ 第2個(gè)池化層P2是將第2個(gè)卷積層提取到的特征圖作為輸入的2×2最大池化層.⑤ 第3個(gè)卷積層C3使用128個(gè)大小為5×5×64的卷積核，提取出128張像素為7×7的特征圖，每個(gè)卷積層之后采用relu激活函數(shù).⑥ 第3個(gè)池化層P3是將將第3個(gè)卷積層提取到的特征圖作為輸入的2×2最大池化層.⑦ 全連接層(F1層)將第3個(gè)池化層得到的特征圖作為輸入.為了防止過(guò)擬合，全連接層在與輸出層相連之前，需要先進(jìn)行隨機(jī)丟棄(保留率keep-prob=0.5).⑧ 輸出層采用softmax分類(lèi)[14].

3) 損失函數(shù)如下所示：

Loss=-[ylabellg(yconv[0][1])+ (1-ylabel)lg(yconv[0][0])]，

(1)

式中：Loss為損失值；ylabel為標(biāo)簽輸出值；yconv[0][1]和yconv[0][0]分別為輸出是火和不是火的概率.

1.3 結(jié)果分析

由于并沒(méi)有火焰識(shí)別的標(biāo)準(zhǔn)圖庫(kù)，筆者從網(wǎng)絡(luò)中收集了320張含有火焰和320張不含有火焰的圖片，對(duì)其大小進(jìn)行重新調(diào)整[15]，并從中進(jìn)行隨機(jī)裁剪、翻轉(zhuǎn)后獲得1 600張含有火焰的圖片和1 600張不含有火焰的圖片.對(duì)最終獲得圖片中的70%作為訓(xùn)練集，30%作為測(cè)試集.經(jīng)過(guò)測(cè)試，該網(wǎng)絡(luò)識(shí)別精度可以達(dá)到94.2%.

2 水面火焰的圖像分割

對(duì)于一張輸入圖片，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖片中是否含有火焰圖像進(jìn)行判斷.若卷積神經(jīng)網(wǎng)絡(luò)識(shí)別結(jié)果為不含火焰，則直接輸出不含有火焰；若卷積神經(jīng)網(wǎng)絡(luò)識(shí)別結(jié)果為含有火焰，則對(duì)圖片進(jìn)行進(jìn)一步處理，分割出較為精準(zhǔn)的火焰區(qū)域.

到了山西，不吃碗正宗的刀削面，那絕對(duì)算空走一趟。山西刀削面一講刀工，二講澆頭，小小一碗面，里面有很多門(mén)道。削面功夫全憑手的勁頭掌控，削出的面似空中飛舞的柳葉，又似水中暢游的銀魚(yú)，中厚邊薄，均勻有致，長(zhǎng)短六寸，方為上品。

2.1 劇烈燃燒火焰區(qū)域識(shí)別

在YCbCr空間提取火焰圖像，是利用圖像的亮度、紅色信息以及藍(lán)色信息來(lái)提取火焰圖像.但是由于火焰燃燒劇烈的地方在圖像上一般呈現(xiàn)白色，此時(shí)利用亮度、紅色信息以及藍(lán)色信息來(lái)提取火焰圖像，就會(huì)導(dǎo)致火焰燃燒劇烈的地方并不會(huì)被識(shí)別為火焰區(qū)域，從而導(dǎo)致有較多的火焰區(qū)域被識(shí)別為非火焰區(qū)域.圖2-4分別為為火焰原圖、YCbCr空間火焰圖片及YCbCr空間火焰提取結(jié)果.對(duì)圖2中火焰進(jìn)行提取，其轉(zhuǎn)換至YCbCr空間圖像如圖3所示，在YCbCr空間提取結(jié)果如圖4所示.

圖2 火焰原圖

圖3 YCbCr空間火焰圖片

圖4 YCbCr空間火焰提取結(jié)果

筆者采用一種自定義的火焰判斷方式.當(dāng)YCbCr空間提取出火焰區(qū)域較為準(zhǔn)確時(shí)，采用在YCbCr空間下利用圖像的顏色信息來(lái)提取火焰圖像；當(dāng)YCbCr空間提取出火焰區(qū)域較為不準(zhǔn)確時(shí)，則利用火焰的灰度值遠(yuǎn)大于圖像中其他區(qū)域灰度值[16]的特征將火焰提取出來(lái).圖5為火焰灰度圖.對(duì)圖2中火焰進(jìn)行提取，采用水面火焰識(shí)別方法提取結(jié)果如圖6所示.

圖5 火焰灰度圖

圖6 水面火焰識(shí)別方法提取結(jié)果

2.2 火焰倒影濾波

在識(shí)別火焰時(shí)，火焰倒影區(qū)域與火焰區(qū)域存在顏色上較高的相似性，在YCbCr空間提取火焰圖像時(shí)會(huì)被誤判為火焰區(qū)域.人眼看到水中火焰的倒影是水面反射火焰的光進(jìn)入人眼成像，但是火焰的光經(jīng)過(guò)水面反射時(shí)還會(huì)發(fā)生折射.由于火焰的光在經(jīng)過(guò)水面時(shí)，一部分發(fā)生反射，形成人眼中的火焰在水面上的倒影，一部分發(fā)生折射，沒(méi)有進(jìn)入到人眼中，這樣就形成了水中火焰倒影亮度與火焰的區(qū)別.利用這一特點(diǎn)，在原YCbCr空間模型的基礎(chǔ)上更加強(qiáng)調(diào)對(duì)灰度值的要求，過(guò)濾掉灰度值低于閾值的像素點(diǎn)，進(jìn)而濾除火焰在水面的倒影.

2.3 火焰圖像分割試驗(yàn)

對(duì)于含有火焰的圖像，筆者利用以下5個(gè)步驟將圖像中火焰區(qū)域分割出來(lái).

1) 將RGB火焰圖像轉(zhuǎn)換成灰度圖像.灰度圖像與彩色圖像相比能夠很好地體現(xiàn)出圖像的亮度信息.為了更好地看出圖像各個(gè)區(qū)域的亮度變化以及數(shù)據(jù)的處理，首先將RGB圖像轉(zhuǎn)換成灰度圖像，轉(zhuǎn)換公式如下：

Gray=0.299R+0.587G+0.114B，

(2)

式中：Gray為灰度值；R為紅色通道的信息值；G為綠色通道的信息值；B為藍(lán)色通道的信息值.

2) 將RGB火焰圖像轉(zhuǎn)換到Y(jié)CbCr顏色空間.YCbCr顏色空間可以與RGB空間進(jìn)行線性變換.其變換公式[17]如下：

(3)

式中：Y為亮度信息；Cb為藍(lán)色信息；Cr為紅色信息.

3) 利用火焰顏色特征粗略提取火焰區(qū)域.在YCbCr顏色空間提取火焰，公式如下：

(4)

式中：Ymean、Crmean和Cbmean分別為亮度均值、紅色色差分量均值和藍(lán)色色差分量均值[18-19]；x和y為像素點(diǎn)坐標(biāo).

4) 計(jì)算灰度平均值.鑒于當(dāng)火焰亮度高時(shí)，在YCbCr空間提取火焰區(qū)域較為不準(zhǔn)確；而當(dāng)火焰較為暗淡時(shí)，在YCbCr空間提取火焰區(qū)域較為準(zhǔn)確.筆者計(jì)算出整個(gè)圖像的灰度平均值和粗提取的火焰區(qū)域灰度平均值.

當(dāng)出現(xiàn)如式(5)所示情況，認(rèn)為在YCbCr空間提取出的火焰區(qū)域較為不準(zhǔn)確，反之，則認(rèn)為在YCbCr空間提取出火焰區(qū)域較為準(zhǔn)確.

(5)

式中：fire_gray_mean為整圖像的灰度平均值；gray_mean為粗提取的火焰區(qū)域灰度平均值；a和b為選定閾值.

5) 提取火焰區(qū)域.圖7為灰度圖.由圖7可知，火焰區(qū)域的灰度值遠(yuǎn)大于其他區(qū)域，當(dāng)在YCbCr空間提取出火焰區(qū)域不準(zhǔn)確時(shí)，則利用火焰區(qū)域的灰度值遠(yuǎn)大于其他區(qū)域的特性提取火焰區(qū)域，即利用火焰的亮度遠(yuǎn)大于其他區(qū)域的特性，將火焰區(qū)域提取出來(lái).

圖7 灰度圖

當(dāng)在YCbCr空間提取出火焰區(qū)域準(zhǔn)確時(shí)，則直接利用在YCbCr空間提取出火焰區(qū)域，但這次提取火焰區(qū)域?qū)鹧娴牧炼忍匦砸筝^粗提取火焰區(qū)域時(shí)做了進(jìn)一步改進(jìn)，濾除火光和火焰倒影部分，即

(6)

2.4 結(jié)果與分析

為了驗(yàn)證上述方法，進(jìn)行了多次試驗(yàn)(其中圖片均來(lái)源于網(wǎng)絡(luò)和視頻)，選擇其中4張較為有代表性的圖片進(jìn)行說(shuō)明.圖8為待提取火焰區(qū)域圖片.對(duì)圖8圖片中圖像進(jìn)行火焰區(qū)域提取.直接采用原始YCbCr空間模型進(jìn)行火焰提取，提取出火焰區(qū)域如圖9所示.采用本研究中改進(jìn)后水面火焰識(shí)別算法所提取出的火焰區(qū)域如圖10所示.

由圖9a和c可知：在原YCbCr空間顏色模型中提取圖片中火焰區(qū)域時(shí)，可能會(huì)將火焰亮度高的區(qū)域誤判為非火焰區(qū)域，從而只提取出火焰倒影和火光區(qū)域，未能將火焰的真實(shí)燃燒區(qū)域提取出來(lái).從圖10a和c可以看出，改進(jìn)之后的水面火焰識(shí)別算法完整地提取了火焰燃燒區(qū)域，對(duì)圖片中火光和倒影實(shí)現(xiàn)了較好的濾除效果，僅將倒影中亮度過(guò)高的一小部分識(shí)別為火焰區(qū)域.

圖8 待提取火焰區(qū)域圖片

圖9 原YCbCr空間顏色模型提取結(jié)果

圖10 改進(jìn)的水面火焰識(shí)別算法提取結(jié)果

3 結(jié) 論

針對(duì)火焰在水面上燃燒時(shí)，在提取火焰區(qū)域時(shí)火焰與倒影之間特征相似的問(wèn)題，筆者提出了一種水面火焰識(shí)別方法.這種改進(jìn)的水面火焰識(shí)別方法可以準(zhǔn)確地判斷出圖像中是否含有火焰圖像，有效過(guò)濾火焰倒影、火光等區(qū)域，提取出較為精準(zhǔn)的火焰區(qū)域.改進(jìn)的水面火焰識(shí)別方法還解決了當(dāng)火焰亮度較高時(shí)，利用YCbCr空間模型識(shí)別出來(lái)的火焰區(qū)域有較大空洞的問(wèn)題，因此該方法極具實(shí)用價(jià)值.后續(xù)的研究可針對(duì)不同風(fēng)速時(shí)倒影濾除問(wèn)題進(jìn)行深入探討.