任嘉鋒,熊衛(wèi)華,吳之昊,姜 明

1(浙江理工大學(xué) 機(jī)械與自動控制學(xué)院,杭州 310018)

2(杭州電子科技大學(xué) 計算機(jī)學(xué)院,杭州 310018)

1 引言

在各類災(zāi)害中,火災(zāi)是對公共安全和社會發(fā)展最常見和最普遍的威脅之一.隨著社會的不斷發(fā)展,在社會財富不斷增加的同時,火災(zāi)的危險性也在增加[1].

傳統(tǒng)的火災(zāi)檢測算法通過溫度、煙霧傳感器采集相關(guān)數(shù)據(jù)進(jìn)行火災(zāi)概率預(yù)測,但是檢測實(shí)時性得不到保證.而圖像識別由于其具有直觀,響應(yīng)速度快等特點(diǎn),越來越多地被應(yīng)用于火災(zāi)監(jiān)控和報警.

近年來,深度學(xué)習(xí)成為圖像識別的主要手段.現(xiàn)有的基于深度學(xué)習(xí)的火災(zāi)檢測,主要通過卷積神經(jīng)網(wǎng)絡(luò)對火災(zāi)圖片進(jìn)行特征提取,然后使用分類器進(jìn)行分類.文獻(xiàn)[2]提出了一種通過AlexNet實(shí)現(xiàn)早期火災(zāi)識別的方法,通過AlexNet進(jìn)行圖像特征提取,并通過全連接層和Softmax進(jìn)行分類,但AlexNet參數(shù)量較大,在樣本數(shù)據(jù)不足的情況下泛化性能較差.文獻(xiàn)[3]提出了一種基于MPCANet的火災(zāi)圖像識別模型,提高了火災(zāi)圖像識別的泛化能力,但本質(zhì)上還是通過特征提取跟分類器分類來解決靜態(tài)火災(zāi)圖像的分類問題.文獻(xiàn)[4]提出了一種雙流序列回歸深度網(wǎng)絡(luò)的視頻火災(zāi)檢測方法,通過融合靜態(tài)特征和動態(tài)特征提升了火災(zāi)識別精度,但其工作重點(diǎn)依舊是火災(zāi)圖像的識別分類,而未給出火災(zāi)目標(biāo)檢測的解決方案.

基于深度學(xué)習(xí)的火災(zāi)檢測,在靜態(tài)火災(zāi)圖像識別領(lǐng)域表現(xiàn)出了強(qiáng)大的鑒別力,而在動態(tài)火災(zāi)目標(biāo)檢測方面的工作相對較少.現(xiàn)有火災(zāi)檢測方法將火災(zāi)檢測看成一個二分類問題,實(shí)現(xiàn)火災(zāi)和非火災(zāi)的分類.而本文根據(jù)不同的火災(zāi)特征,如火焰和煙霧,將火災(zāi)檢測形式化為多分類和坐標(biāo)回歸問題.

本文構(gòu)建了一個多場景大規(guī)?；馂?zāi)目標(biāo)檢測數(shù)據(jù)庫,并對火焰和煙霧區(qū)域進(jìn)行類別和位置信息的標(biāo)注.另外,本文提出了一種基于改進(jìn)YOLOv3的火災(zāi)檢測與識別方法,針對YOLOv3小目標(biāo)檢測能力不足的問題進(jìn)行了改進(jìn),并在本文構(gòu)建的火災(zāi)目標(biāo)檢測數(shù)據(jù)庫上進(jìn)行離線訓(xùn)練,從而獲得相應(yīng)的火災(zāi)檢測模型.本文主要對火災(zāi)的火焰和煙霧特征進(jìn)行識別和檢測,驗(yàn)證了深度學(xué)習(xí)在火災(zāi)檢測上的可行性.

2 算法理論

2.1 YOLOv3

目標(biāo)檢測是計算機(jī)視覺的實(shí)際應(yīng)用中一個重要的領(lǐng)域,目標(biāo)檢測算法不僅需要對目標(biāo)進(jìn)行分類,還需要返回目標(biāo)的坐標(biāo)以實(shí)現(xiàn)定位[5-7].YOLOv3算法是目標(biāo)檢測領(lǐng)域的SOTA算法.與Faster R-CNN相比,YOLOv3可以實(shí)現(xiàn)端到端的訓(xùn)練,減少了模型訓(xùn)練的復(fù)雜度,并且圖像的處理速度大幅度提高[8].而與SSD[9]算法相比,YOLOv3擁有更高的檢測精度以及更快的處理速度.在Pascal Titan X的硬件條件下,YOLOv3每秒可以處理30幀COCO數(shù)據(jù)集的圖像,能滿足火災(zāi)檢測實(shí)時處理的需求[10].

YOLOv3算法的整體結(jié)構(gòu)如圖1所示,可將其分為3個部分,包括主干網(wǎng)絡(luò)、多尺度特征提取器和輸出層.

圖1 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

2.2 算法優(yōu)化

2.2.1 改進(jìn)的YOLOv3檢測模型

雖然YOLOv3引入了特征金字塔(FPN)的思想,并配以不同大小的錨點(diǎn)來改善小目標(biāo)檢測效果,但在實(shí)際測試過程中發(fā)現(xiàn),YOLOv3對于部分小目標(biāo)的檢測效果并不好,存在誤檢與漏檢的情況.

YOLOv3網(wǎng)絡(luò)分別利用8倍、16倍以及32倍降采樣輸出3種不同尺寸的特征圖,并且主要在8倍降采樣的輸出特征圖上進(jìn)行小目標(biāo)檢測.這意味著YOLOv3在對小于8×8的特征圖進(jìn)行檢測時會出現(xiàn)困難[11].雖然YOLOv3對16倍以及32倍降采樣的輸出特征圖進(jìn)行上采樣,并與8倍降采樣特征圖進(jìn)行融合以增強(qiáng)8倍降采樣特征圖,但這一操作并不能提供更多小目標(biāo)的特征信息.

如圖2,本文對主干網(wǎng)絡(luò)中輸出8倍下采樣特征圖進(jìn)行2倍上采樣,使尺寸與主干網(wǎng)絡(luò)的4倍下采樣特征圖匹配.然后,將經(jīng)2倍上采樣處理后的8倍降采樣特征圖與4倍降采樣特征圖進(jìn)行Concat融合,在得到104×104大小的特征圖上進(jìn)行分類和坐標(biāo)回歸.通過使用更大特征圖,可獲得更豐富的上下文信息,從而改善模型的小目標(biāo)檢測性能.同時,本文將最終得到的8倍和16倍下采樣特征圖分別Maxpool至與32倍下采樣特征圖同尺寸后進(jìn)行Concat融合,實(shí)現(xiàn)特征復(fù)用,以增加32倍降采樣特征圖中的細(xì)節(jié)特征.

圖2 改進(jìn)后的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

2.2.2K-means聚類

YOLOv3引入了Faster R-CNN中所使用的錨點(diǎn)(anchor boxes)的思想.在YOLOv3輸出的3個尺度的特征圖中,每組特征圖都對應(yīng)了通過K-means聚類計算得到的3個不同尺度的錨點(diǎn).YOLOv3的輸出層通過預(yù)測不同錨點(diǎn)對應(yīng)的偏移量來實(shí)現(xiàn)目標(biāo)邊界框的回歸.

K-means聚類是最常用的無監(jiān)督學(xué)習(xí)算法之一,其中的K代表類簇個數(shù),means代表類簇內(nèi)數(shù)據(jù)對象的均值[12].K-means聚類算法是一種以距離作為數(shù)據(jù)對象間相似性度量的標(biāo)準(zhǔn),從而實(shí)現(xiàn)數(shù)據(jù)劃分的聚類算法.當(dāng)數(shù)據(jù)對象之間的距離越小,則代表數(shù)據(jù)之間的具有越高的相似度,越有可能被劃分在同一類簇中.

數(shù)據(jù)間距離的計算方式有很多種,典型的K-means聚類通常采用歐氏距離來計算數(shù)據(jù)對象間的距離.算法的詳細(xì)流程如下：

算法1.K-means聚類算法1.從數(shù)據(jù)中隨機(jī)選取K個樣本作為初始的K個質(zhì)心；2.計算剩余所有樣本與各個質(zhì)心之間的歐式距離,將各個樣本劃分至距離其最近的質(zhì)心所在的類簇；3.重新計算每一個類簇的質(zhì)心；4.如果所有的K個質(zhì)心都沒有發(fā)生變化則輸出簇劃分結(jié)果,否則返回至第2步.

而從數(shù)據(jù)集的標(biāo)注框聚類出先驗(yàn)的錨點(diǎn),YOLOv3并不使用常用的歐式距離來獲得錨點(diǎn),而是采用使用IOU來計算標(biāo)注框之間的距離,如式(1)所示：

即IOU越大,代表標(biāo)注框之間的距離越小.

通過K-means算法在本文構(gòu)建的火災(zāi)目標(biāo)檢測數(shù)據(jù)集中聚類得到9個錨點(diǎn),其中尺度1對應(yīng)的錨點(diǎn)是(171,133),(143,228),(329,264),尺度2對應(yīng)的錨點(diǎn)是(42,80),(106,73),(75,126),尺度3對應(yīng)的錨點(diǎn)是(19,22),(30,42),(59,48).

YOLOv3在K-means算法得到的錨點(diǎn)的基礎(chǔ)上進(jìn)行偏移量的回歸,從而得到目標(biāo)的實(shí)際檢測框.針對YOLOv3小目標(biāo)檢測效果不佳的情況,本文對不同的大小的質(zhì)心計算距離時,分別增加了對應(yīng)的權(quán)重.從而在K-means迭代的過程中,約束其偏向于較小的錨點(diǎn).通過使用更小的錨點(diǎn)來改善YOLOv3的小目標(biāo)檢測能力.具體如式(2)、式(3)所示.

最終,本文通過改進(jìn)后的K-means聚類算法在構(gòu)建的火災(zāi)目標(biāo)檢測數(shù)據(jù)庫上得到9個錨點(diǎn).通過對比測試最終選定一組錨(5,6),(25,10),(20,34),(35,79),(52,43),(59,115),(115,90),(156,197),(372,326)并分別分配給3種尺度的特征圖.最終聚類得到的Boundingbox類簇分布如圖3所示.

圖3 Bounding-box類簇分布

2.3 遷移學(xué)習(xí)

遷移學(xué)習(xí)(transfer learning)是一種機(jī)器學(xué)習(xí)方法,遷移學(xué)習(xí)可以把源域的知識遷移到目標(biāo)域,使得算法在目標(biāo)域能夠取得更好的學(xué)習(xí)效果[13].

由于目前公開的火災(zāi)檢測數(shù)據(jù)集較少,而人工標(biāo)注則需要耗費(fèi)大量的人力物力,因此通過使用遷移學(xué)習(xí)在有限的數(shù)據(jù)集上進(jìn)一步提高模型的泛化能力十分必要.本文將YOLOv3在COCO數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重作為源域,將構(gòu)建的火災(zāi)檢測數(shù)據(jù)庫作為目標(biāo)域.使用預(yù)訓(xùn)練權(quán)重可以使本文的改進(jìn)YOLOv3模型學(xué)習(xí)到其他數(shù)據(jù)集中的“知識”,從而增強(qiáng)算法的泛化性能.其中,使用遷移學(xué)習(xí)的步驟如下：首先,將預(yù)訓(xùn)練權(quán)重載入改進(jìn)YOLOv3模型,并凍結(jié)模型除了最后三層外的所有參數(shù),并以較低的學(xué)習(xí)率(lr<= 0.001)在本文的火災(zāi)目標(biāo)檢測數(shù)據(jù)庫上進(jìn)行訓(xùn)練.較低的學(xué)習(xí)率可以最小化地調(diào)整先前學(xué)習(xí)的參數(shù),以防止遷移學(xué)習(xí)失效.在訓(xùn)練過程中逐漸開放改進(jìn)的YOLOv3其他層的參數(shù),以便對整個網(wǎng)絡(luò)的參數(shù)實(shí)現(xiàn)微調(diào).

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集制作

圖4 訓(xùn)練樣本

通過獲取網(wǎng)絡(luò)上的火災(zāi)圖像和截取公開的火災(zāi)視頻數(shù)據(jù)集實(shí)現(xiàn)訓(xùn)練樣本的采集,一共采集1萬多張圖片,最后挑選出其中的3835張圖片作為實(shí)際訓(xùn)練測試數(shù)據(jù)集,如圖4所示.利用公開的labelimg標(biāo)注系統(tǒng)對整個數(shù)據(jù)集中每張圖像的火焰和煙霧區(qū)域進(jìn)行人工標(biāo)注,標(biāo)注系統(tǒng)界面如圖5所示,可以對火焰和煙霧區(qū)域進(jìn)行類別選擇和定位.并將所有的樣本圖像集按照PASAL VOC2007

樣本集的格式處理并存儲,然后利用隨機(jī)函數(shù)將數(shù)據(jù)集隨機(jī)的分成訓(xùn)練集和測試集,其中訓(xùn)練集和測試集的圖片數(shù)量比例為4：1.

圖5 數(shù)據(jù)集標(biāo)注

3.2 訓(xùn)練

本文實(shí)驗(yàn)過程均在以下的工作條件下完成訓(xùn)練與測試：IntelCore i5 8500 CPU,配備8 GB RAM與Win10操作系統(tǒng),NVIDIA GTX1070配備8 GB顯存,以及Keras深度學(xué)習(xí)框架.并配置YOLOv3的運(yùn)行環(huán)境,然后將標(biāo)定完成后的樣本數(shù)據(jù)集使用YOLOv3進(jìn)行訓(xùn)練.訓(xùn)練Loss曲線如圖6所示,可以看出,網(wǎng)絡(luò)迭代到Epoch30之后,損失值趨于平緩.

圖6 訓(xùn)練Loss曲線

3.3 評價指標(biāo)

在本文的實(shí)驗(yàn)中,均使用mAP(mean Average Precision)來評判模型識別的效果.mAP是目標(biāo)檢測中衡量檢測精度的常用指標(biāo),指的是多個類別的平均準(zhǔn)確率的平均值.AP指的是單個類別的平均準(zhǔn)確率,衡量的是模型在某一類別上識別效果的好壞.本文使用的AP默認(rèn)為AP50,即預(yù)測框與ground truth的IOU在大于50%前提下的單類別的平均準(zhǔn)確率.而mAP即為所有AP的平均值.mAP的值越大表示該模型的總體識別準(zhǔn)確率越高[14].

3.4 測試結(jié)果

本文提出的改進(jìn)YOLOv3與YOLOv3的對比測試結(jié)果如表1所示.

表1 對比測試結(jié)果(%)

可以看出本文的改進(jìn)YOLOv3在火焰和煙霧檢測的平均精度上均有所提升,尤其在火焰的檢測精度上有大幅提升.在各種場景的火災(zāi)圖像中,小尺寸的火焰目標(biāo)較多,而煙霧對象由于其自身的擴(kuò)散特性,在圖像中一般占據(jù)較大的尺寸.本文選用了更大尺寸的特征圖進(jìn)行小目標(biāo)檢測,并使用偏好小尺寸的anchor聚類生成策略來改善模型的小目標(biāo)檢測性能,因此在火焰目標(biāo)的檢測性能上有較好的提升,而對于本身尺寸較大的煙霧對象則提升有限,總體上有效提高了模型的火災(zāi)檢測精度.

最終訓(xùn)練得到的火災(zāi)檢測模型在測試樣本上的檢測結(jié)果如圖7所示,可以看出檢測模型在圖像中存在小目標(biāo)的情況下也能實(shí)現(xiàn)準(zhǔn)確檢測與識別,整體檢測效果較為理想.

圖7 測試結(jié)果

4 結(jié)論與展望

針對目前火災(zāi)頻發(fā),火災(zāi)檢測實(shí)時性難以保證的情況,本文提出了一種基于改進(jìn)YOLOv3的火災(zāi)檢測與識別方法.實(shí)驗(yàn)結(jié)果表明,本文使用的方法在火災(zāi)檢測和識別上能夠取得較好的檢測效果,尤其在小目標(biāo)檢測上有顯著提升.但是,由于火焰和煙霧本身具有形狀不固定的特點(diǎn),通過固定錨點(diǎn)實(shí)現(xiàn)坐標(biāo)回歸的方法難以獲得較高精度的目標(biāo)檢測框.因此,在以后的研究中,將重點(diǎn)解決火災(zāi)目標(biāo)檢測中錨點(diǎn)方法的改進(jìn),以獲得更高的檢測精度.