亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于稠密光流和目標(biāo)檢測的煙霧檢測算法

        2022-07-15 01:44:20葉寒雨李傳昌崔國華張偉偉
        電光與控制 2022年7期
        關(guān)鍵詞:光流煙霧物體

        葉寒雨, 李傳昌, 劉 淼, 崔國華, 張偉偉

        (1.上海工程技術(shù)大學(xué),上海 201000; 2.清華大學(xué),北京 100000)

        0 引言

        火災(zāi)是種危害極大且發(fā)生頻率高的災(zāi)難。在火災(zāi)即將發(fā)生前,通常都會有大量的煙霧產(chǎn)生,通過對煙霧的測量、分析,可判斷被檢測區(qū)域是否會發(fā)生火災(zāi)。傳統(tǒng)的煙霧檢測方法是基于各種傳感器進行檢測,其中,離子感煙探測器的原理是通過在電離室中的放射源镅使電離室中的空氣產(chǎn)生電離,進而使得空氣在電路中呈現(xiàn)電阻特性。煙霧進入傳感器的電離室中會引起電離的電流發(fā)生改變,也就是電離室的阻抗發(fā)生變化。最后根據(jù)阻抗變化的大小判定煙霧大小。光電感煙探測器則是利用煙霧會吸收和散射光的特性來檢測煙霧。雖然這些傳感器能準(zhǔn)確地檢測到煙霧,但其存在安裝成本高昂、覆蓋面積有限、響應(yīng)速度慢等問題。隨著機器視覺與深度學(xué)習(xí)的發(fā)展,加之監(jiān)控視頻的普及,基于視頻圖像的煙霧檢測方法逐漸成為主流研究方向。

        基于圖像的煙霧檢測方法主要分為基于顏色的方法、基于運動的方法和基于熱量的方法。其中,基于顏色的煙霧檢測并不完全可靠,因為灰色或黑色的煙霧對于其他物體的非煙霧像素來說是常見的;除了顏色之外,由于煙霧流體特性,其形狀、陰影、運動和密度也無法預(yù)測,并且難以檢測;動態(tài)紋理在煙霧檢測中也起著重要作用,大多數(shù)時候,煙霧會使圖像模糊,并且從中提取的特征變得不可靠。

        ZHAO等[1]通過提取煙霧的飄動、熱量和顏色特征,使用CS Adaboost算法對這些特征進行分類。 CS Adaboost算法通過更新訓(xùn)練樣本或輸入的權(quán)重提高分類的精度;WANG[2]首先通過模糊邏輯提高圖像質(zhì)量,然后提取圖像靜態(tài)特征和動態(tài)特征,將它們輸入到SVM分類器,該方法具有可靠、實時性高等優(yōu)點;LEE等[3]結(jié)合了煙霧的時間和空間特征(如顏色、運動、熱量分析和混亂分析等),最后使用聚類算法找到煙霧區(qū)域;XIONG等[4]通過提取背景、閃爍頻率、輪廓等特征,再根據(jù)煙霧序列的周長和面積對煙霧區(qū)域進行分類;楊劍等[5]通過改進殘差網(wǎng)絡(luò)(ResNET)結(jié)構(gòu),實現(xiàn)精確的煙霧區(qū)域檢測;YUAN[6]研究了煙霧在RGB空間中的規(guī)律,通過煙霧的顏色來檢測煙霧;王衛(wèi)兵等[7]使用最優(yōu)質(zhì)量傳輸光流作為描述符用于火焰和煙霧檢測,采用單隱層神經(jīng)網(wǎng)絡(luò)分類器進行特征提取,能夠準(zhǔn)確地區(qū)分煙霧與類似煙霧的云;顏洵等[8]通過改進YOLOv4網(wǎng)絡(luò)模型對火焰和煙霧的目標(biāo)進行檢測,能夠快速并準(zhǔn)確地檢測濃烈的煙霧和火焰。

        目前主流的煙霧檢測算法都是基于檢測較大的煙霧而設(shè)計的,對于小煙霧的檢測效果不佳,因為煙霧過小、不成形且呈現(xiàn)半透明狀態(tài),極易誤檢、漏檢。基于上述考慮,本文提出針對小煙霧的檢測算法,使用光流對煙霧的運動進行估計。由于光流會受到運動物體的影響,本文引入目標(biāo)檢測算法對運動物體的干擾進行剔除。

        1 色彩空間轉(zhuǎn)換

        RGB顏色空間是圖像處理中最基本、最常用的顏色空間,大部分通過視頻采集的圖像都是處于該顏色空間。在該顏色空間下任何顏色都由R,G,B這3個分量組成,由于R,G,B這3個分量都受到亮度變化影響,即對亮度變化敏感,所以該顏色空間不適用于本文的光流估計。

        基于上述問題,本文采用HSV顏色空間。HSV是根據(jù)顏色的直觀特性而建的一種顏色空間,其表達彩色圖像的方式由色調(diào)(H)、飽和度(S)、明度(V)3個部分組成。由于其亮度被放在了單獨的一個通道中,故使用該色彩空間的圖像用作光流估計可以得到更加準(zhǔn)確的結(jié)果。

        設(shè)r,g,b為一個顏色的紅、綠、藍三色分量,Cmax等價于r,g和b中的最大者,Cmin等于這些值中的最小者。則RGB色彩空間轉(zhuǎn)換到HSV色彩空間的算式為

        (1)

        (2)

        V=Cmax。

        (3)

        2 光流估計算法

        光流估計是一種具有視覺直觀性的圖像處理算法,其在圖像分割、視頻處理和目標(biāo)跟蹤等領(lǐng)域取得了不少成果。光流的原理是通過計算連續(xù)圖像間同一像素的移動方向和距離,其受相機的運動和拍攝場景中移動目標(biāo)的運動共同影響。另外,光流還易受到諸如快速移動的對象、物體遮擋、運動模糊和無紋理的表面等因素影響。近年來,基于深度學(xué)習(xí)的方法已經(jīng)替代傳統(tǒng)方法成為研究的主流,它可以通過訓(xùn)練直接預(yù)測光流而不必人工設(shè)計估計方法,具有計算速度快、估計準(zhǔn)確等優(yōu)點。

        光流估計總體可分為稀疏光流估計和稠密光流估計兩種方法。其中,稀疏光流估計算法的代表為Lucas-Kanade算法[9],由LUCAS和KANADE于1981年提出。

        目前主流的稠密光流估計算法大多基于深度學(xué)習(xí),其中典型代表為2015年在ICCV會議中提出的FlowNet[10],它是第一個嘗試?yán)镁矸e神經(jīng)網(wǎng)絡(luò)去直接預(yù)測光流的算法。HUI等[11]于2018年在CVPR會議中提出了LiteFlowNet,引入了級聯(lián)預(yù)測光流和特征正則的思想,進一步提升了光流估計算法的性能。

        2.1 LiteFlowNet光流估計算法

        LiteFlowNet的網(wǎng)絡(luò)由兩個緊湊的子網(wǎng)絡(luò)組成,兩個子網(wǎng)絡(luò)分別用于金字塔特征提取和光流估計。其中,NetC負(fù)責(zé)將任何給定的圖像對轉(zhuǎn)換為多尺度高維特征的兩個金字塔,另一個NetE由級聯(lián)流推理和正則化模塊組成,用于估計從粗到細的流場。

        在NetC中,對兩個金字塔特征提取網(wǎng)絡(luò)共享權(quán)重,將圖像分辨率以一定的比例降低來生成圖像金字塔,對每個金字塔層的圖片進行特征提取,生成特征金字塔。在NetE的每個金字塔級別,逐像素匹配高級特征集并生成粗略的光流估計,然后對光流進一步細分并將其提高到亞像素精度。

        2.2 算法改進

        在使用LiteFlowNet估計光流前必須對網(wǎng)絡(luò)進行訓(xùn)練,網(wǎng)絡(luò)原生的權(quán)重用于檢測煙霧效果并不理想。本文采用常用的兩個光流數(shù)據(jù)集Kitti和Sintel分別對網(wǎng)絡(luò)進行訓(xùn)練。其中,Kitti數(shù)據(jù)集是由德國卡爾斯魯厄理工學(xué)院和豐田美國技術(shù)研究院建立的一個基于自動駕駛場景的數(shù)據(jù)集,其可用于光流訓(xùn)練與評測;而Sintel數(shù)據(jù)集則是基于Ton Roosendaal和Blender Foundation的開源動畫短片制作的數(shù)據(jù)集。

        在實驗室中使用配置如表1的工作站對兩個數(shù)據(jù)集分別進行訓(xùn)練,兩個數(shù)據(jù)集使用相同的訓(xùn)練參數(shù),具體參數(shù)見表2。

        表1 配置表Table 1 Configuration table

        表2 LiteFlowNet訓(xùn)練參數(shù)Table 2 Training parameters of LiteFlowNet

        使用原生的網(wǎng)絡(luò)和訓(xùn)練好的網(wǎng)絡(luò)對采集的煙霧圖像分別進行光流估計。通過對比大量的煙霧圖像檢測結(jié)果發(fā)現(xiàn),Sintel數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)在檢測煙霧上更具優(yōu)勢,其結(jié)果更加精確,噪聲干擾更少,故選擇使用Sintel數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)作為本文的光流估計網(wǎng)絡(luò)。權(quán)重效果對比如圖1所示。

        圖1 權(quán)重效果對比Fig.1 Comparison of weight effect

        由于煙霧并非剛性物體,其運動緩慢雜亂且形態(tài)不定,顏色也在不斷變化,故經(jīng)LiteFlowNet計算后的光流運動圖中煙霧的運動距離普遍較低,導(dǎo)致其易受噪聲干擾,雖然使用Sintel數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)對噪聲抑制有一定作用,但依然存在大量的噪點導(dǎo)致無法準(zhǔn)確估計煙霧。為了保證每次降噪處理后結(jié)果的一致性,本文通過對大量檢測結(jié)果進行數(shù)據(jù)統(tǒng)計與分析,最終得到一個適用于本文所涉及硬件的像素運動量閾值st用于剔除噪聲,將低于閾值st的像素運動量s予以置零處理,大于等于st的保持不變,即

        (4)

        噪聲去除前后效果對比如圖2所示。

        圖2 噪聲去除前后效果對比Fig.2 Comparison before and after noise removal

        由圖2可以明顯看到,處理后除煙霧以外區(qū)域的噪聲被消除,提升了煙霧估計的精度便于后續(xù)的計算。

        3 目標(biāo)檢測算法

        YOLO(You Only Look Once)是由REDMON于2016年在CVPR會議中提出的一種快速且精度尚可的目標(biāo)檢測算法[12]。在此之后又更新了YOLOv2[13]與YOLOv3[14],在精度和速度上二者均有所提升。

        文獻[15]通過試驗對比了近幾年來大量的最新的深度學(xué)習(xí)技巧,提出了馬賽克(Mosaic)增強、自對抗訓(xùn)練數(shù)據(jù)增強方法、改進的空間注意力機制(SAM)、改進的路徑聚合網(wǎng)絡(luò)(PANet)以及批歸一化等5大改進。最終在平均精確度均值(mean Average Precision,mAP)和推理速度上遠超YOLOv3,其中,mAP提升10%,推理速度提升12%。

        YOLOv4具有簡單而高效的網(wǎng)絡(luò)架構(gòu),其訓(xùn)練簡單,對硬件要求不高,并且檢測速度快、精度高,符合本文所需。本文通過YOLOv4檢測到目標(biāo)(如人或其他需要去除的物體)的矩形框坐標(biāo),為了去除光流估計運動物體時周圍產(chǎn)生的錯誤估計,將矩形框放大一定比例,再使用該矩形框坐標(biāo)去除動態(tài)目標(biāo)對煙霧檢測造成的干擾。

        3.1 網(wǎng)絡(luò)結(jié)構(gòu)

        本文使用的YOLOv4網(wǎng)絡(luò)采用CSPDarknet53作為骨干網(wǎng)絡(luò)BackBone, SPP作為Neck的附加模塊,PANet作為Neck的特征融合模塊,YOLOv3作為Head,其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

        圖3 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Structure of YOLOv4 network

        3.2 網(wǎng)絡(luò)改進

        原始的YOLOv4算法使用的是隨機梯度下降(Stochastic Gradient Descent,SGD)[16]法,因為自適應(yīng)學(xué)習(xí)率類優(yōu)化算法(如Adam[17])普遍存在泛化能力較差、檢測精度不穩(wěn)定等問題。針對以上問題,在研究了近年來新興的優(yōu)化算法后,選擇AdaBelief[18]算法作為YOLOv4的優(yōu)化器。AdaBelief通過改進Adam中的二階動量,可根據(jù)當(dāng)前梯度與其指數(shù)移動平均值的差值來調(diào)整步長,具有Adam一樣快速的收斂速度,相比SGD也具有良好的泛化能力和檢測精度。

        為了驗證改進的優(yōu)化算法是否有效果,本文使用VOC2007數(shù)據(jù)集分別對使用SGD,Adam,AdaBelief的YOLOv4進行訓(xùn)練,使用收斂速度作為評價指標(biāo),其中,損失下降如圖4所示。

        圖4 損失下降圖Fig.4 Loss descent

        使用訓(xùn)練得到的網(wǎng)絡(luò)權(quán)重在VOC2007測試集上進行測試,并采用mAP對結(jié)果進行評估,結(jié)果如圖5所示。

        圖5 mAP對比圖Fig.5 Comparison of mAP

        從圖4、圖5可以看出,使用AdaBelief算法的YOLOv4要優(yōu)于另外兩種,故本文采用該算法作為YOLOv4的優(yōu)化器。

        3.3 網(wǎng)絡(luò)訓(xùn)練

        本文使用視覺對象分類評估數(shù)據(jù)集VOC2007進行訓(xùn)練,因本文只檢測人物,故選擇包含人物的圖片進行訓(xùn)練,使用與LiteFlowNet相同的工作站進行訓(xùn)練,訓(xùn)練參數(shù)如表3所示。

        表3 YOLOv4訓(xùn)練參數(shù)Table 3 Training parameters of YOLOv4

        訓(xùn)練好的網(wǎng)絡(luò)在VOC2007測試集中進行測試,使用常用的目標(biāo)檢測算法評價指標(biāo):準(zhǔn)確率(Precision)、召回率(Recall)和AP (Average precision)對本文的方法進行評價,其中,準(zhǔn)確率是真正例在所有預(yù)測正例中的比例,召回率是真正例在所有真實正例中的比例,具體算式分別為

        (5)

        (6)

        其中:FFN表示被判定為負(fù)樣本的正樣本;FFP表示被判定為正樣本的負(fù)樣本;TTN表示被判定為負(fù)樣本的負(fù)樣本;TTP表示被判定為正樣本的正樣本。根據(jù)檢測結(jié)果,以召回率為橫軸、準(zhǔn)確率為縱軸,就可以得到如圖6所示的PR曲線。

        圖6 PR曲線Fig.6 PR curve

        對PR曲線求取平均值,即

        (7)

        計算得到AAP=87.01%,能很好地滿足視頻圖像中人物的檢測。

        4 算法整合

        本文提出的煙霧檢測算法SmokeNet算法架構(gòu)如圖7所示。其主要流程如下:1) 將兩幅連續(xù)幀圖像輸入LiteFlowNet3網(wǎng)絡(luò)中得到煙霧的光流估計;2)使用YOLOv4檢測圖像中潛在移動物體;3)將潛在移動物體區(qū)域的光流估計予以棄置;4)對最終的光流估計進行降噪處理;5)分析最終光流估計的結(jié)果,即運動區(qū)域大小判斷其是否為煙霧以及煙霧大小,判斷閾值設(shè)置為圖像總像素點的5%。

        圖7 SmokeNet算法架構(gòu)Fig.7 SmokeNet architecture

        5 實驗與分析

        5.1 實驗環(huán)境

        在實驗室中使用工作站、監(jiān)控相機、煙霧發(fā)生器、可燃物等搭建實驗平臺來模擬煙霧。

        5.2 實驗步驟與結(jié)果

        對本文提出的方法進行驗證,主要步驟有:

        1) 使用電腦連接監(jiān)控相機對煙霧進行實時采集圖像,取連續(xù)兩幀圖像作為整個系統(tǒng)的輸入圖像;

        2) 使用訓(xùn)練好的YOLOv4網(wǎng)絡(luò)檢測原始輸入第1幀圖像中的人物,得到目標(biāo)的矩形框坐標(biāo);

        3) 將轉(zhuǎn)換過色彩空間的兩幀視頻圖像輸入到訓(xùn)練好的LiteFlowNet中,得到光流運動圖;

        4) 使用預(yù)先設(shè)定好的閾值對光流運動進行篩除,去除背景噪聲的干擾,得到運動物體與煙霧的光流運動;

        5) 使用YOLOv4得到的矩形框坐標(biāo)經(jīng)過向外擴充一定大小后的坐標(biāo)對光流運動圖進行修剪,去除運動物體的光流運動;

        6) 統(tǒng)計最終圖像運動像素的數(shù)量,再根據(jù)大量實驗得到的閾值判斷當(dāng)前圖像是否有煙霧以及煙霧的大小規(guī)模。具體實驗過程如圖8所示。

        圖8 實驗過程圖Fig.8 Experimental process

        在實驗室中通過監(jiān)控攝像機拍攝煙霧發(fā)生器及真實燃燒煙霧采集數(shù)段視頻,經(jīng)解幀后總計得到1124幀視頻圖像。本文使用TP表示真正例,即有煙且檢測到;FP表示假正例,即無煙但檢測到有煙;TN表示真反例,即無煙也未檢測到;FN表示假反例,即有煙但未檢測到。分別使用傳統(tǒng)的幀間差分法、基于YOLOv4的方法[7]和本文提出的光流估計法檢測,統(tǒng)計結(jié)果如表4所示。

        表4 結(jié)果統(tǒng)計Table 4 Result statistics

        根據(jù)實驗結(jié)果使用準(zhǔn)確率(Precision)和召回率(Recall)進行評估,結(jié)果如表5所示。

        表5 評估結(jié)果Table 5 Evaluation results %

        實驗結(jié)果顯示,本文提出的方法在準(zhǔn)確率和召回率上均優(yōu)于傳統(tǒng)的幀間差分法和基于YOLOv4的方法;根據(jù)實驗觀察,本文方法能夠滿足室內(nèi)煙霧檢測的需求,檢測魯棒性好,尤其是在煙霧較小的情況下也能準(zhǔn)確識別,且能夠排除潛在運動物體的干擾,減少誤報的可能。

        6 結(jié)論

        本文通過對煙霧運動的光流估計分析,結(jié)合使用固定閾值剔除噪聲以及使用YOLOv4剔除運動物體的干擾,提出了煙霧檢測算法SmokeNet,實現(xiàn)了對煙霧的檢測,在實驗中取得了93.53%的檢測準(zhǔn)確率和88%的召回率。本文提出的SmokeNet煙霧檢測算法能夠?qū)崟r、準(zhǔn)確地實現(xiàn)檢測,并能排除動態(tài)物體的干擾,及時發(fā)現(xiàn)火情,大大減少生命財產(chǎn)損失;而且無需增加額外傳感器,借助現(xiàn)有的監(jiān)控系統(tǒng)即可,易于大規(guī)模應(yīng)用。但本文方法尚存在一些問題,比如需要根據(jù)經(jīng)驗設(shè)置閾值、對視頻畫面要求較高且運行速度不夠快等,解決這些問題將是進一步研究的方向。

        猜你喜歡
        光流煙霧物體
        利用掩膜和單應(yīng)矩陣提高LK光流追蹤效果
        薄如蟬翼輕若煙霧
        深刻理解物體的平衡
        影視劇“煙霧繚繞”就該取消評優(yōu)
        華人時刊(2019年13期)2019-11-26 00:54:38
        我們是怎樣看到物體的
        基于物理學(xué)的改善粒子圖像測速穩(wěn)健光流方法研究
        咸陽鎖緊煙霧與塵土
        為什么同一物體在世界各地重量不一樣?
        會下沉的煙霧
        融合光流速度場與背景差分的自適應(yīng)背景更新方法
        97无码免费人妻超级碰碰夜夜| 国产成人av一区二区三| 中文字幕在线乱码亚洲| 极品少妇hdxx麻豆hdxx| 欧美日本国产va高清cabal| 一区二区三区福利在线视频| 亚洲一区二区三区在线激情| 丰满人妻一区二区三区视频| 无码人妻久久一区二区三区不卡| 亚洲av无码片在线播放| 亚洲一区二区三区新视频 | 四虎永久在线精品免费网址| 无码午夜成人1000部免费视频| 日韩AV有码无码一区二区三区| 熟女人妻一区二区中文字幕| 插上翅膀插上科学的翅膀飞| 成人免费看片又大又黄| 亚洲色AV性色在线观看| 我也色自拍俺也色自拍| 美女扒开大腿让男人桶| 亚洲av无码国产剧情| 26uuu欧美日本在线播放| 亚洲成A人A∨久在线观看| 国产精品亚洲av一区二区三区| 国产精品国产三级国产av品爱 | 亚洲综合色丁香婷婷六月图片| 无码国产精品一区二区免费式芒果| 久久亚洲中文字幕精品二区| 成年女人粗暴毛片免费观看| 四虎永久在线精品免费观看地址| 久久久精品国产亚洲av网不卡| 77777亚洲午夜久久多喷| 无码成人aaaaa毛片| 午夜国产精品久久久久| 高潮精品熟妇一区二区三区| 日本特黄特色特爽大片| 96免费精品视频在线观看| 91桃色在线播放国产| av无码电影一区二区三区| 欧美成人精品第一区二区三区| 亚洲情精品中文字幕有码在线|