李博 劉磊

摘要：火災(zāi)給人們的生命財(cái)產(chǎn)安全帶來了嚴(yán)重威脅，做好火災(zāi)預(yù)防有著重要意義?；谌斯ぶ悄芎颓度胧娇刂萍夹g(shù)，開發(fā)了一套基于視覺的嵌入式煙火監(jiān)控云臺(tái)，用于公共區(qū)域的煙火實(shí)時(shí)監(jiān)控與預(yù)警。該云臺(tái)使用NumPy算法庫對(duì)視頻圖像進(jìn)行快速預(yù)處理，以提高煙火檢測(cè)的準(zhǔn)確度和處理速度；使用Yolov5檢測(cè)算法對(duì)視頻圖像中的煙霧和火焰進(jìn)行分類識(shí)別，通過選取大量不同的火焰和煙霧場(chǎng)景制作數(shù)據(jù)集，得到煙火視頻圖像的檢測(cè)模型，可以實(shí)現(xiàn)大范圍的煙火監(jiān)控與跟蹤。實(shí)驗(yàn)表明，該算法可以實(shí)現(xiàn)通用場(chǎng)景下的煙火快速識(shí)別、檢測(cè)與預(yù)警。

關(guān)鍵詞：云臺(tái)系統(tǒng)；圖像識(shí)別；深度學(xué)習(xí)；煙火監(jiān)控

火焰給人類帶來了許多益處，對(duì)火的合理利用是促進(jìn)人類科學(xué)發(fā)展的一個(gè)重要因素，但使用不慎就會(huì)造成火災(zāi)。隨著現(xiàn)代工業(yè)技術(shù)的發(fā)展，工廠、倉庫等工業(yè)場(chǎng)景逐漸增加，火災(zāi)的隱患也隨之變大，給人們的日常生活及生命財(cái)產(chǎn)安全帶來嚴(yán)重威脅，很有可能導(dǎo)致難以估計(jì)的后果。因此，在火災(zāi)發(fā)生早期發(fā)現(xiàn)火災(zāi)并及時(shí)預(yù)警，對(duì)于保護(hù)人民安全、維護(hù)社會(huì)秩序有著十分重要的意義。

現(xiàn)如今，隨著火災(zāi)探測(cè)技術(shù)的發(fā)展，出現(xiàn)了基于傳感器和基于視頻的兩種主流火災(zāi)探測(cè)技術(shù)。傳統(tǒng)的基于傳感器火災(zāi)檢測(cè)技術(shù)，使用感煙、感光、感溫等傳感器來檢測(cè)火災(zāi)的發(fā)生[1]，存在易受環(huán)境影響限制、延時(shí)高、誤報(bào)率高等問題，當(dāng)面對(duì)多變的情況時(shí)，不能進(jìn)行精確的火焰探測(cè)。針對(duì)這些問題，文章基于機(jī)器視覺、嵌入式控制技術(shù)以及深度學(xué)習(xí)等技術(shù)，搭載了通用煙火監(jiān)控云臺(tái)系統(tǒng)，可實(shí)現(xiàn)對(duì)公共區(qū)域煙霧、火災(zāi)的實(shí)時(shí)監(jiān)控及預(yù)警。

1 基于顏色空間的火焰識(shí)別

1.1? 圖像預(yù)處理

高斯濾波器是一種根據(jù)高斯函數(shù)的形狀來選擇權(quán)值，對(duì)圖像進(jìn)行線性平滑操作的濾波器。高斯濾波對(duì)于濾除服從正態(tài)分布的噪聲非常有效，其被廣泛應(yīng)用于圖像處理中的去噪、過濾和平滑等處理環(huán)節(jié)中。通過實(shí)驗(yàn)對(duì)比，文章選擇使用高斯濾波對(duì)煙火圖像進(jìn)行預(yù)處理。

1.2? 火焰判據(jù)及檢測(cè)結(jié)果

火焰可以基于顏色特征進(jìn)行識(shí)別，最常見的火焰檢測(cè)研究基于火焰的RGB和HIS顏色空間[2]，并以此為根據(jù)創(chuàng)建了火焰檢測(cè)的顏色模型，主要以紅色分量的色調(diào)和飽和度設(shè)定判斷依據(jù)，進(jìn)而分割火焰和背景，對(duì)火焰進(jìn)行識(shí)別。

RGB顏色模型主要是根據(jù)顏色分量的大小不同提取火焰特征檢測(cè)火災(zāi)?；鹧娴募t色分量（R）的值往往很大，綠色分量（G）次之，藍(lán)色分量（B）的值較小，所以有紅色分量（R）大于綠色分量（G），綠色分量（G）大于藍(lán)色分量（B）[3]。 依照火焰的這一顏色特征，有以下判定依據(jù)：

（1）

其中，S是HIS顏色空間中的S分量，表示顏色的深淺程度；RT是紅色分量的設(shè)定閾值，ST是飽和度的設(shè)定閾值。為了避免被背景照明影響，被提取出來的火焰的飽和度需要大于一個(gè)值從而避免錯(cuò)誤檢測(cè)。根據(jù)火焰的檢測(cè)結(jié)果，RT最佳取值為115到135，ST最佳取值為55到65。使用該判據(jù)進(jìn)行檢測(cè)，檢測(cè)結(jié)果如圖1-b、e所示。

基于以上檢測(cè)結(jié)果，在進(jìn)行火焰檢測(cè)時(shí)，對(duì)火焰的判據(jù)進(jìn)行進(jìn)一步的完善，增加火焰像素點(diǎn)的紅色通道像素值大于整幅圖像紅色通道所有像素點(diǎn)的平均像素值這一判據(jù)，整體對(duì)火焰的判斷依據(jù)如式（2）所示：

（2）

當(dāng)使用該火焰檢測(cè)方法對(duì)視頻中的火焰進(jìn)行檢測(cè)時(shí)，需要挨個(gè)讀取每一幀圖像，之后遍歷每一幀圖像的每個(gè)像素點(diǎn)，獲取每個(gè)像素點(diǎn)的像素值并進(jìn)行顏色飽和度的判定，判斷該像素點(diǎn)是否符合火焰的判定依據(jù)。這種檢測(cè)方法使得程序在運(yùn)行時(shí)的速度比較緩慢，尤其是在檢測(cè)視頻中的火焰時(shí)會(huì)產(chǎn)生較大的延遲。針對(duì)該問題，文章應(yīng)用NumPy庫對(duì)算法進(jìn)行改進(jìn)。NumPy可以直接對(duì)整張圖片的像素值進(jìn)行處理，避免了遍歷每個(gè)像素點(diǎn)的操作，大幅減少了檢測(cè)的時(shí)間，提升了整體的檢測(cè)的速度，確保了視頻火焰檢測(cè)的實(shí)用性，可以對(duì)火災(zāi)進(jìn)行實(shí)時(shí)檢測(cè)。應(yīng)用改進(jìn)后的方法對(duì)圖像進(jìn)行檢測(cè)，檢測(cè)結(jié)果如圖1-c、f所示。從檢測(cè)結(jié)果來看，改進(jìn)后的顏色空間模型在對(duì)火焰進(jìn)行檢測(cè)時(shí)取得了更好的效果，獲得的二值圖像更加符合實(shí)際的火焰區(qū)域，同時(shí)檢測(cè)的速度也有所提升。

2 基于背景減除法的煙霧檢測(cè)

背景減除法是一種常用煙霧檢測(cè)、識(shí)別方法，經(jīng)常被用于視頻圖像檢測(cè)[4]。由于模型中被檢測(cè)目標(biāo)和背景是分開的，故該背景減除法用于動(dòng)態(tài)的視頻圖像特征檢測(cè)中往往能得到較好的處理效果。文章使用基于混合高斯模型的背景減除法，該方法分離被檢測(cè)目標(biāo)和背景的判斷依據(jù)是根據(jù)像素點(diǎn)的變化率，一般把變化緩慢的區(qū)域作為背景，變化快的區(qū)域識(shí)別為被檢測(cè)目標(biāo)[5]。

2.1? 模型初始化

假設(shè)每個(gè)像素用K個(gè)高斯函數(shù)描述，第K個(gè)高斯的權(quán)重為，那么在時(shí)刻t，背景像素Xt的高斯模型可以描述為：

（3）

其中，，

。

使用上述模型對(duì)背景像素進(jìn)行描述之后，背景的每個(gè)像素就通過高斯序列來描述，其中的每個(gè)高斯都有一個(gè)權(quán)重，K值一般取值為3到5，K值越大，算法處理波動(dòng)的能力就越強(qiáng)，抗噪性能越好，背景建模效果也會(huì)更加穩(wěn)定，不過隨著K值的增加算法復(fù)雜度也會(huì)提高，背景建模速度也會(huì)變慢。

2.2? 目標(biāo)檢測(cè)

高斯序列要求按照權(quán)重比（/σ）降序排列。這樣，用前B個(gè)權(quán)重之和大于閾值T的高斯函數(shù)來描述實(shí)際的背景模型，后面的高斯函數(shù)由于權(quán)重小于閾值，所占權(quán)重太小，因此不被用于描述背景。B的表達(dá)式為：

（4）

對(duì)于一個(gè)新時(shí)刻N(yùn)的像素值XN，使其遍歷表示背景模型的高斯模型序列，看其是否符合某個(gè)高斯模型，當(dāng)?shù)谝粋€(gè)滿足公式（5）的高斯模型為第k個(gè)，且k＜B，則認(rèn)為該點(diǎn)是前景，否則為背景。

（5）

2.3? 參數(shù)更新

初始化預(yù)先定義幾個(gè)高斯模型，也就是第一個(gè)滿足公式（6）的高斯模型，進(jìn)行如下式的參數(shù)更新。

（6）

其中，α為學(xué)習(xí)率。

判斷視頻分幀后每一幀圖像的每個(gè)像素能否跟某一高斯模型匹配，選取其中最匹配的模型作為背景模型，為識(shí)別被檢測(cè)目標(biāo)做準(zhǔn)備。

綜合以上預(yù)處理以及檢測(cè)方法對(duì)視頻中的煙霧進(jìn)行檢測(cè)，檢測(cè)結(jié)果如圖2所示，能夠達(dá)到煙霧檢測(cè)要求。

圖2? 視頻煙霧的檢測(cè)結(jié)果

3 基于Yolov5的視頻圖像煙火檢測(cè)

由于煙火監(jiān)控的應(yīng)用場(chǎng)景各異，為了達(dá)到更準(zhǔn)確的監(jiān)控效果，文章利用上述的火焰識(shí)別和煙霧檢測(cè)算法，結(jié)合Yolo算法，搭建了視頻圖像煙火檢測(cè)深度學(xué)習(xí)平臺(tái)，綜合圖像處理和大數(shù)據(jù)的技術(shù)優(yōu)勢(shì)，完善煙火檢測(cè)云臺(tái)。

3.1? 深度學(xué)習(xí)框架搭建

Yolo算法把對(duì)圖像中物體的檢測(cè)問題轉(zhuǎn)化成回歸問題，即通過幾個(gè)邊界框來對(duì)物體的種類和數(shù)量進(jìn)行分類[6]。相比于Faster R-CNN算法，Yolo算法的MAP（平均精度）值較低，但是FPS（畫面每秒傳輸幀數(shù)）值較高，所以具有更快的計(jì)算速度，因此在檢測(cè)不是特別復(fù)雜的圖像，或者檢測(cè)相對(duì)簡(jiǎn)單的物體時(shí)具有更大優(yōu)勢(shì)。

文章使用YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)模型對(duì)實(shí)時(shí)煙火視頻進(jìn)行檢測(cè)。YOLOv5s結(jié)構(gòu)簡(jiǎn)單、訓(xùn)練速度快，但檢測(cè)的平均精度偏低，因此多用于大視野、大體積的目標(biāo)識(shí)別檢測(cè)。文章使用PyTorch庫搭建深度學(xué)習(xí)框架，PyTorch框架的運(yùn)行速度快，接口設(shè)計(jì)靈活，封裝設(shè)計(jì)簡(jiǎn)潔，具有靈活性和實(shí)用性。

3.2? 視頻煙火檢測(cè)過程及結(jié)果

文章根據(jù)云臺(tái)的應(yīng)用場(chǎng)景，從互聯(lián)網(wǎng)獲得包含煙霧和火焰的圖片340張，使用LabelImg工具導(dǎo)入圖片，對(duì)圖像中物體的類別進(jìn)行標(biāo)注，完成打標(biāo)簽工作。使用前文所述方法對(duì)圖片中的煙霧和火焰進(jìn)行標(biāo)注。使用打完標(biāo)簽的數(shù)據(jù)集進(jìn)行訓(xùn)練，將Batch Size大小為16，Epoch大小設(shè)置為300，執(zhí)行訓(xùn)練命令，訓(xùn)練完成后得到Y(jié)olov5深度學(xué)習(xí)算法生成的權(quán)重文件。

使用訓(xùn)練生成的模型對(duì)視頻和圖片中的煙霧和火焰進(jìn)行檢測(cè)識(shí)別，檢測(cè)結(jié)果如圖3所示，其中a為煙火綜合檢測(cè)，b為煙霧檢測(cè)，c為多火焰檢測(cè)，d為爆炸場(chǎng)景檢測(cè)。

a? ? ? ? ? ? ? ? ? ? ? ? ? ?b? ? ? ? ? ? ? ? ? ? ? ? ? ? ?c? ? ? ? ? ? ? ? ? ? ? ? ? ?d

圖3? 圖像中的煙霧和火焰檢測(cè)結(jié)果

從視頻和圖片中的檢測(cè)結(jié)果可以看出，對(duì)于特征明顯的煙霧和火焰取得了較好的檢測(cè)結(jié)果。對(duì)于視頻中的全部煙霧不能全部識(shí)別，但是仍然能判斷出圖像中大部分存在的煙霧以及火焰，對(duì)整體的檢測(cè)效果沒有太大的影響。同時(shí)，應(yīng)用該模型也可以在一定程度上對(duì)爆炸的結(jié)果進(jìn)行檢測(cè)。

4 結(jié)語

文章使用NumPy算法庫和Yolov5深度學(xué)習(xí)檢測(cè)算法，對(duì)監(jiān)控云臺(tái)中煙火視覺識(shí)別算法進(jìn)行了研究，該算法可以用于公共區(qū)域的煙火實(shí)時(shí)監(jiān)控與預(yù)警。實(shí)驗(yàn)表明，該算法可以實(shí)現(xiàn)通用場(chǎng)景下的煙火快速識(shí)別、檢測(cè)與預(yù)警。

參考文獻(xiàn)：

[1]朱曉妤，嚴(yán)云洋，劉以安，等.基于深度森林模型的火焰檢測(cè)[J].計(jì)算機(jī)工程，2018，44（7）：264-270.

[2]盧結(jié)成，吳龍標(biāo)，宋衛(wèi)國.一種火災(zāi)圖像探測(cè)系統(tǒng)的研究[J].儀器儀表學(xué)報(bào)，2001（4）：437-440.

[3]萬纓，韓毅，盧漢清.運(yùn)動(dòng)目標(biāo)檢測(cè)算法的探討[J].計(jì)算機(jī)仿真，2006，23（10）：221-226.

[4]張小駿，劉志鏡，陳昆.一種基于像素梯度信息的背景減除法[J].計(jì)算機(jī)科學(xué)，2015，42（8）：300-304.

[5]胡皓然，王穎.結(jié)合HSV空間陰影消除的高斯混合模型背景減除方法[J].電子設(shè)計(jì)工程，2018，26（7）：31-34+39.

[6]杜晨錫，嚴(yán)云洋，劉以安，等.基于YOLOv2的視頻火焰檢測(cè)方法[J].計(jì)算機(jī)科學(xué)，2019，46（6）：301-304.

Research on smoke and fire monitoring PTZ algorithm based on vision

Li Bo1， Liu Lei2

（1.Tianjin Shengda Fire Industrial Corporation， Tianjin? 300381;

2.Tianjin University of Science and Technology， Tianjin? 300222）

Abstract：Fire has brought a serious threat to people's life and property safety. It is of great significance to do a good job in fire prevention. Based on artificial intelligence and embedded control technology， this paper develops a set of vision based embedded fireworks monitoring PTZ for real-time monitoring and early warning of fireworks in public areas. The PTZ uses NumPy algorithm library to quickly preprocess video images to improve the accuracy and processing speed of fireworks detection. Yolov5 detection algorithm is used to classify and recognize the smoke and flame in the video image. By selecting a large number of different flame and smoke scenes to make data sets， the detection model of fireworks video image is obtained， which can realize a wide range of fireworks monitoring and tracking. Experiments show that the PTZ algorithm can realize the rapid recognition， detection and early warning of fireworks in general scenes.

Keywords：PTZ system; image recognition; deep learning; fireworks monitoring