王少韓，劉淼

（201620 上海市 上海工程技術(shù)大學(xué) 機械與汽車工程學(xué)院）

0 引言

大多數(shù)火災(zāi)都是從局部火災(zāi)開始的，并造成各種損害，例如人身和財產(chǎn)損失等，快速準確地檢測和響應(yīng)局部初始火災(zāi)在減少損失方面發(fā)揮了重要作用。當(dāng)前的火災(zāi)探測系統(tǒng)基于照相機和諸如煙霧、火焰、熱的檢測傳感器的圖像處理分類，這類系統(tǒng)的準確性非常低。由于煙霧滅菌、垃圾焚燒、煙霧、氣味、滅火器、警報故障等原因，置信水平為95%時，每年平均發(fā)生48 371±5 763 例，這比滅火的概率高出1.2 倍。

目前，隨著圖像識別的發(fā)展，基于深度學(xué)習(xí)的算法分為Two-stage 算法和One-stage 算法，前者主要以 Faster R-CNN[1]網(wǎng)絡(luò)為代表，后者主要以SSD[2]、YOLO[3-4]系列等網(wǎng)絡(luò)為代表。另外，兩種算法的優(yōu)勢不同，One-stage 算法檢測速度通?？煊赥wo-stage 算法，但檢測精度低于后者；而作為One-stage 算法的代表網(wǎng)絡(luò)，YOLO（You Only Look Once）算法的檢測速度特別快，適于實時目標檢測以及在許多工業(yè)現(xiàn)場中應(yīng)用。相比于其它目標檢測算法，YOLO 算法不僅速度優(yōu)勢明顯，而且模型體積小，方便部署于嵌入式設(shè)備中。目前較新的版本為YOLOv5 網(wǎng)絡(luò)，它在YOLOv3[3]、YOLOv4[4]的基礎(chǔ)上使用更多訓(xùn)練技巧提升模型的檢測精度，具備更強大的檢測能力，但網(wǎng)絡(luò)的訓(xùn)練依賴于大量有標記數(shù)據(jù)集，在訓(xùn)練樣本受限的條件下，該方法的性能有待提高。

本文識別的是火災(zāi)，并且要在微型計算機樹莓派上實現(xiàn)，相對于準確率，對識別速度的要求比較高，故使用了YOLOv5 算法，同時，把PC端訓(xùn)練的模型移植到樹莓派上，最后測試得到實驗結(jié)果。

1 YOLOv5 算法簡介

1.1 YOLOv5 的4 種模型

YOLOv5 算法直接以源碼的方式發(fā)放出來，更適合工業(yè)化。YOLOv5 有4 個模型：YOLOv5s[5]、YOLOv5m、YOLOv5l、YOLOv5x。因為本文最后要在計算能力較弱的樹莓派實現(xiàn)，根據(jù)圖1 所示的4個模型的算法性能圖，選擇了v5s 版本。v5s 模型更小且速度更快，并且是寬度和深度最小的模型，所以進行深度學(xué)習(xí)需要的計算量比較少。

圖1 模型算法性能圖Fig.1 Model algorithm performance chart

1.2 YOLOv5s 的網(wǎng)絡(luò)結(jié)構(gòu)

圖2 是YOLOv5s 的網(wǎng)絡(luò)結(jié)構(gòu)，以coco 數(shù)據(jù)集為基準。YOLOv5s 模型的網(wǎng)絡(luò)結(jié)構(gòu)由4 部分組成：輸入端，Backbone，Neck，Prediction（輸出端）。除此之外，又包含5 個基本組件：CBL 模塊、Res unit 模塊、CSPX 模塊、SPP 模塊、Focus 模塊。其它基礎(chǔ)操作包括張量拼接和張量相加。

圖2 YOLOv5s 的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of YOLOv5s

1.3 輸入端

YOLOv5 輸入端較之前版本改進之處是使用的Mosaic 參考了2019 年底提出的CutMix[6]目標增強方式。CutMix 目標增強只能使2 張圖進行拼接，而v5 模型可以指定幾張圖片進行拼接，通過設(shè)置參數(shù)實現(xiàn)，而且數(shù)據(jù)是隨機縮放、裁剪、排布的。除了數(shù)據(jù)增強，還使用了自適應(yīng)圖片縮放，v5 模型可以自動將圖片進行縮放轉(zhuǎn)換。

1.4 Bcakbone

1.4.1 Focus 結(jié)構(gòu)

Focus 結(jié)構(gòu)是v5 模型的創(chuàng)新點，該結(jié)構(gòu)里最重要的就是slice（切片操作），圖3 為slice 操作示意圖，圖像經(jīng)過切片后變成不同維度的特征圖。

圖3 Slice 操作Fig.3 Slice operation

1.4.2 CSP 結(jié)構(gòu)

YOLOv5 模型含有2 種CSP 結(jié)構(gòu)，圖2 中有詳細描述，其中CSP1_X 結(jié)構(gòu)應(yīng)用于Backbone 主干網(wǎng)絡(luò)中，CSP2_X 結(jié)構(gòu)則應(yīng)用于Neck 中。主干網(wǎng)絡(luò)中采用CSP 組件的優(yōu)點：增強卷積網(wǎng)絡(luò)的學(xué)習(xí)能力；兼顧速度和準確率、降低計算瓶頸；降低內(nèi)存成本。

1.5 Neck

YOLOv5 的Neck 結(jié)構(gòu)和v4 版本的一樣，都是FPN+PAN 的結(jié)構(gòu)。在v5 剛問世時，只采用FPN結(jié)構(gòu)，后來不斷改進增加了PAN 結(jié)構(gòu)，此外網(wǎng)絡(luò)中其他結(jié)構(gòu)也在不停地調(diào)整。網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。v5 版本Neck 中的創(chuàng)新之處是將v4 版本Neck 中的普通卷積換成了CSP 結(jié)構(gòu)，這樣做的目的是為了加強特征融合能力。

1.6 Prediction（輸出端）

1.6.1 Bounding box 損失函數(shù)

YOLO 算法目標檢測的損失函數(shù)一般由分類損失函數(shù)和候選框回歸損失函數(shù)2 部分組成。在YOLO 算法中，候選框回歸損失函數(shù)在不斷改進，改進歷程為：Smooth L1 損失函數(shù)→ IOU 損失函數(shù)（2016）→GIOU 損失函數(shù)（2019）→ DIOU 損失函數(shù)（2020）→CIOU 損失函數(shù)（2020）。好的損失函數(shù)應(yīng)該考慮以下3 個重要影響因素：重疊面積、中心點距離、長寬比。v5 版本采用的就是最新的候選框損失函數(shù)CIOU 損失函數(shù)。

1.6.2 nms 非極大值抑制

在目標檢測的后期處理中，針對很多目標框的篩選，通常需要nms 操作，簡言之，通過設(shè)置閾值，篩選最像目標的候選框。YOLOv5 采用的是DIOU+nms 的方式，由圖4 可見，v5 版本使用加權(quán)后的nms 后，物體識別時會有明顯的加強效果，圖4（b）箭頭所指，原本被遮擋的目標也可以檢出。

圖4 NMS 和DIOU+NMSFig.4 NMS and DIoU +NMS

2 YOLOv5s 的算法訓(xùn)練

2.1 實驗數(shù)據(jù)集的準備

火災(zāi)數(shù)據(jù)集比較少，所以通過coco 數(shù)據(jù)和網(wǎng)頁爬取一部分數(shù)據(jù)自建了含有1 000 多張圖片的數(shù)據(jù)集。對數(shù)據(jù)集的操作：（1）標注數(shù)據(jù)。使用的是labelme 標注工具，標注好的數(shù)據(jù)會保存為json類型的文件；（2）修改v5s 配置文件。YOLOv5目錄下的model 文件夾是模型的配置文件，找到Y(jié)OLOv5s 配置文件，將配置文件中的nc 改寫成1；（3）轉(zhuǎn)換標注數(shù)據(jù)格式。在YOLO 算法中，json文件的信息是識別不出來的，因為json 文件的標注框是絕對位置，YOLO 算法中能識別的是相對位置，所以需要轉(zhuǎn)換；（4）數(shù)據(jù)集的配置。該步驟需要在YOLOv5 目錄下的data 文件下創(chuàng)建一個fire.yaml 文本，將自建的訓(xùn)練集和驗證集以及自建類別的名稱和代號寫到該文件中。

2.2 模型訓(xùn)練

訓(xùn)練開始之前，在train.py 文件中要修改幾個參數(shù)：（1）epochs：訓(xùn)練過程中整個數(shù)據(jù)集將被迭代的次數(shù)，本次實驗調(diào)到1 000，確保訓(xùn)練的穩(wěn)定性；（2）batch-size：一次看完多少張圖片才進行權(quán)重更新，由于設(shè)備問題，將其設(shè)置成8。（3）cfg：存儲模型結(jié)構(gòu)的配置文件，就是YOLOv5s.yaml 文件。（4）data：存儲訓(xùn)練、測試數(shù)據(jù)的文件，也就是上文中的fire.yaml 文件。（5）weights：本文使用的權(quán)重文件是其他模型產(chǎn)生的權(quán)重文件，根據(jù)遷移學(xué)習(xí)。如果從0 開始訓(xùn)練，自建的1 000 張照片的數(shù)據(jù)集訓(xùn)練的模型效果不好或不佳，所以使用其他模型的權(quán)重文件進行訓(xùn)練，這樣既能加快訓(xùn)練速度，又能保證模型精度。

2.3 訓(xùn)練結(jié)果分析

2.3.1 實驗平臺

實驗硬件環(huán)境為英特爾酷睿i7-9750H 處理器，英偉達GTX1650 顯卡，16 G 內(nèi)存；軟件環(huán)境為Win10 系統(tǒng)，Python3.7，所使用的深度學(xué)習(xí)框架為PyTorch。

2.3.2 訓(xùn)練數(shù)據(jù)結(jié)果和分析

首先得到的是訓(xùn)練集的精確率變化曲線，如圖5 表示。從圖5 可以看出，訓(xùn)練集通過1 000個epoch 后，精確率穩(wěn)定在0.7 左右。平均精度值mAP 值在閾值0.5 情況下的曲線變化如圖6 所示，1 000 個epoch 后穩(wěn)定在0.6。通過這2 個評價指標，可以看出模型的性能是比較穩(wěn)定的。

圖5 訓(xùn)練集精確率變化曲線圖Fig.5 Curve of accuracy rate of training set

圖6 閾值0.5 下的mAP 值變化曲線圖Fig.6 Map of mAP value under threshold value of 0.5

標簽和訓(xùn)練效果的對比如圖7 所示。從訓(xùn)練效果圖中可以看出，火災(zāi)的置信度在0.8 以上，除個別圖片未被召回外，其訓(xùn)練效果良好。

圖7 標簽圖和訓(xùn)練效果圖Fig.7 Label picture and training effect picture

3 樹莓派實現(xiàn)

本文研究對象用的是樹莓派4B[7]開發(fā)板，硬件和板載接口如圖8 所示。

圖8 樹莓派4B 開發(fā)板硬件部分和板載接口圖Fig.8 Hardware part and on-board interface diagram of Raspberry Pie 4B development board

3.1 模型移植

在Windows10 環(huán)境下使用PyTorch 深度學(xué)習(xí)框架實現(xiàn)算法的改進與訓(xùn)練，獲得訓(xùn)練好的模型權(quán)重后，將算法與模型權(quán)重部署到樹莓派上。由模型部署到移動端TFLite 上需要模型的轉(zhuǎn)換，思路為：pt →ONXX →CoreML →tflite，然后將轉(zhuǎn)換后的文件放入樹莓派中指定的文件中。

3.2 實時結(jié)果

完成環(huán)境配置與模型移植后，可以進行實時監(jiān)測實驗。如圖9 的監(jiān)測結(jié)果所示，樹莓派能正確無誤地把火識別出來，并且實時性能指標FPS 為5.47，可以進行實時監(jiān)測。

圖9 實時監(jiān)測結(jié)果Fig.9 Real-time monitoring results

4 結(jié)論

本文通過將YOLOv5 算法與基于Raspberry Pi設(shè)計的監(jiān)控攝像頭結(jié)合檢測火災(zāi)。在PC 端得到火災(zāi)的訓(xùn)練模型，精度達到0.7，然后將算法移植到樹莓派上，識別出了火災(zāi)，F(xiàn)PS 為5 左右，并能實時檢測。該檢測系統(tǒng)穩(wěn)定可靠，成本低，較為流暢，具有廣闊的應(yīng)用場景。