母西軍,鐵新納,馮博,喬涵宇,張濤

(1. 河南省海通消防安全工程有限公司,河南 鄭州 450000;2.鄭州市城市隧道綜合管理養(yǎng)護中心,河南 鄭州 450000;3.河南索凌機電設(shè)備安裝工程有限公司,河南 鄭州 450000)

0 引 言

隧道是一個及其封閉的空間,升溫速度較快,在高溫狀態(tài)下,遇到易燃易爆物體極易引起火災(zāi)。隧道內(nèi)空氣流通不暢,累積有害有毒氣體達到一定濃度后,人體的健康也將會遭到威脅。

為了解決上述問題,相關(guān)文獻對此做了研究。文獻［1］提出了一種基于射頻識別技術(shù)的隧道防火預(yù)警系統(tǒng),該系統(tǒng)采用射頻識別(radio frequency identification,RFID)技術(shù)的防火檢測標簽作為隧道防火預(yù)警的檢測手段,最終實現(xiàn)隧道的防火預(yù)警,但該系統(tǒng)由于外界環(huán)境和接觸電阻等因素的不確定性,產(chǎn)生較大的熱量,造成段子溫度不穩(wěn)定性。文獻［2］提出了一種基于無線傳感器網(wǎng)絡(luò)(wireless sensor networks, WSN)的隧道防火預(yù)警系統(tǒng),該系統(tǒng)由傳感器節(jié)點、網(wǎng)關(guān)以及監(jiān)控終端三部分組成,利用WSN技術(shù),實現(xiàn)了隧道防火預(yù)警的功能,但該系統(tǒng)存在著網(wǎng)絡(luò)布線困難與傳輸距離有限的問題。基于上述文獻中的不足,本文提出了基于紅外圖像識別技術(shù)的隧道防火預(yù)警方法,設(shè)計了紅外圖像識別技術(shù)的隧道防火預(yù)警的硬件部分和軟件部分;利用樹莓派4代Raspberry Pi 4B 開發(fā)板,采集隧道紅外圖像,結(jié)合軟件程序,實現(xiàn)隧道的防火預(yù)警;最后利用遷移學習和基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)(region-based fully convolutional network, R-FCN)算法,實現(xiàn)了隧道紅外圖像的識別［3-4］。

1 基于紅外圖像識別技術(shù)的隧道防火預(yù)警系統(tǒng)的設(shè)計

1.1 硬件設(shè)計

本系統(tǒng)的硬件設(shè)計采用了模塊化的設(shè)計方案,包括主控模塊、圖像采集模塊、圖像顯示模塊以及預(yù)警模塊四個部分。圖像采集采用的是紅外CCD攝像頭、紅外光源和紅外濾波光片,實現(xiàn)了紅外圖像的采集;中控模塊利用樹莓派4代Raspberry Pi 4B 開發(fā)板,對采集到的紅外圖像進行實時處理與識別［5］;圖像顯示模塊采用LCD屏,進行處理后的圖像結(jié)果以及圖像識別結(jié)果的顯示;預(yù)警模塊由采集器和微控制器組成的報警控制主機,以警示燈預(yù)警和現(xiàn)場語音播放完成防火預(yù)警［6］?；诩t外圖像識別技術(shù)的隧道防火預(yù)警系統(tǒng)硬件結(jié)構(gòu)如圖1所示。

圖1 基于紅外圖像識別技術(shù)的隧道防火預(yù)警系統(tǒng)硬件結(jié)構(gòu)圖

系統(tǒng)的主控模塊采用樹莓派4B作為控制器,內(nèi)部含有ARM架構(gòu)的64位和1.5G Hz的微處理器Cortex-A72。使用BCM2711型號的片上系統(tǒng),并且自帶視頻輸入接口CSI和支持4k高清視頻輸入的雙Micro-hdmi接口以及音頻輸出的HDMI接口,同時還具有千兆以太網(wǎng)的有線網(wǎng)口,內(nèi)有無線WiFi模塊［7］。

通過紅外CCD攝像頭進行隧道中的紅外圖像采集,采用RMONCAM林柏視的S320H型號攝像頭模組。圖像采集與主控模板之間采用USB接口進行連接,在紅外CCD攝像頭前配置了紅外高透濾光片,能夠很好地排除可見光的干擾,同時為了排除日光對紅外LED光源的干擾,采用了遮光罩,進而提高了紅外圖像采集的高清度。

圖像顯示模塊采用了LCD顯示屏,顯示屏采用的是320×240的分辨率,并且能夠?qū)崿F(xiàn)觸屏控制,與樹莓派4B兼容［8］。顯示屏的相關(guān)參數(shù)如表1所示。

表1 顯示屏的相關(guān)參數(shù)

預(yù)警模塊采用報警控制主機,由采集器和微控制器組成。采集器實現(xiàn)了接收圖像采集模塊傳輸?shù)男盘?通過報警控制繼電器進行輸出,并與微控制單元(micro controller unit, MCU)進行通信,并發(fā)送至上位機;MCU負責遠程實時通信,實現(xiàn)系統(tǒng)的實時現(xiàn)場預(yù)警與遠程預(yù)警。

1.2 軟件設(shè)計

采用模塊化的思想方案,對圖像采集、圖像識別、圖像顯示、預(yù)警設(shè)置以及界面設(shè)計實現(xiàn)模塊化［9］。基于紅外圖像識別技術(shù)的隧道防火預(yù)警系統(tǒng)的軟件設(shè)計流程如圖2所示。

圖2 軟件程序設(shè)計流程圖

首先完成程序的初始化,對紅外CCD攝像頭進行檢測,檢測連接狀態(tài)以及攝像頭的調(diào)用情況,并采集此刻的幀圖像。采用Opencv庫對圖像進行灰度化,在LCD顯示屏上進行顯示,通過對灰度化圖像進行預(yù)處理操作。若達到閾值,則保存到指定的路徑,否則進行下一幀的讀取。接著進行判斷圖像數(shù)量是否達到要求,達到要求進行多幀圖像融合處理,否則接著對下一幀圖像讀取。融合處理后進行圖像識別,判斷圖像是否處于火災(zāi)狀態(tài),若是啟動預(yù)警模塊響應(yīng),若不是讀取下一幀圖像［10］。該系統(tǒng)中若圖像識別檢測到隧道發(fā)生事故時,將此紅外圖像信號傳輸至防火預(yù)警模塊、MCU以及各數(shù)據(jù)庫,同時由報警控制繼電器輸出。MCU實時通信和遠程預(yù)警通信進行預(yù)警,并發(fā)出指令信號。此時啟用遠程遠端技術(shù)傳輸至監(jiān)控中心負責人的計算機端以及移動端［11］,實現(xiàn)遠程預(yù)警,現(xiàn)場預(yù)警則以LED閃爍和語音播報的方式進行預(yù)警。

2 基于遷移學習和R-FCN的紅外圖像識別算法

基于上文紅外圖像識別的硬件設(shè)計,采用的是遷移學習和R-FCN算法。首先對程序進行遷移學習訓練,通過系統(tǒng)的硬件部分對隧道的紅外圖像采集,將圖像傳輸至卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)進行紅外圖像卷積特征圖的提取,使用卷積特征圖和區(qū)域建設(shè)網(wǎng)絡(luò)構(gòu)建窗口傳送至子網(wǎng)系統(tǒng)。將卷積特征圖進行多卷積核計算,產(chǎn)生分數(shù)圖,最后進行定位與識別。遷移學習和R-FCN算法的流程框圖如圖3所示。

圖3 遷移學習和R-FCN算法的流程框圖

遷移學習采用數(shù)據(jù)、任務(wù)以及模型之間的相像性,將原來學習過的知識模型作為學習新知識的基礎(chǔ),繼續(xù)學習新的模型,從而降低深度學習的所需硬件資源。遷移學習定義為:

D(s)={χ,P(χ)},D(t)={χ,P(χ)}

(1)

式中:D(s)為原領(lǐng)域;D(t)為目標領(lǐng)域;χ為域的特征空間;P(χ)為特征空間對應(yīng)的邊緣概率分布。

通過區(qū)域候選網(wǎng)絡(luò)(region propaasal network, RPN)可以獲得感興趣區(qū)域(region of interest, ROI)的位置,同時生成位置敏感分數(shù)圖。假設(shè)通道數(shù)量為k2(c+1),最大值池化位置敏感分數(shù)圖,并使用(i,j)表示ROI和位置敏感分數(shù)圖單個區(qū)塊的所在位置,且(i,j)的取值范圍為(0≤i≤k-1,0≤j≤k-1),其中表達式為:

(2)

式中:rc(i,j|θ)為位置敏感分數(shù)圖第c個通道中k2個分塊中的第(i,j)個分塊;zi,j,c為Feature Map中第c通道的Map,且c的取值范圍為0≤c≤k2(c+1);bin(i,j)為ROI中k2個分塊中第(i,j)個分塊對應(yīng)在Feature Map中位置集合;(x0,y0)為在ROI的左上角坐標;(x,y)為ROI中(x0,y0)為原點時每個元素的坐標值,且(x,y)的取值范圍為i×w/h≤x≤(i+1)×w/h;n為第(x,y)個塊里的像素總數(shù);θ為網(wǎng)絡(luò)的參數(shù)。

接著對通道數(shù)為k2(c+1)的位置敏感分數(shù)圖進行最大值計算,表達式為:

Vc(θ)=max［rc(i,j|θ)］

(3)

式中:Vc(θ)為特征向量;max為每個位置敏感分數(shù)圖中的最大值［14］。對向量作全連接,表達式為:

(4)

式中:Vc為特征向量;ωc為特征向量影響因子;b為向量全連接時的外界信息影響因素或者參考值;θ為網(wǎng)絡(luò)的參數(shù);k為數(shù)據(jù)通道中的分塊;c為數(shù)據(jù)通道。

最后對特征向量進行Softmax函數(shù)的分類操作,表達式為:

(5)

式中:Oi(θ)為網(wǎng)絡(luò)參數(shù)為θ下的特征向量分類值;eOi(θ)為位置第c個通道中網(wǎng)絡(luò)參數(shù)為θ的向量全連接分類指標。

在網(wǎng)絡(luò)訓練階段,采用梯度下降的訓練方法,總的損失函數(shù)為每個ROI的交叉熵損失以及邊界框回歸損失之和［15］,即:

(6)

(7)

式中:SmoothL1(x)為R的損失函數(shù)。SmoothL1“光滑”后的L1保留了L1Loss中梯度穩(wěn)定的特點,同時吸取了L1Loss中心點不可求導的缺陷。最后對紅外圖像進行識別,其表達公式為:

(8)

對每個特征圖像幀進行判別,數(shù)據(jù)經(jīng)過分類器訓練得到,將得到的結(jié)果通過式(8)計算,從而得到最終隧道防火紅外圖像識別的結(jié)果。

3 試驗結(jié)果與分析

為了驗證本文研究的系統(tǒng)的有效性,做了相關(guān)的試驗。首先搭建試驗平臺。該試驗平臺硬件選用PYNQ-Z2開發(fā)板,并對開發(fā)板的軟件進行配置,其中配置參數(shù)如表2所示。

表2 試驗環(huán)境配置參數(shù)

在本試驗平臺上安裝了Linux系統(tǒng),并且配置的IP地址默認為192.168.2.99,與計算機網(wǎng)口相連接。開發(fā)板自帶了一個基于web端的python開發(fā)環(huán)境,可直接在網(wǎng)頁上進行python程序的編寫,本試驗對隧道火災(zāi)判別標準如表3所示。

表3 隧道火災(zāi)判別標準

基于上面的數(shù)據(jù),對本文研究的系統(tǒng)進行試驗測試,試驗設(shè)置的迭代次數(shù)為6 000次。首先對紅外識別的準確度進行測試,測試結(jié)果并與文獻［1］方法和文獻［2］方法進行對比。試驗結(jié)果對比如圖4所示。

圖4 試驗結(jié)果對比

對紅外圖像識別的準確率進行測試,本文系統(tǒng)準確率明顯高于文獻［1］方法和文獻［2］方法,并且準確率在80%到100%之間波動,準確率最高可達96%;文獻［1］方法的準確率在60%到80%之間波動,并且準確率最高為80%,與本文研究的系統(tǒng)相比存在著差距;文獻［2］方法的準確率在50%到80%之間波動,并且準確率最高為78%,與本文研究的系統(tǒng)相比存在著較大的不足。由此可見,本文研究的系統(tǒng)相較于文獻［1］方法和文獻［2］方法,對紅外圖像識別的準確率較高,有一定的優(yōu)勢。

系統(tǒng)運行12 h后,再對比本文研究的系統(tǒng)與文獻［1］方法、文獻［2］方法之間消耗的功率。試驗結(jié)果如圖5所示。

圖5 三種方法試驗結(jié)果對比

由圖5可知:本文研究的系統(tǒng)在系統(tǒng)運行12 h時,系統(tǒng)消耗的功率為100 W;文獻［1］方法在系統(tǒng)運行12 h時,系統(tǒng)消耗的功率為180 W,與本文研究的系統(tǒng)相比消耗的功率較多,并且存在很大的差距;文獻［2］方法在系統(tǒng)運行12 h時,系統(tǒng)消耗的功率為160 W,因此該研究防火性能較好。

4 結(jié)束語

為了預(yù)防隧道火災(zāi)的發(fā)生,本文提出了基于紅外圖像識別技術(shù)的隧道防火預(yù)警方法,并設(shè)計了基于紅外圖像識別技術(shù)的隧道防火預(yù)警系統(tǒng)。首先對硬件系統(tǒng)進行設(shè)計,采用紅外CCD攝像頭、紅外光源和紅外濾波光片,實現(xiàn)了紅外圖像的采集;然后利用樹莓派4代Raspberry Pi 4B 開發(fā)板,對紅外圖像進行實時處理與識別;最后利用遷移學習和R-FCN算法,實現(xiàn)了紅外圖像的識別,并提高了紅外圖像識別的準確率。由于隧道運行對信號不好,導致在信號傳輸時,存在著傳輸速率慢的問題,因此還需更做深一步的研究。