畢曉君,孫梓瑋,劉進
(1.中央民族大學(xué) 信息工程學(xué)院,北京 100081;2.哈爾濱工程大學(xué) 信息與通信工程學(xué)院,黑龍江 哈爾濱 150001)
隨著城市建設(shè)的高速發(fā)展以及基建能力的提升,高層建筑越來越多。由于建設(shè)規(guī)模大、裝修標(biāo)準(zhǔn)高、人員密集以及各種電氣設(shè)備的頻繁使用,因此高層建筑往往存在著較大的火災(zāi)隱患。近年來,我國高層建筑火災(zāi)呈逐年上升趨勢,造成的人員傷亡和經(jīng)濟損失觸目驚心,僅2019 年高樓層建筑火災(zāi)6874 起,共死亡1335 人。經(jīng)分析,高層建筑造成人員傷亡的主要原因是由于樓層過高、人員分散且相對封閉,使現(xiàn)場人員無法第一時間獲得火災(zāi)發(fā)生信息,特別是火災(zāi)發(fā)生的地點,從而造成逃生決策失誤,錯過了寶貴的逃生時機。因此,如何利用高新科技有效解決高層建筑火災(zāi)定點報警及逃生智能指導(dǎo)的研究迫在眉睫。
目前現(xiàn)有的火災(zāi)自動報警系統(tǒng)主要存在以下問題[1-5]:1)無法及時通知現(xiàn)場人員火災(zāi)發(fā)生的具體地點,容易錯失最佳逃生時機及造成逃生錯誤等問題;2)部署報警系統(tǒng)時需要穿墻布線,無法做到靈活部署,對于老舊小區(qū)、古建筑等場景情況無法應(yīng)用;3)當(dāng)火災(zāi)發(fā)生時,只能實現(xiàn)警笛報警,沒有具體可行的逃生指導(dǎo)方案;4)當(dāng)救援工作展開時,由于對建筑內(nèi)火情及人群情況不清楚而導(dǎo)致救援指揮延誤。而目前國內(nèi)外針對火災(zāi)處理的研究重點為消防用水系統(tǒng),消防排煙系統(tǒng),應(yīng)急照明及多探測器消防聯(lián)動控制等火災(zāi)處理方面,而火災(zāi)定位報警,智能引導(dǎo)人群逃生及逃生通道的人群密度監(jiān)控等方面尚無研究。
針對上述問題,本文基于人工智能技術(shù)的發(fā)展,特別是具有無線傳輸能力的智能芯片問世,結(jié)合火災(zāi)實際需求提出了可行的研究方法。所設(shè)計的報警系統(tǒng)能夠?qū)崿F(xiàn)一旦發(fā)生火情,第一時間對建筑內(nèi)所有區(qū)域進行定位報警,并及時語音播報各區(qū)域的最佳逃生路線。同時開發(fā)基于深度學(xué)習(xí)的行人檢測算法以掌握建筑內(nèi)各區(qū)域的人群密度狀態(tài),能夠隨時指導(dǎo)現(xiàn)場人員選擇最佳的具體逃生路線。經(jīng)查閱火災(zāi)報警相關(guān)文獻和資料,目前國內(nèi)外尚無類似功能的火災(zāi)語音報警系統(tǒng),本系統(tǒng)的研究具有創(chuàng)新性和實用性,可為火災(zāi)現(xiàn)場人員贏得寶貴的逃生時間,給出最佳的逃生路線,提高逃生效率。
本文通過TXW8301-WiFi 模塊實現(xiàn)系統(tǒng)組網(wǎng),并結(jié)合煙霧火災(zāi)探測器和WT588D 語音單片機構(gòu)成節(jié)點設(shè)備,實時自動監(jiān)測各樓層不同區(qū)域的煙霧濃度狀態(tài),當(dāng)檢測到某處煙霧濃度過高時,表明有火災(zāi)發(fā)生,立即激活建筑內(nèi)所有節(jié)點設(shè)備組網(wǎng),根據(jù)預(yù)存逃生路線及火災(zāi)發(fā)生情況自動語音播報火災(zāi)的具體地點以及逃生路線,并能夠?qū)⒚繉訕遣煌瑓^(qū)域的實時狀態(tài)通過無線網(wǎng)發(fā)送至上位機,上位機將收到的數(shù)據(jù)以界面動畫的形式進行顯示。同時現(xiàn)場可編程邏輯門陣列(field programmable gate array,FPGA)開發(fā)板通過串口控制上位機樹莓派端進行各逃生通道的圖像數(shù)據(jù)采集,將采集的圖像數(shù)據(jù)通過網(wǎng)口發(fā)送至部署有E902-CPU 的FPGA 端,通過運行其部署的中值濾波算法[6]、同態(tài)濾波算法[7-10]進行圖像去噪、去煙及補光處理。在樹莓派中部署基于人工智能的行人檢測算法[11-14]對視頻的人數(shù)進行監(jiān)測,當(dāng)超過一定的人數(shù)閾值后,界面上就會發(fā)出警報,并重新規(guī)劃各樓層不同區(qū)域的逃生路線。同時,將建筑內(nèi)火災(zāi)報警情況以及人群密度情況在上位機界面進行顯示,方便消防及管理部門了解內(nèi)部情況,進行智能救援指揮,最大限度地降低火災(zāi)中的人員傷亡。
本系統(tǒng)由硬件設(shè)備和算法軟件兩部分組成。硬件設(shè)備包括TXW8301-WiFi 模塊、JTY-GDDG311 激光煙霧火災(zāi)探測器、WT588D 語音單片機組成的節(jié)點設(shè)備以及系統(tǒng)上位機端。算法軟件包括基于中值濾波的圖像去噪算法、基于同態(tài)濾波的去煙補光算法以及基于深度學(xué)習(xí)的實時行人檢測算法,還有數(shù)據(jù)傳輸模塊以及系統(tǒng)上位機界面。圖1 給出了系統(tǒng)整體工作流程。
圖1 系統(tǒng)整體工作流程Fig.1 Overall work flow of the system
整個系統(tǒng)硬件包括節(jié)點設(shè)備和系統(tǒng)上位機端兩大部分,其中節(jié)點設(shè)備用于樓層火災(zāi)檢測,主要由TXW8301-WiFi 模塊、JTY-GD-DG311 激光煙霧火災(zāi)探測器以及WT588D 語音單片機組成,平時系統(tǒng)處于休眠狀態(tài)的,無需電源。當(dāng)火災(zāi)發(fā)生時,通過火災(zāi)檢測信號自動啟動電源,激活各個節(jié)點開始工作。考慮到火災(zāi)時容易出現(xiàn)斷電現(xiàn)象,因此搭配移動電源使用非傳統(tǒng)的插座式電源,可以滿足系統(tǒng)連續(xù)工作12 個小時。在日常使用中,系統(tǒng)會定時激活所有節(jié)點,進行設(shè)備及電池自檢,保證系統(tǒng)始終處于能夠正常工作的狀態(tài)??蓪崿F(xiàn)實時監(jiān)測樓層火災(zāi)、實現(xiàn)系統(tǒng)組網(wǎng)、語音播報以及將監(jiān)測數(shù)據(jù)發(fā)送至上位機。系統(tǒng)上位機端主要由樹莓派主控和FPGA 硬件加速端組成,主要功能是將獲取的火災(zāi)數(shù)據(jù)、圖像數(shù)據(jù)進行處理并顯示。本系統(tǒng)的硬件架構(gòu)圖如圖2 所示。
圖2 硬件設(shè)計關(guān)系圖Fig.2 Hardware design relationship diagram
在設(shè)計WiFi 通信模塊時,將集成有玄鐵E803-CPU 內(nèi)核的TXW-8301-WiFi 模塊配置為STA 網(wǎng)絡(luò)模式,通過GPIO 的高低電平即火災(zāi)探測器繼電器的輸出信號來判斷光電感煙器是否檢測到有火災(zāi)發(fā)生,當(dāng)某處檢測到有火災(zāi)發(fā)生后,WiFi 模塊通過GPIO 接口驅(qū)動WT588D 語音模塊進行語音播報,同時基于socket 網(wǎng)絡(luò)通信協(xié)議將火災(zāi)信息發(fā)送到上位機AP 端。
該WiFi 模塊工作在730~950 MHz 頻段,相較于2.4 GHz 和5 GHz 頻率的其他WiFi 設(shè)備,在擁有在相同發(fā)射功率的情況下具有傳輸距離遠,穿透性強的優(yōu)點,最遠傳輸距離可達到3 km,非常適用于高樓層之間的無線信息傳輸。同時預(yù)留豐富的接口可用于開發(fā),本系統(tǒng)對該模塊的使用情況如表1 所示。
表1 TXW8301-WiFi 接口使用情況Table 1 TXW8301-WiFi interface usage
語音播報模塊由WT588D 語音芯片及外掛16M-Flash 存儲芯片組成,將事先錄制好的不同區(qū)域的逃生路線語音通過專用Flash 燒寫器寫入Flash 芯片,一旦某處被檢測到有火災(zāi)發(fā)生時,立即通過TXW8301 模塊的GPIO 接口模擬三線SPI 協(xié)議驅(qū)動WT588D 語音播報不同區(qū)域的逃生路線,同時外接功放來提升語音信號輸出功率。
上位機主控端由端使用樹莓派4B,通過掛載TXW83-01-WiFi 模塊的驅(qū)動使用AH 接口控制WiFi 模塊,通過Linux 指令集配置主控端WiFi 模塊為AP 網(wǎng)絡(luò)模式,并將工作頻段和密匙配置成和STA 端相同,實現(xiàn)主控端與節(jié)點設(shè)備的WiFi組網(wǎng),具體配置參數(shù)如表2 所示。
表2 WiFi 模塊參數(shù)配置Table 2 Wi-Fi module parameter configuration
通過QT 軟件制作了火災(zāi)報警系統(tǒng)界面充分利用樹莓派的優(yōu)勢,將各子節(jié)點設(shè)備傳輸?shù)臄?shù)據(jù)以界面動畫形式進行展示,可以更清晰的在上位機樹莓派端實時反映各樓層的設(shè)備及火災(zāi)發(fā)生情況。同時,在各樓層的逃生通道處置有攝像頭,一旦檢測到有火災(zāi)發(fā)生,將各攝像頭采集的圖像數(shù)據(jù)發(fā)送至上位機端進行處理,通過基于深度學(xué)習(xí)的行人檢測算法,獲得各通道的人群密度情況,并在上位機端界面進行展示。可實時監(jiān)控逃生通道的人流量,以及時優(yōu)化各區(qū)域逃生路線及消防部門的救援指揮工作。
基于Wujian100 軟核的Nexys Video FPGA 將采集的圖像數(shù)據(jù)通過中值濾波算法、同態(tài)濾波算法進行處理[15-17],減少圖像噪點,提升圖像的清晰度,提升在暗光環(huán)境下的圖像質(zhì)量,處理后的圖像數(shù)據(jù)再發(fā)送至樹莓派端。搭建FPGA 圖像處理硬件系統(tǒng)框圖如圖3 所示。系統(tǒng)的硬件加速設(shè)計模塊以移植有Wujian100 軟核移植的Nexys Video FPGA 開發(fā)板為核心,通過構(gòu)建圖像處理系統(tǒng)的Block Design 將其例化到頂層。Wujian100 軟核外設(shè)拓展總線均為AHB 接口,首先添加AHB 轉(zhuǎn)AXI總線橋適配軟核接口,分別通過AXI Ethernet Subsystem 和AXI Direct Memory Access 兩個IP 核實現(xiàn)以太網(wǎng)外設(shè)GEMAC 和DMA 的功能,將圖像數(shù)據(jù)傳入FPGA。然后對圖像數(shù)據(jù)應(yīng)用中值濾波和同態(tài)濾波算法,最后將處理后的圖像數(shù)據(jù)通過DMA 緩存至DDR3。
圖3 圖像處理硬件系統(tǒng)框圖Fig.3 Block diagram of the image processing hardware system
2.4.1 Wujian100 軟核
Wujian100 軟核是一種嵌入式CPU 核,以8 位CPU 的成本獲得32 位嵌入式CPU 的運行效率與性能。該軟核兼容RISC-V 指令架構(gòu),采用16/32 位混合編碼系統(tǒng),指令系統(tǒng)與流水線硬件結(jié)構(gòu)精簡高效,具備極低成本、極低功耗和高代碼密度等優(yōu)點。
2.4.2 以太網(wǎng)口高速數(shù)據(jù)傳輸設(shè)計
本硬件系統(tǒng)在FPGA 中搭建AXI Ethernet Subsystem 及AXI Direct Memory Access IP 核用來驅(qū)動以太網(wǎng)端口。其均通過AHB 總線轉(zhuǎn)AXI 總線橋和軟核連接,軟核通過AHB 總線對其進行配置和控制。其中AXI Ethernet Subsystem IP 核通過RGM Ⅱ接口與RTL8211 芯片連接,其Block Design 設(shè)計如圖4 所示。
圖4 以太網(wǎng)端口驅(qū)動IP Fig.4 Ethernet port driver IP
在火災(zāi)煙霧環(huán)境下采集的圖像,不可避免的會產(chǎn)生噪聲,嚴(yán)重影響行人密度檢測的檢測效果,本系統(tǒng)使用中值濾波算法[18-20]對煙霧圖像進行去噪操作。能夠有效平滑圖像內(nèi)噪聲,保護圖像邊緣細節(jié)不被模糊。其基本原理是以各像素點作為中心點,將該像素及其濾波尺寸內(nèi)的相鄰像素作為濾波模板,計算出該模板內(nèi)所有像素點灰度值的中值,作為增強后圖像對應(yīng)中心點的灰度值,可消除孤立的噪點,從而讓圖像中的像素值更平滑達到去除噪聲的效果,且具有硬件易實現(xiàn)的優(yōu)點。因此本文采用中值濾波算法去除噪聲,提高后續(xù)行人密度檢測精度。其偽代碼如下所示。
輸入圖像X尺寸為m×n,濾波核尺寸為r
輸出中值濾波處理后的圖像Y
1) fori=rtom-rdo
2) forj=rton-rdo
3) 以該點為中心根據(jù)濾波核尺寸劃定矩陣,Y(i,j)=劃定矩陣中值
4) end
5) end
為此,在FPGA 中構(gòu)建基于AXI 總線的中值濾波IP 核如圖5 所示,以太網(wǎng)接收的圖像數(shù)據(jù)流通過S00_AXIS 接口進入IP 核應(yīng)用中值濾波算法,輸出32 位處理后的流數(shù)據(jù)。
圖5 AXI 總線中值濾波IP 核Fig.5 AXI bus median filter IP core
在光線比較暗的煙霧環(huán)境下,視頻圖像會出現(xiàn)白色煙霧和低對比度的問題。為了解決光度補償問題,恢復(fù)圖像顏色、紋理等細節(jié),使其更適合進行行人檢測任務(wù),本系統(tǒng)采用同態(tài)濾波算法[21-23],能夠在頻域中同時進行對比度增強和壓縮圖像動態(tài)范圍的濾波。根據(jù)光照反射模型,圖像可用式(1)描述:
把圖像f(x,y) 由看作光照分量L(x,y)和反射分量R(x,y)的乘積,其中光照分量在空間內(nèi)變化非常緩慢,對應(yīng)圖像頻域的低頻段;反射分量反映的是圖像的細節(jié)邊緣特性,對應(yīng)圖像頻域的高頻段。因此在減少光照分量的同時增加反射分量,能夠有效地消除圖像光照不均的影響,實現(xiàn)圖像灰度范圍的調(diào)整。具體算法過程如圖6 及式(2)~(7)所示。
圖6 同態(tài)濾波算法IP 核Fig.6 IP core of homomorphic filtering algorithm
式中:Rh代 表高頻加權(quán)系數(shù);Rl代表低頻加權(quán)系數(shù),D(u,v)代 表頻率 (u,v) 距離濾波器中心的距離;D0代表u0和v0為0 時D(u,v)的值,代表截止頻率。
為此,在FPGA 中構(gòu)建基于AXI 總線數(shù)據(jù)流的同態(tài)濾波算法IP 核如圖7 所示。中值濾波IP核輸出的32 位數(shù)據(jù)由fin_data 輸入到同態(tài)濾波IP 核中進行圖像對比度增強,同態(tài)濾波IP 核輸出的視頻流數(shù)據(jù)通過DMA 進行DDR3 緩存。
圖7 同態(tài)濾波處理流程Fig.7 Homomorphic filtering processing flow
行人檢測算法采用RFBNet 模型[9],該模型采用輕量級特征提取網(wǎng)絡(luò),并且采用one-stage檢測策略。其特點是輕量級,網(wǎng)絡(luò)結(jié)構(gòu)簡單,參數(shù)量較少,運行速度快,適合部署到邊緣設(shè)備中,例如樹莓派等微型電腦中。并且能夠保證檢測的實時性以及較高的檢測準(zhǔn)確率。RFBNet 模型[9]原用于多目標(biāo)檢測,本文將模型用PASCAL VOC2007 行人數(shù)據(jù)集進行重新訓(xùn)練,專用于行人檢測。
RFBNet 采用改進的輕量級VGG16 神經(jīng)網(wǎng)絡(luò)用于特征提取,并通過在檢測頭增加RFB 模塊,實現(xiàn)了可在多特征層同時檢測的功能。其中每層都可預(yù)測4(box)+1(class_num)數(shù)量的結(jié)果,將檢測結(jié)果進行整合操作,輸出最終的檢測結(jié)果。RFBNet 整體網(wǎng)絡(luò)結(jié)構(gòu)如圖8 所示。
圖8 RFBNet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.8 RFBNet network structure
RFBNet[9]檢測模型為達到在基于輕量級特征提取網(wǎng)絡(luò)的前提下,達到速度及精度的平衡的目的,設(shè)計了借鑒人類視覺的RFB 模塊,該模塊是一種多分支的結(jié)構(gòu),其主要包括常規(guī)卷積及膨脹卷積兩部分。這種精心設(shè)計的RFB 模塊通過結(jié)合不同的卷積分支、卷積尺寸、擴張卷積結(jié)構(gòu)來模擬人類視覺系統(tǒng)中的感受野結(jié)構(gòu),在參數(shù)量相近的情況下擴大感受野,以解決圖像中檢測目標(biāo)大小尺寸不一難以檢測的問題。這種多尺度的思想十分有利于提高檢測性能,其檢測效果遠超同級別的輕量級網(wǎng)絡(luò),甚至可以超過部分參數(shù)量巨大的深層網(wǎng)絡(luò)。在該檢測模型中共設(shè)計兩種不同的RFB (receptive fields block)結(jié)構(gòu)分別為RFB 和RFB-s,可以從不同深度的特征層進行檢測。進一步提高檢測效果。具體結(jié)構(gòu)如圖9 所示。
圖9 RFB 及RFB-s 結(jié)構(gòu)Fig.9 RFB and RFB-s structure
測試時使用的測試數(shù)據(jù)為分別為{99,138,30}、{138,30,69}、{30,69,108}根據(jù)中值濾波算法可求得中值為70,具體內(nèi)容如圖10 紅色標(biāo)記部分。圖中紅色圈所指示,模塊輸出的中值是69,與仿真實驗計算結(jié)果相同,中值濾波IP 核時序正確,完成算法設(shè)計功能。
圖10 中值濾波算法仿真圖Fig.10 Simulation diagram of median filtering algorithm
同態(tài)濾波的處理效果取決于濾波函數(shù)的選擇及參數(shù)的設(shè)定,恰當(dāng)?shù)臄?shù)據(jù)設(shè)定能夠在壓縮削弱光照分量的同時增強提升反射分量,增強圖像的對比度,本系統(tǒng)經(jīng)反復(fù)實驗確定濾波函數(shù)采用高斯高通濾波函數(shù),式(7)中參數(shù)設(shè)置為Rh=2.5,Rl=0.6,D0=6。圖像經(jīng)算法測試后的對比結(jié)果圖如圖11 所示。
圖11 同態(tài)濾波算法測試結(jié)果Fig.11 Test results of homomorphic filtering algorithm
從圖11 中可以看出應(yīng)用該算法IP 后能夠明顯提升圖片中物體的整體亮度,恢復(fù)圖片中物體的顏色、紋理、輪廓等細節(jié)。以便后續(xù)行人檢測算法能夠準(zhǔn)確檢測人流量。
本算法從PASCAL VOC2007 數(shù)據(jù)集中單獨挑選出包含行人的圖片及標(biāo)注,作為數(shù)據(jù)集并進行訓(xùn)練。由于深度神經(jīng)網(wǎng)絡(luò)對訓(xùn)練數(shù)據(jù)要求較高,數(shù)據(jù)集規(guī)模越大,包含的目標(biāo)樣本越豐富,模型的泛化能力及魯棒性越強。所以本文在訓(xùn)練時對輸入的圖像進行了數(shù)據(jù)擴增操作,通過隨機裁剪、水平翻轉(zhuǎn)、區(qū)域隨機采樣等操作增加了訓(xùn)練數(shù)據(jù)。在訓(xùn)練時模型參數(shù)設(shè)置如下:epoch 為200,batch size 為24,圖像的輸入尺寸為320,IoU 閾值為0.5。學(xué)習(xí)率為0.01,迭代次數(shù)為200,使用SGD 優(yōu)化器。
本文使用通用的P-R 曲線圖繪制檢測結(jié)果圖,即Recall 值為0,0.1,…,1.0 情況下的Precision 值,其中Rcall 為召回率即查全率,Precesion 為準(zhǔn)確率。通過設(shè)置不同的置信度閾值來得到P-R 曲線圖。實驗結(jié)果如圖12 所示。
圖12 P-R 曲線圖Fig.12 P-R curve diagram
從圖中可以觀察到,P-R 曲線呈遞減趨勢,PR 曲線下的面積即為檢測的AP 值,具體公式為
式中:Rj為上述提到的閾值(0,0.1,…,1.0)對應(yīng)得到的所有回歸率,j=0,1,…,10。P(rj+1)為(rj+1)對應(yīng)的準(zhǔn)確率。P、R公式為
式中:TP 為正確檢測出來的數(shù)量,F(xiàn)P 是檢測錯誤的數(shù)量,F(xiàn)N 是未檢測出的數(shù)量。
在目標(biāo)檢測領(lǐng)域中使用mAP 作為評測標(biāo)準(zhǔn),代表各類目標(biāo)AP 值的平均值。由于在行人檢測任務(wù)中只有行人一類目標(biāo),所以AP 值與mAP 值相等,在PASCAL VOC2007 val[23]驗證集中計算得mAP 值為87.02%。準(zhǔn)確率完全滿足行人檢測任務(wù)在系統(tǒng)中的實際應(yīng)用需求。原模型用于目標(biāo)檢測,我們根據(jù)所篩選的行人數(shù)據(jù)集進行訓(xùn)練及測試,對模型進行了應(yīng)用創(chuàng)新,達到了預(yù)期要求。
在實驗測試中,我們對光線暗、行人被部分遮擋、行人密集、行人抖動模糊等各種特殊情況進行了測試,最終得到的檢測結(jié)果如圖13 所示。在各種極端惡劣的條件下檢測效果依然較好,這說明模型的泛化能力較強。
圖13 行人檢測極端情況測試圖Fig.13 Pedestrian detection extreme case test chart
本文實現(xiàn)了高層建筑火災(zāi)智能報警及逃生指導(dǎo)系統(tǒng)的設(shè)計與搭建工作,通過多個TXW8301 WiFi 模塊實現(xiàn)各樓層節(jié)點模塊組網(wǎng),一旦建筑內(nèi)某一區(qū)域發(fā)生火情,激光煙霧火災(zāi)探測器發(fā)出信號立即激活建筑內(nèi)布控的所有終端節(jié)點,各樓層自動啟動WT588D 語音單片機語音播報具體的火災(zāi)地點以及逃生路線,智能引導(dǎo)各區(qū)域人群逃生。同時,通過FPGA 開發(fā)板對煙霧監(jiān)控視頻進行去煙補光、去噪處理,并基于深度學(xué)習(xí)算法對各逃生通道進行行人密度檢測,系統(tǒng)界面實時顯示火災(zāi)報警情況及安全通道的人群密度等監(jiān)測情況,方便進行智能救援指揮,可最大限度地降低火災(zāi)中的人員傷亡。