謝 振
(銅陵市消防救援支隊(duì),安徽 銅陵 244400)
森林主要的災(zāi)害是火災(zāi),當(dāng)森林發(fā)生火災(zāi)時(shí),不僅會(huì)降低林木與動(dòng)物的生存概率,還會(huì)威脅人們的生命安全,嚴(yán)重破壞森林生態(tài)環(huán)境[1-3]。同時(shí),森林火災(zāi)的控制難度也較高,因而需要及時(shí)發(fā)現(xiàn)森林早期火情,發(fā)出報(bào)警信息,避免火災(zāi)破壞面積繼續(xù)擴(kuò)大[4]。為此,設(shè)計(jì)森林火情早期探測系統(tǒng),可降低火災(zāi)對(duì)森林的影響[5]。例如,王利軍等(2022)通過溫度傳感器監(jiān)測森林溫度信息,利用溫度識(shí)別算法與預(yù)警溫度閾值,完成森林火情早期探測。該系統(tǒng)的火情早期探測響應(yīng)時(shí)間低于5 s,可有效防止火情漏報(bào)問題,具備較優(yōu)的森林火情早期探測效果[6]。肖云丹等(2021)依據(jù)貝葉斯-零膨脹負(fù)二項(xiàng)模型設(shè)計(jì)森林火情早期探測系統(tǒng),利用貝葉斯法探測森林火情早期發(fā)生概率,通過零膨脹負(fù)二項(xiàng)模型分析森林火情與氣象因子間的關(guān)系,為避免森林火情發(fā)生提供參考。該系統(tǒng)具備較優(yōu)的森林火情早期探測可靠性[7]。但上述系統(tǒng)的森林火情早期探測范圍較小,無法全面預(yù)防森林火情。無人機(jī)攝影技術(shù)是利用無人機(jī)搭載不同類型的傳感器,采集森林相關(guān)信息,并依據(jù)采集的信息進(jìn)行森林火情早期探測。利用無人機(jī)的高機(jī)動(dòng)性,可擴(kuò)展森林火情早期探測范圍,提高探測效率[8-9],提升森林火情預(yù)防的全面性。為此,本研究設(shè)計(jì)基于無人機(jī)攝影的森林火情早期探測系統(tǒng),以提升火情早期探測精度,為火情救援決策分析提供參考。
利用無人機(jī)搭載可見光相機(jī)與紅外相機(jī),采集不同類型的森林圖像,并搭載煙霧探測器,采集森林煙霧信息,用于后續(xù)進(jìn)行森林火情早期探測?;跓o人機(jī)攝影的森林火情早期探測系統(tǒng)結(jié)構(gòu)如圖1所示。
圖1 森林火情早期探測系統(tǒng)結(jié)構(gòu)
森林火情早期探測系統(tǒng)總共包含兩個(gè)部分,分別是無人機(jī)子系統(tǒng)與地面子系統(tǒng)。無人機(jī)子系統(tǒng)中,利用飛控模塊,控制無人機(jī)飛行至指定位置。無人機(jī)搭載了可見光相機(jī)、紅外相機(jī)、GPS定位模塊與煙霧探測器。利用可見光相機(jī)與紅外相機(jī),可在森林火情探測區(qū)域采集森林圖像信息;樹莓派利用USB接口讀取可見光相機(jī)采集的可見光圖像,利用SPI(serial peripheral interface,串行外設(shè)接口)讀取紅外相機(jī)采集的紅外圖像。再利用圖像發(fā)射機(jī)將采集的可見光圖像與紅外圖像,傳輸至地面子系統(tǒng)的圖像接收機(jī)內(nèi)。利用單片機(jī)驅(qū)動(dòng)無人機(jī)搭載的GPS定位模塊與煙霧探測器,采集森林氣體信息與位置信息。再利用數(shù)據(jù)發(fā)射機(jī)傳輸采集的氣體信息與位置信息至地面子系統(tǒng)的數(shù)據(jù)接收機(jī)內(nèi)。地面子系統(tǒng)內(nèi),地面站PC機(jī)利用閾值分割法,分割可見光圖像與紅外圖像,獲取火焰圖像;在火焰圖像內(nèi),提取面積變化率與紋理特征;在RBF(radial basis function,徑向基函數(shù))神經(jīng)網(wǎng)絡(luò)內(nèi),輸入面積變化率與紋理特征,以及氣體信息與位置信息,輸出森林火情早期探測結(jié)果。
無人機(jī)子系統(tǒng)內(nèi),利用飛控模塊控制無人機(jī)的飛行狀態(tài),該飛控模塊的核心是STM32主控芯片,其整體結(jié)構(gòu)如圖2所示。
圖2 飛控模塊整體結(jié)構(gòu)
該模塊內(nèi)利用傳感器采集無人機(jī)飛行過程中的相關(guān)參數(shù)。STM32主控芯片包含多個(gè)IO接口,利于無人機(jī)搭載外設(shè)設(shè)備。通過電源單元為飛控模塊提供電源[10]。利用主控芯片處理采集的無人機(jī)相關(guān)參數(shù),并經(jīng)由通信單元傳輸至顯示器內(nèi)。操作人員可通過顯示器查看無人機(jī)的飛行狀態(tài),依據(jù)無人機(jī)的飛行狀態(tài),選擇遙控器控制或上位機(jī)控制,并將無人機(jī)控制指令,經(jīng)由通信單元傳輸至主控芯片內(nèi),主控芯片接收到控制指令后,對(duì)其進(jìn)行解析[11]。依據(jù)解析后的控制指令,操作正、反槳電機(jī)驅(qū)動(dòng)電路,驅(qū)動(dòng)正、反槳電機(jī)電路,提升無人機(jī)飛行的可靠性與穩(wěn)定性。通過LED指示燈呈現(xiàn)無人機(jī)的狀態(tài),當(dāng)LED指示燈為紅色時(shí),說明無人機(jī)處于異常狀態(tài)[12],當(dāng)LED指示燈為綠色時(shí),說明無人機(jī)處于正常狀態(tài)。飛控模塊內(nèi)傳感器的結(jié)構(gòu)如圖3所示。利用三軸加陀螺儀、三軸加速度計(jì)、光流傳感器、GPS單元與三軸磁強(qiáng)計(jì),采集無人機(jī)飛行過程中的姿態(tài)與速度等相關(guān)參數(shù)[13]。利用轉(zhuǎn)換芯片對(duì)采集的無人機(jī)相關(guān)參數(shù)進(jìn)行模數(shù)轉(zhuǎn)換,轉(zhuǎn)換速率為120 kHz。再利用SPI將轉(zhuǎn)換后的數(shù)據(jù)傳輸至STM32主控芯片內(nèi)[14]。
圖3 傳感器結(jié)構(gòu)
利用飛控模塊控制無人機(jī)飛行,采集森林相關(guān)信息的流程如圖4所示。
圖4 無人機(jī)飛行流程
利用飛控模塊控制無人機(jī)飛行,采集森林相關(guān)信息的具體步驟如下:
(1)利用飛控模塊控制無人機(jī)起飛,令其上升至指定高度,得到森林探測區(qū)域的俯瞰視野。
(2)當(dāng)無人機(jī)搭載的紅外相機(jī)采集的紅外圖像內(nèi)出現(xiàn)高溫區(qū)域時(shí),馬上降低無人機(jī)飛行高度,停留在高溫區(qū)域上方,采集紅外圖像,并利用可見光相機(jī)采集可見光圖像,通過煙霧探測器采集氣體信息,通過GPS定位模塊采集位置信息。
(3)依據(jù)采集的紅外圖像與可見光圖像,排查火情,得到火源信息,并將火源信息與位置信息傳輸至地面子系統(tǒng)內(nèi)。
(4)利用氣體信息,復(fù)測火情,精準(zhǔn)定位火情發(fā)生點(diǎn),并發(fā)出報(bào)警信息,為消防人員提供精準(zhǔn)的位置信息。
(5)無人機(jī)飛行時(shí),始終需要監(jiān)測其電量是否超過返航電量閾值。若電量較低,那么需控制無人機(jī)返航,避免因電量過低,導(dǎo)致其墜毀。若電量充足,則繼續(xù)依照指定路線巡航,以到達(dá)指定終點(diǎn)為止。
地面子系統(tǒng)利用圖像接收機(jī)接收無人機(jī)子系統(tǒng)傳輸?shù)纳旨t外圖像與可見光圖像后,通過地面站PC機(jī),在接收的紅外圖像與可見光圖像內(nèi)提取圖像特征。圖像特征提取前,需從紅外圖像與可見光圖像內(nèi)分割出火焰圖像,提升特征提取精度。對(duì)于紅外圖像與可見光圖像來說,火焰處的灰度與其余位置的灰度不同,因此,可利用閾值分割法,分割紅外圖像與可見光圖像,得到森林火焰圖像。紅外圖像與可見光圖像的圖像分割與特征提取過程完全一致,因此,以下方法以紅外圖像為例。
令紅外相機(jī)采集的紅外圖像是J(x,y),其中,像素是(x,y),特征閾值是ε,那么紅外圖像分割結(jié)果為:
以面積變化率ΔAi與紋理特征為紅外圖像的特征,令第i幀火焰圖像內(nèi)火焰面積是Ai,則ΔAi的計(jì)算公式如下:
利用灰度共生矩陣法,在火焰圖像內(nèi)提取紋理特征。令b1的灰度共生矩陣是Q,Q的第個(gè)元素值是與灰度級(jí)j、l,按照指定方向θ距離d的灰度對(duì)一起出現(xiàn)的次數(shù)一致。因此,此時(shí)的概率,d)為:
其中,像素灰度對(duì)出現(xiàn)總次數(shù)是N;第個(gè)元素值是;在θ方向上,與b1的距離是d,則
利用灰度共生矩陣可提取14個(gè)紋理特征,文中以常用的熵H、能量E、相關(guān)性S為紋理特征。
H越小,火焰圖像紋理分布越緊密。H的計(jì)算公式如下:
E與火焰圖像紋理平滑程度具有負(fù)相關(guān)關(guān)系。E的計(jì)算公式如下:
S與火焰圖像元素分布均勻情況具有正相關(guān)關(guān)系。S的計(jì)算公式如下:
同理,利用閾值分割法,分割可見光圖像,得到火焰圖像,并在火焰圖像內(nèi),提取面積變化率與紋理特征。以紅外圖像的面積變化率與紋理特征、可見光圖像的面積變化率與紋理特征,以及氣體信息為數(shù)據(jù)樣本集,其中,樣本數(shù)量是m。
以吉林省的紅石國家森林公園為實(shí)驗(yàn)對(duì)象,該森林公園位于吉林市樺甸市,占地面積28 574.6 hm2,水域面積2 269 hm2,森林覆蓋率84.6%。利用無人機(jī)攝影森林火情早期探測系統(tǒng)對(duì)該森林進(jìn)行火情早期探測,驗(yàn)證無人機(jī)攝影森林火情早期探測系統(tǒng)進(jìn)行火情早期探測的可行性。無人機(jī)攝影森林火情早期探測系統(tǒng)利用四旋翼無人機(jī)搭載紅外相機(jī)、可見光相機(jī)、煙霧探測器與GPS定位模塊,采集森林相關(guān)信息,該四旋翼無人機(jī)的具體參數(shù)如表1所示。
表1 四旋翼無人機(jī)的具體參數(shù)
利用無人機(jī)攝影森林火情早期探測系統(tǒng)采集該森林出現(xiàn)火情時(shí)的紅外圖像與可見光圖像,圖像采集結(jié)果如圖5所示。根據(jù)圖5(a)可知,該系統(tǒng)可有效利用可見光相機(jī),采集森林的可見光圖像。根據(jù)圖5(b)可知,該系統(tǒng)可有效利用紅外相機(jī),采集森林的紅外圖像。實(shí)驗(yàn)證明:無人機(jī)攝影森林火情早期探測系統(tǒng)可有效采集森林圖像,為后續(xù)火情早期探測提供數(shù)據(jù)支持。
圖5 可見光圖像與紅外圖像采集結(jié)果
利用無人機(jī)攝影森林火情早期探測系統(tǒng)對(duì)采集的圖像進(jìn)行火焰分割,以可見光圖像為例,火焰分割結(jié)果如圖6所示。
圖6 可見光圖像火焰分割結(jié)果
根據(jù)圖6可知,該系統(tǒng)可有效從可見光圖像內(nèi)分離獲取火焰圖像。進(jìn)而在分離的火焰圖像內(nèi)提取面積變化率與紋理特征,結(jié)果如圖7所示,其中紋理特征以熵為例。根據(jù)圖7(a)可知,該系統(tǒng)可有效在火焰圖像內(nèi)提取面積變化率特征,由面積變化率特征提取結(jié)果可知,該森林的最大面積變化率在0.09左右,最小面積變化率在0.01左右。根據(jù)圖7(b)可知,該系統(tǒng)可有效提取熵-紋理特征,隨著森林圖像采集時(shí)間的延長,熵的值不斷下降,即火焰圖像紋理分布越緊密。實(shí)驗(yàn)證明:無人機(jī)攝影森林火情早期探測系統(tǒng)具備火焰圖像面積變化率與紋理特征提取的可行性。
圖7 面積變化率與紋理特征提取結(jié)果
利用無人機(jī)攝影森林火情早期探測系統(tǒng)對(duì)該森林進(jìn)行火情早期探測,探測結(jié)果如圖8所示。根據(jù)圖8可知,該系統(tǒng)可有效實(shí)現(xiàn)森林火情早期探測,并及時(shí)發(fā)出報(bào)警信息。該系統(tǒng)還可實(shí)時(shí)操控?zé)o人機(jī)的飛行速度以及飛行狀態(tài)。實(shí)驗(yàn)證明:無人機(jī)攝影森林火情早期探測系統(tǒng)具備森林火情早期探測的有效性。
圖8 森林火情早期探測結(jié)果
利用均方根誤差,衡量無人機(jī)攝影森林火情早期探測系統(tǒng)的森林火情早期探測效果,其值越低,森林火情早期探測效果越佳。分析不同風(fēng)速時(shí),無人機(jī)攝影森林火情早期探測系統(tǒng)森林火情早期探測的均方根誤差,結(jié)果如圖9所示。根據(jù)圖9可知,不同情況下,隨著風(fēng)速的增長,該系統(tǒng)探測森林火情的均方根誤差均呈上升趨勢。當(dāng)風(fēng)速低于3 m/s時(shí),無人機(jī)不受風(fēng)速影響,均方根誤差并未發(fā)生改變;當(dāng)風(fēng)速超過3 m/s時(shí),無人機(jī)受風(fēng)速影響,導(dǎo)致均方根誤差有所提升。其中,陰燃情況下,火情探測的均方根誤差最大,原因是陰燃探測難度最大,而最高均方根誤差在0.007左右,依舊較低,說明無人機(jī)攝影森林火情早期探測系統(tǒng)在不同風(fēng)速下對(duì)森林火情早期探測的均方根誤差均較低,即火情早期探測的精度較高。
圖9 均方根誤差的分析結(jié)果
如今,森林火災(zāi)發(fā)生頻率越來越高,對(duì)森林火情探測研究的關(guān)注度也隨之提升。無人機(jī)具備非接觸、檢測范圍大等優(yōu)勢,因此,設(shè)計(jì)基于無人機(jī)攝影的森林火情早期探測系統(tǒng),有助于及時(shí)發(fā)現(xiàn)早期火情,并快速控制火情,避免火情進(jìn)一步發(fā)展,降低火情對(duì)森林的破壞程度。