徐燕翔,裴海龍+
(1.華南理工大學(xué) 自主系統(tǒng)與網(wǎng)絡(luò)控制教育部重點(diǎn)實(shí)驗(yàn)室,廣東 廣州 510640;2.華南理工大學(xué) 自動化科學(xué)與工程學(xué)院,廣東 廣州 510640)
隨著科學(xué)技術(shù)的進(jìn)步發(fā)展,基于無人機(jī)的森林火災(zāi)自動化檢測技術(shù)逐漸成為預(yù)防和監(jiān)測森林火災(zāi)的有效手段[1]。比如美國航空航天局(NASA)使用“牽牛星(Altair)”無人機(jī)進(jìn)行森林火災(zāi)監(jiān)測;在我國根河一架無人機(jī)開始了森林防火的飛行[2];在加拿大和奧地利也已開始利用小型無人機(jī)進(jìn)行森林火災(zāi)等災(zāi)難的預(yù)警。
在傳統(tǒng)的火災(zāi)檢測中,比較常用的方法是利用傳感器進(jìn)行檢測[3]。這些方法過于單一,會導(dǎo)致誤報(bào)率較高,而圖像檢測可以有效解決這個問題?;馂?zāi)圖像中包含了許多火災(zāi)中的信息,如火焰的形狀、紋理以及煙霧等[4]??梢酝ㄟ^使用圖像處理算法提高火災(zāi)的識別率。通過對比紅外和彩色攝像頭的圖像,紅外攝像頭在火災(zāi)檢測中具有明顯優(yōu)勢,紅外攝像頭能夠迅速找到發(fā)熱源位置,不會受到顏色的干擾。由于是紅外圖像,因煙霧擋住火焰而產(chǎn)生的影響會很小,而普通彩色圖像就可能因?yàn)闊熿F遮擋而分割不出火源。
基于以上分析,本文提出了一種基于無人機(jī)平臺通過紅外圖像找到高溫疑似火焰區(qū)域并提取其特征,進(jìn)行識別與定位,彩色圖像作為監(jiān)控傳給地面站的森林火災(zāi)檢測系統(tǒng)。
硬件系統(tǒng)是保證整個系統(tǒng)能夠正常高效運(yùn)行的前提,本系統(tǒng)的硬件主要由機(jī)載系統(tǒng)與地面系統(tǒng)組成。機(jī)載系統(tǒng)由雙目攝像系統(tǒng),嵌入式系統(tǒng),圖傳發(fā)射機(jī)和通信設(shè)備組成。地面系統(tǒng)由PC,圖傳接收機(jī)和通信設(shè)備組成。硬件部分將介紹一下雙目攝像系統(tǒng)和嵌入式系統(tǒng)。圖1為整個系統(tǒng)的硬件組成圖。
圖1 系統(tǒng)框架
雙攝像系統(tǒng)是火災(zāi)探測的重要的硬件設(shè)備,它集圖像設(shè)備和轉(zhuǎn)動云臺為一體。結(jié)合森林火災(zāi)檢測與監(jiān)控的任務(wù),采用紅外圖像來進(jìn)行火災(zāi)識別,彩色圖像來用作監(jiān)控視頻傳到地面站。轉(zhuǎn)動云臺的作用主要有兩個:首先就是掛載雙目系統(tǒng),在硬件上通過減震裝置來減少飛機(jī)抖動的影響,進(jìn)而提高圖像的質(zhì)量;然后就是通過控制云臺來進(jìn)行轉(zhuǎn)動,從而改變攝像頭的視角,擴(kuò)大火災(zāi)的監(jiān)控范圍,實(shí)現(xiàn)對火場的跟蹤。掛載雙目攝像頭的云臺如圖2所示。
圖2 掛載雙目攝像頭的云臺
機(jī)載嵌入式系統(tǒng)使用的核心板是CM-T3730核心板[5],該核心板是以色列Compulab公司生產(chǎn)的一種專門處理數(shù)字視頻的嵌入式平臺。CM-T3730采用了TI公司生產(chǎn)的Cortex-A8 DM3730作為核心處理器,主頻最高可以達(dá)1 GHz,另外還有一個TMS320C64x+DSP的核處理器;整個核心板的尺寸只有66mm×44mm×5mm,尺寸非常小巧,功耗也是非常低,只有0.2 w-2 w;并且該核心板接口十分豐富,其中擁有3個USB2.0接口,3個串口,一個100 M以太網(wǎng)口,還支持WiFi 802.11b/g/n 和Bluetooth 4.0協(xié)議,并且還擁有一個256 M的高速動態(tài)內(nèi)存。
CM-T3730核心板適用于作為嵌入式系統(tǒng)的開發(fā)板,滿足算法對運(yùn)算的需求。核心板運(yùn)行的操作系統(tǒng)為Linux系統(tǒng),內(nèi)核版本為Linux 3.0.38。
由于飛機(jī)上抖動比較大,因此盡量選取靜態(tài)特征作為火焰識別的特征。本文選擇高溫特性進(jìn)行火焰分割,圓形度、面積變化率、灰度共生的紋理特性作為火焰識別特征,其中只有一個為動態(tài)特征。下面對這些特征分別進(jìn)行提取。
對于紅外圖像而言,不同的溫度對應(yīng)的灰度不同[6]。所以為了把高溫區(qū)域從圖像中分割出來,可以按照圖像的灰度值切割出來。圖像分割中最常用的方法是閾值分割法[7],因?yàn)殚撝捣指罘ǖ脑砗唵危运惴ǖ倪\(yùn)算量小,運(yùn)行耗時短。在實(shí)際的嵌入式系統(tǒng)中可以表現(xiàn)出比較好的性能。
閾值分割的主要思想是:通過設(shè)定特定的閾值,將圖像的像素點(diǎn)分為若干類。設(shè)原圖像為I(x,y),特征閾值設(shè)為T,就可以將圖像分為兩個部分
(1)
如果b0=0和b1=255,那么圖像就會實(shí)現(xiàn)黑白二值化。對于灰度圖像而言,灰度值大于閾值的像素點(diǎn)就會變成白色,灰度值小于閾值的像素點(diǎn)就會變成黑色。由于該系統(tǒng)運(yùn)用在無人機(jī)上,經(jīng)測試,閾值設(shè)為155的效果比較好,分割出來的效果如圖3所示。
圖3 閾值法分割火焰
2.2.1 圓形度
圓形度是圖像處理中相對重要的概念,可以用作于對圖像輪廓特征的描述與提取。圓形度可以表示物體輪廓與圓接近的程度,可以反映出物體的不規(guī)則特性。在火焰特征中,圓形度可以表示火焰的復(fù)雜與分散程度[8]?;鹧娴男螤钍窃跓o規(guī)律地不斷地變化著,這使得火焰的表面輪廓特征更為復(fù)雜,從而使得火焰的圓形度與其它物體相比不太不一樣。圓形度可以由輪廓物體占有的面積和其外圍輪廓的周長之比來定義
e=4π*S/L2
(2)
式中:S代表輪廓的面積,L代表輪廓的周長。圓形度的范圍為0~1,等于1是就是圓。由于白熾燈的輪廓接近圓,圓形度比較大,因此可以通過圓形度來排除該干擾。
圓形度的提取是通過尋找最大面積的輪廓,計(jì)算出它的周長,再通過上式計(jì)算出來的。提取出來的最大輪廓如圖4所示。
圖4 提取的最大輪廓
2.2.2 面積變化率
面積變化率可以反映了火焰形狀的變化特性,定義火焰的面積變換率為
(3)
式中:Si代表當(dāng)前幀的面積,Si-1代表前一幀的面積。由于火焰的形狀是不斷變化的,這樣可以通過面積變化率將一些比較穩(wěn)定的高溫干擾物排除掉。面積的變化率也是通過計(jì)算出最大輪廓的面積變化得到的。
2.2.3 紋理特性
對于紋理特性,本文采用統(tǒng)計(jì)方法中的灰度共生矩陣[7]方法來進(jìn)行提取?;叶裙采仃囀峭ㄟ^統(tǒng)計(jì)圖像上具有某種特定位置關(guān)系的像素灰度對出現(xiàn)的頻率來研究與描述圖像紋理的常用方法,接下來介紹該方法。
在一幅圖中,灰度共生矩陣P的第(i,j)個元素值等于灰度級為i和j在沿某一固定方向θ相距距離為d的灰度對同時出現(xiàn)的次數(shù)。再除以總數(shù)R,就可以得到此時的概率
(4)
其中,I(l,m)和I(l′,m′)在圖像上沿θ方向上相距d,即l′=l+dcosθ,m′=m+dsinθ。為了方便計(jì)算,一般在θ={0°,45°,90°,135°}4個方向選取。
一般通過計(jì)算灰度共生矩陣的一些二次統(tǒng)計(jì)參數(shù)來定量描述紋理特性。Haralick等從灰度共生矩陣中提取14個可以反映共生矩陣特點(diǎn)的參數(shù),本文使用其中的4個參數(shù)來作為火焰紋理特征描述的參數(shù)指標(biāo):
(1)熵
(5)
熵是圖像所具有的信息的度量,反映了紋理的復(fù)雜程度。如果圖像的紋理較為分散,隨機(jī)性越強(qiáng),則圖像的熵就越大;反之,圖像的紋理越有序,則圖像的熵值越小。
(2)能量
(6)
能量是灰度共生矩陣各元素值的平方和,是對圖像紋理的灰度變化穩(wěn)定程度的度量,反應(yīng)了圖像灰度分布均勻程度和紋理粗細(xì)度。從圖像上,紋理越粗,則能量應(yīng)越大;反之,能量越小,圖像比較均勻或光滑。
農(nóng)業(yè)節(jié)水灌溉技術(shù)可以節(jié)約水資源、降低土壤鹽堿化的程度、提高農(nóng)作物的產(chǎn)量、促進(jìn)農(nóng)業(yè)經(jīng)濟(jì)的發(fā)展,是非常值得推廣的。雖然農(nóng)業(yè)節(jié)水灌溉技術(shù)的投入非常大,但是隨著農(nóng)業(yè)節(jié)水灌溉技術(shù)的成熟,農(nóng)業(yè)節(jié)水灌溉技術(shù)的投入已經(jīng)得到了有效控制。同時,該項(xiàng)技術(shù)給農(nóng)業(yè)發(fā)展帶來的經(jīng)濟(jì)效益已經(jīng)遠(yuǎn)遠(yuǎn)超過了其成本投入。農(nóng)業(yè)節(jié)水灌溉技術(shù)必然是未來農(nóng)業(yè)發(fā)展的推動因素,給農(nóng)業(yè)發(fā)展帶來更大的經(jīng)濟(jì)效益[3]。
(3)對比度
(7)
對比度是用于衡量灰度共生矩陣值的分布和圖像局部的變化的指標(biāo),反應(yīng)了圖像的清晰度和紋理的溝紋深淺。在圖像上,紋理的溝紋越深,反差越大,效果越清晰,對比度就越大;反之,溝紋越淺,反差越小,效果越模糊,對比度就越小。
(4)相關(guān)性
(8)
其中
相關(guān)性是用來度量圖像的灰度級在行或列方向上的相似程度。當(dāng)共生矩陣的元素值分布均勻相等時,其相關(guān)值就越大;反之,當(dāng)共生矩陣元素值相差很大時,其相關(guān)值就越小。
對于灰度紋理特征提取方法,首先要將灰度圖像進(jìn)行灰度級量化,本文采取的是將256級灰度量化到64級,然后分別計(jì)算出熵,能力,對比度和相關(guān)性等特征。下面是分別選取100幀火焰,電燈和水杯圖片作為特征統(tǒng)計(jì),最終的統(tǒng)計(jì)結(jié)果如圖5和表1所示。
特征火焰電燈水杯圓形度0.22140.78580.6997面積變化率0.03530.00820.0036熵1.98321.80071.6756能量0.03050.03440.0544對比度4.36131.22822.0091自相關(guān)性128 780 169 690323 720
BP神經(jīng)網(wǎng)絡(luò)的定義參見文獻(xiàn)[9]。BP神經(jīng)網(wǎng)絡(luò)能夠解決許多非線性的問題,具有非常強(qiáng)的非線性映射能力。而且BP神經(jīng)網(wǎng)絡(luò)可以通過在訓(xùn)練時,可以通過學(xué)習(xí)輸入數(shù)據(jù)和輸出數(shù)據(jù)間存在的合理規(guī)則,并自適應(yīng)將學(xué)到的規(guī)則應(yīng)用在網(wǎng)絡(luò)權(quán)值中,因而具有很強(qiáng)的自學(xué)習(xí)和自適應(yīng)能力[10],并且BP神經(jīng)網(wǎng)絡(luò)泛化能力和容錯能力,因此在很多的實(shí)際問題中得到了應(yīng)用。下面將簡單介紹BP神經(jīng)網(wǎng)絡(luò)算法。
對于BP神經(jīng)網(wǎng)絡(luò),訓(xùn)練步驟一般如下:
(1)首先,對網(wǎng)絡(luò)初始化:初始化輸入層節(jié)點(diǎn)數(shù),隱含層的節(jié)點(diǎn)數(shù),輸出層的節(jié)點(diǎn)數(shù);神經(jīng)元之間的連接權(quán)值w,以及各神經(jīng)元的閾值θ。
(2)根據(jù)神經(jīng)元的輸出公式
(9)
計(jì)算出隱含層節(jié)點(diǎn)t的輸出ht和輸出層神經(jīng)元節(jié)點(diǎn)k的實(shí)際輸出Ok,其中xi為上一層神經(jīng)元的輸出值,f(·)一般選擇為Sigmoid函數(shù)。
(3)根據(jù)輸出層節(jié)點(diǎn)k的期望輸出Yk,求出接到輸出層節(jié)點(diǎn)k的權(quán)值誤差δk
δk=Ok(1-Ok)(Yk-Ok)
(10)
(4)根據(jù)誤差δk和Sigmoid函數(shù)得性質(zhì),可以求出連接到隱含層節(jié)點(diǎn)j的權(quán)值誤差δt
(11)
(5)根據(jù)誤差和常數(shù)α、β更新神經(jīng)網(wǎng)絡(luò)的連接權(quán)值w和閾值θ
wij=wij+αδjxi
(12)
θj=θj+βδj
(13)
(6)判斷是否滿足精度要求或者達(dá)到迭代次數(shù)。如果沒有,則轉(zhuǎn)向步驟(2)繼續(xù)進(jìn)行學(xué)習(xí);如果滿足,則迭代結(jié)束。
根據(jù)GPS傳下來的高度H,偏航角θ,云臺傳下來的它與飛機(jī)水平方向的夾角α以及地面夾角β,可以計(jì)算出火場的位置,計(jì)算方法如下。
根據(jù)高度H和夾角β計(jì)算出火場與飛機(jī)的投影距離L,然后根據(jù)偏航角θ以及云臺與飛機(jī)的水平夾角α,計(jì)算出L在N方向的夾角γ,在經(jīng)緯度方向進(jìn)行投影,得到與飛機(jī)的經(jīng)緯度偏差,最后加上飛機(jī)的經(jīng)緯度就可以得到火場的位置,如圖6所示。
圖6 火場位置計(jì)算
由圖6可知,L=H*cotβ,而γ=θ+α,在經(jīng)緯度方向的偏差距離
ΔLat=L*cosγ
(14)
ΔLng=L*sinγ
(15)
已知地球半徑為6370 km,飛機(jī)的經(jīng)緯度Lat_fly,Lng_fly,可以得到火場的經(jīng)緯度Lat_fire,Lng_fire
ΔLat_ang=ΔLat*180/(6371*1000*π)
(16)
Lat_fire=Lat_fly+ΔLat_ang
(17)
ΔLng_ang=ΔLng*180/(6371*1000*cos(Lat_fire)*π)
(18)
Lng_fire=Lng_fly+ΔLng_ang
(19)
為了驗(yàn)證BP神經(jīng)網(wǎng)絡(luò)的火焰識別方法的有效性,我們使用支持向量機(jī)作為對比測試。
支持向量機(jī)(support vector machine,SVM)的定義參見文獻(xiàn)[11]。它在解決小樣本,非線性及高維模式上有獨(dú)特的優(yōu)勢[12],因此在很多模式識別領(lǐng)域有成功的應(yīng)用。
首先,我們先準(zhǔn)備好了800組正樣本和800組負(fù)樣本。分別分割出這些樣本的疑似火焰區(qū)域,并提取該區(qū)域的圓形度、面積變化率和紋理特征?;鹧孀R別就是要判斷有沒有火焰,這是一個二分類問題。因此,將正負(fù)樣本分別標(biāo)記進(jìn)行訓(xùn)練。最后,將飛機(jī)拍到的800組火焰正樣本和剩下沒訓(xùn)練的800組負(fù)樣本進(jìn)行測試。
用BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練時,首先將樣本進(jìn)行歸一化并分類標(biāo)記,一般神經(jīng)網(wǎng)絡(luò)訓(xùn)練只包含1到2個隱層,由于特征量不是很多,隱層設(shè)定只包含一個隱層的3層神經(jīng)網(wǎng)絡(luò)。由于選取的特征為6,因此輸入層節(jié)點(diǎn)為6。隱層節(jié)點(diǎn)根據(jù)幾個經(jīng)驗(yàn)公式,經(jīng)測試設(shè)置為5的時候效果最好,由于是個二分類問題,所以輸出層節(jié)點(diǎn)設(shè)置為1。用SVM訓(xùn)練時,使用的樣本要和BP神經(jīng)網(wǎng)絡(luò)一樣。最終兩種方法的識別效果見表2。
表2 兩種識別方法效果
可以看出,SVM和BP神經(jīng)網(wǎng)絡(luò)都基本可以把正負(fù)測試的樣本分開。但是,以測試樣本的正確率來看,不管是正樣本的還是負(fù)樣本的BP神經(jīng)網(wǎng)絡(luò)都要比SVM的準(zhǔn)確率要稍高。這是由于訓(xùn)練的樣本量比較大,而SVM卻在小樣本量的訓(xùn)練中具有優(yōu)勢,對大規(guī)模樣本難以實(shí)施。而火災(zāi)識別這一問題的確需要大量數(shù)據(jù)來進(jìn)行訓(xùn)練,再加上神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)能力和推廣概況能力,使得BP神經(jīng)網(wǎng)絡(luò)在此次火焰識別的測試中效果更好。
最終,識別到火焰時,就用矩形框出識別到的火焰區(qū)域,測試效果如圖7所示。
統(tǒng)計(jì)通過計(jì)算出的火場位置,并與實(shí)際火場的位置作對比。實(shí)際的經(jīng)緯度通過將飛機(jī)放在火場位置得到。下面是100組通過計(jì)算得到的火場經(jīng)緯度以及誤差,如圖8所示。
圖7 測試效果
圖8 計(jì)算得到的經(jīng)緯度與誤差
可以看出,經(jīng)過計(jì)算后得到的經(jīng)緯度相比直接使用飛機(jī)的經(jīng)緯度誤差要小一些,經(jīng)統(tǒng)計(jì)平均誤差為7.353 m。誤差還是有點(diǎn)大,這是云臺裝在飛機(jī)上有安裝誤差,就是云臺的水平方向的初始0°相對于飛機(jī)的偏航不是完全重合。還有一點(diǎn)就是圖像上找到的火點(diǎn)位置不是正好在圖像的中間,它與云臺存在一定的夾角。不過,總體上,還是可以基本可以完成對火場的定位這一任務(wù)。
本文基于小型無人機(jī)設(shè)計(jì)了一個森林火災(zāi)檢測系統(tǒng)。在火焰識別上,通過對火焰特征的分析,確定了使用圓形度,面積變化率和灰度共生矩陣的二次統(tǒng)計(jì)量作為火焰識別的特征。然后研究了BP神經(jīng)網(wǎng)絡(luò)的相關(guān)理論,并用BP神經(jīng)網(wǎng)絡(luò)和SVM進(jìn)行測試比較。最終的實(shí)驗(yàn)結(jié)果中,BP神經(jīng)網(wǎng)絡(luò)在測試樣本中正確率更高一些?;饒龆ㄎ环矫妫ㄟ^飛機(jī)的經(jīng)緯度和高度,偏航角,云臺的角度,計(jì)算出火場的經(jīng)緯度。最后與實(shí)際的火場經(jīng)緯度進(jìn)行對比,通過對誤差分析,本系統(tǒng)基本可以完成對火場的定位。由于本系統(tǒng)只用紅外攝像進(jìn)行識別,對于一些使用紅外圖像比較難排除的干擾,可以在以后的工作中加上彩色攝像頭的識別,通過彩色攝像頭對火焰和煙霧等進(jìn)行輔助判斷,這樣可以提高算法的識別效率?;饒龆ㄎ环矫妫梢钥紤]火場圖像與云臺的夾角以及飛機(jī)的俯仰角和滾轉(zhuǎn)角對火場定位的影響,這樣可以進(jìn)一步提高火場定位的精度。
參考文獻(xiàn):
[1]ZHANG Zeng,WANG Bing,WU Xiaojie,et al.An algorithm of forest fire detection based on UAV remote sensing[J].Remote Sensing Information,2015,30(1):107-110(in Chinese).[張?jiān)?王兵,伍小潔,等.無人機(jī)在森林火災(zāi)監(jiān)測中火情檢測方法研究[J].遙感信息,2015,30(1):107-110.]
[2]LI Bin,WANG Hongyu,YANG Xiaotian.Unmanned aerial vehicle (UAV) system in the application and development of fo-rest fire prevention[J].Electronic Technology,2015(5):15-18(in Chinese).[李濱,王宏宇,楊笑天.無人機(jī)系統(tǒng)在森林防火方面的應(yīng)用及其發(fā)展[J].電子技術(shù),2015(5):15-18.]
[3]ZHANG Nan.A research of fire detection and identification based on video image[D].Guangzhou:South China University of Technology,2013(in Chinese).[張楠.基于視頻圖像的火災(zāi)檢測與識別方法研究[D].廣州:華南理工大學(xué),2013.]
[4]CHEN Jiaqing.Research on fire image detection technology based on flame features[D].Zhenjiang:Jiangsu University of Science and Technology,2016(in Chinese).[陳嘉卿.基于火焰特征的圖像型火災(zāi)探測技術(shù)研究[D].鎮(zhèn)江:江蘇科技大學(xué),2016.]
[5]CompuLab.CM-T3730 CoM reference guide[G/OL].[2017-07-22].http://www.compulab.com/wp-content/uploads/2012/08/cm-t3730_refman_2012-08-09.pdf.
[6]HUANG Qingdong.The research of fire detection algorithm based on infrared thermal imaging[D].Guangzhou:South China University of Technology,2014(in Chinese).[黃慶東.基于紅外熱成像的火災(zāi)檢測算法研究[D].廣州:華南理工大學(xué),2014.]
[7]SUN Zheng.Digital image processing and recognition[M].Beijing:China Machine Press,2014:72-86,127-131(in Chinese).[孫正.數(shù)字圖像處理與識別[M].北京:機(jī)械工業(yè)出版社,2014:72-86,127-131.]
[8]LI Ling.The research based on fire detection based on video image[D].Guangzhou:South China University of Technology,2012(in Chinese).[李玲.基于視頻圖像的火災(zāi)識別研究[D].廣州:華南理工大學(xué),2012.]
[9]HU Li,CHEN Bin,LAI Qiming,et al.Improved BP neural network[J].Computing Technology and Automation,2015,34(4):86-89(in Chinese).[胡麗,陳斌,賴啟明,等.BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)[J].計(jì)算機(jī)技術(shù)與自動化,2015,34(4):86-89.]
[10]MA Haizhi.The research and application on BP neural network[D].Harbin:Northeast Agricultural University,2015(in Chinese).[馬海志.BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)研究及應(yīng)用[D].哈爾濱:東北林業(yè)大學(xué),2015.]
[11]WANG Daoming,LU Changhua,JIANG Weiwei,et al.Study on PSO-based decision-tree SVM multi-class classification method[J].Journal of Electronic Measurement and Instrumentation,2015,29(4):611-615(in Chinese).[王道明,魯昌華,蔣薇薇,等.基于粒子群算法的決策樹SVM多分類方法研究[J].電子測量與儀器學(xué)報(bào),2015,29(4):611-615.]
[12]GUO Mingwei,ZHAO Yuzhou,XIANG Junping,et al.Review of object detection methods based on SVM[J].Control and Decision,2014,29(2):193-200(in Chinese).[郭明瑋,趙宇宙,項(xiàng)俊平,等.基于支持向量機(jī)的目標(biāo)檢測算法綜述[J].控制與決策,2014,29(2):193-200.]