張道鈺 王超宇 王健 劉鳳陵 陶欣 劉青 劉曉疆
摘要:機(jī)場安防領(lǐng)域向來是機(jī)場安全運(yùn)行管理的重中之重,承擔(dān)著機(jī)場內(nèi)旅客、貨物、航空器及其他航空設(shè)施的安全保障職能。其中機(jī)場圍界是機(jī)場與外界隔離開來的最直接的保護(hù)屏障,做好圍界的安全和防護(hù),就相當(dāng)于守護(hù)住機(jī)場安防的第一道防線。文章提出了一種基于毫米波雷達(dá)和視頻分析融合技術(shù)來實(shí)現(xiàn)對圍界入侵進(jìn)行防范的圍界安全防范技術(shù),能有效解決機(jī)場現(xiàn)有圍界入侵報(bào)警技術(shù)易受復(fù)雜天氣、周圍環(huán)境影響以及漏報(bào)率和虛警率高的問題。
關(guān)鍵詞:圍界入侵報(bào)警;毫米波雷達(dá);視頻行為識(shí)別;智能分析
中圖分類號(hào):TP311? ? 文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1009-3044(2023)35-0136-03
開放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID)
0 引言
在傳統(tǒng)的民航機(jī)場圍界安防中,現(xiàn)有技術(shù)主要采用振動(dòng)傳感器、紅外對射、被動(dòng)紅外、電子圍欄、視頻監(jiān)控、熱紅外等手段,以上技術(shù)同時(shí)存在“誤報(bào)率過高”等問題,這種缺陷是從技術(shù)原理中帶來的且無法消除的;本身系統(tǒng)易受復(fù)雜天氣、周圍環(huán)境影響,一定強(qiáng)度的風(fēng)霜雨雪、小動(dòng)物活動(dòng)等均會(huì)觸發(fā)入侵報(bào)警,產(chǎn)生較高誤報(bào)和虛警,且無法做到高靈活性、高精準(zhǔn)度的防區(qū)劃分,不能完全滿足機(jī)場圍界高等級(jí)的安全防范要求。
針對此問題,文獻(xiàn)[1]和文獻(xiàn)[2]提出了毫米波雷達(dá)與攝像頭的融合算法,基于雷達(dá)與攝像頭信息的融合技術(shù),本文提出了一種基于毫米波雷達(dá)和視頻分析融合技術(shù)的機(jī)場圍界入侵報(bào)警系統(tǒng),通過在機(jī)場圍界周邊劃分防區(qū)并配置入侵監(jiān)控報(bào)警單元,各個(gè)單元設(shè)置有毫米波雷達(dá)和多目攝像機(jī),各監(jiān)控報(bào)警單元之間設(shè)置可旋轉(zhuǎn)球型攝像機(jī)。毫米波雷達(dá)對圍界防區(qū)進(jìn)行實(shí)時(shí)運(yùn)動(dòng)目標(biāo)監(jiān)測,多目攝像機(jī)和球型攝像機(jī)根據(jù)雷達(dá)識(shí)別到的入侵目標(biāo)位置,自適應(yīng)焦點(diǎn)對準(zhǔn)入侵目標(biāo),通過對實(shí)時(shí)視頻的行為分析,系統(tǒng)實(shí)現(xiàn)入侵類型及入侵行為的行為識(shí)別和智能分析。
1 技術(shù)原理
毫米波雷達(dá)和視頻分析融合圍界入侵報(bào)警系統(tǒng)是一種基于毫米波雷達(dá)探測技術(shù)、視頻行為分析識(shí)別技術(shù)來實(shí)現(xiàn)對圍界入侵進(jìn)行防范的新一代圍界安全防范技術(shù)。
1.1 毫米波雷達(dá)
毫米波是指波長介于1~10mm的電磁波,波長短、頻帶寬,比較容易實(shí)現(xiàn)窄波束,其分辨率高,不易受干擾。毫米波雷達(dá)是通過收發(fā)電磁波的方式,實(shí)現(xiàn)對目標(biāo)距離、速度、方位的測量。
測距[3]是利用發(fā)射信號(hào)和回波信號(hào)之間的時(shí)延,結(jié)合毫米波傳播速度以及雷達(dá)信號(hào)頻率差推算出毫米波雷達(dá)和檢測目標(biāo)的相對距離。 雷達(dá)天線發(fā)射線性調(diào)頻脈沖信號(hào),經(jīng)過時(shí)間t后,接收天線收到目標(biāo)反射回來的信號(hào),其頻率差為S*t,即可得到中頻信號(hào)f0(IF信號(hào)),由于延時(shí)t與目標(biāo)距離d有如下關(guān)系:t=2d/c,其中S為線性調(diào)頻脈沖的斜率,c為光速,經(jīng)轉(zhuǎn)換即可得到d=f0*c/2S。
測速是利用多普勒效應(yīng)來確定目標(biāo)的徑向速度。由于物體距離的變化ΔR會(huì)引起接收信號(hào)相位的變化,因此通過觀測一段時(shí)間內(nèi)的接收信號(hào)的相位變化,即可通過ΔR/t估算出此時(shí)目標(biāo)的速度。
對于目標(biāo)角方位的測量,目標(biāo)距離的微小變化會(huì)導(dǎo)致range-FFT峰值的相位變化。角度估計(jì)至少需要2個(gè)RX天線,從目標(biāo)到每個(gè)天線的差分距離Δd導(dǎo)致FFT峰值發(fā)生相位變化,該相位變化用于估計(jì)到達(dá)角。通過并列的接收天線收到同一目標(biāo)反射的雷達(dá)波相位差計(jì)算得到目標(biāo)的方位角。那么方位角就可以通過兩個(gè)接收天線之間的幾何距離以及兩天線收到雷達(dá)回波的相位差通過三角函數(shù)計(jì)算得到。
1.2 入侵探測
當(dāng)毫米波雷達(dá)探測[4]到防區(qū)內(nèi)的入侵目標(biāo)后,毫米波雷達(dá)實(shí)時(shí)測算得到入侵目標(biāo)的距離、運(yùn)動(dòng)速度和方位數(shù)據(jù),通過數(shù)字波束合成(DBF) 技術(shù),能夠有效地提高雷達(dá)系統(tǒng)的抗干擾能力,具有高精度角度分辨能力,較低速度探測能力,借助邊緣計(jì)算信號(hào)處理和模式識(shí)別算法,可區(qū)分人、車目標(biāo),并有效濾除昆蟲、飛鳥等小動(dòng)物以及一定強(qiáng)度的風(fēng)霜雨雪干擾。多目攝像機(jī)根據(jù)入侵目標(biāo)的距離自動(dòng)選擇合適焦段對入侵行為進(jìn)行錄像,可旋轉(zhuǎn)球型攝像機(jī)可根據(jù)入侵目標(biāo)距離和方位自適應(yīng)焦點(diǎn)并旋轉(zhuǎn)對準(zhǔn)入侵目標(biāo),對入侵行為進(jìn)行補(bǔ)充錄像[5]。
2 入侵行為分析識(shí)別
多目攝像機(jī)和可旋轉(zhuǎn)球型攝像機(jī)兩路攝像頭通過光纖環(huán)網(wǎng)將實(shí)時(shí)視頻上傳至視頻分析服務(wù)器,視頻分析服務(wù)采用深度學(xué)習(xí)[6]建立模型,預(yù)先準(zhǔn)備一系列系統(tǒng)關(guān)注的特定入侵行為[7]視頻作為時(shí)序多模態(tài)樣本數(shù)據(jù),根據(jù)數(shù)據(jù)模態(tài)特征及因素特點(diǎn),對多模態(tài)學(xué)習(xí)行為數(shù)據(jù)進(jìn)行清洗與預(yù)處理,再使用智能算法進(jìn)行淺層特征分析,然后將多模態(tài)學(xué)習(xí)行為數(shù)據(jù)進(jìn)行歸一化與深度融合,具體包括:
運(yùn)用深度混合判別受限玻爾茲曼機(jī)神經(jīng)網(wǎng)絡(luò)處理多模態(tài)學(xué)習(xí)行為數(shù)據(jù),以此建立多模態(tài)學(xué)習(xí)行為分析模型[8];然后將待分析的視頻時(shí)序圖像輸入到上一步建立的模型中進(jìn)行分析。
首先,將視頻時(shí)序圖像進(jìn)行清洗,將清洗后的圖像數(shù)據(jù)輸入到相應(yīng)模態(tài)的深度學(xué)習(xí)網(wǎng)絡(luò)中進(jìn)行歸一化,為了進(jìn)一步提取高維特征,采用深度混合判別受限玻爾茲曼機(jī),構(gòu)建基于多模態(tài)數(shù)據(jù)的深度學(xué)習(xí)方法,對于訓(xùn)練集Dtrain,生成玻爾茲曼機(jī)以最小化負(fù)對數(shù)似然為目標(biāo)函數(shù),即最小化目標(biāo)函數(shù),借鑒在強(qiáng)化學(xué)習(xí)中成熟且廣泛運(yùn)用的e-greedy策略,使得混合判別受限玻爾茲曼機(jī)可以在數(shù)據(jù)集增多時(shí)自動(dòng)降低生成模型對整個(gè)模型的影響比重,從而獲取更為靈活、更為準(zhǔn)確的模型效果,從而構(gòu)建基于多模態(tài)數(shù)據(jù)的深度學(xué)習(xí)方法。
其次,通過分析特征數(shù)據(jù)集,獲得先驗(yàn)信息,求得各個(gè)節(jié)點(diǎn)之間的相互關(guān)系,并建立相應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu),網(wǎng)絡(luò)結(jié)構(gòu)主要分為兩類,分別是基于評(píng)分搜索的方法和基于依賴統(tǒng)計(jì)分析的方法,其中前者過程簡單且規(guī)范,因此較為常用。評(píng)分函數(shù)用以評(píng)價(jià)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)與樣本集數(shù)據(jù)集擬合的程度,評(píng)分函數(shù)會(huì)基于一個(gè)空白的網(wǎng)絡(luò),按照節(jié)點(diǎn)次序遍歷待求節(jié)點(diǎn)前面的所有節(jié)點(diǎn),隨后選擇后驗(yàn)概率值最大的節(jié)點(diǎn)作為該節(jié)點(diǎn)的父節(jié)點(diǎn),然后通過有向邊相連,一直遍歷直到網(wǎng)絡(luò)構(gòu)建完成。再通過生成Moral圖、Moral圖的三角化、找出所有子團(tuán)和建立聯(lián)合樹四個(gè)步驟,把網(wǎng)絡(luò)結(jié)構(gòu)轉(zhuǎn)換成相應(yīng)的聯(lián)合樹結(jié)構(gòu),再把學(xué)習(xí)到的網(wǎng)絡(luò)以及相關(guān)參數(shù)進(jìn)行分析與推理,得出入侵行為分析結(jié)論。
入侵行為分析結(jié)論包括對入侵目標(biāo)類別的分析、入侵行為的分析;入侵目標(biāo)類別包括人、車、無人裝置、動(dòng)物移動(dòng)目標(biāo)和樹木、風(fēng)霜雨雪虛警目標(biāo),入侵行為包括翻越、攀爬、沖撞、毀壞。
3 系統(tǒng)結(jié)構(gòu)
基于雷視融合的圍界入侵報(bào)警系統(tǒng)包括地理信息系統(tǒng)、入侵監(jiān)測模塊、行為分析模塊、數(shù)據(jù)融合模塊、報(bào)警處理模塊和防區(qū)配置模塊。入侵監(jiān)測模塊包括若干個(gè)入侵監(jiān)控報(bào)警單元,一個(gè)入侵監(jiān)控報(bào)警單元對應(yīng)一個(gè)圍界物理防區(qū),入侵監(jiān)控報(bào)警單元包括毫米波雷達(dá)、多目攝像機(jī)、可旋轉(zhuǎn)球型攝像機(jī)、警告喇叭和照明射燈;入侵監(jiān)控報(bào)警單元的毫米波雷達(dá)、多目攝像機(jī)按照入侵監(jiān)控報(bào)警單元所對應(yīng)的圍界物理防區(qū)對應(yīng)布設(shè),可旋轉(zhuǎn)球型攝像機(jī)、警告喇叭和照明射燈可根據(jù)防區(qū)實(shí)際地理情況在入侵監(jiān)控報(bào)警單元內(nèi)布設(shè)或跨單元布設(shè)。雷達(dá)用于監(jiān)測防區(qū)內(nèi)的入侵目標(biāo),多目攝像機(jī)可自動(dòng)選擇合適焦段對入侵行為進(jìn)行錄像,可旋轉(zhuǎn)球型攝像機(jī)可根據(jù)入侵位置自適應(yīng)焦點(diǎn)并旋轉(zhuǎn)對準(zhǔn)入侵目標(biāo),對入侵行為進(jìn)行補(bǔ)充錄像和跟蹤錄像。行為分析模塊用于接收上述兩類攝像機(jī)的實(shí)時(shí)視頻,并對視頻中的入侵行為進(jìn)行分析,包括對入侵目標(biāo)類別的分析、入侵行為的分析。進(jìn)而將入侵初步分析結(jié)論發(fā)送至數(shù)據(jù)融合模塊,數(shù)據(jù)融合模塊接收雷達(dá)監(jiān)測上報(bào)的入侵目標(biāo)位置信息,并融合行為分析模塊初步分析得到的入侵初步分析結(jié)論,最終判定是否觸發(fā)入侵報(bào)警。
入侵監(jiān)控報(bào)警單元的各個(gè)雷達(dá)依據(jù)圍界實(shí)際的地理狀況,按照合適的間距在圍界防區(qū)進(jìn)行布設(shè),各單元覆蓋防區(qū)范圍最大半徑為150米,并使各單元所監(jiān)控的范圍交叉覆蓋,避免監(jiān)控盲區(qū)。所有雷達(dá)通過千兆網(wǎng)線接入到交換機(jī),實(shí)現(xiàn)與數(shù)據(jù)融合模塊的網(wǎng)絡(luò)互通,用于傳輸雷達(dá)監(jiān)測結(jié)果信息。所有攝像機(jī)通過千兆網(wǎng)線接入到交換機(jī),實(shí)現(xiàn)與行為分析模塊的網(wǎng)絡(luò)互通,用于傳輸入侵監(jiān)控錄像視頻。
觸發(fā)入侵報(bào)警后,數(shù)據(jù)融合模塊將入侵報(bào)警傳輸至入侵監(jiān)控報(bào)警單元關(guān)聯(lián)的警告喇叭和照明射燈,警告喇叭自動(dòng)播放警報(bào)。在日照光線不足的情況下,照明射燈自動(dòng)開啟照明,以對入侵目標(biāo)形成一定程度的震懾和驅(qū)離。
防區(qū)配置模塊根據(jù)監(jiān)控報(bào)警單元所覆蓋的防區(qū)設(shè)定圍界防區(qū)范圍,可根據(jù)圍界防區(qū)內(nèi)實(shí)際的地理狀況,劃分出更為精細(xì)的預(yù)警區(qū)和報(bào)警區(qū),以設(shè)定不同區(qū)域的入侵報(bào)警級(jí)別和響應(yīng)級(jí)別。
數(shù)據(jù)融合模塊將匯總后的入侵報(bào)警信息傳輸至報(bào)警處理模塊,通過消息提醒的方式提醒監(jiān)控中心查看警情,消息提醒方式包括響鈴、震動(dòng)、閃爍。匯總的報(bào)警內(nèi)容包括:入侵目標(biāo)類別、入侵行為、入侵級(jí)別、入侵目標(biāo)的行動(dòng)軌跡、入侵行為視頻錄像。監(jiān)控中心同時(shí)可以查看關(guān)聯(lián)攝像機(jī)的實(shí)時(shí)視頻,通過球型攝像機(jī)旋轉(zhuǎn)控制云臺(tái)手動(dòng)控制調(diào)節(jié)球型攝像機(jī)的旋轉(zhuǎn)角度,以便于從多個(gè)視角核實(shí)入侵行為是否已經(jīng)停止或消除。
監(jiān)控中心在遠(yuǎn)程處理入侵報(bào)警事件時(shí),可隨時(shí)將入侵監(jiān)控報(bào)警單元的警告喇叭和照明射燈切換至手動(dòng)模式,通過警告喇叭對入侵目標(biāo)直接進(jìn)行喊話或播放特定的驅(qū)逐音效。同時(shí)手動(dòng)控制開關(guān)照明射燈,以對入侵事件實(shí)施更為主動(dòng)的人工介入處理,提高入侵事件的處理效率。
對于仍在持續(xù)中的入侵行為,監(jiān)控中心通過派工處理模塊,將警情信息下發(fā)派工至圍界巡查人員的手持設(shè)備終端,巡查人員立即前往報(bào)警位置查看,對入侵目標(biāo)實(shí)施驅(qū)離或抓捕行動(dòng),待入侵行為解除后,巡查人員通過手持設(shè)備終端反饋驅(qū)離行動(dòng)結(jié)束,完成本次入侵報(bào)警事件的處理。
圍界巡查人員的手持設(shè)備終端按間隔10秒的頻率上報(bào)所在位置信息至報(bào)警處理模塊,監(jiān)控中心在派工時(shí)可以實(shí)時(shí)查看并尋找距離入侵位置最近的圍界巡查人員,調(diào)度特定圍界巡查人員就近前往入侵位置,縮短入侵事件的處理時(shí)間。同時(shí),監(jiān)控中心可以通過報(bào)警處理模塊實(shí)時(shí)查看圍界巡查人員抵達(dá)位置,以便于對入侵報(bào)警事件處理進(jìn)程實(shí)現(xiàn)更高效率的調(diào)度。
4 結(jié)束語
基于毫米波雷達(dá)和視頻分析融合的圍界入侵報(bào)警技術(shù),通過入侵監(jiān)控報(bào)警單元設(shè)置的雷達(dá)和多目攝像機(jī)以及球型攝像機(jī)的組合,任何入侵行為都能及時(shí)被監(jiān)測到并實(shí)時(shí)傳輸至行為分析模塊,通過融合雷達(dá)監(jiān)測到的入侵位置和行為分析模塊分析得到的入侵行為分析結(jié)論,綜合研判是否觸發(fā)入侵報(bào)警及報(bào)警級(jí)別,整體采用模塊化組合方式,布設(shè)安裝靈活,防區(qū)劃分操作方便,全域覆蓋無死角。雷達(dá)的全天時(shí)、全天候工作特性相對視覺監(jiān)控有很好的環(huán)境適應(yīng)能力,可以第一時(shí)間發(fā)現(xiàn)并跟蹤可疑目標(biāo)。
通過融合毫米波雷達(dá)探測信息、視頻監(jiān)控以及行為分析,通過雷達(dá)技術(shù)的主動(dòng)探測、高靈敏度,視頻行為分析的數(shù)據(jù)判斷、可視性,達(dá)到入侵目標(biāo)的高檢測和高識(shí)別率,顯著降低了入侵誤報(bào)率和虛警概率。對入侵目標(biāo)進(jìn)行多源探測與協(xié)同識(shí)別與定位,刻畫目標(biāo)軌跡,可以輔助監(jiān)控中心對圍界入侵事件迅速做出判斷和應(yīng)對處理,并及時(shí)派工至圍界巡查人員,可以降低圍界巡查頻率,提高圍界巡查效率。
參考文獻(xiàn):
[1] 李洋,韓萌,王紫欣,等.毫米波雷達(dá)與攝像頭單應(yīng)性變換標(biāo)定方法誤差因素分析[J].物聯(lián)網(wǎng)技術(shù),2022,12(10):16-20.
[2] 劉振東,宋春林.一種基于攝像頭和毫米波雷達(dá)的多模態(tài)信息融合算法[J].計(jì)算機(jī)科學(xué)與應(yīng)用,2022(11):2544-2560.
[3] 李嘉浩,姚金杰,姬娜娜,等.基于ARM的高精度毫米波雷達(dá)測距傳感器[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用,2022,22(11):58-61,69.
[4] 劉峰,劉恩曉,陳曉林.一種基于背景學(xué)習(xí)的毫米波雷達(dá)機(jī)場跑道外來物探測方法研究[J].中國科技期刊數(shù)據(jù)庫 工業(yè)A,2022(6):222-225.
[5] 期治博,杜磊,霍如,等.基于邊緣計(jì)算的多攝像頭視頻協(xié)同分析方法[J].通信學(xué)報(bào),2023,44(8):14-26.
[6] 孟令睿,丁光耀,徐辰,等.基于深度學(xué)習(xí)的新型視頻分析系統(tǒng)綜述[J].軟件學(xué)報(bào),2022,33(10):3635-3655.
[7] 莫輝強(qiáng),邵唐紅,王偉,等.一種基于視頻分析的異常行為識(shí)別算法及應(yīng)用[J].計(jì)算機(jī)與數(shù)字工程,2022,50(9):1895-1898.
[8] 費(fèi)寶頂,李鵬飛,張旭,等.基于AI芯片的視頻分析應(yīng)用開發(fā)框架研究[J].警察技術(shù),2023(3):4-7.
【通聯(lián)編輯:梁書】