湯文華,陳燦斌,向舒華,申寒冬
(1.湖北省水利水電科學(xué)研究院,武漢430070;2.廈門興康信科技股份有限公司,福建廈門361016;3.湖北省水利水電科技推廣中心,武漢430070)
非法采砂對(duì)長(zhǎng)江河勢(shì)穩(wěn)定、防洪、通航安全以及生態(tài)環(huán)境等存在極大的危害[1-3],一直以來(lái)都是長(zhǎng)江水域治理的頑疾,雖然主管部門嚴(yán)厲打擊此類違法犯罪多年,但不法分子仍然為了暴利而趨之若鶩。非法采砂船大多為“三無(wú)船只”(無(wú)船名船號(hào)、無(wú)船籍港、無(wú)船舶證書),晝伏夜出,流動(dòng)作案,并選擇易于逃跑或藏匿處盜采。即使是安裝有AIS等身份識(shí)別設(shè)備的采砂船,也會(huì)在作案時(shí)關(guān)閉AIS 或更改AIS 信息以逃避管理部門的追查。此外,通過(guò)追蹤執(zhí)法部門的人員和船只,非法采砂人員還能夠及時(shí)了解執(zhí)法行動(dòng),在必要時(shí)中止盜采行為,迅速逃竄或藏匿,極易導(dǎo)致關(guān)鍵證據(jù)的滅失,使得執(zhí)法難度越來(lái)越大。為解決河道非法采砂監(jiān)管的痛點(diǎn)、難點(diǎn),必須引入基于深度學(xué)習(xí)的圖像識(shí)別等新技術(shù),以提升監(jiān)管效能。
深度學(xué)習(xí)是建立在計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)理論和機(jī)器學(xué)習(xí)理論上的系統(tǒng)科學(xué),程序在處理相關(guān)任務(wù)時(shí),會(huì)通過(guò)自
我學(xué)習(xí)而不斷完善,提高處理性能。近幾年,基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)獲得了飛速的進(jìn)展,在人臉識(shí)別、醫(yī)學(xué)圖像分析、遙感圖像分類、交通視頻監(jiān)控和字符識(shí)別等方面都有比較成功的應(yīng)用[4,5]。為實(shí)現(xiàn)非法采砂智能監(jiān)管,需將船舶圖像輸入神經(jīng)網(wǎng)絡(luò)模型中,對(duì)圖像的各種特征進(jìn)行識(shí)別、提取、分類,并且不斷訓(xùn)練學(xué)習(xí)。利用訓(xùn)練好的模型從實(shí)時(shí)視頻中快速有效的提取船舶目標(biāo)并跟蹤目標(biāo),自動(dòng)判別船舶類型和身份,對(duì)船舶異常行為進(jìn)行告警,從而成為非法采砂監(jiān)管上的一個(gè)有力的技術(shù)手段,緩解監(jiān)管難題。
對(duì)于深度學(xué)習(xí)應(yīng)用型系統(tǒng),計(jì)算力和數(shù)據(jù)量是影響應(yīng)用效果的兩個(gè)關(guān)鍵因素。在計(jì)算力滿足條件的前提下,需要將海量高質(zhì)量的素材數(shù)據(jù)喂給神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,模型效果會(huì)隨著素材數(shù)量的增多而變好。反之,數(shù)據(jù)集數(shù)量不夠、標(biāo)注質(zhì)量不高,都會(huì)嚴(yán)重影響最終檢測(cè)結(jié)果。
為采集高質(zhì)量、多時(shí)段(白天、夜晚)、多天氣(晴天、陰天、雨天)、多角度的圖像素材,需要搭建實(shí)時(shí)的船舶圖像采集平臺(tái),產(chǎn)生龐大的數(shù)據(jù)量。數(shù)據(jù)包括通過(guò)高清攝像機(jī)抓拍的過(guò)往船舶圖片和錄制的船舶運(yùn)動(dòng)視頻等。為了采集夜間素材,還需配備紅外激光攝像機(jī)和熱成像攝像機(jī)。
船舶圖像數(shù)據(jù)在現(xiàn)實(shí)作業(yè)環(huán)境中會(huì)受到水上環(huán)境、天氣、光線變化的干擾,對(duì)一定范圍內(nèi)的船只聚集、異物遮擋情況作出錯(cuò)誤判斷。因此在廣泛收集素材的基礎(chǔ)上,還需要由專人做素材審核,以確保素材標(biāo)注的質(zhì)量。標(biāo)注目標(biāo)時(shí),方框大小和位置應(yīng)合適。只要是能被分辨的目標(biāo),即使被部分遮擋或是小目標(biāo),都應(yīng)該被標(biāo)注。被遮擋太多或者人眼無(wú)法分辨的,則不做標(biāo)注,這樣使模型更有通用性。
基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法有多種,我們采用基于回歸思想的Yolo V3算法[6]。該算法綜合性能較好,可實(shí)現(xiàn)45 幀/s 的運(yùn)算速度,在準(zhǔn)確性和對(duì)小目標(biāo)的檢測(cè)效果上也都能滿足船舶目標(biāo)實(shí)時(shí)檢測(cè)的要求。
利用深度學(xué)習(xí)在大數(shù)據(jù)目標(biāo)檢測(cè)領(lǐng)域的優(yōu)勢(shì),神經(jīng)網(wǎng)絡(luò)可以大量學(xué)習(xí)標(biāo)注過(guò)的素材,逐漸提取圖像從淺層到深層的特征,反復(fù)優(yōu)化,最后得到效果較好的模型。對(duì)于給定的單張靜態(tài)二維圖像,模型能夠?qū)D片中感興趣的目標(biāo)進(jìn)行識(shí)別,并輸出目標(biāo)在原圖片中的位置坐標(biāo)(一個(gè)矩形區(qū)域),通常以(left,top,width,height)的形式給出。經(jīng)實(shí)踐證明,推理優(yōu)化后的目標(biāo)檢測(cè)模型可以準(zhǔn)確快速地檢測(cè)出圖像中的所有船舶,包括密集目標(biāo)、小目標(biāo)和遮擋目標(biāo)等。
深度網(wǎng)絡(luò)的訓(xùn)練過(guò)程需要大量的數(shù)據(jù)進(jìn)行參數(shù)擬合。訓(xùn)練樣本是具有標(biāo)注的圖片,將大量帶標(biāo)的訓(xùn)練樣本放入網(wǎng)絡(luò)中,網(wǎng)絡(luò)根據(jù)設(shè)定好的優(yōu)化函數(shù),以標(biāo)注作為監(jiān)督信號(hào),讓網(wǎng)絡(luò)學(xué)習(xí)圖片的低層特征到高層語(yǔ)義特征,而后再在某個(gè)高維的特征空間,讓網(wǎng)絡(luò)擬合訓(xùn)練數(shù)據(jù)集的分布。具體地,首先將帶標(biāo)注樣本做增廣和歸一化。接著將處理后的圖片矩陣輸入網(wǎng)絡(luò),網(wǎng)絡(luò)通過(guò)設(shè)定好的運(yùn)算路線預(yù)測(cè)出船舶目標(biāo),然后再計(jì)算預(yù)測(cè)位置和標(biāo)注位置之間的損失,利用損失計(jì)算梯度,回傳優(yōu)化網(wǎng)絡(luò)參數(shù),而后再反復(fù)繼續(xù)訓(xùn)練。最終的理想狀態(tài)是損失最小化,也就是預(yù)測(cè)結(jié)果和真實(shí)結(jié)果趨于一致。
深度網(wǎng)絡(luò)的測(cè)試過(guò)程相對(duì)訓(xùn)練過(guò)程而言相對(duì)簡(jiǎn)捷。測(cè)試過(guò)程就是一個(gè)真實(shí)的預(yù)測(cè)過(guò)程,將測(cè)試圖片做歸一化后就直接輸入網(wǎng)絡(luò)中,讓網(wǎng)絡(luò)預(yù)測(cè)出船舶位置,如圖1。而如果想要計(jì)算網(wǎng)絡(luò)的準(zhǔn)確率,則需要測(cè)試圖片也有標(biāo)注,利用預(yù)測(cè)結(jié)果和真實(shí)結(jié)果進(jìn)行比較,計(jì)算出網(wǎng)絡(luò)的準(zhǔn)確率。
對(duì)于視頻畫面的多目標(biāo)跟蹤,就是在船舶目標(biāo)檢測(cè)的基礎(chǔ)上,將視頻中不同幀內(nèi)的同一運(yùn)動(dòng)目標(biāo)關(guān)聯(lián)起來(lái),從而計(jì)算出目標(biāo)的位置、速度、加速度以及運(yùn)動(dòng)軌跡等運(yùn)動(dòng)參數(shù)。
視頻信息具有時(shí)序性,前后兩幀畫面中的目標(biāo)具有關(guān)聯(lián)性。對(duì)每幀畫面進(jìn)行檢測(cè),得到所有感興趣的船舶目標(biāo),并且將第N幀和第N+1 幀中的同一目標(biāo)關(guān)聯(lián)起來(lái),賦予同一個(gè)ID。一個(gè)目標(biāo)從進(jìn)入視頻檢測(cè)
范圍到離開,該目標(biāo)的ID不變,由此實(shí)現(xiàn)目標(biāo)跟蹤。
實(shí)際環(huán)境中,目標(biāo)速度過(guò)快會(huì)導(dǎo)致第N+1 幀與第N幀的目標(biāo)位置對(duì)比關(guān)聯(lián)出現(xiàn)誤差。為此,我們采用卡爾曼濾波算法來(lái)進(jìn)行目標(biāo)的軌跡預(yù)測(cè),根據(jù)目標(biāo)前幾幀的軌跡來(lái)預(yù)測(cè)它下一幀的位置。優(yōu)化后,對(duì)畫面中的所有目標(biāo)都能進(jìn)行穩(wěn)定的跟蹤。
目標(biāo)跟蹤一方面關(guān)聯(lián)了不同畫面中的同一目標(biāo),為船舶圖像拼接提供條件,另一方面,船舶的運(yùn)動(dòng)參數(shù)也是其行為分析的重要數(shù)據(jù)。此外,基于視頻的目標(biāo)跟蹤,在一定程度上能夠彌補(bǔ)雷達(dá)的盲區(qū),保證每一個(gè)過(guò)往船舶都能被跟蹤、識(shí)別,不發(fā)生遺漏。
采砂監(jiān)管的監(jiān)控對(duì)象主要是采砂船和運(yùn)砂船,因此需要利用船舶分類模型將他們從航道上航行的貨船、漁船、客汽渡船、公務(wù)船等多種船舶中甄別出來(lái)。
船舶分類模型采用模板匹配技術(shù)和神經(jīng)網(wǎng)絡(luò)模型相融合的識(shí)別分類算法。首先,對(duì)采集到的船舶圖像提取分類標(biāo)識(shí)性特征量,將特征量與數(shù)據(jù)庫(kù)中所有種類的船舶模型進(jìn)行模板匹配,排除相似度較低的船舶分類。然后,將圖像信息輸入到各個(gè)分類的神經(jīng)網(wǎng)絡(luò)中進(jìn)行分析,最后對(duì)得到的輸出結(jié)果進(jìn)行判斷和比較,得出最佳匹配類型。
在神經(jīng)網(wǎng)絡(luò)模型方面,我們采用殘差網(wǎng)絡(luò)ResNet(Residual Network)作為目標(biāo)分類卷積神經(jīng)網(wǎng)絡(luò)。ResNet以其獨(dú)特的殘差結(jié)構(gòu)(Residual Unit)大大地加深了網(wǎng)絡(luò)的深度,從而大大加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度,極大提升模型的準(zhǔn)確率。在對(duì)圖像進(jìn)行的多層卷積運(yùn)算中,低層卷積提取船舶的特征點(diǎn)信息,如輪廓、觸點(diǎn)、邊緣等,高層卷積提取整個(gè)畫面的高層語(yǔ)義信息,再應(yīng)用全連接神經(jīng)網(wǎng)絡(luò),對(duì)提取的卷積特征做線性變換,使船舶特征變換至高維子空間,最后對(duì)高維子空間特征做分類?;谏鲜鲈淼纳窠?jīng)網(wǎng)絡(luò)模型識(shí)別速度快,分類準(zhǔn)確率高,抗類間干擾性較強(qiáng)。
分類的過(guò)程主要是讓神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)圖片的特征過(guò)程,網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程實(shí)質(zhì)上是一個(gè)從特殊到普遍的過(guò)程。將訓(xùn)練樣本放入網(wǎng)絡(luò)中,讓網(wǎng)絡(luò)去擬合出圖片的分布情況,在某個(gè)高維的特征空間中計(jì)算出分類超平面。而后在測(cè)試的過(guò)程中,網(wǎng)絡(luò)首先將圖片映射到該高維特征空間,而后利用其在空間中的位置到分類超平面之間的相對(duì)關(guān)系對(duì)其類別進(jìn)行判定。
相對(duì)其他任務(wù),目前在圖片分類任務(wù)上,深度網(wǎng)絡(luò)能很好地?cái)M合圖片的分布情況,且分類準(zhǔn)確率一般都很高。
采砂監(jiān)管重點(diǎn)關(guān)注采砂船和運(yùn)砂船,抓拍的船舶圖片經(jīng)過(guò)分類識(shí)別后,自動(dòng)為這兩類船舶建立船舶圖像庫(kù)。圖像庫(kù)也收錄從其他渠道收集到的重點(diǎn)船舶圖片。
利用船舶分割模型對(duì)圖像進(jìn)行目標(biāo)背景分離,得到目標(biāo)圖像,去除江水及岸邊背景的影響,然后利用機(jī)器學(xué)習(xí)的方法進(jìn)行特征提取,形成船舶特征庫(kù)。
對(duì)于正常開啟AIS 的采砂船和運(yùn)砂船,將AIS 檔案資料與船舶圖像資料關(guān)聯(lián)起來(lái);對(duì)于沒(méi)有AIS信息的船只,則采用人工補(bǔ)齊資料的方式形成完整檔案記錄。
當(dāng)目標(biāo)被分類為采砂船之后,需要繼續(xù)將該圖片的船舶特征與船舶特征庫(kù)進(jìn)行匹配,以判定船舶身份。從圖片中提取的圖像特征在一定程度上可以當(dāng)做圖片的特定標(biāo)識(shí),通常用一個(gè)多維向量或者一串128 位二進(jìn)制數(shù)字表示。通過(guò)圖像特征對(duì)比,可以評(píng)價(jià)圖片相似度,從而通過(guò)一張圖可以找出相似的其他圖片,即所謂“以圖搜圖”。當(dāng)兩張圖片所提取的特征點(diǎn)的匹配點(diǎn)超過(guò)一定數(shù)量時(shí),則認(rèn)為這兩張圖片相似。
從成千上萬(wàn)張圖片源中查找與目標(biāo)相似的圖片,比對(duì)速度是十分關(guān)鍵的。用圖像特征構(gòu)建出一個(gè)二叉樹,為這些特征創(chuàng)建索引,可以提高特征對(duì)比速度。采用多GPU 并行運(yùn)算的方式,可加速圖像處理,處理速度大大提升。
當(dāng)特征庫(kù)里存在匹配結(jié)果時(shí),可以得到目標(biāo)采砂船在數(shù)據(jù)庫(kù)里登記的各種信息,包括之前是否有非法采砂的行為;當(dāng)數(shù)據(jù)庫(kù)里不存在匹配結(jié)果時(shí),表示該采砂船是未經(jīng)登記的非法采砂船,自動(dòng)對(duì)該船進(jìn)行非法采砂標(biāo)記,形成報(bào)警記錄。
從系統(tǒng)的角度,整個(gè)非法采砂的智能監(jiān)管除了基于深度學(xué)習(xí)的圖像識(shí)別之外,還需要多傳感器目標(biāo)融合、光電聯(lián)動(dòng)跟蹤、多攝像機(jī)接力跟蹤、目標(biāo)行為分析、違法取證,最終在基于地圖服務(wù)的可視化服務(wù)平臺(tái)上進(jìn)行展示、報(bào)警和回放。
雷達(dá)站部署雷達(dá)、攝像機(jī),并與中心機(jī)房專線直連。一個(gè)雷達(dá)站搭配一臺(tái)AIS基站,實(shí)現(xiàn)周邊30公里內(nèi)AIS數(shù)據(jù)的接收。至少有一個(gè)雷達(dá)站部署紅外熱成像,實(shí)現(xiàn)夜間的監(jiān)控。CCTV監(jiān)測(cè)點(diǎn)部署抓拍攝像機(jī)和聯(lián)動(dòng)攝像機(jī),如果要實(shí)現(xiàn)夜間監(jiān)控,則需配置紅外激光攝像機(jī)。
多傳感器目標(biāo)融合就是將多個(gè)傳感器獲取的數(shù)據(jù)、信息集中在一起綜合分析以便更加準(zhǔn)確可靠地描述目標(biāo)信息,從而提高系統(tǒng)決策的正確性。雷達(dá)可以主動(dòng)監(jiān)控較大范圍水域里的運(yùn)動(dòng)目標(biāo),獲取船舶實(shí)時(shí)位置,記錄其完整的歷史軌跡信息;AIS 基站可以接收幾十公里水域內(nèi)船舶主動(dòng)發(fā)送的身份信息;圖像識(shí)別可以獲得船舶的類別和身份信息。采用目標(biāo)融合技術(shù),將雷達(dá)目標(biāo)、AIS 目標(biāo)和圖像識(shí)別目標(biāo)在時(shí)間、空間上進(jìn)行統(tǒng)一校準(zhǔn)后再作相關(guān)處理,形成一個(gè)目標(biāo),取得比單個(gè)數(shù)據(jù)源更一致、更準(zhǔn)確、更有用的信息,并能與船舶數(shù)據(jù)庫(kù)匹配,獲取歷史資料。
由于單臺(tái)攝像機(jī)監(jiān)控范圍有限,也可能出現(xiàn)目標(biāo)被遮擋的情況,所以需要使用多臺(tái)攝像機(jī),滿足大范圍的目標(biāo)跟蹤。對(duì)某一重點(diǎn)目標(biāo)的持續(xù)跟蹤以單攝像機(jī)跟蹤為基礎(chǔ),在超出單攝像機(jī)視野覆蓋范圍后,由下一臺(tái)攝像機(jī)自動(dòng)接力跟蹤。
光電聯(lián)動(dòng)跟蹤是單攝像機(jī)目標(biāo)準(zhǔn)確快速跟蹤的一種有效方法,即智能跟蹤算法根據(jù)雷達(dá)目標(biāo)的坐標(biāo)信息,引導(dǎo)攝像機(jī)對(duì)船舶進(jìn)行聯(lián)動(dòng)追蹤,通過(guò)對(duì)攝像機(jī)焦距、倍率、角度和調(diào)整速度的控制,實(shí)現(xiàn)跟蹤畫面運(yùn)動(dòng)平滑,目標(biāo)比例合適,始終保持目標(biāo)居中顯示,達(dá)到良好的視覺效果。多攝像機(jī)接力目標(biāo)跟蹤由統(tǒng)一的后臺(tái)算法來(lái)調(diào)度指揮,將單攝像機(jī)按先后順序逐個(gè)跟蹤監(jiān)控目標(biāo),實(shí)現(xiàn)跟蹤目標(biāo)的準(zhǔn)確交接。跟蹤算法為適應(yīng)目標(biāo)及場(chǎng)景的各種變化,實(shí)現(xiàn)長(zhǎng)時(shí)穩(wěn)定的跟蹤,需要進(jìn)行快速目標(biāo)定位,提高實(shí)時(shí)性與準(zhǔn)確性,以及對(duì)目標(biāo)姿態(tài)變化、遮擋等情況的適應(yīng)性。
在實(shí)現(xiàn)目標(biāo)檢測(cè)后,持續(xù)記錄目標(biāo)的運(yùn)動(dòng)軌跡(二維坐標(biāo)點(diǎn)集合),并基于此作進(jìn)一步的行為分析及事件檢測(cè),是智能監(jiān)管的關(guān)鍵環(huán)節(jié)。行為分析不僅可以對(duì)合法登記的采砂船的作業(yè)合法性進(jìn)行判斷,還可對(duì)無(wú)證船、偽裝船的盜采行為進(jìn)行識(shí)別。通過(guò)分析目標(biāo)軌跡點(diǎn)數(shù)據(jù),可以判斷目標(biāo)是否經(jīng)過(guò)抓拍線、是否進(jìn)入指定區(qū)域(禁采區(qū)、可采區(qū))、是否越過(guò)電子圍欄(越界報(bào)警),或者是否存在逗留、聚集、徘徊、速度或航向突變等行為。在監(jiān)控過(guò)程中,這些行為模型根據(jù)所觀察到的行為進(jìn)行自我學(xué)習(xí)和更新,從而不斷適應(yīng)監(jiān)控場(chǎng)景中運(yùn)動(dòng)行為的變化,正確地判斷當(dāng)前行為正常與否。對(duì)存在非法采砂行為的船只,自動(dòng)將其標(biāo)記為疑似非法船只,通過(guò)聯(lián)動(dòng)抓拍、錄像、跟蹤以及記錄其運(yùn)動(dòng)軌跡,形成證據(jù)鏈,為采砂監(jiān)管執(zhí)法提供技術(shù)支撐。
整個(gè)監(jiān)控區(qū)域內(nèi)的目標(biāo)跟蹤、錄像、報(bào)警、回放等功能需要一個(gè)直觀、可視化的信息呈現(xiàn)方式。建設(shè)基于GIS(電子江圖與衛(wèi)星圖混合)的綜合展示平臺(tái),將各類應(yīng)用功能和信息在此平臺(tái)上疊加展示(包括船舶動(dòng)態(tài)監(jiān)控、過(guò)線抓拍識(shí)別、聯(lián)動(dòng)跟蹤取證、違法報(bào)警、記錄回放、船舶檔案庫(kù)等),可實(shí)現(xiàn)監(jiān)管系統(tǒng)的高效利用。
系統(tǒng)中的報(bào)警和回放功能極為關(guān)鍵,通過(guò)短信平臺(tái)向現(xiàn)場(chǎng)執(zhí)法人員及時(shí)發(fā)送報(bào)警信息,能讓現(xiàn)場(chǎng)執(zhí)法人員準(zhǔn)確把握時(shí)機(jī)。配備移動(dòng)應(yīng)用終端后,現(xiàn)場(chǎng)人員可快速定位跟蹤目標(biāo),防止非法采砂船逃逸。
通過(guò)在重點(diǎn)監(jiān)管區(qū)域應(yīng)用該智能監(jiān)管系統(tǒng),實(shí)現(xiàn)了對(duì)各類船舶目標(biāo)的監(jiān)測(cè)和身份識(shí)別,并對(duì)重點(diǎn)采砂船、運(yùn)砂船進(jìn)行了跟蹤和記錄,初步驗(yàn)證了該系統(tǒng)的有效性。作為一種新的手段,本系統(tǒng)匯集多種新技術(shù),使現(xiàn)場(chǎng)管理更加有的放矢,為智慧執(zhí)法提供技術(shù)保障。
由于科研經(jīng)費(fèi)較為有限,本項(xiàng)目中的雷達(dá)監(jiān)控范圍和夜間熱成像效果均未能完全滿足實(shí)際應(yīng)用場(chǎng)景的需要,環(huán)境光照變化大(水面反光、夕照、背光、大霧等)和背景復(fù)雜(長(zhǎng)期停泊船舶、浮標(biāo)、淺灘、水草樹木遮擋)等問(wèn)題也需要通過(guò)進(jìn)一步調(diào)整監(jiān)控布點(diǎn)來(lái)完善。 □