藺志剛，劉瑾程，尤林奇，柳晴曉龍

（黃河勘測規(guī)劃設計研究院有限公司，河南 鄭州 450003）

1 引 言

當前河長制正在由實踐探索階段向常態(tài)化、規(guī)范化、精細化的高質量發(fā)展方向邁進［1］，非法采砂監(jiān)管是全面貫徹實施河長制的重難點工作。北方河流多為季節(jié)性河流，年內、年際徑流量變化較大，洪水挾帶泥沙進入河道。然而，蓄水工程將大部分泥沙攔蓄在庫區(qū)內，造成下游河道泥沙補給量減小，非法采砂會對河道河勢穩(wěn)定、防洪安全、生態(tài)環(huán)境造成不可逆的影響［2］，因此推進北方河道非法采砂監(jiān)管工作十分必要。北方河道非法采砂多為旱采方式［2］，采砂設備以長臂鉤機、裝載機和運輸車輛為主，采砂點位變動性強、采砂行為隱蔽且常出現(xiàn)于夜間，傳統(tǒng)的人工巡檢方式存在取證難、工作效率低等問題，難以進行有效監(jiān)管，亟須利用信息化方式強化非法采砂監(jiān)管工作。

目前南方部分地區(qū)采用視頻監(jiān)控［3］、無人機［4］輔助人工巡檢或使用GPS定位設備、智能跟蹤算法、圖像識別算法等對采砂船進行自動監(jiān)管［5－6］，針對河道重點位置開發(fā)自動監(jiān)管系統(tǒng)，應用效果顯著。近年來，在北方各大流域的骨干行洪河道建設高點位河湖視頻監(jiān)控設備，初步實現(xiàn)了河湖視頻監(jiān)控全覆蓋，但高點位視頻監(jiān)控設備采用高變倍球形攝像機，單點覆蓋范圍廣、各監(jiān)控點位的畫面差異大，基于人工設計提取器的傳統(tǒng)圖像識別方法已無法適配高點位視頻監(jiān)控。目標檢測算法主要對輸入圖像的目標物進行識別與定位，與傳統(tǒng)圖像識別方法相比，基于深度學習的目標檢測算法的準確率、泛化率更高，在水利、交通等行業(yè)應用實例更多、應用效果更顯著［7］。湯文華等［5］在南方河道非法采砂監(jiān)管中使用基于深度學習的Yolo V3目標檢測算法及智能追蹤技術對禁采區(qū)內采砂船的疑似采砂行為進行自動檢測與識別，提高了河道非法采砂監(jiān)管效率。黃繼鵬等［8］提出一種面向圖像中覆蓋區(qū)域較小的一類目標（小目標）的多尺度Faster－RCNN目標檢測算法，提升了對小目標檢測的精度。陳娜等［3］運用面向小目標的多尺度Faster－RCNN目標檢測算法，提出基于智能視頻監(jiān)控系統(tǒng)的河湖四亂巡檢技術方案，提高了河湖四亂監(jiān)管的工作效率。綜上，基于深度學習的目標檢測算法在非法采砂監(jiān)管中已有局部應用，但因南北方采砂監(jiān)管對象存在差異，以上技術無法直接在北方推廣應用。

針對北方河道非法采砂行為特點及監(jiān)管需求，本文開展視頻監(jiān)控自動巡檢集成以及基于深度學習的非法采砂自動識別技術研究，實現(xiàn)對禁采區(qū)非法采砂行為的自動檢測，輔助水行政執(zhí)法人員進行非法采砂監(jiān)管工作。

2 系統(tǒng)設計

利用高點位河湖視頻監(jiān)控設備的回傳畫面建立一套基于目標檢測算法的北方河道非法采砂智能監(jiān)管系統(tǒng)，實現(xiàn)視頻基礎服務、圖像資源庫、算法模型管理、非法采砂識別以及業(yè)務監(jiān)管功能，系統(tǒng)功能結構見圖1。

圖1 系統(tǒng)功能結構

2.1 軟件設計

系統(tǒng)軟件采用前后端分離B／S架構，前端為Vue、后端為SpringMVC開發(fā)框架，數(shù)據(jù)庫采用具有空間數(shù)據(jù)存儲管理功能的PostgreSQL數(shù)據(jù)庫，GIS平臺采用超圖WebGIS平臺，目標檢測算法采用PaddleDetection開發(fā)框架。系統(tǒng)各功能模塊的具體設計如下：

（1）視頻基礎服務。通過WebAPI開發(fā)方式集成視頻監(jiān)控設備廠商提供的功能接口，實現(xiàn)前端視頻監(jiān)控設備接入、視頻轉發(fā)以及圖像切片等基礎功能，通過預置位巡航實現(xiàn)視頻監(jiān)控自動巡檢功能。

（2）圖像資源庫。樣本數(shù)據(jù)集的數(shù)量與質量是影響算法準確率的關鍵因素，高點位視頻監(jiān)控設備的焦變比、云臺變幅大，同時受監(jiān)控時段、氣候的影響，各監(jiān)控點位間畫面差異大。為提高算法準確率，基于Pad?dleDetection開發(fā)框架創(chuàng)建圖像半自動標注、圖像數(shù)據(jù)增強、樣本倉庫管理以及數(shù)據(jù)分組功能，建立點位關聯(lián)的圖像資源庫，進而實現(xiàn)算法逐點位的適配優(yōu)化。

（3）算法模型管理。通過把樣本數(shù)據(jù)載入圖像資源庫結合PaddleDetection開發(fā)框架實現(xiàn)算法模型的訓練、評估、迭代優(yōu)化、發(fā)布預測功能，為非法采砂識別提供模型預測接口。

（4）非法采砂識別。識別接口載入自動巡檢產生的圖像切片數(shù)據(jù)，調用模型預測接口對非法采砂特征物（長臂鉤機、裝載機和運輸車）進行識別，根據(jù)監(jiān)控設備狀態(tài)信息（方位角、俯仰角、畫面焦段等）以及安裝信息（安裝高度、經(jīng)緯度等）獲得特征物位置信息，在GIS地圖中對特征物進行定位顯示，同時通過創(chuàng)建樣本反饋功能為圖像資源的樣本倉庫提供增量數(shù)據(jù)。

（5）業(yè)務監(jiān)管。為水行政執(zhí)法人員提供非法采砂告警核查、告警處置以及業(yè)務閉環(huán)管理功能。

2.2 硬件及網(wǎng)絡設計

系統(tǒng)硬件由前端視頻監(jiān)控設備、后端服務器以及用戶終端組成，其中：前端視頻監(jiān)控設備通過運營商專線或4G／5G無線接入后端機房，用戶使用電腦客戶端（PC端）、移動終端等訪問系統(tǒng)；后端服務器包含應用服務器、流媒體服務器、接入服務器以及GPU服務器等，為系統(tǒng)提供服務器硬件算力。系統(tǒng)硬件及網(wǎng)絡結構見圖2。

圖2 硬件及網(wǎng)絡結構

視頻監(jiān)控設備的選型應充分考慮非法采砂巡檢需求，針對非法采砂點位變動性強、采砂行為隱蔽的情況，應選用具有云臺功能的球形攝像機；針對夜間非法采砂頻發(fā)的點位，應選用具有熱成像功能的攝像機，通過熱成像畫面識別夜間采砂車輛，以保證夜間巡檢效果；對于利用通信鐵塔資源的高點位攝像機而言，應盡量選擇高變焦比、防抖性能優(yōu)越的攝像機，以擴大單臺設備的巡檢覆蓋范圍、減少點位、降低巡檢成本。此外，根據(jù)視頻監(jiān)控設備數(shù)量、用戶并發(fā)訪問量、非法采砂巡檢頻率以及視頻監(jiān)控畫面的歷史數(shù)據(jù)存儲時限等確定后端服務器中各類服務器的數(shù)量。

3 關鍵技術研究與實現(xiàn)

3.1 視頻監(jiān)控自動巡檢

流域管理部門公布的相關河道采砂管理規(guī)劃對禁采區(qū)、可采區(qū)和保留區(qū)做出了明確規(guī)定，根據(jù)河道采砂管理規(guī)劃確定非法采砂監(jiān)管時間及監(jiān)管范圍，在監(jiān)管范圍內篩選可用的高點位視頻監(jiān)控。高點位視頻監(jiān)控覆蓋半徑為2 km，巡檢路徑多樣，須提前規(guī)劃巡檢路徑，確保巡檢范圍不遺漏、不重復。當巡檢區(qū)域為狹長形時巡檢路徑應自上游向下游，當巡檢區(qū)域為面狀時巡檢路徑應由外向內逆時針旋轉，直至覆蓋全部待檢區(qū)域［3］。通過監(jiān)控設備的預置位巡航功能實現(xiàn)視頻監(jiān)控自動巡檢，預置位宜選擇在易發(fā)生非法采砂點位、河道與建筑物交叉處或水工建筑物布置處等關鍵位置，巡檢過程中設備變焦倍數(shù)以可能出現(xiàn)的目標在畫面中所占像素不低于80×80的要求來確定。

北方旱采常采用長臂鉤機、裝載機和運輸車三類機械設備組合采砂，把三類機械設備定義為旱采特征物，單處采砂時間為2 h以上，把巡檢頻率定義為每2 h檢測1次，巡檢結束后回傳巡檢周期內的全部圖像畫面，采用目標檢測算法識別畫面中是否存在旱采特征物，若存在則標識為疑似非法采砂行為。

3.2 半自動圖像標注機制與資源庫建立

不同點位的視頻監(jiān)控畫面差異很大，為提高算法準確率，建立與點位關聯(lián)的圖像資源庫，通過半自動圖像標注機制輔助人工標注樣本。以現(xiàn)有的旱采特征物公開數(shù)據(jù)集為基礎，使用LabelImg標注樣本數(shù)據(jù)，匯總形成預訓練集，經(jīng)面向小目標的多尺度Faster－RCNN目標檢測算法［8］訓練后形成預訓練模型，使用該模型預測視頻監(jiān)控畫面，獲得初步預測結果，隨后人工對預測結果進行調整，實現(xiàn)半自動標注并將樣本存儲至資源庫中，由資源庫統(tǒng)一管理非法采砂樣本資源。在半自動圖像標注機制的輔助下，樣本會隨著系統(tǒng)運行不斷積累，算法訓練集的數(shù)量不斷增加、質量不斷提高，進而提高算法的準確率。

3.3 基于Faster－RCNN目標檢測算法的非法采砂識別技術

利用基于深度學習的目標檢測算法對監(jiān)控畫面中旱采特征物進行識別定位，高點位視頻監(jiān)控設備安裝高度通常為30 m，監(jiān)控畫面范圍大，而待檢測目標通常為小目標，因此引入面向小目標的多尺度Faster－RCNN目標檢測算法，此算法高度契合非法采砂巡檢需求，算法結構見圖3。

圖3 面向小目標的多尺度Faster－RCNN目標檢測算法結構

以待檢測目標長臂鉤機為例，簡述算法實施情況。預訓練模型中采用經(jīng)ImageNet預訓練的VGG16網(wǎng)絡提取圖像特征，設置長臂鉤機候選框長寬比分別為0.6、1.0、1.2，其余參數(shù)設置與文獻［8］保持一致，提取訓練樣本中的圖像特征進行訓練。

Faster－RCNN目標檢測算法采用多任務損失函數(shù)訓練檢測網(wǎng)絡：

式中：L為多任務損失函數(shù)；ti為預測區(qū)域包圍盒的參數(shù)化坐標；pi為候選框命中目標的概率為選取的候選框目標對應樣本的所屬標簽，當候選框中的目標為正樣本時取1，當候選框中的目標為負樣本時取0；為真實區(qū)域包圍盒的參數(shù)化坐標；λ為權重函數(shù)；i為小批量候選框的索引；Ncls、Nreg為歸一化參數(shù)；Lcls為分類損失函數(shù)；Lreg為位置損失函數(shù)；R為魯棒性損失函數(shù)；x為候選框中心橫坐標。

使用準確率Precision和召回率Recall對訓練后的模型進行評估，計算公式如下：

式中：Tp為正確檢測到目標的數(shù)量；Fp為檢測目標有誤的數(shù)量；Fn為未檢測到目標的數(shù)量。

3.4 非法采砂監(jiān)管

采用目標檢測算法檢測到視頻畫面中存在旱采特征物時，系統(tǒng)自動截取圖片和視頻片段，根據(jù)此刻監(jiān)控設備狀態(tài)信息和安裝信息獲得旱采特征物的定位信息，固定疑似非法采砂證據(jù)。通過GIS空間分析技術判斷旱采特征物與禁采區(qū)的位置關系，當旱采特征物位置在禁采區(qū)內時系統(tǒng)自動觸發(fā)非法采砂告警行為，人工核查確認非法采砂行為屬實后，向水行政執(zhí)法人員推送告警信息及證據(jù)，水行政執(zhí)法人員完成非法采砂閉環(huán)處置工作，人工核查確認的結果也會作為算法的樣本數(shù)據(jù)反饋存儲至系統(tǒng)圖像資源庫中。非法采砂監(jiān)管業(yè)務流程見圖4。

圖4 非法采砂監(jiān)管業(yè)務流程

4 應用案例

以北方遷安市非法采砂監(jiān)管為例，對河道非法采砂智能監(jiān)管系統(tǒng)應用情況進行分析。目前該市已建立覆蓋全域重點河流的高點位河湖視頻監(jiān)控設備，在該市西北界河附近常年流竄著多個非法采砂團伙，盜采行為對河道河勢穩(wěn)定、防洪安全及生態(tài)環(huán)境造成了嚴重影響。

4.1 系統(tǒng)應用情況

結合非法采砂巡檢需求、已建視頻監(jiān)控的分布情況及可視情況，對于盜采現(xiàn)象最嚴重區(qū)域，系統(tǒng)接入31臺前端視頻監(jiān)控設備，輔助人工進行河道管理面積為57 km2的非法采砂巡檢工作。系統(tǒng)后端服務器集中部署于市政務云，使用5臺虛擬服務器，硬件資源共94個CPU核心，內存為320 GB，存儲空間為2 T，NVIDIA T4 GPU計算卡2張，服務器操作系統(tǒng)為Centos7.6操作系統(tǒng)，視頻監(jiān)控基礎平臺為?？礗nfovision NREE－iWR 3.0，用戶通過運營商專線和互聯(lián)網(wǎng)訪問系統(tǒng)，系統(tǒng)運行條件滿足等保2.0三級要求。

4.2 算法識別情況

算法所需的樣本集由兩部分組成：一部分是圖像資源庫中存儲的視頻監(jiān)控回傳樣本圖像（見圖5（a）），共837張；另一部分取自旱采特征物相關的ImageNet公開數(shù)據(jù)集（見圖5（b）），共600張。使用LabelImg工具對數(shù)據(jù)集進行標注，以Pascal VOC2007格式將標注信息存儲到xml文件中。使用平移、增加噪聲、鏡像等圖像處理方法擴充樣本集，最終將樣本擴充到2 600個，其中有2 400個 訓 練 樣 本，200個 測 試 樣 本。使 用PaddleDetection開發(fā)框架對算法進行訓練、評估、部署，訓練迭代輪數(shù)（Epoch）、學習率（Learning Rate）、批大?。˙atch Size）分別設置為22、0.002 5、5。

圖5 算法樣本集

在當前訓練樣本情況下目標檢測算法對測試樣本中旱采特征物的綜合檢測精度為61.5%。系統(tǒng)上線運行后目標正樣本持續(xù)積累，訓練樣本數(shù)量增加，檢測精度持續(xù)提高。圖6為在河道管理范圍內白天、夜間識別到的非法取土、采砂行為。

圖6 非法采砂識別算法效果

4.3 算法應用情況

根據(jù)非法采砂巡檢規(guī)則，每2 h對禁采區(qū)執(zhí)行1次巡檢，識別巡檢路徑上的旱采特征物，并將疑似非法采砂行為推送人工核查，確認非法采砂行為屬實后觸發(fā)非法采砂處置流程。截至目前，系統(tǒng)已檢測到非法采砂行為20余次，水行政執(zhí)法人員發(fā)起非法采砂處置流程并處理相關問題10余次，與人工巡河相比，該系統(tǒng)擴大了巡檢范圍、增加了巡檢頻次、提高了巡檢工作效率。系統(tǒng)檢測到非法采砂行為后的告警頁面見圖7。

圖7 非法采砂行為告警頁面

5 結論與建議

本文針對北方河道非法采砂行為特點及監(jiān)管需求，開展了視頻監(jiān)控自動巡檢集成和非法采砂自動識別技術研究，研發(fā)了基于目標檢測算法的北方河道非法采砂智能監(jiān)管系統(tǒng)。以北方遷安市試點應用情況為例，驗證了該系統(tǒng)的有效性，實現(xiàn)了基于深度學習的目標檢測算法在北方非法采砂監(jiān)管中的應用。與人工巡河相比，本文技術方案在巡檢范圍、巡檢頻次等方面均有明顯提升，但仍存在以下不足：當告警現(xiàn)場環(huán)境發(fā)生較大變化時，若業(yè)務人員對上次告警現(xiàn)象處置不及時，系統(tǒng)可能將其識別為一項新的告警，存在重復告警現(xiàn)象。在后續(xù)工作中，將對該問題進行優(yōu)化處理，并及時督促業(yè)務人員處理告警現(xiàn)象，避免重復告警現(xiàn)象出現(xiàn)。