吳海燕 李效寧

摘要：河道的治理建設(shè)是現(xiàn)代生態(tài)城市建設(shè)中一個重要的環(huán)節(jié)。其意義就是構(gòu)建良好循環(huán)功能的水生態(tài)系統(tǒng)，然而，亂建亂采亂挖、垃圾的傾倒，導(dǎo)致河道主流偏移，沖刷或淤積加重，堤防基礎(chǔ)淘刷、堤岸坍塌等，嚴重影響了其防洪、生態(tài)功能的發(fā)揮。因此，及時準確地發(fā)現(xiàn)可為快速解決相關(guān)河湖問題提供重要的支撐。鑒于此，本文將圖像識別技術(shù)與目標監(jiān)測模型相耦合，建立了基于圖像識別技術(shù)的多場景通用目標監(jiān)測模型，提出了“定區(qū)域復(fù)制-粘貼”的數(shù)據(jù)擴張新方法，提高對現(xiàn)實場景的檢測識別精度。此外，為打破水利監(jiān)管對象分布廣、散、偏的局限，通過將不同場景的算法與計算資源解耦，建立了資源的動態(tài)分配和算法的高效運行模式，為水利管理活動的管理范圍、管理單元和管理對象的有效監(jiān)管提供了即時和主動的技術(shù)保障，滿足了機動、實時、直觀、高效的“強監(jiān)管”要求。最后，本文通過黃河干流白銀段智慧河湖試點應(yīng)用，實現(xiàn)了基于圖像識別技術(shù)的人員/車船闖入、亂建亂采、垃圾堆放、河面漂浮物事件的自動準確識別，通過2021年數(shù)據(jù)發(fā)現(xiàn)，該模型的總體識別準確率能達到94.9%，效果顯著，尤其對河道漂浮物、人員闖入的識別準確率達到100%。研究成果對于促進我國水利相關(guān)業(yè)務(wù)的智能化管理具有重要意義。

關(guān)鍵詞：目標檢測;圖像識別;k-means聚類;定區(qū)域復(fù)制-粘貼數(shù)據(jù)擴張;計算資源調(diào)度;API總線;識別準確率

一、研究背景

隨著國家重點水利信息化建設(shè)項目的實施，以防汛指揮系統(tǒng)、水資源監(jiān)控能力建設(shè)等一批水利部重大項目為依托，甘肅已初步形成了以“山洪災(zāi)害防御、水資源監(jiān)控、河湖管理、水土保持監(jiān)管”等業(yè)務(wù)為主的具有甘肅特色的水利業(yè)務(wù)信息化體系。但是對比于當(dāng)前快速發(fā)展的大數(shù)據(jù)、人工智能等技術(shù)，甘肅省水利信息化建設(shè)還存在透徹感知不全、基礎(chǔ)算力不足、資源利用不充分、應(yīng)用覆蓋不高、智能化水平較低等問題[1-2]，尤其是現(xiàn)有信息化系統(tǒng)智能程度較低，缺少針對水利業(yè)務(wù)管理的人工智能算法應(yīng)用，難以有效支撐解決河湖監(jiān)管、水資源精準調(diào)配決策、水旱災(zāi)害防御、水利工程安全運行等水利工作的需求。

鑒于此，為了提供緊密結(jié)合水利業(yè)務(wù)場景、穩(wěn)定可靠的人工智能實現(xiàn)能力，本文依托于大數(shù)據(jù)挖掘、人工智能等關(guān)鍵技術(shù)，構(gòu)建了基于圖像識別技術(shù)的智能中臺微服務(wù)技術(shù)架構(gòu)，建立了基于圖像識別技術(shù)的多場景通用目標監(jiān)測模型[3-4]，實現(xiàn)了基于智能中臺的圖像識別技術(shù)在甘肅智慧水利業(yè)務(wù)管理活動中的應(yīng)用，旨在提供穩(wěn)定可靠的人工智能技術(shù)服務(wù)，以期在水利業(yè)務(wù)管理場景中創(chuàng)新管理手段，提高管理效率。

二、多場景通用目標檢測模型構(gòu)建

經(jīng)過多次實驗對比，選出幾種較合適的算法進行組合來實現(xiàn)多場景通用目標檢測。從模型結(jié)構(gòu)到輸出結(jié)果的后處理過程，相關(guān)的算法以及對應(yīng)關(guān)系如圖1所示[5]。

首先將圖片重新定義尺寸為640×640×3，輸入到檢測模型中，使用CspDarknet模型進行特征提取。CspDarknet在使用過程中去掉了原網(wǎng)絡(luò)最后的池化層、全連接層以及softmax層，此模型在保證對特征進行超強表達的同時又避免了網(wǎng)絡(luò)過深所引起的梯度消失的問題。將CspDarknet生成的特征圖送給金字塔注意力模型（Path aggregated network， PAN），PAN網(wǎng)絡(luò)使用自頂向下和自底向上多尺度特征融合的手段，同時傳達了強語義特征和強定位特征。將PAN輸出的特征圖傳給Yolo模型的head模塊得到預(yù)測結(jié)果。模型的預(yù)測結(jié)果包括兩部分：通過sigmoid函數(shù)獲取每個預(yù)測框?qū)儆诿總€類別對應(yīng)的概率值即類別概率，以及預(yù)測框?qū)?yīng)的偏移量tx，ty，th，tw，四個偏移量分別代表目標框的中心點坐標的偏移，以及高和寬的偏移。

在VOLO模型中，錨框大小的計算就是采用的k-means聚類的方法形成的。從數(shù)據(jù)集中隨機選取K個點作為初始聚類的中心，中心點為C={c1，c2，...，ck};針對數(shù)據(jù)集中每個樣本xi，計算它們到各個聚類中心點的距離，到哪個聚類中心點的距離最小，就將其劃分到對應(yīng)聚類中心的類中;針對每個類別i，重新計算該類別的聚類中心ci=1/|i|∑x;重復(fù)上述兩個步驟直到聚類中心的位置不再發(fā)生變化后即可獲得錨框。K-Means聚類方法有著原理簡單、容易實現(xiàn)、收斂速度快、聚類效果較優(yōu)、算法可解釋度比較強、容易調(diào)參等優(yōu)點。通過k-means聚類方法生成錨框，以錨框為參考通過公式（1）將模型輸出的偏移量轉(zhuǎn)換成預(yù)測框[6-7]。

（1）

其中，xa，ya，wa，ha分別對應(yīng)錨框的中心點坐標以及寬、高， bx，by， bw， bh分別代表目標框的中心點坐標、寬、高。

轉(zhuǎn)換后預(yù)測框和錨框的數(shù)量相等，而檢測的最優(yōu)結(jié)果是一個目標對應(yīng)一個目標框，所以設(shè)定閾值score_thre和iou_thre過濾預(yù)測框。score_thre可以將概率值小于此值的預(yù)測框過濾，iou_thre用于預(yù)測框的去重，計算預(yù)測框之間的交并比，將交并比大于此閾值的預(yù)測框過濾，通過兩次過濾，可使得每個目標都會獲得一個目標框。表1是智能中臺中不同目標檢測任務(wù)所設(shè)定的最優(yōu)閾值。

模型訓(xùn)練過程中，使用focal loss和CIoU loss進行訓(xùn)練，并采用多尺度的訓(xùn)練方式來提高模型的性能。針對訓(xùn)練數(shù)據(jù)，使用高斯模糊、鏡像翻轉(zhuǎn)、色彩抖動、gamma變換和grid mask在已有的數(shù)據(jù)上進行數(shù)據(jù)增廣，以此來增加數(shù)據(jù)的多樣性。

三、定區(qū)域復(fù)制-粘貼數(shù)據(jù)擴張方法

前述所提到的數(shù)據(jù)增廣方法雖然可以增加數(shù)據(jù)的多樣性，但是針對特定場景提升模型性能有限。對于模型而言，無論使用什么數(shù)據(jù)變換方式，都不如增大數(shù)據(jù)量來提高模型的性能。然而，甘肅智慧水利圖像檢測識別的應(yīng)用場景試點，主要針對人員/車船闖入、亂堆亂建、河面垃圾漂浮物、模擬量度量等目標群體稀疏、樣本隨機、檢測困難，一段時間內(nèi)可以采集到的數(shù)據(jù)量有限，精度難以保證的水利管理活動場景中。當(dāng)前水利行業(yè)內(nèi)的檢測算法（包括算法的組合），主要集中在公共數(shù)據(jù)集的測試環(huán)節(jié)，是對檢測結(jié)果的理論驗證。而在真實場景中，由于現(xiàn)實場景和公共數(shù)據(jù)集的場景存在一定差異性，模型在公共數(shù)據(jù)集上取得較優(yōu)性能的同時，也要保證在甘肅智慧水利的現(xiàn)實場景中達到“檢無遺漏”的效果。經(jīng)過多次實驗，最有效的方法就是添加實際場景的數(shù)據(jù)到公共訓(xùn)練集中同步訓(xùn)練，可以獲取少量真實數(shù)據(jù)的前提下使用“復(fù)制-粘貼”的數(shù)據(jù)擴張方法進行真實數(shù)據(jù)補充。

2020年Golnaz Ghiasi等人采用了隨機復(fù)制-粘貼的方法進行數(shù)據(jù)擴張：原圖片與目標圖片隨機選擇、原圖片中復(fù)制的目標隨機選擇、粘貼的位置隨機選擇。這種隨機的復(fù)制-粘貼的方法雖然可以簡單有效地提高數(shù)據(jù)量，但是針對某些特殊場景會存在誤差。例如，在進行漂浮物的檢測時，模型會把岸邊的雜草誤檢成水草，如果再出現(xiàn)隨機粘貼的漂浮物出現(xiàn)在岸上，則模型誤檢率會大大提高。鑒于此，本文對粘貼的位置進行了限定，提出了定區(qū)域復(fù)制-粘貼數(shù)據(jù)擴張方法。

該方法的實際操作過程如圖2所示，先將一定數(shù)量包括目標的原圖輸入到deeplab v3分割模型中，將所需要的目標切割出來進行多尺度放大或者縮小，然后將所有子圖進行保存。采集現(xiàn)場大批量不同時間段的真實圖像，將子圖隨機粘貼到采集的圖像中，并限制每幅圖像上最多貼5個子圖。此時，會生成一些不合理的數(shù)據(jù)，由于在同一場景下，監(jiān)控攝像所獲取的區(qū)域在一般情況下不會發(fā)生改變，所以本文通過對場景進行畫絆線的方式進行區(qū)域限制。在攝像頭的畫面上通過描繪有限個點構(gòu)成一個封閉區(qū)域，并保存這些坐標點，然后設(shè)定絆線區(qū)域覆蓋率，計算子圖在絆線區(qū)域內(nèi)的面積area，如果則子圖保留，否則刪除[8-10]。

四、場景模型調(diào)度系統(tǒng)

場景模型調(diào)度系統(tǒng)通過多場景的不同算法與計算資源的分層解耦[11]，實現(xiàn)場景-算法-計算資源-調(diào)用的多線動態(tài)匹配，滿足隨機突發(fā)事件的多場景（人員/車船闖入、亂堆亂建、河面垃圾漂浮物）目標識別的監(jiān)管需求，場景模型調(diào)度原理如圖3所示。

模型調(diào)度包括算法管理、任務(wù)分配、計算資源調(diào)度和API總線等。

（一）算法管理。算法管理模塊實現(xiàn)算法注冊、計算模塊注冊、資源注冊等管理功能，從而實現(xiàn)對各種算法模塊的納管。

（二）任務(wù)分配。各算法模塊進行注冊之后，在下達計算命令時按照需求拉起相關(guān)計算資源，將生成的結(jié)構(gòu)化數(shù)據(jù)或計算結(jié)果寫入算法注冊的輸出中間件或者其依賴的固定資源。

（三）計算資源調(diào)度。任務(wù)分配根據(jù)制定的任務(wù)策略，將CPU/GPU等計算資源分配到不同的算法和引擎去執(zhí)行計算任務(wù)。在容器服務(wù)的部署方式下，仍然能夠?qū)崿F(xiàn)GPU計算資源動態(tài)地被不同的算法和引擎進行調(diào)用。在邊緣計算架構(gòu)中，計算任務(wù)從位于網(wǎng)絡(luò)中心的云服務(wù)器下沉到與視頻源物理接近的邊緣服務(wù)器或者智能終端設(shè)備上，可以卸載到設(shè)備-邊緣-云3個層級中，擁有一定計算能力的智能設(shè)備和邊緣服務(wù)器能夠在視頻源附近直接處理大部分存儲和分析任務(wù)，云服務(wù)器僅在必要情況下提供計算支持和異常檢測等復(fù)雜任務(wù)，實現(xiàn)基于云邊結(jié)合的超大規(guī)模視頻分布式實時處理和大規(guī)模視覺計算的動態(tài)資源分配與任務(wù)規(guī)劃。通過計算任務(wù)的動態(tài)流水調(diào)度，實現(xiàn)計算節(jié)點的負載最優(yōu)，最大化計算資源利用率。

（4）API總線。API總線結(jié)合注冊信息自動識別算法和引擎API的后臺調(diào)用路徑，通過數(shù)據(jù)封裝與轉(zhuǎn)譯，實現(xiàn)多算法和引擎API的路由和動態(tài)調(diào)用。

五、場景應(yīng)用及結(jié)果分析

甘肅省智慧河湖管理系統(tǒng)前端使用React框架及Antd UI庫搭建Web功能及相關(guān)業(yè)務(wù)功能界面，后端使用SpringCloud微服務(wù)架構(gòu)提供后端服務(wù)，數(shù)據(jù)存儲使用數(shù)據(jù)中臺服務(wù)及Redis非關(guān)系型數(shù)據(jù)庫。

在甘肅智慧水利黃河干流甘肅白銀段智慧河湖試點中，基于智能中臺的多場景視頻識別分析能力，實現(xiàn)了人員/車船闖入、亂建亂采、垃圾堆放、河面漂浮物事件的自動準確識別。同時，與省級河湖長制信息管理系統(tǒng)實現(xiàn)數(shù)據(jù)、流程的有效銜接，可為各級河湖長決策、部門管理提供服務(wù)，為河湖的精細化管理提供有效支撐[12]。

（一）應(yīng)用場景

1.視頻預(yù)警預(yù)報

智慧河湖視頻預(yù)報預(yù)警提供包括水位信息、河道漂浮物及非法采砂的 識別與預(yù)警、重要水利工程非法入侵等場景。預(yù)警信息自動生成事件信息，發(fā)送給對應(yīng)轄區(qū)的河長辦及相關(guān)單位，河長辦及相關(guān)人員可以在接收到預(yù)警事件并進一步做后續(xù)處理及跟蹤。

2.遙感分析

通過歷次遙感影像對比分析，生成的各類遙感監(jiān)測及分析數(shù)據(jù)等相關(guān)成果，在智慧河湖試點應(yīng)用中進行綜合應(yīng)用及展示，為全面、及時地了解轄區(qū)內(nèi)地表水資源、水環(huán)境及水生態(tài)的整體概況及變化情況提供支撐，為各級用戶開展河湖治理和相關(guān)管理工作提供有力依據(jù)?？蛇x擇查看不同時間的遙感影像信息，提供卷簾同屏對比，遙感影像識別的事件以圖斑形式展示。用戶可通過點擊地圖中的圖斑查看包括圖斑影響范圍、事件類型、位置信息等屬性信息。

3.無人機巡河

通過無人機巡河，實現(xiàn)巡河高清視頻的實時回傳，無人機可通過預(yù)設(shè)方式實現(xiàn)指定時間段、指定路線的自動巡航，使用戶直觀快速地獲取信息，精準識別涉河事件，提升響應(yīng)速度，同時系統(tǒng)支持歷史巡河視頻的回放，包括巡河軌跡、巡河事件、巡河報告的查看。

4.事件處理

基于視頻識別、遙感分析、無人機巡查、人工巡查等手段發(fā)現(xiàn)的疑似違法事件，系統(tǒng)自動形成疑似事件記錄，推送至對應(yīng)的河長，河長收到系統(tǒng)自動推送的事件信息后，可前往現(xiàn)場進行核查確認，同時支持對核查過程的記錄，并確認是否為有效事件。經(jīng)確認的事件，河長可將事件轉(zhuǎn)辦至相關(guān)責(zé)任單位進行落實。河長現(xiàn)場確認的有效事件，系統(tǒng)自動生成事件問題整改臺賬，并對于事件進行溯源分析，確定污染源或違法生產(chǎn)的企業(yè)或個人，下達整改通知書，明確整改內(nèi)容及時限，對于整改結(jié)果進行復(fù)核確認，經(jīng)確認滿足整改要求的事件系統(tǒng)將進行自動銷號處理。根據(jù)涉河事件的性質(zhì)以及嚴重程度，水行政執(zhí)法部門可對違法企業(yè)或個人進行行政處罰[13]。

（一） 2021年試點應(yīng)用分析

根據(jù)智慧河湖管理系統(tǒng)數(shù)據(jù)分析可知（如圖5所示），2021年白銀靖遠黃河段共識別出河湖事件14201件，其中發(fā)生事件最多的類型為：人員闖入，約占事件總數(shù)的82%。河面漂浮物事件較上一年增加7件，在安寧渡水文全景站多發(fā);人員闖入事件較上一年增加11642人/次，在原烏蘭碼頭多發(fā);船只監(jiān)測事件較上一年增加2278件，在水川濕地公園多發(fā);傾倒垃圾事件較上一年增加8件，在水川濕地公園多發(fā);亂堆亂建事件較上一年增加0件。經(jīng)系統(tǒng)分析，本年（2021年）白銀靖遠黃河段發(fā)生事件最多的時間段：2021-09。當(dāng)前時間內(nèi)（2021-09），發(fā)生最多的事件類型：人員闖入;發(fā)生最多的事件地點：原烏蘭碼頭。

基于2021年數(shù)據(jù)，通過人工復(fù)核對比發(fā)現(xiàn)，本文所建立的基于圖像識別技術(shù)的多場景通用目標監(jiān)測模型的準確總體識別率能達到94.92%，但是對于人員闖入和船只的監(jiān)測可能還需要進一步提升，準確率只有94.49%，對于人的行為的分析也還有待提高，對于船只闖入的監(jiān)測較為準確，能達到96.58%，截至目前，傾倒垃圾和河面漂浮物事件數(shù)比較少，數(shù)據(jù)樣本有待進一步完善，但對于傾倒垃圾和河面漂浮物這種特點明顯的行為，識別準確率能達到100%。

該方法的成功應(yīng)用，改變了傳統(tǒng)視頻“被動監(jiān)控”和“智能硬件識別”的弊端，采用后端AI算法[14]，一方面可以通過能力的復(fù)用來節(jié)約成本，另一方面可以通過在同一畫面場景的多事件識別來提高時效。通過復(fù)用AI算法技術(shù)，當(dāng)前全省各級普通的視頻監(jiān)控，在不更換設(shè)備的情況下，可實現(xiàn)視頻的智能分析和應(yīng)用，這一技術(shù)成果的實現(xiàn)對于甘肅省智慧水利科學(xué)研究與工程應(yīng)用具有重要意義。

六、結(jié)束語

本文依托于大數(shù)據(jù)挖掘、人工智能等關(guān)鍵技術(shù)，構(gòu)建了基于圖像識別技術(shù)的多場景通用目標監(jiān)測模型，實現(xiàn)了基于智能中臺的圖像識別技術(shù)在甘肅智慧水利業(yè)務(wù)管理活動中的應(yīng)用。通過構(gòu)建“定區(qū)域復(fù)制-粘貼”的數(shù)據(jù)擴張算法，有效降低了對隨機、多樣、環(huán)境影響大的現(xiàn)場樣本的誤檢率;同時，運用場景模型調(diào)度，實現(xiàn)了場景目標-算法-檢測-應(yīng)用的高效管理，保證目標的準確檢測和應(yīng)用的快捷調(diào)用。通過甘肅智慧水利黃河干流甘肅白銀段智慧河湖試點應(yīng)用發(fā)現(xiàn)，所建模型的總體識別準確率能達到94.92%，尤其對河道漂浮物、傾倒垃圾的識別準確率達到100%。

作者單位：吳海燕? ? 李效寧? ? 甘肅省水利廳信息中心

參? 考? 文? 獻

[1]趙斌，戴英俠.基于Unix系統(tǒng)調(diào)用的數(shù)據(jù)挖掘算法[J].計算機工程.2004.（03）.

[2]郭原東，雷幫軍，聶豪，李訥.基于深度學(xué)習(xí)的智能高精度圖像識別算法[J].現(xiàn)代電子技術(shù).2021.44（04）.

[3]鄧定勝.一種用于圖像識別的稀疏增強概率協(xié)同表示分類算法[J].實驗室研究與探索.2021.40（01）.

[4]宋葉帆，王國書，盛步云.一種混合閾值剪枝的稀疏化訓(xùn)練圖像識別算法[J].科學(xué)技術(shù)與工程.2021，21（02）

[5]李鵬松，李俊達，吳良武，胡建平. 基于閾值分割法和卷積神經(jīng)網(wǎng)絡(luò)的圖像識別算法[J].吉林大學(xué)學(xué)報（理學(xué)版）.2020.58（06）.

[6]王曙燕，王超飛，孫家澤.基于方法調(diào)用關(guān)系的軟件測試序列生成算法[J].計算機工程與設(shè)計.2018.39（10）.

[7]趙剛，宋健豪.基于系統(tǒng)調(diào)用時間特征的異常行為智能檢測系統(tǒng)[J].計算機應(yīng)用與軟件.2015.32（04）.

[8]張莉，張斌，那俊，朱志良.Web服務(wù)調(diào)用特征模式的DBSCAN提取算法[J].小型微型計算機系統(tǒng).2013.34（02）.

[9]王宇，劉文予，羅寧.基于擴充數(shù)據(jù)源的系統(tǒng)調(diào)用異常檢測算法[J].計算機與數(shù)字工程.2006.（01）.

[10]中國科學(xué)院北京國家技術(shù)轉(zhuǎn)移中心.基于視頻分析技術(shù)的交通事件檢測系統(tǒng)[J].中國科技信息.2021.（11）.

[11]羅會蘭，王嬋娟，盧飛.視頻行為識別綜述[J].通信學(xué)報，2018.39（6）.

[12]陳晨. 模型庫管理和遠程調(diào)用的研究與實現(xiàn)[J]. 福建電腦， 2011， 27（12）：2.

[13]冀燕麗，段海濤.智能視頻監(jiān)控系統(tǒng)中視頻圖像分析的關(guān)鍵技術(shù)研究[J].中國信息化.2019.（02）.

[14]周佳奇.人工智能在視頻監(jiān)控中的應(yīng)用[J].中國公共安全.2017.（07）