管繼祥,管世烽

(1.中水珠江規(guī)劃勘測(cè)設(shè)計(jì)有限公司,廣東 廣州 510611;2.廣西大藤峽水利樞紐開發(fā)有限責(zé)任公司,廣西 桂平 537200)

國家“十四五”規(guī)劃綱要明確提出“構(gòu)建智慧水利體系,以流域?yàn)閱卧嵘闇y(cè)報(bào)和智能調(diào)度能力”[1]。2022年3月30日,水利部印發(fā)《數(shù)字孿生水利工程建設(shè)技術(shù)導(dǎo)則(試行)》,該文指出數(shù)字孿生水利工程應(yīng)融合人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)等新一代信息技術(shù);此外,該文針對(duì)工程安全監(jiān)測(cè)的巡視檢查指標(biāo)提出了具體要求,基礎(chǔ)版要求為“人工巡查、視頻監(jiān)控”,提高版要求為“機(jī)器人、無人機(jī)巡查”。

近年來,隨著深度學(xué)習(xí)和計(jì)算機(jī)視覺技術(shù)的發(fā)展,基于深度學(xué)習(xí)和計(jì)算機(jī)視覺技術(shù)的智能巡檢系統(tǒng)逐漸應(yīng)用在電力、交通、市政等領(lǐng)域。傳統(tǒng)的人工巡檢在地勢(shì)險(xiǎn)峻或交通不便的條件下存在巡檢難,巡檢慢等問題,而基于人工智能和計(jì)算機(jī)視覺技術(shù)的智能巡檢系統(tǒng)則可以較好地解決傳統(tǒng)巡檢中存在的這些問題。

大藤峽水利樞紐工程是國務(wù)院批準(zhǔn)的《珠江流域綜合利用規(guī)劃》《珠江流域防洪規(guī)劃》確定的流域防洪控制性工程,是《保障澳門珠海供水安全專項(xiàng)規(guī)劃》確定的流域水資源配置骨干工程,是廣西建設(shè)西江億噸黃金水道的關(guān)鍵節(jié)點(diǎn),也是國務(wù)院批復(fù)的《紅水河綜合利用規(guī)劃》確定的十個(gè)水電梯級(jí)開發(fā)的最后一級(jí)。

大藤峽水利樞紐工程壩址位于珠江流域西江水系黔江河段的大藤峽出口處,是國務(wù)院批準(zhǔn)的流域防洪關(guān)鍵性工程[2],控制流域面積19.86萬km2,占西江流域面積的56.2%,控制水資源量1 309億m3,占西江水資源量的56%,控制洪水量占梧州站洪量的65%。因此,大藤峽水利樞紐的安全運(yùn)行對(duì)于保障珠江流域防洪安全和粵港澳大灣區(qū)的水安全具有重要意義。

目前針對(duì)水利樞紐的岸線安全監(jiān)測(cè)主要采用人工實(shí)地查看的傳統(tǒng)方式進(jìn)行,這種方式存在耗時(shí)較長(zhǎng)、巡檢效率低、人力成本高、作業(yè)人員有安全風(fēng)險(xiǎn)等缺點(diǎn)。無人機(jī)具有體積小、作業(yè)速度快、機(jī)動(dòng)性強(qiáng)等優(yōu)點(diǎn)[3],特別是在地勢(shì)較為險(xiǎn)峻的岸線處,工作人員難以到達(dá),此時(shí)無人機(jī)便可發(fā)揮其獨(dú)特的優(yōu)勢(shì)。

基于上述背景,本文以廣西大藤峽水利樞紐為實(shí)際研究對(duì)象,利用無人機(jī)結(jié)合人工智能檢測(cè)技術(shù),對(duì)廣西大藤峽水利樞紐岸線進(jìn)行智能化巡檢,在水利行業(yè)智能化巡檢方向做出了初步探索,為保證水利樞紐的安全運(yùn)行提供了解決方案。

1 改進(jìn)YOLOv5算法

YOLOv5是一種目標(biāo)檢測(cè)算法,實(shí)現(xiàn)了端到端的檢測(cè)和定位,具有速度快、準(zhǔn)確率高等優(yōu)點(diǎn),是目前最先進(jìn)的目標(biāo)檢測(cè)網(wǎng)絡(luò)之一。YOLOv5的輸入端采用自適應(yīng)圖片縮放、錨框計(jì)算以及Mosaic數(shù)據(jù)增強(qiáng)的方式對(duì)檢測(cè)目標(biāo)進(jìn)行處理。Backbone部分用于提取特征,其中Focus為YOLOv5中的獨(dú)有結(jié)構(gòu),采用切片操作將輸入通道擴(kuò)充為原來的4倍。Head部分包含了提取融合特征的頸部(Neck)和Detect模塊,Neck部分采用了特征金字塔網(wǎng)絡(luò)(Feature Pyramid Networks,FPN) 與路徑聚合網(wǎng)絡(luò)(Path Aggregation Network,PAN)相結(jié)合的結(jié)構(gòu)[4],將FPN層通過上采樣的方式與自底向上的特征金字塔進(jìn)行結(jié)合,PAN層將低層特征與高層特征進(jìn)行傳遞融合,同時(shí)將主干層與檢測(cè)層進(jìn)行特征融合,使模型更好地提取重要特征[5]。

無人機(jī)在航拍的過程中,由于飛行的高度不同,物體的尺寸變化會(huì)較大。其次,無人機(jī)在飛行拍攝的過程中,被拍攝物體會(huì)產(chǎn)生運(yùn)動(dòng)模糊的現(xiàn)象,給物體的識(shí)別帶來困難。TPH-YOLOv5則是在YOLOv5的基礎(chǔ)上進(jìn)行了改進(jìn),優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu),提高了在特定場(chǎng)景下的檢測(cè)精度和穩(wěn)定性。為了解決上述2個(gè)問題,TPH-YOLOv5算法在YOLOv5的基礎(chǔ)之上做了如下改進(jìn)。

a)使用Transformer Prediction Heads(TPH)替換原來的預(yù)測(cè)頭部:利用Transformer編碼器來代替一些卷積核CSP結(jié)構(gòu),相較于YOLOv5的原始結(jié)構(gòu),將Transformer編碼器應(yīng)用到Neck部分,形成了Transformer Prediction Heads(TPH),由于Transformer具有獨(dú)特的注意力機(jī)制,可以獲得更加豐富的全局信息和上下文信息。

b)將檢測(cè)器調(diào)整為4個(gè),增加1個(gè)專門用于超小目標(biāo)的檢測(cè)器[11],結(jié)合之前的3個(gè)檢測(cè)器,4個(gè)檢測(cè)器的結(jié)構(gòu)能夠降低目標(biāo)物尺寸的變換帶來的負(fù)面影響。

c)集成了卷積塊注意力模塊(Convolutional Block Attention Module,CBAM)[11]。改進(jìn)后的TPH-YOLOv5網(wǎng)絡(luò)整體結(jié)構(gòu)見圖1。

圖1 TPH-YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

圖1中藍(lán)色字體0～35代表從Backbone到Neck的模塊序號(hào),圖1中右側(cè)黑色字體1、2、3、4代表4個(gè)TPH預(yù)測(cè)頭部。圖1中CBAM是一個(gè)輕量級(jí)的注意力模塊,不但能夠以端到端的方式進(jìn)行訓(xùn)練,而且能集成到許多主干網(wǎng)絡(luò)中以提高性能,CBAM模塊的結(jié)構(gòu)見圖2。

圖2 CBAM模塊結(jié)構(gòu)

注意力機(jī)制作用就是讓網(wǎng)絡(luò)知道重點(diǎn)去關(guān)注哪一部分,相應(yīng)實(shí)現(xiàn)重要特征的突出表現(xiàn),同時(shí)抑制不那么突出的特征[12]。CBAM模塊包含通道注意力(Channel Attention Module,CAM)模塊和空間注意力(Spitial Attention Module,SAM)模塊,分別用于提取通道注意力和空間注意力[11-12]。給定一個(gè)特征映射,CBAM將沿著通道和空間2個(gè)獨(dú)立維度依次推斷出注意力映射,然后將注意力映射與輸入特征映射相乘,以執(zhí)行自適應(yīng)特征細(xì)化[13]。

通道注意力模塊CAM的結(jié)構(gòu)見圖3,通道注意力模塊采用了最大池化(Max Pool)和全局平均池化(Average Pool)對(duì)目標(biāo)區(qū)域的特征信息進(jìn)行增強(qiáng),CAM模塊在空間維度壓縮了H與W,在通道維度保持C不變。通道注意力機(jī)制是一種自適應(yīng)地選擇輸入張量中最重要的特征通道的方法。在卷積神經(jīng)網(wǎng)絡(luò)中,每個(gè)卷積層會(huì)輸出多個(gè)特征圖,每個(gè)特征圖對(duì)應(yīng)一個(gè)特征通道。通道注意力機(jī)制通過計(jì)算特征圖中每個(gè)通道的重要性權(quán)重,自動(dòng)調(diào)整不同通道的權(quán)重,從而使網(wǎng)絡(luò)更加關(guān)注那些對(duì)分類或回歸任務(wù)最有幫助的特征通道,提高模型的表現(xiàn)。

圖3 CAM模塊結(jié)構(gòu)

在CAM作用下,圖像的位置信息會(huì)產(chǎn)生一定的丟失,因此引入空間注意力模塊(SAM),空間注意力模塊(SAM)的結(jié)構(gòu)見圖4。

圖4 SAM模塊結(jié)構(gòu)

空間注意力機(jī)制是一種自適應(yīng)地選擇輸入張量中最重要的空間區(qū)域的方法。在卷積神經(jīng)網(wǎng)絡(luò)中,每個(gè)特征圖由多個(gè)空間位置組成?？臻g注意力機(jī)制通過計(jì)算特征圖中每個(gè)空間位置的重要性權(quán)重,自動(dòng)調(diào)整不同空間位置的權(quán)重,從而使網(wǎng)絡(luò)更加關(guān)注那些對(duì)分類或回歸任務(wù)最有幫助的空間區(qū)域,由于特征具有空間關(guān)聯(lián)性,利用空間注意力模塊SAM可以較好地對(duì)航拍影像中目標(biāo)物的位置信息進(jìn)行關(guān)注,對(duì)通道注意力特征進(jìn)行有效補(bǔ)充。

2 數(shù)據(jù)采集與處理

為保障大藤峽水利樞紐工程蓄水期間庫區(qū)岸線的安全,本文開展基于無人機(jī)低空遙感技術(shù)的蓄水期間庫岸巡查監(jiān)測(cè)工作。出于對(duì)作業(yè)人員安全和無人機(jī)設(shè)備安全的考慮,一般選取在晴朗天氣的上午和下午開展航攝任務(wù)。本文所采用的無人機(jī)型號(hào)為大疆M300,其航攝視頻分辨率為3840×2160,視頻幀率為30 fps。針對(duì)大藤峽水利樞紐工程55～61 m的蓄水過程,本項(xiàng)目組分別在2022年11月下旬和2022年12月上旬拍攝完成航攝任務(wù)(圖5)。航攝范圍包括庫區(qū)部分搬遷村屯、易塌岸范圍等重點(diǎn)敏感區(qū)域共計(jì)76 km,視頻時(shí)長(zhǎng)共計(jì)400余min,所拍攝視頻為MOV格式。利用“Free Video to JPG Converter”軟件將大藤峽岸線航攝視頻轉(zhuǎn)換成jpg格式圖像,圖像截取間隔為10 s,經(jīng)過篩選之后共計(jì)2 400張。

圖5 現(xiàn)場(chǎng)人員進(jìn)行航拍作業(yè)

河道中漂浮的垃圾會(huì)對(duì)船只的正常航行造成安全隱患,如果垃圾聚集在一起則可能會(huì)造成河道阻塞。庫區(qū)水位的漲跌變化容易造成岸線土壤裸露處的坍塌,汛期期間水位上漲,易造成岸線周邊房屋的淹沒,對(duì)人民的生命財(cái)產(chǎn)安全構(gòu)成威脅。針對(duì)上述現(xiàn)象,本文確定了8類待檢測(cè)目標(biāo)物。

利用標(biāo)注軟件Labelimg將數(shù)據(jù)集進(jìn)行人工標(biāo)注,目標(biāo)物類別包括:聚集型垃圾(g_garbage:壩站設(shè)置的攔網(wǎng)或建筑處所形成的聚集型漂浮物)、分散型垃圾(d_garbage:河面飄散的不成堆,零散的漂浮物)、運(yùn)輸船(trans_boat:河道中的運(yùn)輸船只)、棄渣(spoil:主要為施工區(qū)域的廢棄建筑垃圾)、人(person:路上的行人)、車(car:道路上停靠或行駛的車輛)、房屋(house:包括居民房、廠房、棚房等各類建筑物)、隱患點(diǎn)(danger:主要為無植被覆蓋、較陡的裸露岸坡)共 8類[14]。

利用標(biāo)注好的圖像樣本構(gòu)建大藤峽水利樞紐岸線樣本數(shù)據(jù)庫,樣本庫中包含訓(xùn)練集和驗(yàn)證集,兩者的數(shù)量比例為8∶2,將該數(shù)據(jù)集輸入到TPH-YOLOv5深度學(xué)習(xí)網(wǎng)絡(luò)中,進(jìn)行模型的訓(xùn)練和驗(yàn)證。在本文中,深度學(xué)習(xí)框架為Pytorch,操作系統(tǒng)為Windows10。TPH-YOLOv5的參數(shù)設(shè)置如下:epoch為300輪,batchsize為16,學(xué)習(xí)率設(shè)置為0.001,采用帶動(dòng)量的隨機(jī)梯度下降法進(jìn)行模型優(yōu)化,訓(xùn)練過程中自動(dòng)保存最優(yōu)模型。本文所采用的計(jì)算機(jī)硬件配置為:Intel Xeon Gold 5122 CPU,顯卡NVIDIA RTX-3090(2張,顯存各16 GB)。

3 評(píng)價(jià)指標(biāo)及結(jié)果分析

在深度學(xué)習(xí)的模型評(píng)價(jià)中,通常采用準(zhǔn)確率P(Precision)、召回率R(Recall)、平均精度mAP(mean Average Precision,mAP)[15]、這3個(gè)指標(biāo)對(duì)模型的性能進(jìn)行評(píng)估。各指標(biāo)的計(jì)算見式(1)—(4):

(1)

(2)

(3)

(4)

式中 TP——成功預(yù)測(cè)的正例;FP——被誤判為正例的負(fù)例;FN——被漏檢的目標(biāo)數(shù)目;AP——Precision-Recall曲線所圍成的面積;P——反映了模型檢測(cè)的準(zhǔn)確度,P值越大則檢測(cè)的準(zhǔn)確率越高;R——反映了模型是否將目標(biāo)物檢測(cè)完整,R值越大則檢測(cè)過程中漏檢現(xiàn)象越少;mAP——反映了模型在目標(biāo)檢測(cè)中對(duì)所有類別檢測(cè)的AP平均值,即所有類別的平均精度。

為了驗(yàn)證TPH-YOLOv5的模型性能,采用包含 480 張圖片的驗(yàn)證集作為評(píng)估此模型的基礎(chǔ)數(shù)據(jù),各類目標(biāo)指標(biāo)匯總見表1。

該模型目標(biāo)檢測(cè)總體準(zhǔn)確率和召回率均在80%以上,mAP0.5達(dá)到了91.19%,能夠初步滿足巡檢項(xiàng)目的工程需求,實(shí)際檢測(cè)結(jié)果見圖6。

a)房屋、隱患點(diǎn)、棄渣、車、運(yùn)輸船、聚集型垃圾

b)隱患點(diǎn)

4 結(jié)語

本文的研究旨在結(jié)合大藤峽水利樞紐工程的實(shí)際工程需求,探索應(yīng)用基于YOLOv5檢測(cè)模型和TPH-YOLOv5檢測(cè)模型的航拍影像目標(biāo)檢測(cè)技術(shù)。通過對(duì)該技術(shù)的試驗(yàn)驗(yàn)證,表明其準(zhǔn)確率、召回率、以及mAP指標(biāo)均能滿足工程應(yīng)用的需求,并且在處理大量圖像時(shí)具有較高的效率,能夠?yàn)楹脚挠跋竦目焖俜治鎏峁┯行еС帧?/p>

本研究的成果也表明了基于人工智能的自動(dòng)化巡檢技術(shù)在工程項(xiàng)目管理中的應(yīng)用前景。該技術(shù)的應(yīng)用可以實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的快速分析和處理,提高巡檢效率,降低人力成本和安全風(fēng)險(xiǎn),并且能夠更加精準(zhǔn)地發(fā)現(xiàn)各種隱蔽問題,保障工程項(xiàng)目的安全生產(chǎn)和順利運(yùn)行。同時(shí),該技術(shù)未來可以考慮集成到便攜的嵌入式設(shè)備中,將拍攝與檢測(cè)同步進(jìn)行,提高檢測(cè)的實(shí)時(shí)性。因此,本文的研究不僅對(duì)水利樞紐工程的智能化管理水平提升具有重要意義,還為其他領(lǐng)域開展基于人工智能技術(shù)的自動(dòng)化巡檢研究提供了有益參考和啟示。