方衛(wèi)華，楊浩東，謝雙雙，李嘉琦，劉云平

（1.水利部南京水利水文自動(dòng)化研究所，江蘇南京 210012；2.南京信息工程大學(xué)自動(dòng)化學(xué)院，江蘇南京 210044）

近年來，國內(nèi)外相關(guān)學(xué)者關(guān)于自動(dòng)巡檢裝置進(jìn)行了許多研究。圣保羅大學(xué)設(shè)計(jì)出一種變電站巡檢系統(tǒng),巡檢裝置對(duì)變電站現(xiàn)場設(shè)備工作溫度進(jìn)行監(jiān)測；日本東京工業(yè)大學(xué)研制了一款電力巡檢系統(tǒng)，該系統(tǒng)由巡檢端和控制端組成，巡檢端可利用機(jī)械臂實(shí)現(xiàn)越障功能，完成對(duì)輸電線路的檢測；王長生等［1］研發(fā)出了基于物聯(lián)網(wǎng)的大壩自動(dòng)巡檢系統(tǒng)，通過引入智能化的物聯(lián)網(wǎng)技術(shù)解決大壩巡檢的相關(guān)問題；張行等［2］設(shè)計(jì)了一種新型的礦用帶式輸送機(jī)巡檢機(jī)構(gòu)系統(tǒng)，該系統(tǒng)基于無極繩牽引原理使巡檢設(shè)備往復(fù)運(yùn)行。而大壩自動(dòng)巡檢系統(tǒng)的研究尚屬空白，具有研究價(jià)值和實(shí)用價(jià)值。

隨著智慧水利孿生流域、孿生工程建設(shè)工作的開展以及無人機(jī)技術(shù)和計(jì)算機(jī)技術(shù)的發(fā)展，運(yùn)用無人機(jī)智能巡檢裝置進(jìn)行大壩的自動(dòng)巡檢及數(shù)據(jù)采集成為了一個(gè)重要的研究方向［3］。為推動(dòng)智慧水利建設(shè)和服務(wù)于數(shù)字孿生工程建設(shè)，實(shí)現(xiàn)水庫大壩等水利工程的智能化巡檢［4］，擬通過開展水庫大壩智能巡檢監(jiān)測管理系統(tǒng)，研發(fā)基于云邊端的無人機(jī)大壩自動(dòng)巡檢系統(tǒng)，實(shí)現(xiàn)對(duì)水庫大壩的智能巡檢和立體動(dòng)態(tài)感知，以期為水庫大壩的安全監(jiān)測保駕護(hù)航。

1 總體方案設(shè)計(jì)

本文擬集成全自主無人機(jī)方艙技術(shù)、面向大壩監(jiān)測的無人機(jī)任務(wù)規(guī)劃技術(shù)、無人機(jī)數(shù)據(jù)和堤壩數(shù)據(jù)實(shí)時(shí)高速傳輸技術(shù)、無人機(jī)數(shù)據(jù)處理與堤壩病害信息提取等核心關(guān)鍵技術(shù)，設(shè)計(jì)一種面向堤壩監(jiān)測的無人機(jī)自動(dòng)巡檢系統(tǒng)，如圖1所示。

圖1 總體方案設(shè)計(jì)

（1）具備自主起降、快速充電功能的可移動(dòng)無人機(jī)方艙技術(shù)。無人機(jī)能夠一鍵起飛和自動(dòng)精準(zhǔn)降落，通過圖像識(shí)別技術(shù)和網(wǎng)絡(luò)差分雙定位系統(tǒng)實(shí)現(xiàn)精準(zhǔn)安全降落。通過自動(dòng)歸中裝置提供安全可靠的接觸式快速充電系統(tǒng)，滿足無人機(jī)自主航拍需求。通過配置本地小型氣象站時(shí)刻監(jiān)控現(xiàn)場雨量、風(fēng)力、風(fēng)向等氣象信息，自主調(diào)整任務(wù)窗口期，保證無人機(jī)的飛行安全。

（2）面向堤壩監(jiān)測的無人機(jī)任務(wù)規(guī)劃技術(shù)。通過堤壩監(jiān)測遠(yuǎn)程控制系統(tǒng)軟件，實(shí)現(xiàn)對(duì)堤壩地塊信息的靈活配置，規(guī)劃監(jiān)測任務(wù)。通過航線自動(dòng)規(guī)劃技術(shù)，針對(duì)不同的地塊信息，采用不同的監(jiān)測航線。

（3）無人機(jī)數(shù)據(jù)和堤壩監(jiān)測數(shù)據(jù)實(shí)時(shí)高速傳輸技術(shù)。通過SIM8200EA-M25G 模塊實(shí)現(xiàn)無人機(jī)配網(wǎng)，背部設(shè)置SIM 卡槽可用于移動(dòng)卡安裝，借助5G傳輸模塊可以完成圖像的高速傳送。通過配置5G網(wǎng)絡(luò)連接和TCP/IP或UDP協(xié)議，利用Socket接口收發(fā)數(shù)據(jù)。通過無人機(jī)數(shù)據(jù)傳輸系統(tǒng)，包括推流端、服務(wù)端和客戶端，完成數(shù)據(jù)的采集、儲(chǔ)存和查詢等功能。

（4）無人機(jī)數(shù)據(jù)處理與堤壩病害信息提取技術(shù)。針對(duì)無人機(jī)獲取的圖像信息，通過改進(jìn)的yolov5 算法，對(duì)堤壩的裂縫進(jìn)行識(shí)別，通過MAD 濾波算法和廣義形態(tài)學(xué)濾波，對(duì)獲取的紅外圖像進(jìn)行預(yù)處理，最后自動(dòng)閾值化分割，獲得滲漏區(qū)域的圖像信息。

2 算法設(shè)計(jì)

2.1 問題建模

無人機(jī)自動(dòng)巡檢的技術(shù)路線如下：首先，進(jìn)入堤壩現(xiàn)場，查看地形及周邊情況，檢查無人機(jī)電量及設(shè)置，并進(jìn)行飛行前的準(zhǔn)備工作；其次，建立飛行任務(wù)，進(jìn)行飛行路徑的智能規(guī)劃，并實(shí)現(xiàn)無人機(jī)的復(fù)合避障，根據(jù)情況進(jìn)行手動(dòng)補(bǔ)拍；最后，將外業(yè)成果導(dǎo)入相應(yīng)軟件進(jìn)行處理，建立三維模型，提取所需信息數(shù)據(jù)。

為了更好地解決無人機(jī)在自動(dòng)巡檢堤壩時(shí)區(qū)域劃分與路徑規(guī)劃相互獨(dú)立和任務(wù)覆蓋不完全的問題，提出一種多無人機(jī)覆蓋路徑規(guī)劃方法。

首先將堤壩區(qū)域柵格化，A 為需要搜索柵格的中心點(diǎn)。N為禁止通行柵格的端點(diǎn)。沒有標(biāo)號(hào)點(diǎn)的白色柵格不需要搜索，也不禁止通行，見圖2。

圖2 柵格

采用基于柵格的技術(shù)，將需實(shí)施覆蓋堤壩路徑規(guī)劃區(qū)域離散為柵格，并把柵格分為A、N、B3類，A類柵格對(duì)應(yīng)需要覆蓋的區(qū)域，記錄柵格中心點(diǎn)為As（x，y），其中：A為點(diǎn)的類別，s為點(diǎn)的序號(hào)，（x，y）為點(diǎn)的坐標(biāo)；N類柵格對(duì)應(yīng)禁飛區(qū)，將相鄰的禁飛區(qū)柵格合并為盡可能大的矩形，記錄禁飛區(qū)矩形為NRt（N0，N1），其中：t為矩形的序號(hào)，N0 為矩形的左上角點(diǎn)，N1為矩形的右下角點(diǎn)；B類柵格為其他柵格，這些柵格不需要覆蓋搜索，也不禁止UAV 飛越，因此，整個(gè)區(qū)域信息可以表示為G=G（AS，NRS），其中：AS為A類柵格中心點(diǎn)的集合，NRS為禁飛區(qū)對(duì)應(yīng)矩形的集合。

2.2 區(qū)域劃分

根據(jù)無人機(jī)的數(shù)目、各自的能力，以及執(zhí)行任務(wù)等信息，將堤壩劃分為不同的區(qū)域。圖3 中不同形狀的3 個(gè)點(diǎn)集，是區(qū)域劃分的結(jié)果。每個(gè)點(diǎn)集對(duì)應(yīng)一架無人機(jī)需要搜索的區(qū)域。如圖3 所示，圓形區(qū)域的點(diǎn)集由無人機(jī)1 進(jìn)行覆蓋巡檢，正方形區(qū)域的點(diǎn)集由無人機(jī)2 進(jìn)行覆蓋巡檢，三角形區(qū)域的點(diǎn)集由無人機(jī)1進(jìn)行覆蓋巡檢。中間的大正方形區(qū)域?yàn)橥{區(qū)，無人機(jī)不作巡檢。

圖3 分簇后的區(qū)域圖

2.3 路徑規(guī)劃

劃分區(qū)域后，對(duì)每個(gè)區(qū)域采用全覆蓋路徑規(guī)劃算法進(jìn)行路徑規(guī)劃，見圖4～5。按順序從{CS1，CS2，…，CSk}取出CSi為當(dāng)前簇，對(duì)當(dāng)前簇CSi中所有點(diǎn)，采用深度優(yōu)先搜索方向和起始點(diǎn)不同的牛耕法規(guī)劃出多條路徑。深度優(yōu)先搜索方向分為Horizontal/水平、Vertical/垂直、Diagonal/對(duì)角線，起始點(diǎn)分為XminYmin/左上角點(diǎn)，XminYmax/左下角點(diǎn)，XmaxYmin/右上角點(diǎn)，XmaxYmax/右下角點(diǎn)，不同的深度優(yōu)先搜索方向和起始點(diǎn)組合成不同的牛耕法對(duì)簇CSi實(shí)施路徑規(guī)劃。

圖4 路徑規(guī)劃圖

圖5 實(shí)際效果圖

牛耕法的起始點(diǎn)為左上角點(diǎn)A1（10，10），沿水平方向?qū)嵤┥疃葍?yōu)先搜索，則該方向上的A2（30，10）、A3（50，10）、…、A5（90，10）均加入路徑path1，A5為CS1區(qū)域的邊緣，搜索轉(zhuǎn)到下一行，即Y增大的一行繼續(xù)實(shí)施沿水平方向的深度優(yōu)先搜索，重復(fù)上述過程，直至遍歷CS1中所有的點(diǎn)。

3 堤壩病害檢測方法

3.1 堤壩裂縫識(shí)別方法

無人機(jī)巡檢系統(tǒng)具有機(jī)動(dòng)迅速、成像質(zhì)量高等突出特點(diǎn)，在大型工程病害巡檢中得到了較廣泛的應(yīng)用，但是受無人機(jī)飛行狀態(tài)下的抖動(dòng)、光照強(qiáng)度變換的影響，導(dǎo)致可見光圖像噪聲大，無法滿足快速、高效巡檢的需求。針對(duì)上述問題，提出了適用于堤壩裂縫病害快速高精度識(shí)別方法，解決了傳統(tǒng)無人機(jī)巡檢系統(tǒng)數(shù)據(jù)處理速度慢、識(shí)別精度低的問題。

本設(shè)計(jì)使用改進(jìn)的YOLOv5算法對(duì)裂縫圖像進(jìn)行識(shí)別。YOLOv5系列算法包括YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。其中YOLOv5s模型最小，同時(shí)檢測精度也較低。YOLOv5s 模型由4 個(gè)部分組成：輸入端、骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和檢測頭。

YOLOv5算法的改進(jìn)主要包括：（1）在輸入端增加Gamma變換，改變圖片的暗部細(xì)節(jié)，增強(qiáng)圖片，提高數(shù)據(jù)利用的高效性；（2）采用PP-LCNet 網(wǎng)絡(luò)，使模型更加輕量化，降低對(duì)硬件設(shè)備的要求，大大提高檢測速度；（3）在骨干網(wǎng)絡(luò)融合CBAM 注意力模塊，CBAM 包含兩個(gè)獨(dú)立子模塊——通道注意力模塊和空間注意力模塊，分別進(jìn)行通道和空間維度上的注意力特征融合，減少參數(shù)。改進(jìn)的算法減少了參數(shù)量，提高了檢測精度，完成了輕量化的改變，有效提高了檢測速度。

無人機(jī)搭載z30 云臺(tái)相機(jī)，該相機(jī)的光學(xué)變焦和數(shù)碼變焦分別為30倍和6倍，能夠清晰觀測到堤壩表面的毫米級(jí)裂縫，同時(shí)該相機(jī)配備了三軸增穩(wěn)技術(shù)，能夠在飛行過程中控制相機(jī)抖動(dòng)，可以達(dá)到0.01°。通過相機(jī)標(biāo)定，采用Frangi 濾波方法，對(duì)裂縫信息進(jìn)行提取，包括裂縫分類以及裂縫的大小。

3.2 基于紅外圖像的堤壩滲漏識(shí)別方法

紅外檢測方法具有對(duì)溫度敏感、檢測速度快等突出優(yōu)點(diǎn)，能夠快速發(fā)現(xiàn)可見光無法觀測到的堤壩淺層滲漏區(qū)域，并進(jìn)行全天候的檢測，在各類無損檢測中得到了較為廣泛的應(yīng)用。然而由于堤壩表面受熱不均勻，且紅外熱像技術(shù)在數(shù)據(jù)采集時(shí)易受環(huán)境因素、時(shí)間因素、物理因素的影響，導(dǎo)致紅外圖像整體成像質(zhì)量低、輪廓模糊等，嚴(yán)重影響了基于紅外圖像的堤壩滲漏識(shí)別準(zhǔn)確度。針對(duì)上述問題，設(shè)計(jì)了基于形態(tài)學(xué)重建的堤壩滲漏快速檢測新方法，包括紅外圖像預(yù)處理、滲漏區(qū)域識(shí)別2個(gè)部分。

為實(shí)現(xiàn)紅外圖像的噪聲抑制和圖像對(duì)比度增強(qiáng)，選取基于絕對(duì)偏差的中值（median absolute deviation，MAD）濾波算法和廣義形態(tài)學(xué)算法對(duì)紅外圖像進(jìn)行預(yù)處理。MAD 濾波算法是一種穩(wěn)健對(duì)抗離群數(shù)據(jù)的距離值方法，能夠有效剔除堤壩表面因光線反射而造成的數(shù)據(jù)離群點(diǎn)。

廣義形態(tài)學(xué)濾波的主要特點(diǎn)是在開運(yùn)算與閉運(yùn)算濾波過程中選用了尺寸不同的結(jié)構(gòu)元素，使圖像更為平滑，同時(shí)能夠有效抑制大量復(fù)雜噪聲，并保持圖像亮度不發(fā)生偏移。

本文引入了top-hat變換，首先對(duì)原始紅外圖像進(jìn)行開運(yùn)算或閉運(yùn)算，然后將運(yùn)算結(jié)果與原始紅外圖像做差，能夠很好地濾除噪聲，同時(shí)起到增強(qiáng)圖像對(duì)比度的作用。

在數(shù)據(jù)預(yù)處理后，得到降噪圖像和梯度圖像，然后根據(jù)輸入的初始偏移對(duì)圖像進(jìn)行形態(tài)學(xué)重建，重建以T為步長，讓極小值區(qū)域不斷趨于穩(wěn)定。最后通過自動(dòng)閾值化分割，閾值化提取原理公式如式（1）所示。

f（x，y）為閾值化后的二值滲漏區(qū)域中（x，y）的坐標(biāo)值，其中，0（黑色）表示無滲漏區(qū)域，255（白色）表示滲漏區(qū)域，p（x，y）為極小值區(qū)域中（x，y）的溫度值，th為選取的溫度閾值。本文采用ZENMSE XT2熱成像云臺(tái)相機(jī)，該相機(jī)能夠高精度獲取待檢測區(qū)域的溫度信息，滿足檢測的需求，滲漏區(qū)域如圖6所示。

圖6 滲漏區(qū)域檢測示例

4 結(jié) 語

本研究設(shè)計(jì)一種面向堤壩監(jiān)測的無人機(jī)自動(dòng)巡檢系統(tǒng)，包括全自主無人機(jī)方艙技術(shù)、面向堤壩監(jiān)測的無人機(jī)任務(wù)規(guī)劃技術(shù)、無人機(jī)數(shù)據(jù)和堤壩數(shù)據(jù)實(shí)時(shí)高速傳輸技術(shù)、無人機(jī)數(shù)據(jù)處理與堤壩病害信息提取等核心關(guān)鍵技術(shù)，通過采用柵格技術(shù)對(duì)需要實(shí)施覆蓋路徑規(guī)劃區(qū)域離散為柵格，根據(jù)無人機(jī)的數(shù)目、各自的能力，以及執(zhí)行任務(wù)等信息，將區(qū)域劃分為不同的區(qū)域。劃分區(qū)域后，采用牛耕法進(jìn)行路徑規(guī)劃，并利用無人機(jī)搭載多款云臺(tái)相機(jī)，實(shí)現(xiàn)對(duì)堤壩裂縫的檢測以及滲漏區(qū)域的檢測。