■李鵬勛 陳智文

（福建省港航勘察科技有限公司，福州 350009）

福建省沿海主要港口是我國綜合運輸體系的重要樞紐和對臺“三通”主要口岸，其中福州港航道地域跨度大，地形復(fù)雜，自然條件不盡相同，為了保障航道的暢通和安全，往往需要進行大量的巡檢維護作業(yè)，然而這些作業(yè)面臨著“點多、線長、面廣”的問題，導致維護作業(yè)需要投入大量的人力、物力和財力。 而傳統(tǒng)的巡邏艇航道巡檢方式存在視程短、反應(yīng)慢、無法把握整體態(tài)勢、作業(yè)效率低下等弊端。利用無人機實現(xiàn)航道日常巡檢已成為改變傳統(tǒng)人工巡查作業(yè)方式、 提升航道巡查養(yǎng)護的創(chuàng)新模式。但常規(guī)的無人機巡航容易存在大量時空信息冗余，而這些信息通常采用人工辨識和篩選，不僅耗費大量的人力資源，而且容易出錯。 特別是較大范圍或復(fù)雜環(huán)境的航道，人眼對目標物和目標位置的識別誤差較多，更易忽略重要信息，導致無法精確識別非正常障礙物。

如何實現(xiàn)無人機智能化高效巡航，實時獲取航道狀況重要信息，是當前的一個重要研究課題。 國內(nèi)專家學者對無人機影像信息的獲取、目標的識別跟蹤與定位等相關(guān)方向做了大量研究。 王志強等[1]提出了一種全局圖像配準的目標快速定位方法，通過對航攝影像進行小波分解，結(jié)合SIFT 檢測子和角點進行特征描述，利用RANSAC 和最小二乘法優(yōu)化單應(yīng)性矩陣，實現(xiàn)圖像匹配并獲取定位點經(jīng)緯坐標；該方法定位精度高，但實時性有待提高。 吳迪軍等[2]提出了基于無人機高重疊度航攝影像的前方交會測圖技術(shù)，引入最小二乘估計，提高了交會精度，但計算量大且需要較多交會航片。 李忠美等[3]提出多像空間前方交會的抗差總體最小二乘估計方法，通過建立目標點到多條同名射線距離的加權(quán)平方和作為目標函數(shù)，提高了交會精度及穩(wěn)健性能，但對于無人機航片關(guān)聯(lián)性未深入探討。 由于福州港航道環(huán)境復(fù)雜，航道周邊異物形態(tài)各異，無人機巡查產(chǎn)生的影像信息量大且數(shù)據(jù)利用率低，處理這些數(shù)據(jù)需要高效率、高精度的算法支撐，傳統(tǒng)的圖像處理技術(shù)未能滿足這些需求。 為解決這些問題，本研究通過先進的無人機航拍影像處理方法結(jié)合深度卷積網(wǎng)絡(luò)建立航道目標物識別模型， 以期實現(xiàn)高效、精確的航道巡查目標。

1 工程應(yīng)用及實施方案

現(xiàn)有的福州港由原福州港和寧德港整合而來，南起興化灣北岸，北至沙埕灣，東至平潭島，福州港已形成“一港八區(qū)一港點”的總體發(fā)展格局，福州市域港口分為閩江口內(nèi)、江陰、松下、羅源灣和平潭5 個港區(qū)，寧德市域港口分為三都澳、白馬、沙埕3 個港區(qū)及三沙港點。 福州港全港（包括福州、寧德、平潭）擁有大陸海岸線1966 km，占福建省大陸海岸線（3752 km）的52.4%，沿江、沿海岸線長達2628 km，是省內(nèi)岸線資源最豐富的地區(qū)。

本研究依托福州港無人機航道巡查項目，針對福州港航道特點、管理難點、巡檢痛點，采用理論研究、數(shù)據(jù)模型建立及測試驗證的方式開展研究工作，具體實施方案如下：（1）通過無人機拍攝航道正射影像，獲得航道周遭環(huán)境和航道入侵物；再通過圖像正射處理技術(shù)對圖像進行矯正，這些圖像將作為識別模型訓練的數(shù)據(jù)來源；（2）通過無人機瞬時航飛速度的關(guān)鍵幀提取方法，根據(jù)無人機飛行高度、飛行速度、像元尺寸、相機焦距等參數(shù)來動態(tài)計算抽取關(guān)鍵幀的時間間隔，提取關(guān)鍵幀影像；（3）根據(jù)關(guān)鍵幀影像的實際情況，對其進行自適應(yīng)中值濾波、圖像亮度增強、去除噪聲及恢復(fù)圖像顏色等基本圖像處理；（4）基于LBP（局部二值特征法）增強圖像清晰度和紋理特征，再通過小波變換提取圖像特征，將其作為深度卷積神經(jīng)網(wǎng)絡(luò)的輸入；（5）利用深度卷積網(wǎng)絡(luò)-YOLOv5 對處理后的圖像進行特征提取和分類以確定每個像素點是否屬于識別模型庫中的目標物，以實現(xiàn)航道目標物識別；（6）通過精確率（Precision）、召回率（Recall）、平均精度均值（mAP）及每秒傳輸幀數(shù)（FPS）指標對模型的識別效果進行評估分析。

2 關(guān)鍵技術(shù)

2.1 基于YOLOv5 深度卷積網(wǎng)絡(luò)的目標識別模型

YOLOv5 是一種深度卷積網(wǎng)絡(luò)， 具有輕量化和高度靈活性的特點， 采用基于特征的識別方式，通過多尺度特征融合來實現(xiàn)對不同大小目標的識別；其在速度和準確性之間取得了很好的平衡，能夠在實時情況下對目標進行精確識別，是航道巡查應(yīng)用領(lǐng)域的理想選擇。 該網(wǎng)絡(luò)結(jié)構(gòu)由Backbone（主干網(wǎng)絡(luò)），Neck（頸部網(wǎng)絡(luò)）和head（頭部網(wǎng)絡(luò)）3 部分組成，如圖1 所示。

圖1 YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)圖

主干網(wǎng)絡(luò)（Backbone）：負責對輸入圖像進行特征提取，能夠在不同圖像細粒度上聚合并形成圖像特征。Backbone 中的Foucs 模塊是YOLOv5 算法的特有模塊，該模塊采用了一種稱為“focus”的新型卷積操作，通過圖像切片的方式對圖像進行下采樣操作，并在盡可能減少信息丟失的情況下，提高計算效率和檢測性能，以達到減少計算量和內(nèi)存消耗的目的。 從無人機航道巡查的實用角度來看，由于巡查過程中所采集的視頻影像每秒包含多達24 幀的連續(xù)圖像，存在大量的冗余數(shù)據(jù)，極大地影響了目標的識別效率。Focus 模塊能夠有效降低計算成本，在最大限度地保留更多空間信息的同時，減少FLOPs 提升處理速度，能夠有效提高航道巡查效率和時效性。

頸部網(wǎng)絡(luò)（Neck）：是YOLOv5 算法的核心組件之一，其主要作用是特征融合和信息傳遞。 在無人機航道巡查中往往面臨多種復(fù)雜的場景，如光照變化、重疊遮擋、運動模糊等。 這些因素可能導致傳統(tǒng)方法的識別準確率下降。 而Neck 網(wǎng)絡(luò)可以通過引入多尺度信息、增強模型的泛化能力，提高模型在不同場景下的識別性能。 一方面，Neck 網(wǎng)絡(luò)可以融合不同尺度的特征圖，增強對小目標（航標、燈樁、岸標等）及大目標（養(yǎng)殖區(qū)、橋梁、水葫蘆等）的檢測能力。 另一方面，Neck 網(wǎng)絡(luò)可以在特征圖之間進行信息傳遞，這有助于模型更好地理解目標的上下文信息。 在航道巡查中，船只、橋梁等物體可能會產(chǎn)生大面積的陰影或遮擋，會導致目標被錯誤地檢測為背景或無法檢測。Neck 網(wǎng)絡(luò)可以通過多尺度信息學習物體之間的遮擋關(guān)系來預(yù)測被遮擋物體的位置和形狀， 以增強對這些遮擋和背景物體的魯棒性，從而提高目標檢測的準確性和泛用性。

頭部網(wǎng)絡(luò)（Head）：是目標檢測模塊的最后一層，負責將卷積層和池化層提取的特征圖轉(zhuǎn)化為具有空間坐標信息的物體邊界框以及對應(yīng)的類別概率，可以實現(xiàn)高精度的目標識別和多類別目標分類。 這可以有效提高航道巡查的精度，減少誤判和漏檢的情況。 同時，由于加入了全局平均池化層，降低了計算復(fù)雜度和過擬合風險，增加了對圖像中物體位置和尺度的魯棒性，以此提高航道巡查的時效性。

2.2 圖像特征增強處理技術(shù)

由于福州港航道水域地形復(fù)雜多變、識別要素眾多，影響識別模型提取目標特征的效果，導致模型難以準確、快速地提取出所需的目標特征信息。 為了解決該難點，本研究采用以下圖像增強處理技術(shù)來提高目標特征提取的精度和速度，實現(xiàn)步驟如下。

（1）動態(tài)提取關(guān)鍵幀影像

通過對無人機采集的視頻影像信息進行預(yù)處理，提取視頻影像中無人機瞬時飛行速度、飛行航高等信息，再基于圖像像素精度、無人機飛行瞬時速度及識別精度等相關(guān)信息進行加權(quán)化處理并結(jié)合相機參數(shù)進行計算，獲得抽取關(guān)鍵幀所需的動態(tài)間隔，進而對關(guān)鍵幀時間間隔進行加權(quán)和閾值約束處理，提取出關(guān)鍵幀的動態(tài)時差，最終獲取關(guān)鍵幀影像信息。

（2）圖像正射處理

通過對提取的關(guān)鍵幀影像進行正射投影圖像校正，以消除相機傾斜攝影造成的水面區(qū)域像元空間分辨率不同的問題。 根據(jù)單目視覺原理，在已知相機內(nèi)參數(shù)矩陣K 和外參數(shù)矩陣（旋轉(zhuǎn)矩陣R，平移矩陣T） 以齊次坐標的形式定義空間點為Pw（X，Y，Z，1），其在像平面成像點坐標為P（x，y，1），則可知單相機的投影方程為：

其中，k 為比例系數(shù)，K 和R 為3×3 矩陣，T 為3×1 矩陣，該方程可進一步展開為

其中，m 是由相機內(nèi)外參數(shù)矩陣相乘后的系數(shù)。同時，定義正射投影網(wǎng)格的函數(shù)為Z= f（X， Y），由聯(lián)立式（2）知：

由此，像素坐標（x，y） 轉(zhuǎn)換為實際的世界坐標（X，Y，Z），根據(jù)所有像素點對應(yīng)的（X，Y）及其RGB值，可以插值出正射投影圖像I（x， y），圖像尺寸由用戶預(yù)定義的圖像橫縱軸空間分辨率λx和λy（pixels/m）決定。 正射處理效果圖如圖2～3 所示。

圖2 航道原始圖像

圖3 正射投影校正后圖像

（3）通過LBP 和小波變換提取圖像特征

本文基于LBP 算法增強無人機航拍影像的清晰度和紋理特征，通過小波變換提取圖像特征，實現(xiàn)方法如下：①通過LBP 算子對每個像素點，根據(jù)其鄰居的像素點分類結(jié)果計算出該點的特征向量。 通過SIFT 特征點選擇法從之前提取的LBP 特征圖中選擇一些具有較高區(qū)分度的關(guān)鍵點作為目標物的特征點。 再使用FLANN 匹配算法對這些關(guān)鍵點進行匹配，以確定它們之間的相似性關(guān)系，F(xiàn)LANN 算法的核心是使用歐式距離來尋找與實例點最鄰近的點，匹配成功的關(guān)鍵點可以用于后續(xù)的目標物識別任務(wù)，歐式距離的定義如式（4）所示：

式中D 值越小就代表這些特征點間的距離越近，即相似度越高。

②通過Daubechies 小波函數(shù)將圖像從低到高逐層進行小波變換，得到每個層次的近似系數(shù)和細節(jié)系數(shù)。 這些系數(shù)包含了圖像的不同特征信息，如邊緣、角點、紋理等。 通過分析和篩選這些系數(shù)，得到最具有代表性的特征向量，再將提取的圖像特征向量轉(zhuǎn)換為適合深度學習模型的輸入格式，用于后續(xù)的深度學習模型訓練和識別。

3 試驗結(jié)果及分析

根據(jù)福州港航道分布設(shè)置無人機飛行軌跡，使用大疆M300RTK 無人機對該航道進行巡航拍攝，針對航道內(nèi)的通航基礎(chǔ)設(shè)施如浮標、燈樁、岸標及影響航道通航、生態(tài)環(huán)境的常見河道異物（違規(guī)排污口和水葫蘆）共計5 類目標進行采樣。 累計采集超4000 張圖像，最終篩選出705 張?zhí)卣髅黠@的目標圖像作為樣本訓練識別模型，測試環(huán)境配置見表1。

表1 測試環(huán)境配置

3.1 識別模型評價指標

在目標識別領(lǐng)域中，算法性能的評估通常依賴于一系列用于衡量其特性、效率和精度的指標。 這些指標不僅定性描述了算法的性能，還可以通過數(shù)據(jù)、公式和圖像等手段進行定量表達。 為了驗證目標識別模型的識別精度和效率， 本研究將精確率（Precision）、召回率（Recall）、平均精度均值（mAP）及每秒傳輸幀數(shù)（FPS）作為識別模型的評估指標。

3.2 識別效果分析

本研究通過提取燈樁、水葫蘆、排污口、岸標和浮標這5 類目標樣本的識別精確率、 召回率、FPS和mAP 指標進行對比分析以驗證圖像增強處理技術(shù)對識別模型的優(yōu)化效果，分析結(jié)果如下：（1）通過對比這5 類目標樣本的識別精確度和召回率得出，經(jīng)過圖像增強處理的識別模型相對于未處理的模型在識別精確度和召回率上都有所提高。 這意味著處理后的模型能更準確地檢測到目標樣本特征，能有效減少目標誤檢率和漏檢率。 （2）FPS 是衡量模型時效性的重要指標，從表2 中可以看出經(jīng)過圖像增強處理后的識別模型FPS 值也得到了提高，能夠更快地檢測到目標樣本。 這表明對于實際應(yīng)用中需要快速響應(yīng)的目標識別任務(wù)，經(jīng)過圖像增強的模型能夠更好地滿足其需求。 （3）mAP 是評估模型泛化性能的重要指標，由表2 可知經(jīng)過圖像增強的模型，其mAP 值得到了進一步的提高， 對于各種尺度和形狀的識別目標樣本具有更強的泛化能力。 這代表處理后的模型在面對實際應(yīng)用中的復(fù)雜環(huán)境和多種目標類型時，具有更好的泛化性和穩(wěn)定性。 綜上所述， 通過對比分析各類目標樣本的識別指標，證實了圖像增強處理技術(shù)對目標識別模型的優(yōu)化效果，經(jīng)過圖像增強處理后的識別模型，其各項精度指標均有明顯提升，具體比對結(jié)果見表2。

表2 圖像增強前后5 類目標物的識別效果對比

為了驗證經(jīng)圖像增強處理后模型對航道目標物的識別效果，對無人機拍攝的超過4000 張航道影像進行對比分析，旨在全面評估優(yōu)化后的模型性能，以便更好地了解圖像增強處理對目標識別的改進效果，圖4～8 為部分識別效果對比圖。

圖4 燈樁識別效果對比

圖5 水葫蘆識別效果對比

圖6 排污口識別效果對比

圖7 岸標識別效果對比

圖8 浮標識別效果對比

4 結(jié)論

本研究利用無人機獲取福州港航道影像，基于YOLOv5 搭建航道目標識別模型， 通過圖像增強技術(shù)對無人機圖像進行預(yù)處理，提升了模型的識別精度與效率，得出結(jié)論如下：（1）研究利用YOLOv5 構(gòu)建了航道目標識別模型，該模型經(jīng)過大量航道影像的訓練和學習， 已具備較強的目標識別和分類能力；（2）為了進一步提高模型的識別效果，采用圖像增強技術(shù)對無人機圖像進行預(yù)處理并對比分析了優(yōu)化效果，結(jié)果顯示經(jīng)過圖像增強處理后的模型不僅提高了目標物的識別精度，還提升了識別速度；（3）研究結(jié)果表明通過應(yīng)用圖像增強處理技術(shù)的YOLOv5 模型，可以有效識別航道內(nèi)的5 類目標物。這不僅豐富了航道目標物識別的理論和方法，也為實際應(yīng)用提供了重要的技術(shù)支持和參考。