蔡啟烈 王 強

武漢理工大學交通與物流學院 武漢 430063

0 引言

無人艇作為一種水上自主航行器，具有體積小、質(zhì)量輕、靈活適應各種水上環(huán)境等特點，在港口碼頭巡邏、海上環(huán)境監(jiān)測等領域有廣泛應用前景。無人艇的功能核心是能實時感知復雜多變的水上環(huán)境并進行自主導航，避開船只、暗礁等障礙物。水上障礙物檢測作為環(huán)境感知的關鍵能力，對無人艇避碰和自主導航都有重要影響，只有實時、精準的檢測到水上障礙物，無人艇才能對周圍環(huán)境及時做出反應，避免發(fā)生碰撞。

在現(xiàn)階段障礙物檢測方法中，基于視覺的圖像語義分割算法能對障礙物進行精準的像素級檢測，正得到愈加廣泛的研究，并逐步應用到水上障礙物檢測中。Cane T 等[1-4]首先研究了SegNet、ESPNet、ENet 等數(shù)種語義分割網(wǎng)絡在水上障礙物檢測中的表現(xiàn)；Kim H 等[5]設計了基于視覺的實時水上障礙物檢測算法，將語義分割網(wǎng)絡應用到水上障礙物檢測中，但是該算法并未采用大型數(shù)據(jù)集評價；為了評價經(jīng)典的語義分割網(wǎng)絡在水上障礙物檢測的效果，Bovcon B 等[6-9]在Master1325 數(shù)據(jù)集上對經(jīng)典網(wǎng)絡PSPnet、Unet、DeepLabv2 等進行訓練，之后在大型海洋數(shù)據(jù)集MODD2 上進行評價，結(jié)果顯示經(jīng)典的語義分割網(wǎng)絡對動態(tài)水面的分辨力不夠，對水中小型障礙物的檢測能力有待提高，整體檢測精度不高；為了改進經(jīng)典語義分割網(wǎng)絡在水上障礙物檢測上的不足，Bovcon B 等[10]針對水面特性提出了WaSR 網(wǎng)絡結(jié)構(gòu)，該結(jié)構(gòu)融入了IMU 傳感器信息，編碼部分采用Resnet50 作為主干特征提取網(wǎng)絡，檢測精度超過各類經(jīng)典網(wǎng)絡，但是WaSR 網(wǎng)絡模型較大，推理速度較慢；Yao L 等[11]基于Unet 中規(guī)整的編碼-解碼架構(gòu)設計了Shoreline-Net 網(wǎng)絡，該網(wǎng)絡采用輕量化的Bottleneck 結(jié)構(gòu)進行下采樣，相比于WaSR 和大部分經(jīng)典語義分割網(wǎng)絡，Shoreline-Net 模型推理速度更快，在水上障礙物檢測中實時性更高，但是網(wǎng)絡對于水上特征提取不足，檢測精度較低。

從上述情況可以知，現(xiàn)有針對水上障礙物檢測的語義分割算法難以同時滿足檢測實時性和精度的要求。因此，本文提出一種基于改進PSPnet 框架的水上障礙物檢測算法，該算法以PSPNet 中的金字塔池化架構(gòu)作為整體框架，采用Mobilenetv2[12]中的輕量化結(jié)構(gòu)Bottleneck 作為主干特征提取網(wǎng)絡，減少網(wǎng)絡參數(shù)，提高水上障礙物檢測速率。在精度上考慮到水上經(jīng)常出現(xiàn)大霧和強光，導致障礙物變得難以檢測，同時也存在大量波紋、倒影干擾的特點，本文主要采取加強特征提取和提高分辨力的策略。本文在PSPnet 中引入ASPP(Atrous Spatial Pyramid Pooling)結(jié)構(gòu)，該結(jié)構(gòu)中的多尺度膨脹卷積能增大卷積核對特征圖的感受野，從而加強對圖像上下文特征信息提取，使得網(wǎng)絡在大霧、強光環(huán)境中提取到更多的圖像特征；改進 Focal Loss[13]損失函數(shù)，進一步增大圖像中難以檢測部分的損失值，提高網(wǎng)絡對波紋、倒影等干擾的分辨力。

1 方法

1.1 活體人臉檢測整體流程

本文引用改進PSPNet 框架進行活體人臉檢測的整體流程如圖1 改進PSPnet 框架檢測流程所示，輸入圖像大小為224×224，經(jīng)過Bottleneck 層后，將特征圖數(shù)據(jù)提取為28×28×192 大小特征向量，傳入PSPnet 中的多金字塔池化結(jié)構(gòu)和ASPP 結(jié)構(gòu)并行提取圖像的多尺度特征，最后特征圖經(jīng)過雙線性差值上采樣映射回原圖大小，完成水上障礙物的語義分割，輸出圖像被分割為天空、障礙物、水3 個類別，分別用掩碼0、1、2 表示。

圖1 改進PSPnet 框架檢測流程

1.2 Bottleneck 層結(jié)構(gòu)

MobilenetV2 與傳統(tǒng)CNN 卷積網(wǎng)絡的區(qū)別之一就是該框架采用的是Depthwise Separable 卷積方式，替代了傳統(tǒng)的CNN 的卷積方式，用單通道卷積層進行卷積操作(DW 卷積)，之后用1×1 大小的卷積核進行維度擴展(PW 卷積)。Depthwise Separable 卷積方式如圖2 所示。

圖2 Depthwise Separable 卷積方式

采用Depthwise Separable 卷積方式，導致卷積過程中特征圖維度較低，需要先用1×1 卷積核進行擴維，最后用1×1 卷積核進行降維操作，即倒殘差(Bottleneck)結(jié)構(gòu)，如圖3 所示。

圖3 Bottleneck 結(jié)構(gòu)

PSPnet 的主干特征提取網(wǎng)絡是Resnet50，Resnet50采用CNN 卷積方式，參數(shù)量大，本文將Resnet50 替換為Bottleneck 層，用來減小模型參數(shù)，使得整體框架更為輕量，Bottleneck 層整體如表1 所示。

表1 Bottleneck 層結(jié)構(gòu)

表1 中Operator 表示卷積方式，t為Bottleneck 層中擴維的倍率因子，c為輸出特征圖的維度，n為當前層循環(huán)次數(shù)，s為步距，a 表示是否使用SE 模塊。

對于步距為2 的卷積層，為避免損失更多特征信息，需加入SE 模塊，根據(jù)SE 模塊生成的不同權重保留更多有效信息。

如圖4 所示，SE 模塊中的Global Pool 表示全局池化，F(xiàn)C1 和FC2 表示全連接層，Relu 表示使用Relu 激活函數(shù)。SE 模塊將輸入的特征圖數(shù)據(jù)經(jīng)過全局池化，然后經(jīng)過2 個全連接層生成每張?zhí)卣鲌D的權重，最后對步距為2 的Bottleneck 層進行加權處理，以保留更多有效信息。FC2 層后的Hard-Sigmoid[14]激活函數(shù)有效擬合了Sigmoid 激活函數(shù)，但是減少了Sigmoid 激活函數(shù)帶來的復雜計算。Hard-Sigmoid 激活函數(shù)為

圖4 SE 模塊

1.3 多金字塔池化結(jié)構(gòu)和ASPP 結(jié)構(gòu)

在圖1 中，Bottleneck 層生成的特征圖大小為28×28×192，同時傳入PSPnet 中多金字塔池化結(jié)構(gòu)和ASPP 進行多尺度的特征提取，多金字塔池化結(jié)構(gòu)如圖5 所示。

圖5 多金字塔池化

由圖5 可知，多金字塔池化就是使用1×1、2×2、3×3、6×6 大小的池化核對輸入特征進行多尺度池化下采樣操作，最后對特征圖進行上采樣。相比于池化下采樣，多尺度池化可以最大程度減小因池化產(chǎn)生的信息丟失，在一定程度上增大網(wǎng)絡特征提取能力。

在水上障礙物檢測中，波紋和、水上倒影、強光和大霧天的干擾會給障礙物的分割造成很大影響，大霧和強光在水上障礙物檢測環(huán)境中時常遇到，尤其是大霧干擾，會讓周圍障礙物難以檢測，碰撞風險大幅增加，故增強網(wǎng)絡抗干擾性是提高網(wǎng)絡檢測準確率的關鍵。同時，在水上也存在很多諸如暗礁類的小型障礙物，難以檢測。無論是霧天中的障礙物還是小型障礙物，難以檢測都是因為提取不到足夠的上下文特征信息，網(wǎng)絡模型難以分辨霧天障礙物和小型障礙物，故在水上障礙物檢測過程中必須加強對圖像上下文特征信息的提取。

增大圖像感受是加強圖像特征信息提取的有效方式，感受野是特征圖像在原圖中的映射范圍，感受野越大，則特征圖在原圖像中的映射區(qū)域越大，也能獲取到更多的上下文特征信息。感受野計算為

式中：lj為第j層特征圖的感受野，lj-1為第j-1 層的感受野，fj為第j層卷積核的尺寸，si為第i層的步長。

若使用CNN 的卷積方式，在不進行下采樣的情況下要獲得224×224 圖像的全局感受野，在卷積核為3×3 大小的情況下，至少要進行100 多層CNN 卷積，使得計算量大幅增加。

為了不大幅增加計算量的情況下增大圖像感受野，本文決定引入ASPP 結(jié)構(gòu)，既可以加強圖像特征提取，又能進一步減少因多金字塔池化結(jié)構(gòu)中池化操作產(chǎn)生的信息丟失，ASPP 結(jié)構(gòu)如圖6 所示。

圖6 ASPP 結(jié)構(gòu)

ASPP 結(jié)構(gòu)中采用多尺度膨脹卷積，膨脹卷積又稱為空洞卷積，能在卷積核內(nèi)填充空洞元素，使得卷積核擴張，從而具有更大的感受野，膨脹卷積中膨脹率的選取十分重要，膨脹率過大，在進行卷積過程中，會丟失掉重要的特征信息，過小又會使得圖像推理速度變慢，本文中為了加強特征提取能力，將膨脹率分別設置為2、4、6。

1.4 改進Focal Loss 損失函數(shù)

在深度學習中，交叉熵損失函數(shù)因為計算簡單，能夠讓模型有較好的學習效果，在各種障礙物檢測網(wǎng)絡中被廣泛使用，交叉熵損失函數(shù)為

式中：p為預測樣本為1 的概率；y為真值標簽，在此標簽類別只有0 或1，可以通過獨熱碼將水上障礙物的標簽類別都轉(zhuǎn)換為0 或1 的形式；CE(p，y)為求出的損失值，因p∈[0，1），故損失值CE(p，y)≥0，且根據(jù)對數(shù)函數(shù)的特性，p越小損失值越大、p越大損失值越小，這就使得在分類正確的情況下，損失值較小，而分類錯誤就會具有較大的損失值。

交叉熵損失函數(shù)雖然計算簡單，模型優(yōu)化效果較好，但在實際障礙物檢測過程中，仍然存在不能對正負樣本加權使得正負樣本均衡化、對難以檢測的樣本區(qū)分度不明顯的缺點。

在水上障礙物檢測過程中，正樣本就是水上障礙物，負樣本是水面環(huán)境。因在水上環(huán)境中障礙物占少數(shù)，而水面占多數(shù)，同時也占了Loss 中的大部分，使用交叉熵損失函數(shù)求解時，大部分像素的損失值都是水面環(huán)境的損失值，而障礙物像素所占的損失值較少。這會使得模型的優(yōu)化方向并沒有完全關注到障礙物檢測的精度方向。同時，在水上障礙物檢測過程中，會出現(xiàn)大量倒影的干擾，使得倒影和真實障礙物難以分別，而交叉熵損失函數(shù)并不能對難以檢測的部分增加關注程度，導致交叉熵損失函數(shù)在水上障礙物檢測過程中效果并不理想。因此，本文決定采用對交叉熵損失函數(shù)加權處理后的Focal Loss（即FL）作為損失函數(shù)，即有

式中：α用于控制正負樣本權重，在水上障礙物檢測時，負樣本出現(xiàn)的頻次多，α用來降低負樣本的權重，考慮到本文選用的訓練集中正樣本在總體樣本數(shù)中占比較小，本文將α設置為0.25；（1-pt）γ稱為調(diào)制系數(shù)，主要用于控制難以檢測樣本和檢測難度較易樣本的權重，其中γ是一個常數(shù)。

在水上障礙物檢測過程中，考慮到水中會出現(xiàn)大量倒影，存在大量難以檢測的樣本，本文決定改進FL，使得針對難以檢測樣本的損失值進一步增大，改進的FL可表示為

在FL中，(1-pt)的指數(shù)γ是個常數(shù)，并不能隨著正樣本預測概率pt的變化而變化。因此，針對不同場景的適應性較差，本文將γ改為-log(1-pt)曲線，該函數(shù)在p∈[0，1）區(qū)間的圖像如圖7 所示。

圖7 -log(1-pt)曲線

圖7 中，y＝-log(1-pt)在[0，1)區(qū)間內(nèi)單調(diào)遞增，因為（1-pt）＜1，隨著pt趨于1，(1-pt)-log(1-pt)是不斷減小的，導致整個函數(shù)值也不斷減小。FL與改進后的FL在區(qū)間pt∈[0，1）的函數(shù)如圖8 所示。

圖8 損失函數(shù)對比

圖8 為損失函數(shù)對比，橙色曲線為FL，藍色曲線為改進后的FL(Imporved Focal Loss)，從圖中可以看出，F(xiàn)L和IFL均隨著pt的增大而單調(diào)遞減，且對于難以檢測的樣本(pt＜0.5)，IFL明顯比FL具有更高的損失值，IFL對難以檢測的樣本比FL具有更高的關注度。

在深度學習中，為使得損失函數(shù)的值盡可能地小，最小化損失函數(shù)值的過程稱為最優(yōu)化，實現(xiàn)最優(yōu)化流程的方法稱為優(yōu)化器。本文定采用SGD 優(yōu)化器[15]，動量參數(shù)選為0.9，使得模型在驗證集上能更快地收斂，采用SGD 的權重優(yōu)化方式為：

設一個批次為b張數(shù)據(jù)，則每個批次的平均梯度損失值為

權重參數(shù)更新項v為

權重參數(shù)w更新為

式中：β為動量因子；α為學習率，根據(jù)批次大小，學習率設置為0.000 5。

2 實驗

為了研究本文設計算法對水上障礙物的檢測精度以及對岸線檢測精度，決定開展數(shù)據(jù)集評價實驗。選用目前標注最精準的海洋環(huán)境語義分割數(shù)據(jù)集Master1325作為訓練集進行訓練，選用數(shù)據(jù)集MODs 作為評價集進行數(shù)據(jù)集評價實驗，分析網(wǎng)絡模型在數(shù)據(jù)集上的表現(xiàn)。

本文訓練時采用的硬件平臺為x86 架構(gòu)，GPU 采用NVIDIA Telsa K80，CPU 采 用Intel Xeon E5-2678 v3，主頻2.5 GHz，RAM 為8 Gb。軟件平臺為Linux操作系統(tǒng)，深度學習環(huán)境為Pytorch1.8.1，Cuda 版本。

2.1 Master1325 和MODs 簡介

Master1325 數(shù)據(jù)集是目前人工標注最為精準的海洋語義分割數(shù)據(jù)集，內(nèi)含1 325 張海洋環(huán)境圖像，圖像尺寸為1 278×958×3；1 325 張標注的標簽圖像，圖像尺寸為1 278×958×1，因為標簽中將天空、障礙物、水分別表示為0、1、2，所以標簽中圖像深度為1，每一個像素值都代表對應的分割種類，如圖9 中Master1325圖像示例。

圖9 Master1 325 圖像示例

考慮到訓練集僅有1 325 張圖像，難以滿足訓練過程中對數(shù)據(jù)量的需求，本文決定對Master1325 數(shù)據(jù)集進行圖像增強，首先對圖像進行鏡像處理，之后再對圖像進行旋轉(zhuǎn)，將訓練集由1 325 張增強到了26 500 張，使得訓練集的泛化性大幅提高，可用于模型訓練。

MODs 是Boconvn 等制作的最具海洋環(huán)境代表性的水上障礙物檢測數(shù)據(jù)集[16]，如圖10 中MODs 示例。圖像共有94 個序列，其中含有8 175 張被標注圖像，而且標簽也經(jīng)過專家審核，是標注十分精確的海洋環(huán)境數(shù)據(jù)集。因其包含94 個海洋環(huán)境序列，故圖像檢測十分具有挑戰(zhàn)性。同時MODs 中對數(shù)據(jù)集中的環(huán)境進行了危險區(qū)域的劃分，用于評價無人艇航行時在危險區(qū)域內(nèi)的障礙物檢測精度，可以進一步對語義分割網(wǎng)絡的性能進行更為細致的評價。

圖10 MODs 示例

MODs 是將攝像頭放在無人艇上，沿歐洲斯洛文尼亞海岸采集。在MODs 中，將圖像中距離無人艇15 m以內(nèi)的區(qū)域劃為危險區(qū)域，MODs 認為，無人艇航行較慢，危險區(qū)域內(nèi)的障礙物需要重點關注。在MODs 評價實驗中，本文不但分析了所設計算法在MODs 上的整體表現(xiàn)，同時分析了危險區(qū)域內(nèi)的障礙物分割效果。

2.2 算法性能評價指標

在水上障礙物檢測過程中，本文用F-measure衡量本文設計算法在評價集上的障礙物檢測精度，F(xiàn)-measure的計算公式為

式中：TP為預測正確的正樣本數(shù)量，F(xiàn)P為將負樣本預測成正樣本的數(shù)量，F(xiàn)N為預測錯誤的負樣本數(shù)量。

本文中正樣本是水上障礙物，負樣本是水面。F-measure越大，則預測正確的水上障礙物數(shù)量越多，模型檢測精度就越高。

2.3 消融實驗

為了驗證本文算法的實時性和精度，本文將僅采用Bottleneck 層進行主干特征提取的網(wǎng)絡設為Baseline，Baseline 采用FL損失函數(shù)，之后保持其他不變，依次添加ASPP 和改進FL損失函數(shù)，即改進PSPnet 算法，同時與PSPnet 網(wǎng)絡形成對照，如表2 所示。

表2 消融實驗對照表

首先在增強后的Master1325 數(shù)據(jù)集上對Baseline、Baseline+ASPP 已經(jīng)完整的改進PSPnet 網(wǎng)絡訓練10 個Epoch，訓練完成后分別選取表現(xiàn)最好的模型在MODs上進行評價，整體精度F-measure評價結(jié)果如表3 所示。

表3 消融實驗F-measure 對比

表3 中Pr 為精確率，Re 為召回率，如式(11)、式(12)所示，即

TPr 和FPr 分別表示每100 張預測中TP和FP的平均數(shù)量，F(xiàn)-measure為檢測精度。表3 中PSPnet 和Baseline 僅是主干特征提取網(wǎng)絡不相同?？梢钥闯?，將主干特征提取網(wǎng)絡由Resnet50 改為Bottleneck 層后F-measure有所下降，可以看出Resnet50 特征提取能力比本文設計的Bottleneck 層要強，但是引入ASPP 結(jié)構(gòu)后，F(xiàn)-measure得到了大幅度提升，證明通過增大感受野的方式加強特征提取是有效的，本文算法的F-measure最高，達到了86.8，TPr 和FPr 均得到改善，可以證明使用改進FL損失函數(shù)訓練的模型比FL訓練出的模型具有更強的水上障礙物分辨能力。

2.4 與國內(nèi)外研究對比

由消融實驗可以證明本文算法中通過ASPP 結(jié)構(gòu)增大感受野和使用改進FL損失函數(shù)訓練模型的有效性，為了能更清楚的分析改進PSPnet 網(wǎng)絡在水上障礙物檢測精度和實時性上的優(yōu)缺點，與目前世界上各個經(jīng)典網(wǎng)絡進行對比，其結(jié)果如表4 所示。

表4 MODs 精度對比

MODs 數(shù)據(jù)集是用無人艇采集的，將距離無人艇15 m 以內(nèi)的區(qū)域定義為危險區(qū)域，在實際航行過程中，危險區(qū)域內(nèi)障礙物的分割精度更為重要，本文同時對各個網(wǎng)絡在危險區(qū)域內(nèi)障礙物的檢測精度進行對比，如表5 所示。

表5 危險區(qū)域檢測精度對比

由表4、表5 可知，危險區(qū)域內(nèi)障礙物檢測具有更大難度，大部分網(wǎng)絡在危險區(qū)域內(nèi)的檢測精度較低。這是由于數(shù)據(jù)集拍攝過程中，危險區(qū)域內(nèi)小型障礙物居多，而大型船只等都在較遠處，由此更能看出各網(wǎng)絡對于較小障礙物和難以檢測障礙物的分辨能力，表中PSPnet在MODs 上整體精度表現(xiàn)達到78.9，但是在危險區(qū)域內(nèi)僅有37.9，證明PSPnet對于小型障礙物檢測精度較差，而本文算法在危險區(qū)域內(nèi)障礙物檢測精度達到了81.1，僅次于WaSR，進一步證明了本文針對水上特性采取策略的有效性。

影響無人艇水上障礙物檢測能力的另一個重要因素就是實時性，無人艇承載能力有限，為了保證其靈活性，不能放入大型計算設備。因此，在有限的算力下具有更快的圖像推理速度，保障無人艇水上障礙物檢測實時性十分重要，本文選取算力平臺NVIDIA GTX 2080Ti，研究各個網(wǎng)絡的圖像推理速度，如表6 所示。

表6 圖像推理速度分析

在表6 中，PSPnet 采用Resnet50 作為主干特征提取網(wǎng)絡，模型大小為56 Mb，遠高于本文算法模型，推理速度較慢。WaSR 雖然水上障礙物檢測精度最高，但是在GPU 算力平臺GTX2080Ti 上的單張圖像推理時間達到了63.9 ms，是本文算法的4 倍，而且模型體積較大，達到了84.6 Mb，此外WaSR 采用了與IMU 進行多傳感器融合的方式檢測，檢測成本昂貴；而本文算法模型僅有15.1 Mb，占用內(nèi)存較小，且單張圖像推理時間僅有16.4 ms，完全滿足無人艇對于實時性的要求。

由上述分析可知，本文算法不但檢測精度高，而且圖像推理速度快，即使是在成本較低廉的算力平臺2080Ti 上，單張圖像推理速度依然達到16.4 ms 每張，即61 fps，實時性較高。因此，即使與目前國內(nèi)外最經(jīng)典的分割網(wǎng)絡相比，本文算法在MODs 數(shù)據(jù)集上依然具有非常突出的表現(xiàn)，是針對水上障礙物檢測領域有效的語義分割網(wǎng)絡。

3 結(jié)論

本文針對無人艇水上障礙物檢測提出了一種語義分割算法，該算法基于改進的PSPnet 框架，采用Bottleneck 結(jié)構(gòu)進行主干特征提取。同時，針對水上經(jīng)常出現(xiàn)大霧、強光和大量波紋，倒影的干擾，本文分別采取了增大感受野加強特征提取，和改進FL損失函數(shù)提高網(wǎng)絡分辨力的策略。最后實驗結(jié)果表明，本文所提出策略能有效提高水上障礙物檢測精度，本文算法在MODs 數(shù)據(jù)集上檢測精度F-measure達到了86.8，危險區(qū)域內(nèi)F-measure為81.1，同時在2080Ti 平臺上圖像推理速度達到了61 fps，無論是在檢測精度還是實時性方面都有十分突出的表現(xiàn)。然而，本文與WaSR 網(wǎng)絡相比，檢測精度仍有所欠缺，可以證明本文算法的特征提取能力仍需增強，下一步研究中，將進一步增大圖像感受野，提高網(wǎng)絡的特征提取能力，提高對于水上障礙物的檢測精度。