陳從平 吳 喆 吳 杞 呂 添

(1.三峽大學 機械與動力學院，湖北 宜昌 443002；2.常州大學 機械工程學院，江蘇 常州 213164)

水上運輸是我國主要運輸方式之一，但當特定航道上架有跨越式高壓電纜、橋梁正在施工時，需對航道內(nèi)過往船只進行高度限制，或要求按其規(guī)定路線行駛，或進行回避.因而需要提前對船只進行判斷、監(jiān)測，以便進行決策和指揮，及早預(yù)防事故發(fā)生.現(xiàn)有對航道船只進行監(jiān)控的主要方法是，通過在航道合適位置架設(shè)長焦網(wǎng)絡(luò)攝像機，實時將航道上的視頻傳輸?shù)奖O(jiān)控室，再由人工進行甄別并發(fā)出警報或指令.由于船只出現(xiàn)在航道具有不定時、不可預(yù)見的特點，依靠人工值守查看視頻工作量大，易疲勞和誤判，需要開發(fā)自動化船只識別方法，待識別出有船只靠近時，提醒人工處置.

與一般視頻監(jiān)控場景不同的是，為使航道上的船只能被盡早發(fā)現(xiàn)，監(jiān)控時采用了視距更遠的長焦攝像機，但同時會減小攝像機的視場范圍.為使攝像的可視范圍覆蓋整個航道，需使攝像機周期性往復(fù)轉(zhuǎn)動、掃描，即所拍攝背景為動態(tài)背景，則若要自動判別航道船只，需要在動態(tài)背景下進行檢測.

傳統(tǒng)的動態(tài)背景下目標檢測方法主要有兩種：(1)根據(jù)全局運動參量估計進行背景匹配[1]，從而將動態(tài)背景轉(zhuǎn)換成靜態(tài)背景進行處理，再通過幀差法或者背景差分法提取運動目標，最后對提取的運動目標進行分類[2].全局運動參量估計需要利用特征匹配的方法計算模型參數(shù)，但對于航道中的船舶檢測，當圖像背景全為水域時，其顏色及紋理較為單一，特征匹配存在困難，加上遠距離視頻中船舶移動的速度相對于視頻幀率而言過于緩慢，通過幀差法或者背景差分法都很難提取出船舶目標.(2)多尺度滑動窗口法[3]，其核心是對視頻序列的每一幀構(gòu)建圖像金字塔，利用固定尺寸的滑動窗口以等步距在整幅圖像上滑動，并對每一個窗口利用之前訓練好的分類器判斷窗口內(nèi)是否存在檢測目標[3].該算法不受攝像機以及目標運動的影響，并且通過增加圖像金字塔的層數(shù)能夠增加定位精度.該算法的主要缺點是運算量過于龐大非常耗時，并且由于使用固定尺寸的滑動窗口，僅適用于目標長寬比變化不大的場景.但在航道船舶檢測過程中，由于攝像機不停轉(zhuǎn)動，導(dǎo)致同一條船的拍攝角度及成像區(qū)域的大小也在不斷變化，故該算法也不適用.

近年來，人工智能快速發(fā)展并被廣泛應(yīng)用于各種目標識別和檢測領(lǐng)域.本文針對以上問題，利用基于深度學習的方法對動態(tài)背景下的航道船只進行自動檢測.目前，在目標識別與檢測領(lǐng)域公認的性能較為優(yōu)越的模型有Faster R-CNN[4](Faster Regions with CNN features)模型、SSD[5](Single Shot MultiBox Detector)模型和R-FCN[6](Region-based Fully Convolutional Network)模型等，這些模型不僅能夠?qū)崿F(xiàn)端對端的訓練，還能夠同時實現(xiàn)目標的定位以及目標的識別，避免了傳統(tǒng)方法中需要先進行目標檢測，再單獨訓練分類器的繁瑣操作，相比傳統(tǒng)方法在定位精度、識別準確率以及檢測效率上都表現(xiàn)出了更為優(yōu)良的性能.但Faster R-CNN 相 比SSD 和R-FCN 在 檢測準確率上更具優(yōu)勢[7].本文主要采用Faster R-CNN 對航道船只進行識別，在此基礎(chǔ)上，提出了一種針對深度學習網(wǎng)絡(luò)輸出的后處理算法，使得在盡量小的樣本集的訓練下也能達到足夠高的檢測精度，避免了深度學習網(wǎng)絡(luò)需要海量樣本、長時間訓練、前期準備工作量過大的問題.

1 Faster R-CNN 算法原理

圖1 Faster R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)簡圖

如圖1所示，F(xiàn)aster R-CNN 可以簡單地看作是由RPN 網(wǎng)絡(luò)和Fast R-CNN 網(wǎng)絡(luò)的結(jié)合，首先由RPN 網(wǎng)絡(luò)進行目標建議框的生成，再將生成的目標建議框提供給Fast R-CNN 網(wǎng)絡(luò)進行目標的分類與邊界框的回歸.由于Fast R-CNN 網(wǎng)絡(luò)的訓練依賴于固定的目標建議框，所以訓練網(wǎng)絡(luò)時并不能簡單地利用反向聯(lián)合傳播算法進行網(wǎng)絡(luò)參數(shù)的更新.Ross Girshick設(shè)計了一種實用的Faster R-CNN 4步訓練法，通過交替訓練優(yōu)化來學習共享的特征，具體訓練策略如下：

1)利用ImageNet預(yù)訓練分類模型初始化前置卷積網(wǎng)絡(luò)層參數(shù)，并開始單獨訓練RPN 網(wǎng)絡(luò)參數(shù).

2)固定RPN 網(wǎng)絡(luò)獨有的卷積層以及全連接層參數(shù)，再利用ImageNet預(yù)訓練分類模型初始化前置卷積網(wǎng)絡(luò)參數(shù)，并利用RPN 網(wǎng)絡(luò)生成的目標建議框去訓練Fast R-CNN 網(wǎng)絡(luò)參數(shù).

3)固定利用Fast R-CNN 訓練好的前置卷積網(wǎng)絡(luò)層參數(shù)，去微調(diào)RPN 網(wǎng)絡(luò)獨有的卷積層以及全連接層參數(shù).

4)同樣保持固定前置卷積網(wǎng)絡(luò)層參數(shù)，去微調(diào)Fast R-CNN 網(wǎng)絡(luò)的全連接層參數(shù).最后RPN 網(wǎng)絡(luò)與Fast R-CNN 網(wǎng)絡(luò)共享前置卷積網(wǎng)絡(luò)層參數(shù)，構(gòu)成一個統(tǒng)一網(wǎng)絡(luò).

2 樣本集的制作與網(wǎng)絡(luò)訓練

2.1 樣本制作

為了讓收集到的樣本更具一般性且能夠讓深度學習網(wǎng)絡(luò)學習到更多有效特征，本文所采集的833張訓練集樣本圖像以及86張驗證集圖像均來自不同的地點、天氣、拍攝角度、拍攝尺度、不同的船舶目標以及船舶在視場中不同的截斷程度等情景，并將采集到的樣本統(tǒng)一縮放到1024×600pixel大小.為了能夠更加準確地評估網(wǎng)絡(luò)模型效果，本文的驗證集與訓練集并非同批次采集獲得.采集的部分樣本如圖2 所示.

對采集的每張圖像進行人工標注，即標注出每張圖像中的每個船舶的最小外接矩形框信息(矩形框的寬、高以及中心點像素坐標)，并生成標注文件.需要指出的是，本文主要針對的是大型船舶的檢測識別，因為小型船舶(例如小型漁船以及航道上的定位浮船等)高度尺寸較小，實際中對航道上的設(shè)施或施工不會照成影響.

格雷在《蘭納克》中以熟悉的格拉斯哥為背景，憑空設(shè)想出盎散克這個具有普世意義的空間，通過對格拉斯哥和蘇格蘭社會現(xiàn)實的書寫、對蘇格蘭歷史和民族身份的思考和對西方社會政治意識形態(tài)的批判，表達出對平等博愛社會的憧憬，使這本小說既呈現(xiàn)現(xiàn)實社會，又超越現(xiàn)實社會。作為一名藝術(shù)家，他同時表示，不論小說家如何被政治吸引，都不該成為說教者，因為“如果他們把自己的創(chuàng)作變成了布道文，那么他們就只會寫布道文了。必須鼓勵讀者自己得出不可預(yù)知的結(jié)論”（Gray 1986a：137）。這可能也是《蘭納克》游走于文學想象與現(xiàn)實關(guān)照之間，使其充滿多重解讀可能的原因之一。

2.2 網(wǎng)絡(luò)的搭建

在Ubuntu16.04系統(tǒng)下，利用Python編程語言以及Tensorflow 深度學習框架搭建Faster R-CNN模型，并采用GoogLe-Net[10]網(wǎng)絡(luò)結(jié)構(gòu)作為其前置卷積神經(jīng)網(wǎng)絡(luò)層，而不是常用的ZF-Net[11]網(wǎng)絡(luò)和VGG-Net[12]網(wǎng)絡(luò).根據(jù)ImageNet上的分類結(jié)果表明GoogLe-Net相比ZF-Net擁有更高的分類準確率，相比VGG-Net在準確率沒有明顯差異的情況下，擁有更快的推理速度.圖3 展示了GoogLe-Net模型簡圖，圖中并沒有詳細標出每個卷積核的大小以及個數(shù).如圖所示，在GoogLe-Net中并不是簡單地通過將卷積層和池化層進行堆疊來提升網(wǎng)絡(luò)性能，而是提出了Inception結(jié)構(gòu)(如圖3中虛線框內(nèi)結(jié)構(gòu))，Inception結(jié)構(gòu)通過采用不同尺寸以及不同數(shù)目的卷積核對輸入進行卷積，使得拼接后的特征圖不僅具備不同大小的感受野，還融合了多種尺度信息，使GoogLe-Net網(wǎng)絡(luò)相比VGG-Net網(wǎng)絡(luò)擁有更高的計算效率和更少的模型參數(shù)，又比ZF-Net網(wǎng)絡(luò)擁有更高的準確率.

圖3 GoogLe-Net網(wǎng)絡(luò)模型簡圖

2.3 網(wǎng)絡(luò)的訓練

對于深度學習網(wǎng)絡(luò)，若訓練樣本量過少，可能導(dǎo)致網(wǎng)絡(luò)出現(xiàn)過擬合甚至無法收斂的情況.為降低人工制作船只圖像樣本的工作量，本文基于遷移學習的思路對網(wǎng)絡(luò)進行預(yù)訓練，即：首先利用MS COCO(Microsoft Common Objects in Context)標準圖像庫(包含船只及其他物種共80種類別，共30萬張圖像)對Faster R-CNN 網(wǎng)絡(luò)進行訓練，讓網(wǎng)絡(luò)預(yù)學習角點、邊緣等表征輪廓的基礎(chǔ)特征，為航道船舶識別模型做準備，后續(xù)再結(jié)合采集、標注的圖像集進行再訓練.在實際訓練中，由于實驗室GPU 的運算能力有限，本文利用Google預(yù)訓練好并提供公開下載的模型參數(shù)進行網(wǎng)絡(luò)的初始化.

在初始化網(wǎng)絡(luò)參數(shù)后，將標注好的833張訓練集樣本圖片輸入到網(wǎng)絡(luò)進行再訓練，并在訓練過程中使用圖像隨機水平翻轉(zhuǎn)來增大訓練樣本量.在生成目標建議框階段設(shè)置最大建議框數(shù)量為300，在預(yù)測類別以及精修邊界框階段設(shè)置每類最大建議框數(shù)量為100，優(yōu)化器采用Momentum Optimizer，設(shè)置learning rate為0.0002，momentum 為0.9.在訓練迭代約35000步后網(wǎng)絡(luò)達到收斂.

網(wǎng)絡(luò)收斂后，利用已標注好的86張驗證集樣本對模型進行驗證.圖4反映了不同場景、不同角度、目標(船)被不同程度截斷及不同光照等典型情況下的部分識別結(jié)果，圖中每個矩形框是網(wǎng)絡(luò)檢測出的目標，框上方數(shù)據(jù)為該目標的置信度，可以發(fā)現(xiàn)，圖4(a)～圖4(d)識別結(jié)果準確，但圖4(e)中檢測出了不希望被識別的岸邊漁船，圖4(f)中將岸上建筑誤識別為船只.究其原因可歸為兩個方面：一是由于樣本訓練集的數(shù)據(jù)量不夠大；二是因為網(wǎng)絡(luò)只能對單張圖片進行預(yù)測，當對連續(xù)視頻序列進行預(yù)測時無法參考圖像序列的前一幀以及前幾幀的預(yù)測信息.

3 后處理算法

為了提高網(wǎng)絡(luò)檢測精度又不至于繼續(xù)增加學習樣本，本文通過對網(wǎng)絡(luò)輸出結(jié)果進行后處理，顯著改善了檢測效果(所使用的視頻序列是由一個分辨率為1280×720，采集頻率為10fps，采用自動變焦的相機拍攝.相機在一個120°的扇形區(qū)域內(nèi)來回轉(zhuǎn)動，周期為20s).后處理算法流程如圖5所示，主要分為3個步驟：

1)設(shè)置閾值T1，并濾除網(wǎng)絡(luò)輸出中置信度低于T1的目標；

2)在(1)的基礎(chǔ)上，計算每個(剩余)目標的最小外接矩形框像素面積S，并設(shè)置閾值T2，并濾除S＜T2的目標(即小目標)；

3)針對當前幀中剩下的每個目標Pi，在上一幀中逐一尋找與每個目標Pi的最小外接矩形框形心距最近且距離小于設(shè)定置T3 的目標若存在滿足條件的，計算Pi與最小外接矩形框的IoU(交并比)值，判斷IoU 值是否大于設(shè)定閾值T4，若大于設(shè)定閾值，則認為匹配到同一目標，更新目標信息，并將該目標對應(yīng)的累加器Count值加1.若Count值大于設(shè)定閾值T5，即表明該目標在連續(xù)多幀中被持續(xù)檢測出來，此時認為目標存在，且為期望檢出的目標.

經(jīng)過測試分析，當T1=0.8，T2=3000，T3=100，T4=0.8，T5=30時能夠達到較好的效果.對網(wǎng)絡(luò)輸出進行后處理后再次進行測試，對比結(jié)果如圖6所示，其中第1行為未經(jīng)過后處理的結(jié)果，第2行為與第1行相對應(yīng)的經(jīng)過后處理的圖像，對比第1列兩幅圖可以發(fā)現(xiàn)，經(jīng)后處理后未再將岸上建筑及岸邊漁船目標檢出；第2列圖像中，當未進行后處理時，同一艘船被誤認成為兩個目標，加上后處理后該現(xiàn)象消失；第3列圖中，經(jīng)后處理后，再未將岸邊?？康臐O船檢出.可見對網(wǎng)絡(luò)輸出進行后處理后，各類檢測錯誤都被有效抑制.更為詳細的對比與評價將在第4節(jié)中給出.

4 結(jié)果與分析

4.1 Faster R-CNN 性能評估

對訓練好的FasterR-CNN 網(wǎng)絡(luò)，本文利用微軟針對COCO(Common Objects in Context)數(shù)據(jù)集提出的目標檢測評估方法對網(wǎng)絡(luò)的性能進行評估.(COCO 評估標準考慮了不同IoU、Area以及Max Detections對平均準確率(Average Precision)和平均召回率(Average Recall)的影響，使得評估標準更加嚴格，評估結(jié)果更為可靠)，結(jié)果見表1，其中IoU 是實際目標邊界框與網(wǎng)絡(luò)預(yù)測輸出的目標邊界框的交并比，表中0.5∶0.05∶0.95是指取0.5到0.95且步距為0.05 共10 個IoU 值，并分別計算這10 個IoU 值對應(yīng)的平均準確率的平均值.Area中的small為像素面積S＜322的目標，medium 為322＜S＜962的目標，large為S＞962的目標.Max Detections為允許網(wǎng)絡(luò)生成最大目標建議框個數(shù).

表1 網(wǎng)絡(luò)性能評估結(jié)果

由表1可以看出，即使利用COCO 嚴格的評估標準，在IoU 分別取0.5：0.05：0.95共10個值時，模型依然擁有很好的性能，平均準確率達到0.804.當降低標準，例如IoU 只取0.5 時，模型準確率可達0.978.由于樣本中船舶外界矩形框的像素面積都達到6000個像素，所以無法正確評測該模型對小面積目標的檢測性能(例如表中Area為small時，平均準確率與平均召回率都為-1.0).此外，當Max Detections的值從100減到10時對平均召回率并沒有太大影響，說明在該模型中即使使用較少的目標建議框數(shù)，其檢測結(jié)果的準確率基本不受影響，并且能夠提升檢測速度.

4.2 后處理前后對比結(jié)果

由于在視頻序列中的目標檢測評估標準和在單張圖像中的目標檢測并不完全一樣(例如在一段視頻序列中，一艘船舶從駛?cè)氡O(jiān)控區(qū)域到駛出監(jiān)控區(qū)域這段時間內(nèi)，對于判定監(jiān)控區(qū)域內(nèi)是否出現(xiàn)船舶，并不需要每幀都檢測出船舶，至少檢測出一次即可)，需要結(jié)合視頻序列的上下文信息來重新制定新的檢測評估標準.為表述方便，首先給出相關(guān)規(guī)定：

1)在連續(xù)視頻序列中，若從某幀開始(含該幀)連續(xù)n幀檢測到同一個真實的目標，當n≥1時視為正確檢測到一個目標，當n=0時視為漏檢一個目標.

2)若一個誤檢目標在連續(xù)多幀中被檢出，視該誤檢目標僅被檢出1次.

3)假設(shè)在整個視頻序列中真實目標個數(shù)為num1，正確檢測到的目標個數(shù)為num2，漏檢測目標個數(shù)為num3，誤檢目標個數(shù)為num4.則檢測準確率rate1=num2/num1，漏檢率為rare2=num3/num1，誤檢率為rate3=num4/(num4+num2).

利用從航道采集的5段視頻(幀率10 fps)對后處理前后的網(wǎng)絡(luò)檢測效果進行評估，結(jié)果見表2.其中Vij表示第i段視頻有(j=2)/無(j=1)應(yīng)用后處理算法的結(jié)果.由于num3=num1-num2，rate1+rate2=1，故在評估過程中只使用num1、num2、num4、rate1和rate3五個指標.

表2 后處理前后網(wǎng)絡(luò)檢測結(jié)果對比

由表2可知，在對5段視頻序列使用后處理算法后，在檢測準確率不變的情況下，誤檢率平均降低了43.6%.在視頻序列2、4、5 中，直接將誤檢率降至0%.說明本文設(shè)計的后處理算法在降低誤檢率方面有明顯的效果.

5 結(jié) 語

針對動態(tài)背景下的航道船舶檢測問題，本文利用Faster R-CNN 深度學習網(wǎng)絡(luò)進行處理，并利用嚴格的COCO 評估標準進行評估，平均準確率達到0.804.再根據(jù)實際檢測情況中可能出現(xiàn)的各種干擾情況，通過分析并設(shè)計了一套針對網(wǎng)絡(luò)預(yù)測結(jié)果的后處理算法.通過對采集的5段視頻序列進行測試，分析得出本文提出的后處理算法能夠在檢測準確率不變的前提下，大幅降低了誤檢率.由于本文實驗條件有限，網(wǎng)絡(luò)訓練過程中所采用的樣本集較小，故在今后可通過擴大訓練樣本集的方式進一步提升識別準確率.