汪祝慶、黃健、王彤

（1.江蘇蘇信交通科技有限公司，江蘇南京 210000；2.南京市交通運輸綜合行政執(zhí)法監(jiān)督局，江蘇 南京 210000）

1 橋梁防撞安全管理現(xiàn)狀問題分析

橋梁建設為經(jīng)濟發(fā)展在帶來巨大便利的同時，也存在種種困境。如因橋墩占用原有航道水域，導致船舶可航水域通航凈寬、凈高受限，從而直接或間接引發(fā)水上交通安全事故或造成安全隱患；因橋墩的修建改變了原有水道的流場特征，從而導致船舶在橋墩水域航行受限，更進一步增加了船舶碰撞橋墩的風險。船舶碰撞橋梁事故一旦發(fā)生，造成的損失將無法估量，輕則船、橋損傷，重則船毀橋塌，甚至發(fā)生重大人員傷亡和環(huán)境污染事故。當前的橋梁防撞安全管理中存在以下問題：

第一，船舶自動識別系統(tǒng)（Automatic Identification System，AIS）[1]可以提供船舶位置，該系統(tǒng)服務于防撞預警，但AIS 有信號遲延風險，實時性較差，有可能探知的船舶已經(jīng)不在當前位置。加上AIS 偶有故障或未開機，橋區(qū)就不能獲知船舶當前狀態(tài)，且橋區(qū)檢測系統(tǒng)無法干預解決這種故障，因此這是一種被動監(jiān)測。另外，由于水位是變化的，AIS 并不能有效實施對船舶的限高監(jiān)測。

第二，船舶在水中停船要經(jīng)過很長一段距離，需要感知離橋足夠距離的船舶狀態(tài)，為船舶預警留下足夠處理的時間。但觀測攝像機需要在足夠的高度下才能全景航道船行情況，而在航道上下游不允許架設高桿的情況下，觀測攝像機只能安裝在橋梁側(cè)進行長程觀測，這就會降低圖像的質(zhì)量甚至可能采集不到圖像。此外，雨霧等低照度條件同樣會影響到觀測攝像機對現(xiàn)場的監(jiān)控。

第三，多方式示警模塊（包括船名船號識別子系統(tǒng)）可在感知到船舶異常后，獲得船名并匹配船舶數(shù)據(jù)庫中電話，呼叫警示船舶；由于目標追蹤可迅速定位船舶位置，因此在夜間可通過激光可見光掃射駕駛艙來提醒船舶；通過LED 等聲光報警提醒船舶；通過甚高頻基站和AIS 基站呼叫異常船舶，以保證最快速度通知船舶處理險情。此外，還能夠?qū)⒏婢畔l(fā)送執(zhí)法部門客戶端，便于執(zhí)法部門分析指揮調(diào)度并依法取證。

2 橋梁防撞安全預警方案

針對橋梁防撞安全管理中的問題，本文有針對性地提出以下安全預警方案：采用圖像定位技術，根據(jù)圖像感知提取船舶的位置、尺寸、狀態(tài)，結(jié)合AIS 定位及船舶尺寸提取信息。比對預存的航道圖和限寬閾值，發(fā)現(xiàn)偏航與超寬等異常，觸發(fā)預警。采用計算機視覺（CV）手段和卷積神經(jīng)網(wǎng)絡，實現(xiàn)船舶目標檢測，同時結(jié)合目標檢測，實現(xiàn)目標追蹤。通過人工智能對攝像機畫面的分析，保證實時性，由于系統(tǒng)的歸屬性，保證故障風險可控，一旦自檢系統(tǒng)有問題，可及時搶修而不是被動地等第三方修復故障，滿足主動預警的要求。結(jié)合雷達限高檢測和AIS 數(shù)據(jù)輔助，可形成信息融合后的主動預警系統(tǒng)。

3 基于卷積神經(jīng)網(wǎng)絡的船舶識別與追蹤

3.1 基于卷積神經(jīng)網(wǎng)絡的船舶目標檢測

通過高清攝像機拍攝水面船舶，對水面上航行的船舶進行目標檢測和定位。通過目標檢測和定位能夠自動、高效地識別追蹤目標，為檢測船舶航速、離橋距離等提供支持。卷積神經(jīng)網(wǎng)絡對圖像進行卷積、池化、輸出等多層組合操作，完成提取圖像語義，模型能夠高效提取圖像特征，且泛化能力較強。目標追蹤算法中，傳統(tǒng)算法分為一階段目標追蹤和兩階段目標追蹤，其中一階段目標追蹤是預測圖片中圈定范圍內(nèi)的類型、偏移量等，如YOLO[2]、SSD 算法[3]；兩階段目標追蹤是先做初步檢測，然后生成候選區(qū)域并對其進行詳細分類和微調(diào)，如Fast R-CNN[4]。Faster R-CNN是在Fast R-CNN 的基礎上增加了PRN 層實現(xiàn)。

本文比對采用的Faster R-CNN 網(wǎng)絡模型包括四部分，分別為卷積層部分、PRN 層、池化層和全連接FC 層?；贔aster R-CNN 網(wǎng)絡模型的船舶目標追蹤流程圖如圖1 所示。

圖1 基于Faster R-CNN 網(wǎng)絡模型的船舶目標追蹤流程圖

首先輸入圖像，經(jīng)過VGG16 的特征提取，來獲取區(qū)域建議網(wǎng)絡（PRN）需要的全部特征。RPN 利用特征圖生成若干個候選區(qū)域以及每個區(qū)域的概率值，按照非極大值抑制方法對候選區(qū)域的概率值進行計算，經(jīng)過RPN 網(wǎng)絡產(chǎn)生的候選區(qū)域進行映射處理，并投影到特征圖上，通過投影獲得特征矩陣，把得分最高的區(qū)域放入感興趣區(qū)域的池化層ROI pooling（Region of interest）。候選區(qū)域的特征圖經(jīng)ROI pooling處理后，縮放到7×7 大小，分別送入目標分類和回歸兩個分支，計算出分類結(jié)果，同時通過回歸預測，獲取邊界框區(qū)域，即通過全連接層輸出預測類別和位置。

3.2 基于DeepSort 的船舶軌跡追蹤

前面通過采用改進的Faster R-CNN 網(wǎng)絡，有效實現(xiàn)對目標船舶的檢測，其算法精度較高。本節(jié)從檢測結(jié)果上來實現(xiàn)對目標船舶的跟蹤。采用的跟蹤算法為DeepSort，該算法提取較深層的目標特征，以增加模型的泛化能力，從而有效地解決目標特征提取性能較差的問題，實現(xiàn)對船舶跟蹤的穩(wěn)定性，且算法精度較高。

Sort 是把IoU（Intersection over Union，在特定數(shù)據(jù)集上衡量檢測目標準確度的標準）作為前后幀目標關系指標，其僅僅根據(jù)匹配檢測目標的邊界距離，來完成對前后幀目標的判斷，其對邊界內(nèi)的特征進行匹配。若追蹤目標出現(xiàn)一些障礙遮擋時，易出現(xiàn)目標頻繁切換問題。為了解決此問題，在進行前后幀匹配時，DeepSort 采用級聯(lián)匹配算法，把目標間距、特征的相似度作為衡量前后幀之間關系的標準，以提高算法的準確度，排除一些錯誤的軌跡預測。

DeepSort 核心流程包括三個步驟：預測（Track）、觀測（Detection+數(shù)據(jù)關聯(lián)）和更新，其中預測就是預測后一幀目標的Bbox，當完成目標檢測后，其結(jié)果在前后兩幀中不存在關聯(lián)關系，因此需要在觀測步驟中完成數(shù)據(jù)關聯(lián)操作。在目標追蹤過程中，卡爾曼濾波是當前跟蹤算法中最為典型的算法，其適用于不斷變化的場景中，在目標追蹤過程中，存在一些不確定信息或者一些噪聲干擾，卡爾曼濾波可通過目標先前的運動狀態(tài)，對其作出相應的預測，得到后續(xù)時刻的目標運動狀態(tài)。

在算法模型中，先通過Faster R-CNN 網(wǎng)絡對目標進行檢測識別，提取特征，然后利用馬氏距離來計算追蹤目標的卡爾曼濾波預測值與本幀采集的目標完成關聯(lián)度計算。在復雜的追蹤場景中，船舶周圍的物體與目標存在較快的移動或者遮掩，通過馬氏距離可判斷易出現(xiàn)錯誤判斷的情形，因此引入余弦距離算法來作為輔助判斷，需要重新通過Faster R-CNN 網(wǎng)絡來獲取目標物特征，對目標物特征和已追蹤軌跡、目標之間的維度差異來進行關聯(lián)。馬氏距離與余弦距離算法對關聯(lián)值的影響：當值介于設定的兩個閾值范圍之間，則視為關聯(lián)成功。如果目標對象在關聯(lián)成功后，需要繼續(xù)進行IoU 匹配，如果目標對象與已有軌跡在設定的幀內(nèi)沒有再次匹配，則表示此幀追蹤是無效的，如果再次匹配成功，則表示此幀追蹤是有效的，通過此方法最后獲取當前目標軌跡。

4 橋梁防撞安全預警系統(tǒng)設計

4.1 系統(tǒng)體系結(jié)構(gòu)設計

系統(tǒng)體系結(jié)構(gòu)分為：數(shù)據(jù)層、業(yè)務層、展示層和前端UI，在云主機、獨立服務器以及第三方虛擬主機運行。

數(shù)據(jù)層：負責完成存儲過程、數(shù)據(jù)緩存、事務、讀寫數(shù)據(jù)庫，對采集的船舶視頻、圖片等緩存進行管理。當采集到圖像數(shù)據(jù)時，保存到非結(jié)構(gòu)化數(shù)據(jù)庫，同時數(shù)據(jù)層存儲一些目標檢測、追蹤模型的參數(shù)配置，對檢測和追蹤結(jié)果進行保存，同時對每天發(fā)生的預警事件進行管理，方便檢索和處理。

業(yè)務層：用于實現(xiàn)船舶感知、異常預警、取證采集的業(yè)務定義，同時用以定義統(tǒng)計分析、系統(tǒng)日志的設置等。船舶感知用于定義船舶高清攝像以及圖片取幀參數(shù)等；異常報警用于定義報警規(guī)則，當觸發(fā)報警規(guī)則時，系統(tǒng)實現(xiàn)自動報警處理；除了檢測和追蹤外，還需要完成預警、報警的相關數(shù)據(jù)統(tǒng)計。

展示層：用于提供模塊操作。該平臺模塊包括圖像采集模塊、參數(shù)配置模塊、預警模塊、橋梁碰撞報警模塊、通信模塊等。

前端UI：用于定義平臺的操作界面，包括頁面表單、CSS、HTML5 等。

4.2 系統(tǒng)模塊設計

系統(tǒng)模塊包括圖像采集模塊、參數(shù)配置模塊、預警模塊、橋梁碰撞報警模塊、通信模塊等。下面分別論述部分模塊的設計。

4.2.1 參數(shù)配置模塊

對模型參數(shù)、平臺參數(shù)等進行設置，其中模型參數(shù)包括超參設置、訓練參數(shù)等；該模塊對系統(tǒng)的一些配置，包括預警規(guī)則、碰撞報警條件等的設置，系統(tǒng)用戶權限管理分配等。

4.2.2 預警模塊

橋梁防撞預警的目標是在船舶未到達橋區(qū)前，監(jiān)測過往船舶，如果某船舶超寬、超高或偏離航道，及時給予警告，防患于未然。以偏航為例進行說明，需要知道船舶當前位置，并與系統(tǒng)內(nèi)置的航道范圍電子地圖進行比對，如果船舶不在航道范圍內(nèi)，則視為異常。

4.2.3 橋梁碰撞報警模塊

感知層采用震動傳感器，震動傳感器對物體進行振動測量時，能將機械振動參數(shù)轉(zhuǎn)化為電參量信號，具有高靈敏、快速、高性能等特點。在橋梁關鍵部位部署震動傳感器，能夠根據(jù)震動力度及范圍，用于監(jiān)測是否發(fā)生碰撞預警的信號，或者當發(fā)生碰撞時用于判斷碰撞程度。

4.2.4 通信模塊

系統(tǒng)云服務器負責報警信息的處理、計算，報警信號的分發(fā)及監(jiān)控系統(tǒng)遠程查看。通信模塊為系統(tǒng)提供感知數(shù)據(jù)傳輸，包括監(jiān)控圖片、視頻上傳的地址、參數(shù)配置等。

5 橋梁防撞安全預警設計

5.1 船舶感知與識別

基于視頻識別技術進行預警監(jiān)測，首先要能采集到足夠清晰的畫面，然而現(xiàn)有預警系統(tǒng)在雨霧天氣、夜間等昏暗環(huán)境時采集的圖像模糊，影響對船舶尺度、定位、距離、航向等信息的分析?，F(xiàn)有人工智能算法易受光照條件、天氣因素、圖像質(zhì)量、目標大小、物體遮擋、偽裝等因素影響，導致識別效率不高。在知識積累與使用方面，與傳統(tǒng)的結(jié)構(gòu)化存儲和調(diào)用不同，模擬人腦占有信息機制，構(gòu)建類腦知識庫并依據(jù)進化模型實現(xiàn)經(jīng)驗積累，依據(jù)記憶喚醒規(guī)律調(diào)用知識參與數(shù)據(jù)分析。在數(shù)據(jù)分析方面，構(gòu)建類腦緩沖池，搭建基本算子和情境識別機制的算法模型，實現(xiàn)信息感知。由于先驗知識以類腦思維方式參與識別，訓練樣本少、部署快、識別準確實時、問題可回溯、開銷小。

5.2 超限預警分析

根據(jù)圖像感知提取船舶的位置、尺寸、姿態(tài)，結(jié)合AIS 定位及船舶尺寸提取信息。比對預存的航道圖和限寬閾值，發(fā)現(xiàn)異常，觸發(fā)預警。檢測到超限異常后，將預警性質(zhì)（偏航、超高、超寬、違停）、異常船舶位置、身份、異常值等上傳至服務器，推送至客戶端系統(tǒng)，啟動船舶超限報警。在觀測點架設激光感應器，設定高度為橋梁下沿，當高于橋梁下沿的船舶經(jīng)過時，會對激光感應器形成遮擋，意味著船舶超高，觸發(fā)預警，通過上下架設雙感應器的方式進行設計，防止飛鳥經(jīng)過造成誤報警。

5.3 數(shù)字孿生再現(xiàn)

通過BIM、GIS 和數(shù)據(jù)孿生技術，根據(jù)航道圖等資料，實現(xiàn)橋區(qū)三維場景還原，實時定位追蹤異常問題，統(tǒng)計分析異常原因，多種手段實現(xiàn)排除異常，進行異常檔案管理，實現(xiàn)安全診斷分析以及監(jiān)測系統(tǒng)自檢。

5.4 多方式提醒及預警

除客戶端警示以外，自建高頻小基站，實現(xiàn)與到達船舶的通信；自建AIS 小基站，實現(xiàn)與到達船舶的信息交互；橋側(cè)安裝LED 屏幕，顯示信息警示船舶；監(jiān)控點安裝聲光報警，用語音和光閃警示船舶。系統(tǒng)感知到船舶接近時，通過以上措施廣播式主動示警，提醒過往船舶注意安全；系統(tǒng)感知到船舶異常時，通過以上措施主動告警并實時跟蹤異常狀態(tài)是否消除。

6 結(jié)語

人們在享受橋梁建設為經(jīng)濟騰飛帶來巨大便利的同時，也不得不面對因橋梁的修建帶來的種種困境。為解決橋梁建設帶來的安全問題，提出在安全風險較大的橋梁加裝主動防御的防撞預警、碰撞報警系統(tǒng)。橋梁防撞預警和碰撞報警系統(tǒng)基于AI 視頻技術，通過深度學習和優(yōu)化智能算法，顯著提升對船舶目標跟蹤檢測的準確性，針對提升航道運行效率，減少橋梁碰撞等問題，實現(xiàn)防撞預警、碰撞報警等功能，解決橋梁資產(chǎn)保護中的難題，有效防范風險。