董麗麗， 張 科， 許文海

(大連海事大學(xué)信息科學(xué)技術(shù)學(xué)院，大連 116026)

由于中國對于通航水域橋梁防止船舶碰撞法規(guī)和工程技術(shù)規(guī)范仍不完善，部分橋梁對于船舶碰撞的防護(hù)能力仍并未達(dá)到國家現(xiàn)行建筑規(guī)范的要求，同時船舶的大型化導(dǎo)致船舶的撞擊能力增加，部分橋梁對于船舶碰撞的防護(hù)能力無法適應(yīng)船舶大型化的要求，超過橋梁高度的船舶一旦通過橋梁，輕者將造成船-橋損傷，重者將船毀橋塌，造成重大的人員傷亡、財產(chǎn)損失以及嚴(yán)重的環(huán)境污染[1]。以2015年廣東肇慶西江大橋吸砂船碰撞事故為例，該事故造成了西江大橋橋梁受損，經(jīng)濟(jì)損失4 000余萬元，而此類事故在國外也時有發(fā)生。因此，研究一套有效的橋梁防撞系統(tǒng)對于中外水上交通的安全和發(fā)展有重要意義。

中外學(xué)者針對船舶撞橋問題開展研究工作起源于20世紀(jì)60年代末，直到1983年6月，國際橋梁和結(jié)構(gòu)工程協(xié)會IABSE第一次在哥本哈根舉行“船撞橋合理設(shè)計(jì)與分析”專題研討會，使船撞橋研究邁入了一個快速發(fā)展的時期[2]。目前，橋梁防撞技術(shù)的研究主要有兩種。一種是被動防撞技術(shù)，該防撞技術(shù)通過改變船舶撞擊力方向、吸收或消散撞擊能、限制及降低由船舶轉(zhuǎn)移到橋墩上的撞擊能等方式保護(hù)橋梁。孫亞軍[3]在2012年提出了剛-聚氨酯夾層結(jié)構(gòu)，提高了橋梁的耐撞性能；金軒慧[4]在2014年設(shè)計(jì)了一種復(fù)合材料防撞套箱，減少船橋碰撞的撞擊能。2018年，彭達(dá)[5]結(jié)合鋼板的剛性和橡膠等材料的塑形變形吸能較大的特性，將鋼板層和橡膠層連接，提出一種軟硬交替的防護(hù)系統(tǒng)。被動防船撞技術(shù)僅考慮對橋梁的防護(hù)，以物理手段降低事故后果的嚴(yán)重性[6]，不能降低事故頻次。第二種為主動防撞技術(shù)，近年來，許多學(xué)者對主動防撞系統(tǒng)進(jìn)行了研究：徐言民[7]在2010年運(yùn)用船舶操縱運(yùn)動理論及運(yùn)動數(shù)學(xué)模型建立了受控船舶安全航行模型、失控船舶臨界撞橋模型，并據(jù)此建立了橋梁主動防船撞系統(tǒng)；張慧哲等[8]在2011年提出了基于視頻監(jiān)控技術(shù)的橋梁防撞系統(tǒng)解決方案，通過監(jiān)控預(yù)警體系發(fā)現(xiàn)違規(guī)行駛船舶并發(fā)出警告；王淑等[9]在2012年提出了基于光電復(fù)合探測的橋梁主動防船撞系統(tǒng)，該系統(tǒng)主要通過船舶目標(biāo)航跡預(yù)測船舶通過橋梁的位置、到達(dá)時間等，對撞橋風(fēng)險給予準(zhǔn)確的判斷。上述船橋防撞系統(tǒng)都只對偏離航道或失控船舶進(jìn)行了監(jiān)視和預(yù)防，間接對船-橋碰撞進(jìn)行預(yù)測，沒有直接考慮超高船舶通過橋梁造成的嚴(yán)重影響。

根據(jù)目前研究現(xiàn)狀，以預(yù)防超高船舶通過大橋?yàn)槟康?，以攝像機(jī)針孔模型為原理，以目標(biāo)檢測算法和高精度船舶輪廓提取算法為基礎(chǔ)，提出了一種基于紅外成像的船舶凈空高度測量方法。該方法摒棄了傳統(tǒng)的可見光監(jiān)視技術(shù)，采用紅外監(jiān)測技術(shù)，避免惡劣天氣和夜間情況對監(jiān)視效果的影響；針對紅外圖像相不清晰問題，重點(diǎn)對脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)邊緣檢測算法進(jìn)行改進(jìn)，提高船舶輪廓的提取精度，以實(shí)現(xiàn)全天時、全天候測量，達(dá)到實(shí)時檢測、減少通航水域船橋碰撞事故的目的。

1 測量方案

采用紅外攝像機(jī)完成視頻序列的采集工作。由于紅外成像受外界光照條件的影響弱，穿透煙霧能力強(qiáng)，避免了惡劣天氣(如大霧)和夜間光照弱對視頻監(jiān)視的影響，可滿足全天候，全天時的設(shè)計(jì)需求。測量方法示意圖如圖1所示。

圖1 測量方法示意圖Fig.1 Schematic of measure method

為了獲取合適的紅外圖像序列，將紅外攝像機(jī)架設(shè)于岸邊的立桿上，俯拍江面船舶，架設(shè)高度和岸邊距離等可根據(jù)實(shí)際情況而定。由于紅外攝像機(jī)視場過大會導(dǎo)致計(jì)算精度降低，所以選擇較小視場，但是小視場帶來的問題是小視場不能監(jiān)測到整個江面，故可將攝像機(jī)置于可上下旋轉(zhuǎn)的云臺上，通過云臺的轉(zhuǎn)動調(diào)節(jié)監(jiān)視視場，達(dá)到監(jiān)測整個江面船舶的目的。

船舶凈空高度的測量整體算法分為三部分，分別為船舶檢測、高精度船舶輪廓提取、船舶凈空高度的計(jì)算。整體算法方案如圖2所示。

圖2 整體算法結(jié)構(gòu)圖Fig.2 Overall algorithm structure diagram

紅外攝像機(jī)采集紅外視頻序列后，將紅外圖像經(jīng)預(yù)處理作為初始圖像，通過船舶檢測算法(視覺注意力模型目標(biāo)檢測算法與管道濾波算法相結(jié)合)對初始紅外圖像進(jìn)行目標(biāo)檢測，若檢測到目標(biāo)船舶，則提取船舶精確輪廓，判斷圖像中船舶是否為船舶正側(cè)面圖像，若是直接計(jì)算船舶像素高度，反之通過透視變換矯正后計(jì)算船舶像素高度。最后根據(jù)攝像機(jī)針孔模型計(jì)算船舶實(shí)際凈空高度，反饋計(jì)算結(jié)果。若發(fā)現(xiàn)超過橋梁通航高度的船舶則立刻發(fā)出警報，通知相關(guān)監(jiān)管人員阻止船舶通過大橋，同時記錄告警事件和視頻數(shù)據(jù)。

2 算法方案

2.1 船舶檢測算法

船舶檢測算法用于從紅外序列圖像中檢測船舶目標(biāo)，獲取船舶所在的連通域，為船舶輪廓提取部分奠定基礎(chǔ)。

目前常用的目標(biāo)檢測算法有小波變換法、視覺注意力模型算法和局部峰值算法。其中小波變換算法對于紋理方向性較強(qiáng)的干擾(如江水波浪、云層)有很強(qiáng)的抑制效果，適用于弱小目標(biāo)的檢測，局部峰值算法同樣對于弱小目標(biāo)有很好的檢測準(zhǔn)確率。視覺注意力模型算法能夠?qū)崿F(xiàn)對圖像中大目標(biāo)以及小目標(biāo)的同時檢測。結(jié)合的測量目標(biāo)主要為大型船舶，視覺注意力模型檢測算法能夠更好地實(shí)現(xiàn)檢測船舶的目的。

由于紅外攝像機(jī)采集的紅外圖像中不僅包含船舶目標(biāo)，還可能包含其他背景，所以采用視覺注意力模型目標(biāo)檢測算法檢測到疑似目標(biāo)后，再根據(jù)船舶運(yùn)動的特點(diǎn)采用管道濾波多幀判決算法去除干擾，找到真實(shí)船舶目標(biāo)。船舶檢測算法結(jié)構(gòu)框圖如圖3所示。

圖3 船舶檢測算法結(jié)構(gòu)框圖Fig.3 Ship target detection algorithm block diagram

傳統(tǒng)視覺注意力模型目標(biāo)檢測處理過程一般分為三步：特征圖提取、顯著圖合成和顯著性區(qū)域提取。由于紅外圖像為灰度圖像，傳統(tǒng)視覺注意力模型算法在此應(yīng)用中存在以下三點(diǎn)缺陷：①紅外圖像中顏色形態(tài)將無法應(yīng)用；②計(jì)算背景平滑度時會將圖像邊緣區(qū)域顯著性降低導(dǎo)致圖像邊緣地區(qū)的目標(biāo)被漏檢；③檢測過程需要人工監(jiān)督，無法得以工程應(yīng)用。

所以在實(shí)際應(yīng)用中，選用改進(jìn)的視覺注意力模型算法，改進(jìn)部分分別是基于背景平滑性評估的原始特征依據(jù)選取、非邊緣衰減的center-surround 差異算子、基于局部顯著性強(qiáng)度的顯著圖并行化閾值處理方法，參看文獻(xiàn)[10]。

單幀的目標(biāo)檢測中可能包含偽目標(biāo)，為了去除這些偽目標(biāo)，應(yīng)用管道濾波算法。管道濾波算法是依據(jù)目標(biāo)軌跡在圖像序列中的連續(xù)性所構(gòu)造的一種時空濾波器[11]，它的基本原理是以第一幀圖像中的某個檢測目標(biāo)為中心建立一個沿時間軸伸展的時空管道，管道長度代表連續(xù)檢測的時間長度，管道直徑代表作用范圍[12]。當(dāng)該檢測目標(biāo)在管道內(nèi)的出現(xiàn)次數(shù)達(dá)到閾值要求時，判定該檢測結(jié)果為真實(shí)目標(biāo)，否則將其視作干擾去除。

通過上述單幀檢測算法和多幀判決算法，能很好地達(dá)到檢測船舶的目的，算法檢測結(jié)果如圖4所示。結(jié)果表明，管道濾波能夠有效去除偽目標(biāo)，如圖4中的橋梁，準(zhǔn)確檢測到船舶目標(biāo)。

圖4 船舶目標(biāo)檢測結(jié)果Fig.4 Ship target detection results

2.2 改進(jìn)的PCNN輪廓提取算法

船舶輪廓提取算法是在船舶檢測算法的基礎(chǔ)上完成，進(jìn)行輪廓提取時重點(diǎn)關(guān)注目標(biāo)的連通區(qū)域。是否能夠提取較為精確的船舶輪廓信息對船舶凈空高度測量模塊的提取精度有直接的影響。

常用的輪廓提取方法有脈沖耦合神經(jīng)網(wǎng)絡(luò)法(PCNN)、Canny邊緣檢測法等。但當(dāng)船舶的灰度值和背景的灰度值接近的時候，Canny算法容易受到江面波浪等干擾，無法將船舶輪廓從背景中提取精確的輪廓PCNN算法能夠結(jié)合局部區(qū)域特性進(jìn)行區(qū)域觸發(fā)，很好地避免了相似灰度級的背景和雜點(diǎn)的觸發(fā)[13]，所以選擇PCNN算法來提取船舶輪廓。

基本的PCNN算法存在一定的缺陷：①根據(jù)經(jīng)驗(yàn)選取初始閾值的不合理性；②由于船舶所處環(huán)境的特殊性，江面形成的倒影與船舶灰度值接近，雖然PCNN對雜點(diǎn)的觸發(fā)有很好的抑制作用，但輪廓提取結(jié)果仍然存在少量冗余點(diǎn)。

針對以上缺點(diǎn)，做了兩點(diǎn)改進(jìn)，分別是基于大律法的最佳閾值選取，形態(tài)學(xué)運(yùn)算去除冗余點(diǎn)。改進(jìn)的PCNN輪廓提取算法結(jié)構(gòu)如圖5所示。

圖5 輪廓提取算法結(jié)構(gòu)框圖Fig.5 Contour extraction algorithm block diagram

2.2.1 基于大律法的PCNN輪廓提取

由于PCNN模型中初始閾值的設(shè)定常依賴于經(jīng)驗(yàn)，而不合理的設(shè)置會抑制PCNN的優(yōu)勢[14]，所以初始閾值的選取對PCNN輪廓提取效果有著重要影響。結(jié)合船舶紅外圖像的灰度分布信息，選擇大律法對PCNN初始閾值的選取進(jìn)行優(yōu)化。

大律法基于圖像的統(tǒng)計(jì)特性實(shí)現(xiàn)閾值的自動選取，其基本思想是用某一假定的灰度將圖像分成兩組，當(dāng)兩組的類間方差最大時，目標(biāo)和背景的方差最大，這就意味著圖像目標(biāo)和背景的差別越大，當(dāng)部分目標(biāo)錯分為背景或背景錯分為目標(biāo)時都會導(dǎo)致方差值減小，因此大律法可以使圖像分割出錯的概率最小。

由大律法得到最佳初始閾值后，進(jìn)入PCNN輪廓提取算法。PCNN處理灰度圖像時模型如圖6所示。

Fjk、Ljk分為反饋輸入和連接輸入；Ujk為神經(jīng)元內(nèi)部活動項(xiàng)；θjk為動態(tài)閾值；Yjk為輸出項(xiàng)；β為連接連接強(qiáng)度系數(shù)；α為閾值比例系數(shù)，調(diào)節(jié)閾值大??；Vθ為閾值幅度系數(shù)圖6 PCNN模型結(jié)構(gòu)示意圖Fig.6 Structure of PCNN model

PCNN處理灰度圖像時，將圖像中的每個像素點(diǎn)的灰度和以該像素點(diǎn)為中心周圍像素點(diǎn)灰度加權(quán)和作為輸入部分；通過連接系數(shù)β將兩者耦合內(nèi)部活動項(xiàng)，作為調(diào)制部分；最后將內(nèi)部活動項(xiàng)和動態(tài)閾值θ進(jìn)行比較，若大于閾值，則該神經(jīng)元為激發(fā)態(tài)(俗稱點(diǎn)火)，輸出Y置1，反之為未激發(fā)態(tài)，輸出Y置0，通過這樣反復(fù)迭代循環(huán)，就會將原始圖像分割成一幅二值圖像。再應(yīng)用最大香農(nóng)熵法則對分割結(jié)果進(jìn)行最佳分割的判斷，若符合最佳判定標(biāo)準(zhǔn)則分割結(jié)束。

使用大律法最佳閾值為PCNN初始閾值輪廓提取結(jié)果如圖7所示。

圖7 改進(jìn)PCNN輪廓提取算法結(jié)果Fig.7 Improved PCNN contour extraction algorithms

由圖7(b)可知，根據(jù)經(jīng)驗(yàn)選取初始閾值造成了船舶輪廓的部分缺失，而圖7(c)中通過大律法最佳閾值自動選取避免了船舶底部部分被劃分為背景的錯誤分割現(xiàn)象，提取的輪廓較為完整。通過計(jì)算，圖7(b)、圖7(c)船舶像素高度差為18像素，這意味著由于輪廓提取不準(zhǔn)確會導(dǎo)致船舶凈空高度計(jì)算誤差增大1.8 m。可以看出，基于大律法的 PCNN 輪廓提取比較精確，但該算法提取得到的輪廓周圍仍不可避免地存在少量較小的冗余點(diǎn)，故加入了形態(tài)學(xué)運(yùn)算去除冗余點(diǎn)，達(dá)到高精度輪廓提取的目的，提高船舶凈空高度計(jì)算精度。

2.2.2 形態(tài)學(xué)運(yùn)算

PCNN輪廓提取算法在應(yīng)用背景中存在輪廓邊緣多余像素點(diǎn)的問題，形態(tài)學(xué)運(yùn)算可以通過二值化圖像和結(jié)構(gòu)元素相互作用的運(yùn)算使圖像質(zhì)量得到改善[15]，其中形態(tài)學(xué)開運(yùn)算通常用于去除較小的明亮細(xì)節(jié)，并且圖像的整體外部輪廓基本不會發(fā)生變化，故選擇形態(tài)學(xué)開運(yùn)算去除冗余點(diǎn)。

通過上述基于大律法初始閾值選取和形態(tài)學(xué)運(yùn)算去除冗余點(diǎn)PCNN算法的改進(jìn)，PCNN輪廓提取效果得到了較大的提升。

改進(jìn)的PCNN最終輪廓提取結(jié)果如圖8所示。

圖8 輪廓提取結(jié)果Fig.8 Contour extraction results

由圖8可知，改進(jìn)后的輪廓提取算法可以很好地提取船舶輪廓，為后續(xù)船舶凈空高度的計(jì)算奠定良好的基礎(chǔ)。

2.3 透視變換矯正

透視變換用于矯正船舶檢測到的不同角度的大型船舶圖像。由于攝像機(jī)拍攝的紅外圖像中，船舶可能處于不同角度(分為正投影圖像和斜投影圖像)，同時攝像機(jī)的成像特性和與光學(xué)原理所產(chǎn)生的透視效果會導(dǎo)致圖像中的目標(biāo)產(chǎn)生透視畸變[16]，從而影響船舶凈空高度測量精度，故需要對紅外攝像機(jī)獲取的斜投影圖像進(jìn)行二次投影變換得到正投影圖像，同時矯正透視畸變。

透視變換是通過坐標(biāo)變換將圖像投影到一個新的視平面，也稱投影映射。它基于3×3矩陣的變換，計(jì)算式如式(1)所示:

(1)

式(1)中：(u，v)為原始圖像像素坐標(biāo)；(x，y，z)為其次坐標(biāo)，透視變換后得到的圖像像素坐標(biāo)為(x′，y′)，則：

(2)

(3)

由式(2)、式(3)可知，透視變換方程組有8個未知數(shù)，故求解需要找到四組映射點(diǎn)。對于斜投影的船舶紅外圖像，可以根據(jù)圖像中船舶的傾斜角度繪制船舶外接四邊形，分別以此外接四邊形四個角點(diǎn)的坐標(biāo)為四組映射點(diǎn)，由此可求解得到透視變換矩陣，從而得到透視變換矯正后圖像。矯正前后圖像如圖9所示。

圖9 透視變換矯正Fig.9 Perspective transformation correction image

2.4 船舶凈空高度測量方法

船舶凈空高度測量方法主要基于攝像機(jī)針孔模型原理。將攝像機(jī)假設(shè)為一個簡單的攝像機(jī)針孔模型，如圖10所示。此模型中，假設(shè)光線從場景或很遠(yuǎn)的物體發(fā)射過來，此時目標(biāo)在圖像平面上被聚焦[17]。以針孔的點(diǎn)為投影中心，攝像機(jī)與遠(yuǎn)處目標(biāo)大小相關(guān)的參數(shù)為焦距f。

圖10 攝像機(jī)針孔模型示意圖Fig.10 Schematic diagram of camera pinhole model

圖10中，Z為攝像機(jī)到船舶的距離，m；Y為船舶實(shí)際高度，m；y為船舶在圖像平面上的像素高度，px。根據(jù)相似三角形，可得到物體實(shí)際高度的計(jì)算公式:

(4)

式(4)中：船舶到攝像機(jī)的距離Z可由攝像機(jī)GPS位置信息與系統(tǒng)接收到的船舶GPS數(shù)據(jù)計(jì)算；船舶在圖像平面上的像素高度y由第2.2節(jié)闡述的算法獲得。

2.5 報警模塊

報警模塊在本系統(tǒng)的作用為當(dāng)測量得到超過通航高度的船舶則立刻發(fā)出報警信息通知相關(guān)人員。

通過2.2～2.4節(jié)對中紅外圖像中船舶的檢測和對船舶凈空高度的計(jì)算，可以檢測得到船舶目標(biāo)并對其凈空高度進(jìn)行預(yù)算。當(dāng)報警系統(tǒng)接收到超過橋梁通航高度的船舶的信息，系統(tǒng)自動產(chǎn)生告警信息，包括地理位置、實(shí)測凈空高度、限制凈空高度等信息。系統(tǒng)將報警系統(tǒng)與有關(guān)管理部門的信息系統(tǒng)連接，一旦發(fā)現(xiàn)超高船舶的警告信息，海事管理人員可通過適當(dāng)?shù)耐ㄐ欧绞剑鏥HF通話、撥打船舶電話等，及時向船舶提供預(yù)警信息。

3 實(shí)驗(yàn)驗(yàn)證及結(jié)果

為了驗(yàn)證系統(tǒng)的可行性與可靠性，進(jìn)行實(shí)驗(yàn)驗(yàn)證，采集大量紅外圖像對船舶凈空高度測量方法進(jìn)行試驗(yàn)和分析。實(shí)驗(yàn)應(yīng)用分辨率為640×512，焦距為228.671 mm，像元大小為15 μm的紅外攝像機(jī)，架設(shè)于高度約為30 m，距離江邊約60 m，俯拍江面船舶(租用)。為了方便測量船舶在江面時實(shí)際凈空高度，實(shí)驗(yàn)前人工測量船頂?shù)酱线吘壍母叨?，?shí)驗(yàn)過程中分別測量紅外攝像機(jī)到船舶不同距離處船水交界線到船舶上邊緣的高度，并記錄，同時在軟件平臺接收、記錄船舶的GPS位置信息。

以現(xiàn)場拍攝到的5張典型紅外圖像為例進(jìn)行分析計(jì)算，如圖11所示，原圖1、原圖2為正側(cè)面圖像，所以矯正前后不變，原圖3～原圖5為斜側(cè)面圖像。圖11中矩形框?yàn)榇暗恼饨泳匦?。船舶矯正前后凈空高度計(jì)算結(jié)果如表1所示，誤差計(jì)算結(jié)果如表2所示。表1中，距離表示紅外攝像機(jī)到船舶的距離。

圖11 實(shí)驗(yàn)圖像Fig.11 Experimental image

表1 船舶凈空高度計(jì)算Table 1 Calculation of ship clearance height

表2 誤差計(jì)算

由表2可知，圖11(a)～圖11(c)的誤差較小，表明船舶輪廓提取算法的精確度較高，但圖11(e)、圖11(g)、圖11(j)的結(jié)果表明當(dāng)船舶為斜投影時，直接提取輪廓計(jì)算船舶凈空高度導(dǎo)致誤差較大。表2中，圖11(f)、圖11(h)、圖11(j)數(shù)據(jù)表明，通過透視變換矯正后能夠有效的減小計(jì)算誤差。

通過實(shí)驗(yàn)驗(yàn)證與分析，提出的船舶凈空高度測量方法可行，當(dāng)檢測最大作用距離為6 km時測量精度可優(yōu)于1.5 m。

4 結(jié)論

從主動防撞的角度出發(fā)，基于攝像機(jī)針孔模型，提出了一種船舶凈空高度測量方法。

(1)應(yīng)用了紅外攝像機(jī)，避免了可見光相機(jī)夜間拍攝效果差，容易受天氣(如大霧)影響的缺點(diǎn)。

(2)提出改進(jìn)的PCNN算法，加入大律法自動化初始閾值的選取和形態(tài)學(xué)運(yùn)算處理冗余點(diǎn)，提高了船舶輪廓提取的精確度，解決了船舶凈空高度測量的精度問題。

利用實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證了方法的可行性，結(jié)果表明基于紅外成像的船舶凈空高度測量方法有良好的測量性能。