馬瑞鑫，李子龍，陳 靜

(1.交通運輸部天津水運工程科學研究所，天津 300456； 2.大連海事大學 航海動態(tài)仿真和控制實驗室，大連116026)

隨著內(nèi)河航運的快速發(fā)展，水上運輸船舶數(shù)量日益增多，水上交通壓力越來越大，單純依靠人工進行現(xiàn)場或視頻巡檢效率較低，針對船舶的智能監(jiān)管，目前主要采用視頻監(jiān)控、AIS、射頻識別、雷達等技術。但尚沒有完善的監(jiān)控系統(tǒng)對水上交通出現(xiàn)的船舶超載、超限、遮擋船名、不按規(guī)定開啟AIS等違法違規(guī)行為進行智能監(jiān)控及預警，智能化的監(jiān)管手段仍顯不足。

當前水運行業(yè)傳統(tǒng)的視頻監(jiān)控已經(jīng)較為普遍，但如何從視頻中提取出關注的信息仍較為繁瑣，由于船名標識不規(guī)范、字符不清晰，基于計算機視覺的智能分析應用較少；AIS應用較為廣泛，但其必須依賴于船載終端的安裝及正確使用；雷達在沿海港口應用較為廣泛，但在內(nèi)河中由于航道沿線山林阻隔及岸線阻擋應用較少。當前，單一的監(jiān)測方法都有相應弊端，同時無法有效進行數(shù)據(jù)協(xié)同，尚沒有統(tǒng)一高效的融合方法使其從多源無序的監(jiān)測數(shù)據(jù)中發(fā)掘精準的有價值信息。如何精準有效地從現(xiàn)有視頻中提取出船舶目標，實現(xiàn)船舶視頻目標的自動檢測與跟蹤；并協(xié)同多傳感器的多源數(shù)據(jù)融合分析，提高監(jiān)測精細化水平，實現(xiàn)船舶監(jiān)管的直觀表達是當前亟需解決的問題。

當前基于計算機視覺的目標檢測方法主要分為傳統(tǒng)目標檢測算法和深度學習目標檢測算法[1]。浙江大學劉寶龍[2]博士通過圖像分析、深度學習等計算機視覺技術對船名標識字符進行了檢測與識別，并提出了船名標識字符基準數(shù)據(jù)集。武漢理工大學相關研究人員[3]在傳統(tǒng)YOLOv3算法基礎上，提出了用于船舶目標檢測的增強YOLOv3算法，在霧天和低照度等不良天氣條件下均能實現(xiàn)船舶目標的高精度穩(wěn)定檢測。但是基于深度學習的目標檢測算法因為需要大量樣本，受限于應用場景，在山區(qū)內(nèi)河環(huán)境下獲取較為困難，傳統(tǒng)目標檢測方法主要有幀間差分法、光流法和背景減除法等[4]；在多傳感器數(shù)據(jù)融合方面，目前的內(nèi)河船舶軌跡融合主要是AIS和雷達數(shù)據(jù)的融合，主要通過卡爾曼濾波器去噪法、修正的K近鄰域法等，核心在于判斷來自多個系統(tǒng)的兩條軌跡是否代表同一個目標[5]。葉蕾[6]研究了攝像機與激光測距儀在船舶過閘中的應用，并依據(jù)攝像機和激光測距儀研究了基于多傳感器結合的過閘船舶運動狀態(tài)檢測系統(tǒng)。L. Achiri等[7]利用AIS和SAR兩種數(shù)據(jù)源進行融合，實現(xiàn)船舶海事監(jiān)管。孟琭[8]對當前主流的目標跟蹤算法進行了測試，分析了Kalman、深度學習方法在不同場景下的跟蹤效果。上述方法雖然取得了一定成果，但仍存在以下局限性，單一傳感器難以應對復雜環(huán)境感知信息，激光傳感器具備探測精度高，不受天氣狀況影響等優(yōu)點，但無法獲取顏色、紋理等信息，只能反應目標的外形輪廓等特征；視頻彌補了激光在識別物體方面的劣勢，可以捕獲目標及環(huán)境的大量細節(jié)特征，但受天氣影響較大，且識別精度不高；AIS數(shù)據(jù)是一種結構化較為規(guī)范的數(shù)據(jù)，但其獲取方式依賴于船載終端的使用，不能進行主動式監(jiān)管[9-10]。

針對以上問題，本文在現(xiàn)有研究基礎上針對視頻船舶目標檢測，提出了一種基于Canny邊緣檢測的三幀差分法與基于混合高斯背景建模的背景減除法相結合的船舶目標檢測算法，有效提高了傳統(tǒng)圖像目標檢測準確率；針對多傳感器目標融合，本文分析了激光點云數(shù)據(jù)和AIS數(shù)據(jù)的處理方法，并基于模糊數(shù)學的思路，提出了一種正態(tài)性隸屬度函數(shù)計算模糊相關矩陣的方法，實現(xiàn)了在動態(tài)視頻修正下的激光點云數(shù)據(jù)與AIS數(shù)據(jù)的船舶軌跡特征融合。

1 多源異構傳感器數(shù)據(jù)處理

1.1 船舶圖像目標檢測

本方法首先通過直方圖均衡化和中值濾波對視頻圖像序列進行預處理，對圖像出現(xiàn)的亮度或對比度不均勻進行處理，提高船舶目標提取的精準度。然后對連續(xù)的三幀圖像之間做兩兩相鄰兩幀的差分圖像計算，采用Otsu方法求取差分圖像的閾值，將差分圖像結果做二值化處理，最后將得到的2個二值圖像進行邏輯“與”運算，獲取兩個結果圖像中共同的目標部分，從而獲得船舶運動目標的輪廓信息[11]。

為了能夠盡可能準確標識出圖像中船舶目標的實際邊緣，再通過Canny算子對第N幀圖像進行邊緣檢測，得到目標圖像的輪廓信息，在得到圖像邊緣后與三幀差分法得到的輪廓信息進行邏輯“與”運算，即可得到船舶目標前景圖像。

繼續(xù)對第N幀圖像做背景減除運算，可得到當前幀的前景圖像，并進行二值化處理得到二值化圖像，將上述邏輯“與”計算得到的前景圖像和該二值圖像進行邏輯“或”運算，即可得到邊緣信息和船舶目標較完整的圖像信息。具體實現(xiàn)流程如圖1所示。

圖1 視頻圖像處理流程Fig.1 Video image processing

提取船舶前景圖像需要獲得圖像的背景信息。為克服外部環(huán)境變化較大的復雜場景，本文采用混合高斯背景建模法獲得背景圖像，混合高斯背景模型使用多個單高斯概率密度函數(shù)，通過所有密度函數(shù)的加權平均值來近似地表示某一像素點值的密度分布函數(shù)，令I(x,y,t)表示像素點(x,y,t)在t時刻的像素值，見式(1)

(1)

(2)

式中：T的值根據(jù)實驗結果設為0.7，是背景模型占有高斯分布的最小比例，根據(jù)背景情況，T越大則可以描述越復雜的動態(tài)背景模型。對于當前像素(x,y,t)，若它的值I(x,y,t)服從背景模型中第k(k≤B)個高斯分布，那么該像素點為圖像背景像素點，否則是目標前景。設ImageOutput函數(shù)為輸出圖像，則可由(3)式判定。

(3)

在圖像自動識別該像素為目標前景后，需要更新高斯分布去替代權重最小的當前值，這一新的高斯分布的期望值用當前的像素點值來表示。如果該像素為背景圖像中的像素點，則需要進行權重的更新，此處權重值是該圖像背景像素的各個高速分布的權重值?；谀繕讼袼仄ヅ涞母咚狗植?，需要同時更新高斯模型中的期望值和偏差值。

1.2 船舶激光點云數(shù)據(jù)處理

本文采用的激光雷達是一個水平視角360°全方位的16線激光雷達，采用混合固態(tài)激光雷達方式，通過激光發(fā)射組件棱鏡快速旋轉的同時，由發(fā)射器發(fā)射高頻率激光束對外界環(huán)境進行持續(xù)性的掃描，經(jīng)過測距算法提供三維空間點云數(shù)據(jù)及物體反射率，可以獲取船舶、水面的距離，通過激光束的扇面掃描在航道切面方向形成多道激光幕簾。當船舶通過激光幕簾時，可采集船舶每個段面的激光反射數(shù)據(jù)，系統(tǒng)將獲得船舶切向的多斷面輪廓尺寸數(shù)據(jù)，每個段面均由無數(shù)個激光反射數(shù)據(jù)組成，隨著船舶航行通過監(jiān)測點，激光掃描儀即可采集完整的若干個段面的激光反射數(shù)據(jù)，從而獲取船舶完整的輪廓數(shù)據(jù)。

本激光雷達有效探測距離150 m，測量精度+/-2 cm以內(nèi)，垂直視角30°(-15°～15°)，分辨率為2°，當轉速為10 Hz時，出點數(shù)高達30萬點/s，本文采用基于八叉樹的點云精簡方法，以實現(xiàn)在保持船舶點云數(shù)據(jù)幾何特征的同時減少點云數(shù)據(jù)量，同時采用基于聚類分析的場景點云自動裁剪算法實現(xiàn)水平面和船舶的三維立體重構，并通過自適應濾波算法濾除水面及船體的波動，即可獲得船舶的三維尺寸等參數(shù)，包括船舶的行駛方向、速度、干舷等特征。船舶實景和經(jīng)精簡后的點云圖如圖2所示。

圖2 船舶實物和激光點云示意圖Fig.2 Schematic diagram of the ship′s physical object and laser point cloud

為減少盲區(qū)干擾，本文需兩臺激光掃描儀共同掃描，即在航道兩側各安裝一臺固定角度的激光掃描儀，實現(xiàn)盲區(qū)互補。對于多位置掃描所得到的點云數(shù)據(jù)，通過迭代最近點(Iterative Closet Point, ICP)算法將其匹配到一個統(tǒng)一坐標系中[12]。

激光點云數(shù)據(jù)為立體角坐標系，點云中每一個掃描點的位置信息由矢量(R,α,ω)表示，3個分量的物理意義如圖3所示。

圖3 點云數(shù)據(jù)極坐標系Fig.3 Polar coordinate system of point cloud data

由掃描點的隨體坐標系V=(X,Y,Z)和雷達的姿態(tài)信息(φ,θ,ψ)可以求出掃描點在以雷達位置為原點的大地坐標系下的坐標值VE

VE=(XE,YE,ZE)=DCM·V

(4)

(5)

1.3 船舶AIS數(shù)據(jù)

AIS系統(tǒng)是一種船舶自動識別系統(tǒng)，可以收發(fā)覆蓋范圍內(nèi)的船舶動態(tài)、靜態(tài)信息，用于船舶目標的識別與信息交換。主要包括以下種類數(shù)據(jù)：

(1)靜態(tài)信息：IMO編號、呼號和船名、船長和型寬、船舶類型；

(2)動態(tài)信息：船位位置、UTC時間、對地航向、對地航速、船艏向、航行狀態(tài)、轉向率；

(3)航次相關信息：船舶吃水、危險貨物類型、目的港和預計到達時間、航線計劃等；

(4)安全相關消息：廣播和通知消息。

2 目標融合算法

2.1 融合流程分析

本方法所采用的單個傳感器(激光、視頻、AIS)均可獨立采集并形成各自的目標運動模型，系統(tǒng)對多個獨立的船舶運動模型進行對比匹配后，通過多傳感器融合計算確定統(tǒng)一的船舶運動模型。本方法先將激光點云數(shù)據(jù)和AIS數(shù)據(jù)進行船舶航跡融合計算，在視頻檢測出船舶運動目標后，實現(xiàn)船舶的目標跟蹤，對激光點云數(shù)據(jù)和AIS數(shù)據(jù)融合后的船舶軌跡進行修正，并將其綜合疊加顯示在動態(tài)視頻上，使船舶目標具有豐富實時的環(huán)境特征，且整體具有更好的測距精度和更高的識別率，具體流程如圖4所示。

圖4 多傳感器目標融合流程Fig.4 Process of multi-sensor target fusion

2.2 船舶軌跡融合方法

本文提出的多傳感器融合關鍵在于AIS和激光點云的船舶軌跡融合，AIS數(shù)據(jù)和激光點云數(shù)據(jù)必須統(tǒng)一到同一個時間系統(tǒng)。首先提取出各自監(jiān)測的船舶動態(tài)數(shù)據(jù)，然后進行位置坐標變換和時間校正，在統(tǒng)一的融合時間節(jié)點上進行軌跡相關計算，最后基于關聯(lián)目標加權實現(xiàn)軌跡融合。

針對統(tǒng)一時間系統(tǒng)，激光傳感器的掃描周期是固定的，可以進行線性插值，AIS發(fā)送動態(tài)信息時間間隔隨著船舶航行狀態(tài)不同而不同，對其進行時間校準可采用三次樣條差值進行計算，求得t時刻的目標向量為X(t)，具體計算方法如下

X(t)=A0+A1(t-t0)+A2(t-t0)2+A3(t-t0)3

(6)

式中：A0、A1、A2、A3為變換系數(shù)，可以通過將AIS時間變成GMT時間，取4個目標向量代入，即可解出。

船舶軌跡融合的關鍵是判斷來自AIS和激光點云數(shù)據(jù)的兩條航跡線是否代表同一船舶，本文采用模糊數(shù)學的隸屬度函數(shù)[5]表示其航跡的相似性。

(7)

式中：ξ(ζp)為模糊因素集中第p個因素的隸屬度函數(shù)；ηp、ζp、σp分別為模糊因素集中第p個因素的權重、歐式距離和展度。隸屬度函數(shù)值越大，說明兩條航跡線相關聯(lián)程度越大。

對來自AIS數(shù)據(jù)的m條軌跡和來自點云數(shù)據(jù)的n條軌跡建立t時刻的模糊相關矩陣，即

(8)

式中：λmn(t)表示在t時刻AIS中的第m條軌跡與點云中的第n條軌跡的綜合相似度。

檢驗航跡的相似度，具體步驟為：

(1)確定閾值ε的大小，通常取ε≥0.5；

(2)在矩陣λ(t)中找到最大元素λmn(t)，如果λmn(t)≥ε，則判定AIS軌跡m和點云軌跡n相關，并從矩陣λ(t)中去掉λmn(t)所在的行和列元素，得到新的(m-1)*(n-1)維降階模糊矩陣λ1(t)；

(3)對λ1(t)重復上述過程，獲得λ2(t)…λk(t)，直到λk(t)中的所有元素均小于ε，則剩下元素對應的行列號代表的軌跡在t時刻不相關；

(4)如果某兩條軌跡信息相關，并且在任意t時刻均相關，則可判定它們來自于同一目標船舶，此時即可關聯(lián)這兩條軌跡信息。

2.3 空間變換矩陣

多源異構傳感器數(shù)據(jù)融合需要實現(xiàn)空間信息的匹配。點云數(shù)據(jù)位于以激光雷達為中心的激光雷達坐標系OlXlYlZl下，視覺圖像信息位于以相機為中心的相機坐標系OcXcYcZc下。需要對其坐標系進行聯(lián)合標定，激光雷達坐標系與相機坐標系的轉換關系[13]可以表示為

(9)

式中：R、T分別為2個坐標系的相對旋轉矩陣和平移矩陣。

3D點云B=(x,y,z)在校正過的相機中的投影位置A=(u,v)可以表示為

(10)

2.4 船舶目標動態(tài)跟蹤

通過多源傳感器識別出船舶目標后，需要實現(xiàn)對其運動跟蹤，而確定目標的運動模型是目標跟蹤的關鍵。船舶在通過監(jiān)測水域中大多數(shù)保持勻速運動，運動狀態(tài)不會在短時間發(fā)生改變，因此本文對船舶運動建立CV模型[14]。假設t時刻船舶的狀態(tài)為Xt，表示為

(11)

式中：Vt為船舶t時刻的速度；Pt為船舶t時刻的位置，按照CV模型，得到船舶的位置及速度轉換關系為

(12)

可將式(12)寫成如下形式

(13)

在CV模型的基礎上運用卡爾曼濾波跟蹤船舶的運行軌跡，并得到船舶的實時運動狀態(tài)。根據(jù)上式預測當前船舶的運動狀態(tài)，對當前船舶運動狀態(tài)的預測是有噪聲的，因此需用協(xié)方差矩陣P來表示預測中的噪聲，即

Pt=Fcov(Xt-1,Xt-1)FT+Qt-1=FPt-1FT+Qt-1

(14)

式中：Q為過程噪聲的協(xié)方差。

具體流程如圖5所示。

圖5 卡爾曼濾波跟蹤船位Fig.5 Kalman filter tracking

3 系統(tǒng)展示

面向內(nèi)河船舶安全監(jiān)管，在某內(nèi)河航道對本文提出的方法進行了試驗，并基于此研發(fā)了一套船舶態(tài)勢主動式智能感知系統(tǒng)。該系統(tǒng)可對進出轄區(qū)的船舶實現(xiàn)船舶輪廓識別、船舶干舷測量、船舶位置航速監(jiān)測、船舶流量統(tǒng)計，船舶違章自動取證等功能。實現(xiàn)對內(nèi)河航道船舶的高精度、全天候、不間斷地自動監(jiān)測和統(tǒng)計分析。系統(tǒng)前端傳感器綜合采用了激光掃描儀、CCTV、AIS等設備，現(xiàn)場綜合采集環(huán)境示意圖和系統(tǒng)界面如圖6所示。

圖6 現(xiàn)場環(huán)境和系統(tǒng)展示Fig.6 Site environment and comprehensive information system display

4 結論

針對現(xiàn)有手段在船舶安全監(jiān)管上的不足[15-16]，本文提出了一種船舶視頻目標自動檢測方法，并分析了激光點云數(shù)據(jù)處理，利用正態(tài)性隸屬度函數(shù)矩陣實現(xiàn)了在動態(tài)視頻修正下的船舶軌跡特征融合?；诒疚奶岢龅姆椒ㄑ邪l(fā)了一套多傳感器融合的船舶態(tài)勢主動式智能感知系統(tǒng)，可實現(xiàn)不依賴于船銘、船號等可見標識下的主動式全天候高精度自主監(jiān)測。系統(tǒng)是信息化與傳統(tǒng)水運融合發(fā)展的重要實踐，對于提升海事管理水平，創(chuàng)新船舶監(jiān)管手段具有重要意義。