張培宣,陳曉東, ,孔帥,季少鵬,季順迎,
(1.大連理工大學(xué) 工業(yè)裝備結(jié)構(gòu)分析國家重點(diǎn)實(shí)驗(yàn)室,遼寧 大連 116023;2.大連理工大學(xué) 白俄羅斯國立大學(xué)聯(lián)合學(xué)院,遼寧 大連 116023;3.中國船舶科學(xué)研究中心,江蘇 無錫 214082)
隨著全球氣候變暖,北極海冰快速消融,使得北極航道的開發(fā)逐漸引起人們關(guān)注[1-2]。冰載荷是極地冰區(qū)航行船舶的主要設(shè)計(jì)參數(shù),而海冰厚度是冰載荷確定過程中的主要參數(shù)[3-5]。其次,海冰厚度還是海冰災(zāi)害風(fēng)險(xiǎn)評估的主要指標(biāo)之一。渤海遼東灣是我國冰情最嚴(yán)重的地區(qū)之一,每年對其冰情進(jìn)行評估時(shí),都需要大量使用到海冰厚度以及密集度等參數(shù)[6]。另外,海冰厚度也是冰區(qū)海洋結(jié)構(gòu)設(shè)計(jì)的關(guān)鍵參數(shù)。在計(jì)算海洋工程設(shè)計(jì)的控制載荷—海冰作用力時(shí)需要使用到海冰厚度等參數(shù)信息[7]。由此可見,海冰厚度參數(shù)大量應(yīng)用于極地船舶冰載荷分析、海冰災(zāi)害評估以及海工結(jié)構(gòu)設(shè)計(jì)等重要領(lǐng)域[8]。
我國系統(tǒng)性的海冰信息監(jiān)測始于20 世紀(jì)60 年代初期,相繼發(fā)展了沿岸站臺測量、沿岸冰調(diào)查、破冰船海冰調(diào)查、衛(wèi)星遙感、航空遙感和平臺定點(diǎn)觀測等觀測手段[9-11]?,F(xiàn)有條件下極地船舶獲取海冰信息的主要方式為衛(wèi)星遙感[12-13]。高分辨率的衛(wèi)星圖像和數(shù)據(jù)產(chǎn)品可以提供船只航行路線上大范圍的海冰信息,從而幫助其選擇最佳航道[14-15]。但衛(wèi)星遙感監(jiān)測的采樣頻率較低,一般存在1 d 以上預(yù)報(bào)延遲,因此不適用于船舶的短期航線規(guī)劃[16-17]。據(jù)此,本文提出利用船側(cè)視頻圖像數(shù)據(jù),通過機(jī)器視覺相關(guān)算法完成海冰厚度參數(shù)的實(shí)時(shí)提取?,F(xiàn)行機(jī)器視覺技術(shù)系統(tǒng)主要由光學(xué)照明系統(tǒng)、成像系統(tǒng)和視覺信息處理系統(tǒng)等部分組成,能夠完成包括特征提取、模式識別、語義理解等功能并大范圍應(yīng)用于產(chǎn)品瑕疵檢測、視頻監(jiān)控分析以及自動和輔助駕駛等領(lǐng)域[18]。
“雪龍”號在極地航行過程中需要實(shí)時(shí)監(jiān)測航行區(qū)域的冰面類型以及海冰厚度等數(shù)據(jù)[19-20]?,F(xiàn)有圖像分析軟件無法做到對于海冰參數(shù)準(zhǔn)確、有效地識別,所以只能采用人工識別的方法[21-23]。但人工識別不僅耗費(fèi)人力,而且在一些數(shù)據(jù)的得出上耗時(shí)過長,因此,開發(fā)新型圖像分析軟件來完成海冰參數(shù)的實(shí)時(shí)監(jiān)測,對于極地船舶的航行具有極高的重要性[24-26]。
Hough 變換是一種從圖像空間到參數(shù)空間的映射關(guān)系,其將圖像空間中復(fù)雜的邊緣特征映射為參數(shù)空間中的聚類檢測問題,使得Hough 變換方法成為提取邊緣線條特征的強(qiáng)有力工具[27]?;谏鲜鰞?yōu)點(diǎn)和特性,Hough 變換算法被廣泛應(yīng)用于運(yùn)動目標(biāo)的識別與軌跡監(jiān)測等領(lǐng)域[28]。
根據(jù)上述介紹以及海冰翻轉(zhuǎn)時(shí)截面邊緣線的幾何特征,本文提出基于Hough 變換的機(jī)器視覺方法,以此實(shí)現(xiàn)海冰厚度參數(shù)的自動識別,并利用“雪龍”號北極實(shí)地走航數(shù)據(jù)對上述方法進(jìn)行適用性與可靠性的分析。
采用船側(cè)視頻圖像提取海冰厚度參數(shù)時(shí),海冰翻轉(zhuǎn)時(shí)的截面幾何形狀是測量冰厚的主要依據(jù)。如圖1所示,因?yàn)楹1鶖嗔押蠼孛孑^為平整,所以海冰翻轉(zhuǎn)時(shí)截面兩側(cè)邊緣線近似平行。
圖1 “雪龍”號科考船北極航行中的冰厚測量示例[29]Fig.1 Example of ice thickness measurement during the Arctic voyage of Xuelong scientific research ship[29]
參考現(xiàn)行人工測量方法中以海冰兩側(cè)邊緣平行線之間距離作為海冰厚度的基本思想,設(shè)計(jì)開發(fā)海冰厚度的自動識別程序。程序總體流程分為3 部分:圖像邊緣線檢測、線段檢測與平行線檢測。在圖像邊緣線檢測中根據(jù)灰度梯度變化情況,利用sobel 算子完成邊緣線檢測;線段檢測中利用Hough 變換,識別邊緣線中的線段,并輸出線段的角度和極徑參數(shù);在平行線檢測中,根據(jù)海冰翻轉(zhuǎn)時(shí)的幾何特征制定線段組夾角、距離以及間距3 種判定條件。最后,當(dāng)有邊緣線段組滿足平行線判斷條件時(shí)輸出海冰厚度參數(shù)[30-31]。
線段識別是檢測圖像中平行線的基礎(chǔ)。但一張圖像中所包含的線段幾乎是無限的,所以無法在圖像中直接判斷,因此引入Hough 變換[32]。Hough 變換的基礎(chǔ)是建立極坐標(biāo)空間,用(ρ,θ)表示空間各點(diǎn),并根據(jù)極坐標(biāo)變換將圖像中所有直線用空間各點(diǎn)(ρ,θ)表示。根據(jù)直線在極坐標(biāo)系與直角坐標(biāo)系間轉(zhuǎn)換關(guān)系得式(1),公式為
式中,ρ為原點(diǎn)到該直線的垂直距離;x、y為圖像中任意點(diǎn)的坐標(biāo);θ為垂線與x軸的夾角。
Hough 變換后得出極坐標(biāo)空間與圖像空間滿足下述關(guān)系:極坐標(biāo)空間中任意點(diǎn)(ρ,θ)都代表圖像空間中的一條直線,并將此直線記作l(ρ,θ);圖像空間中任意點(diǎn)(x,y)對應(yīng)于極坐標(biāo)空間中一條三角函數(shù)線。
由此可知,當(dāng)圖像中有一定數(shù)量的邊緣點(diǎn)(即經(jīng)過邊緣檢測后被檢測出來的邊緣像素點(diǎn))位于l(ρ,θ)上時(shí),極坐標(biāo)空間中會有相同數(shù)量的三角函數(shù)線經(jīng)過(ρ,θ)點(diǎn),如圖2a 所示。利用上述特性可以實(shí)現(xiàn)邊緣線中的線段識別。實(shí)現(xiàn)方法為建立累計(jì)數(shù)組,并定義l(ρ,θ)中包含的邊緣點(diǎn)數(shù)量為累加量N(ρ,θ)。因?yàn)檎鎸?shí)線段中包含超過一定數(shù)量的邊緣點(diǎn),所以需要設(shè)立相應(yīng)的閾值Nw進(jìn)行判斷。若N(ρ,θ)大于設(shè)定閾值Nw,則認(rèn)為圖像空間中的l(ρ,θ)真實(shí)存在[33-34]。將上述變換過程應(yīng)用于真實(shí)圖像,并在極坐標(biāo)空間中框選出所有累加量滿足閾值Nw的(ρ,θ)點(diǎn)得到圖2b。圖2b 中框選的5 個(gè)(ρ,θ)點(diǎn)代表圖像中真實(shí)存在的5 條邊緣線段。
圖2 邊緣線段識別結(jié)果Fig.2 Recognition result of edge segment
應(yīng)用Hough 變換方法處理“雪龍”號走航實(shí)測圖像的過程中發(fā)現(xiàn),當(dāng)閾值Nw取為累加量中最大值Nmax的1/20 時(shí),程序能較好地識別出圖像中的線段并輸出近似線段參數(shù)。程序?qū)嶋H應(yīng)用后識別得到圖3b 所示的邊緣線段。
圖3 邊緣線段識別結(jié)果Fig.3 Recognition result of edge segment
雖然通過Hough 變換能夠識別海冰翻轉(zhuǎn)過程中的邊緣線段,但計(jì)算機(jī)仍無法識別出屬于同一塊海冰的線段組。為此需要根據(jù)線段參數(shù)完成線段組的平行判斷。在完成海冰兩側(cè)邊緣平行線的識別過程中,必須綜合考慮海冰幾何特征與邊緣線段參數(shù)[35-36]。本文采用夾角、長度以及間距3 類不同判據(jù)完成對平行線的判別,并據(jù)此提取海冰厚度參數(shù)。
2.3.1 線段組的夾角(Δθ)條件判斷
海冰截面翻轉(zhuǎn)后上下表面投影線段角度較為接近,因此,當(dāng)兩條線段的夾角(Δθ)較大時(shí),認(rèn)為這兩條線段不屬于同一塊海冰的翻轉(zhuǎn)截面。在程序?qū)崿F(xiàn)過程中,需要利用Hough 變換識別得到的線段角度參數(shù)來計(jì)算線段組夾角(Δθ)。如圖4a 所示,夾角較大的線段組明顯不屬于同一塊海冰的截面邊緣線。
在判斷過程中需設(shè)定角度閾值 Δθc,當(dāng)線段組滿足Δθ <Δθc時(shí),認(rèn)為兩線段滿足角度近似條件。
2.3.2 線段組的長度條件判斷RL
當(dāng)圖像中出現(xiàn)兩塊及以上海冰同時(shí)處于翻轉(zhuǎn)過程中且多塊海冰位置近似平行時(shí),識別結(jié)果會發(fā)生誤判。如圖4b 所示,圖中兩塊海冰的4 條邊緣線段角度近似但L1、L3不屬于同一塊海冰,而代表同一塊海冰的兩線段組L1、L2和L3、L4各自滿足長度近似。據(jù)此設(shè)立線段組長度比值判據(jù)RL。程序執(zhí)行過程中設(shè)定判斷閾值Rc,當(dāng)RL<Rc時(shí),認(rèn)為兩條平行線滿足長度近似條件。
圖4 邊緣線段組錯(cuò)誤判斷示例Fig.4 Error judgment example of edge segment group
2.3.3 線段組的間距 ΔD條件判斷
在識別過程中可能有滿足上述夾角和長度判斷條件但線段組仍無法代表海冰邊緣線的情況,如圖4c所示。為此引入間距判斷條件。
如圖5 所示,假設(shè)直角坐標(biāo)系下存在兩條直線l1和l2,在l1和l2上各取線段組AB、EF 和CD、GH。此時(shí)線段組AB、CD 以及EF、GH 均滿足夾角和長度判斷條件。但如圖6 所示,圖6c 中所識別線段組為有效識別的冰塊翻轉(zhuǎn)截面,而圖6f 中所識別線段組則為誤識別結(jié)果。分析上述假設(shè)發(fā)現(xiàn),判斷條件Δθ ≤Δθc只代表直線l1和l2的整體性質(zhì),因此存在線段組滿足夾角判斷條件但仍相交的情況。所以無法用夾角和長度判據(jù)識別出所有線段組相交情況。為此引入間距判據(jù),其中,間距 ΔD定義為兩線段在極坐標(biāo)下線間距離與在直角坐標(biāo)下線間距離的差值。當(dāng) ΔD小于閾值ΔDc時(shí),線段組滿足近似平行[37]。
圖5 兩直線相交原理分析Fig.5 Principle analysis of intersection of two straight lines
利用“雪龍”號第八次北極科考走航視頻數(shù)據(jù),對程序進(jìn)行適用性分析,在圖6 和圖7 中列舉出多種實(shí)地航行情況下海冰厚度檢測圖。分析有效判斷中多張?jiān)紙D像可知,當(dāng)海冰圖像滿足兩側(cè)邊緣輪廓清晰且無其他線段干擾時(shí)程序適用性良好。對有效識別中冰厚識別結(jié)果分析可知,自動識別程序適用于任意長度的海冰冰塊且識別線段覆蓋海冰冰塊兩側(cè)邊緣線的主要部分。
圖6 基于Hough 變換的海冰厚度識別Fig.6 Identifications of sea ice thickness based on Hough transformation
圖7 基于Hough 變換的海冰厚度識別Fig.7 Identifications of sea ice thickness based on Hough transformation
對于失效判斷中原始圖像以及Hough 變換結(jié)果分析可知,當(dāng)海冰邊緣線與周圍環(huán)境對比度較低時(shí),Hough 變換無法有效檢測圖像中冰塊的邊緣線段。另外,當(dāng)冰塊本身邊緣線與其他環(huán)境線段混雜時(shí),程序會誤判海冰冰塊邊緣線,導(dǎo)致最終檢測結(jié)果失效。
為實(shí)現(xiàn)海冰厚度參數(shù)的自動識別,在程序執(zhí)行過程中引入線段組夾角閾值、長度閾值以及間距閾值。而上述判斷閾值變化直接影響海冰圖像的識別率以及誤判率,其中,識別率為滿足程序中各類判斷閾值的圖片總數(shù)與輸入圖片總數(shù)之比,誤判率為滿足程序中各類判斷閾值但不符合實(shí)際海冰邊緣線情況的圖片總數(shù)與輸入圖片總數(shù)之比。因此,需要利用實(shí)地走航數(shù)據(jù)分析3 類不同判斷閾值對于圖片識別率及誤判率的影響,選取最優(yōu)閾值使得識別結(jié)果具有較高的識別率與準(zhǔn)確率。
在原始數(shù)據(jù)的選擇過程中,本文從近1 周實(shí)際航行視頻中等時(shí)間間隔的截取了2 000 余張海冰圖像進(jìn)行分析,并人工分辨出1 078 張含海冰翻轉(zhuǎn)截面的可識別圖像,另外按照海冰所處位置、圖片中所含海冰翻轉(zhuǎn)截面?zhèn)€數(shù)以及邊緣輪廓線是否清晰等不同情況,將所有可識別圖像人工分為109 種不同類別。根據(jù)上述可識別原始圖像,本文對于夾角、長度以及間距3 類判斷閾值開展了數(shù)據(jù)試驗(yàn)。
3.2.1 線段組夾角判斷閾值
在其余判斷閾值固定不變的情況下,將夾角判斷閾值 Δθc選取為0°~4°來開展數(shù)據(jù)試驗(yàn)。試驗(yàn)結(jié)果如圖8 所示。從試驗(yàn)結(jié)果可知,圖像識別率與誤判率均隨夾角閾值的增大而升高,說明當(dāng)閾值放寬后,圖像識別率逐步提升,但相應(yīng)閾值寬松會導(dǎo)致程序誤判率升高。因此,選取最佳判斷閾值時(shí)需要綜合考慮。
圖8 夾角閾值試驗(yàn)曲線Fig.8 Experimental curve of angle threshold
分析可知,識別率和誤判率隨 Δθc變 化時(shí)的增長速率具有較大差異。據(jù)此提出最優(yōu)閾值的選取標(biāo)準(zhǔn):小于誤判率曲線的上升拐點(diǎn)且識別率曲線基本達(dá)到峰值。由圖8 可知,當(dāng) Δθc取值為2°時(shí),滿足上述兩類條件。
3.2.2 線段組長度閾值
實(shí)際情況下海冰兩側(cè)邊緣線段應(yīng)滿足長度近似的原則,據(jù)此引入長度判斷閾值Rc。當(dāng)Rc取值為1~2.2 時(shí)進(jìn)行數(shù)據(jù)試驗(yàn)。試驗(yàn)結(jié)果如圖9 所示,由圖9可知,當(dāng)Rc接近1 時(shí),圖片識別率小于60%,而當(dāng)設(shè)定Rc為2 時(shí)識別率大于95%。所以在實(shí)際情況下大部分圖像的海冰兩側(cè)邊緣線段長度比值位于區(qū)間1~2 內(nèi)。從圖9 中的識別率變化曲線能夠看出,當(dāng)Rc為1.55 時(shí)識別結(jié)果滿足識別率高于90%、誤判率小于1%且誤判率曲線仍未發(fā)生上升突變。由此可知,長度判斷閾值Rc的最優(yōu)取值為1.55。
圖9 長度閾值試驗(yàn)曲線Fig.9 Experimental curve of length threshold
3.2.3 線段組間距閾值
為解決兩邊緣線段間距過近問題,引入間距閾值ΔDc。選取ΔDc為2~12 pt 進(jìn)行數(shù)據(jù)試驗(yàn)。試驗(yàn)結(jié)果如圖10 所示,當(dāng)ΔDc小于3 pt 時(shí),圖像識別率小于75%,而ΔDc大于6 pt 時(shí),圖像識別率均位于90%以上。產(chǎn)生上述情況是因?yàn)楹1鶅蓚?cè)邊緣線段間不滿足角度的精確相等所以直角坐標(biāo)下的線間距離與極坐標(biāo)下的線間距離也不滿足精確相等。從圖10 中能夠看出,當(dāng)ΔDc取值為9 pt 時(shí),識別結(jié)果滿足識別率基本達(dá)到峰值、誤判率小于1%且誤判率曲線未發(fā)生上升突變的要求。
圖10 間距閾值試驗(yàn)曲線Fig.10 Experimental curve of distance threshold
根據(jù)試驗(yàn)統(tǒng)計(jì)采用基于Hough 變換的自動識別方法時(shí),單張海冰圖像識別時(shí)間小于0.5 s,而人工測量方法因需對邊緣線段進(jìn)行人工標(biāo)記與測算所需時(shí)長約為30 s。通過對比處理時(shí)長可知,本文中方法降低了海冰厚度測量過程中的人工參與度,縮短了海冰厚度測量耗時(shí)并提升了識別效率。
本文中所提出的識別方法與現(xiàn)行人工測量方法在識別準(zhǔn)確率上仍然存在差距。因?yàn)闊o法徹底消除誤判情況,所以本方法存在個(gè)別輸出結(jié)果不可信的情況。
作為海冰主要參數(shù)之一,海冰厚度在極地船舶冰載荷分析、海冰災(zāi)害評估以及海工結(jié)構(gòu)設(shè)計(jì)等方面具有關(guān)鍵作用。但因?yàn)闃O地特殊地理位置和惡劣環(huán)境條件的限制,現(xiàn)場數(shù)據(jù)獲取較為困難。據(jù)此,本文采用基于Hough 變換的機(jī)器視覺方法,通過對海冰翻轉(zhuǎn)過程中的表面輪廓線中平行線進(jìn)行識別,完成海冰圖像中海冰厚度參數(shù)提取。
另外,本文利用“雪龍”號極地科考船實(shí)測數(shù)據(jù)進(jìn)行試驗(yàn),整理試驗(yàn)結(jié)果可得結(jié)論:(1)自動識別程序?qū)τ谌我忾L度的海冰冰塊均適用且所識別邊緣線段能夠覆蓋海冰冰塊兩側(cè)邊緣線的主要部分;(2)夾角、長度以及間距3 類閾值判斷參數(shù)對于識別率以及誤判率的影響均滿足統(tǒng)一規(guī)律,綜合考慮識別率和準(zhǔn)確率均可以得出最佳判斷閾值;(3)在誤判率小于1%的情況下,程序?qū)τ诤1鶊D像的識別率可以達(dá)到90%以上;(4)程序運(yùn)行時(shí)間支持對海冰厚度參數(shù)的實(shí)時(shí)監(jiān)測。上述試驗(yàn)結(jié)論證明,程序滿足自動化識別及實(shí)時(shí)檢測的設(shè)計(jì)要求,并且具有較好的適用性、穩(wěn)定性及準(zhǔn)確性。