張寶森 李春江 孫凱

摘 要：基于黃河防凌遠(yuǎn)程視頻監(jiān)視系統(tǒng)現(xiàn)場采集到的視頻影像，采用圖像識別的方法提取黃河沿岸關(guān)鍵冰凌參數(shù)，包括密集度及流速。對于冰凌密集度的提取方法，是先將攝像設(shè)備取得的視頻變?yōu)閱螏瑘D像，然后對單幀圖像進(jìn)行二值化處理，利用圖像分割技術(shù)得到冰凌所在區(qū)域，最后統(tǒng)計得出冰凌的密集度;對于冰凌流速提取，是用攝像設(shè)備取得視頻圖像序列，利用稠密光流法標(biāo)記各圖像的特征點位置，追蹤特征點，從而得到移動距離，最后根據(jù)時間間隔計算得出冰凌的流動速度。

關(guān)鍵詞：圖像識別;冰凌密集度;冰凌速度;測量方法;現(xiàn)場采集;黃河

Abstract：The ice concentration and velocity are two key parameters for the Yellow River ice protection， which can be extracted by image recognition method. The videos were field acquired by the remote video monitoring system of the Yellow River ice protection. The measurement of ice concentration had two steps. Firstly， the video was converted to single frame images. Then the single frame images were binarized. The ice regions were recognized by image segmentation and the ice concentration could be counted easily. For the measurement of ice velocity， the video image sequence was obtained by the camera equipment. Then the positions of each images feature points were marked by the dense optical flow method and the feature points were tracked to obtain the moving distance. Finally， the ice velocity was calculated according to the interval time.

Key words： image recognition; ice concentration; ice velocity; measurement method; field acquisition; Yellow River

1 前 言

傳統(tǒng)的水文監(jiān)測多采用遠(yuǎn)程傳感器傳輸數(shù)據(jù)進(jìn)行測量，在設(shè)備安裝及數(shù)據(jù)采集方面都有一定的局限性。近年來隨著人工智能技術(shù)的不斷發(fā)展，計算機(jī)“視覺系統(tǒng)”得到了長足的發(fā)展[1-2]。應(yīng)用圖像處理及模式識別等技術(shù)可以搭建起經(jīng)濟(jì)、高效的遠(yuǎn)程水文監(jiān)測系統(tǒng)，對水位、流速、冰凌密集度等相關(guān)數(shù)據(jù)進(jìn)行測量。對比傳統(tǒng)方法，遠(yuǎn)程監(jiān)測系統(tǒng)采用非接觸式測量機(jī)制，位置不受環(huán)境限制，有效地規(guī)避了傳統(tǒng)測量設(shè)備的安裝問題;可以為水文監(jiān)測提供一種遠(yuǎn)程無人值守的監(jiān)測模式，適用于偏僻、惡劣的水域環(huán)境;同時可降低設(shè)備成本及人力成本[3]。

黃河是我國凌汛出現(xiàn)最為頻繁的河流，其中以內(nèi)蒙古河段最為嚴(yán)重，這是由其特殊的地理位置、水文氣象條件和河道特性所決定的[4]，因此對于凌情信息的實時采集、精確分析就顯得尤為重要[5-7]。當(dāng)前，國內(nèi)外針對冰凌的圖像識別研究日趨火熱，許志輝等[8-9]采用MODIS系統(tǒng)動態(tài)監(jiān)測黃河冰凌;張秀偉等[10]利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的方法開展了大規(guī)模黃河冰凌的圖像識別工作，取得了良好的效果;加拿大學(xué)者Kalke和Loewen[11]使用無人機(jī)采集到的河冰圖像，利用支持向量機(jī)的方法開展識別工作;季順迎等[12-13]針對渤海油氣平臺的海冰監(jiān)測系統(tǒng)進(jìn)行了圖像識別研究;還有學(xué)者利用電測法[14]、多普勒效應(yīng)[15]、雷達(dá)探測[16]等方法實現(xiàn)冰凌現(xiàn)場監(jiān)測。但是河流冰凌影像的特點更為復(fù)雜，對于算法的要求更高，特別是基于遠(yuǎn)程無線視頻流的黃河冰凌影像，其具有以下特點：具有較為復(fù)雜多變的目標(biāo)背景，黃河各個河段的泥沙含量不同，地理環(huán)境相異，冰凌與河水所呈現(xiàn)出的狀態(tài)各不相同;影像中目標(biāo)背景水面會隨著不同時段光照的變換呈現(xiàn)出不同的灰度分布，很難利用先驗知識來確定其閾值信息;黃河冰凌種類繁多、形狀各不相同，多呈現(xiàn)無規(guī)則性，且容易發(fā)生互相遮擋;當(dāng)出現(xiàn)碰撞時冰凌目標(biāo)會發(fā)生形變，因此無法事先對其進(jìn)行形狀建模;黃河冰凌目標(biāo)多呈現(xiàn)弱目標(biāo)形態(tài)，部分河段河水渾濁，水內(nèi)冰若隱若現(xiàn)，依靠邊緣信息或者灰度信息很難提取較為完整的冰凌目標(biāo);由于所有監(jiān)控攝像頭均分布于野外河岸，極易受到當(dāng)?shù)貧夂驐l件如強(qiáng)風(fēng)等的影響，因此傳輸回來的冰凌影像容易出現(xiàn)明顯的抖動;視頻流在遠(yuǎn)程無線傳輸過程中，不可避免地會出現(xiàn)丟幀現(xiàn)象，在客觀上會造成冰凌目標(biāo)出現(xiàn)不連貫的大運(yùn)動現(xiàn)象。

為此，筆者基于黃河防凌遠(yuǎn)程視頻監(jiān)視系統(tǒng)采集的視頻影像，結(jié)合多種圖像處理手段，采用圖像識別的方法，針對河流冰凌的關(guān)鍵參數(shù)開展識別方法研究。

2 冰凌參數(shù)的圖像識別方法

2.1 冰凌密集度圖像識別

冰凌密集度是表征黃河冰凌汛情嚴(yán)重程度的重要參數(shù)，也是汛情安全預(yù)警的重要參考指標(biāo)，因此準(zhǔn)確快速地測量冰凌密集度有著重要意義。冰凌密集度圖像識別部分主要包含最優(yōu)顏色通道選取、灰度化、圖像模糊、二值化幾個部分。首先根據(jù)黃河的特征對視頻采集圖像進(jìn)行顏色通道分離，取出最優(yōu)通道，判斷原則是河水和冰凌最大差異化;然后進(jìn)行灰度化處理，應(yīng)用高斯模糊處理方法去除圖像噪聲;最后將圖像轉(zhuǎn)化為二值圖，獲取冰凌所在區(qū)域的輪廓，其流程如圖1所示。

本研究采用OTSU（最大類間方差法）二值化算法識別冰[17-18]。該算法優(yōu)點是當(dāng)目標(biāo)與背景的面積相差不大時，能夠有效地對圖像進(jìn)行分割，同時該方法將圖像的灰度分布作為分割圖像的依據(jù)，對噪聲也相當(dāng)敏感。黃河表面冰水混合物較多，薄冰透過水面顯現(xiàn)出的效果和冰層類似，因此該方法比較適用于黃河冰凌密集度提取。

2.2 冰凌流速圖像識別

過快的冰凌流速可能會導(dǎo)致大量冰凌聚集形成冰塞現(xiàn)象，或者沖擊沿岸設(shè)施，造成嚴(yán)重后果，故需要對冰凌流速開展實時監(jiān)測分析。冰凌流速圖像識別部分主要包含圖像灰度化、模糊、目標(biāo)識別與追蹤幾個部分。首先對視頻采集圖像進(jìn)行灰度化處理，然后應(yīng)用高斯模糊處理方法去除圖像噪聲。在獲取到視頻采集圖像第一幀后，將第一幀進(jìn)行特征點提取并保存為目標(biāo)模板用于特征追蹤，然后在移動過程中識別、追蹤相同的特征點并記錄其位置，其流程如圖2所示。

本研究采用稠密光流法（Dense Optical Flow）識別并追蹤冰面特征點[19]。該方法采用Lucas-Kanade光流法進(jìn)行跟蹤，并對跟蹤結(jié)果使用Forward-Backward Error方法進(jìn)行反饋，計算跟蹤結(jié)果與原始位置的歐氏距離。同時，把置信度過低的跟蹤結(jié)果舍棄，在視頻序列中選擇可靠的軌跡確保跟蹤目標(biāo)正確。該方法對連續(xù)運(yùn)動物體的跟蹤準(zhǔn)確率較高，較為適用于黃河冰凌追蹤。

3 黃河冰凌圖像密集度分析

本研究用到的攝像設(shè)備獲取的視頻為30幀/s。由于冰的流動速度較慢，因此采用每10幀間隔進(jìn)行采樣并分析密集度，圖像標(biāo)定比例為每像素0.03 m。

3.1 顏色通道選取及灰度化

以如圖3所示的一幀圖像為例，左側(cè)為原圖像，右側(cè)為經(jīng)過顏色通道分離，進(jìn)行灰度化處理后的結(jié)果。可以看到灰度化處理后冰凌與水之間界線更加明顯，易于區(qū)分和進(jìn)一步分割圖像。

3.2 高斯模糊

采用高斯差分（Difference of Guassian，DOG）的方式對圖像進(jìn)行模糊處理，高斯差分是灰度圖像增強(qiáng)和角點檢測的一種方法，通過DOG可降低模糊圖像的模糊度。其原理是將原始灰度圖像用兩個不同標(biāo)準(zhǔn)差的高斯核函數(shù)進(jìn)行卷積處理，得到兩張高斯模糊化后的圖像，然后對兩張圖像進(jìn)行差分處理，其流程如圖4所示[20]。這樣可以提取圖像中的關(guān)鍵特征點，即找到角點。

采用以上公式不僅可以利用高斯模糊的作用去除高頻信號中包含的隨機(jī)噪聲，還可提取圖像中的角點，即很好地保留圖像中的邊緣信息，適合本研究中信息單一的圖像。對圖3進(jìn)行高斯差分處理后結(jié)果如圖5所示。

3.3 圖像二值化

采用OSTU二值化方法識別冰凌，其基本原理是假定圖像包含兩類像素（前景像素和背景像素），計算使兩類像素能分開的最佳閾值，或者使等價的類間方差最大。

對于一張像素為M×N的圖像，假設(shè)前景（目標(biāo)）和背景的灰度分割閾值為T，整幅圖像可以分為兩類：前景像素（灰度值小于閾值T）占比為ω0，平均灰度為μ0;后景像素（灰度值大于閾值T）占比為ω1，平均灰度為μ1。則有以下公式：

依據(jù)圖像標(biāo)定比例反演換算至物理空間，統(tǒng)計圖6中白色區(qū)域面積，所占比例就是該幀圖像的冰密集度。圖7為隨機(jī)選取一天的冰凌密集度24 h變化情況。

4 黃河流冰的速度識別與分析

4.1 流速識別系統(tǒng)

采用稠密光流法對黃河冰凌速度場進(jìn)行識別和分析，相對于傳統(tǒng)的激光多普勒測速LDV（Laser Doppler Velocity）、粒子成像測速PIV（Particle Image Velocity）等方法，該方法設(shè)置簡單、非接觸、無須示蹤粒子，可實現(xiàn)全流場瞬態(tài)測量。稠密光流是一種針對圖像進(jìn)行逐點匹配的圖像配準(zhǔn)方法。采用該方法計算圖像上所有點的偏移量，從而形成一個稠密的光流場，如圖8所示，通過這個稠密的光流場，可以進(jìn)行像素級別的圖像配準(zhǔn)，實現(xiàn)瞬態(tài)位移的精確測量。

通過求解該函數(shù)可以得到兩幀圖像的相對位移，在考慮相機(jī)安裝距離和俯仰角等因素的條件下，反演成流場的實際位移。將位移除以兩幀圖像的時間差，即可得到流場在時間差內(nèi)的平均速度，因時間差較短，故可近似認(rèn)為是瞬時速度。

4.2 流冰的位置識別

本研究用到的攝像設(shè)備獲取的視頻為30幀/s，由于靠近兩岸的冰流速較慢，中間的冰流速較快，因此將視頻圖像分割為5部分，分別計算冰的流速。為了方便對比，采用每10幀間隔進(jìn)行采樣，換算成時間間隔為1/3 s。

使用流速識別系統(tǒng)識別出各采樣幀的特征點的圖像空間位置，依據(jù)圖像標(biāo)定比例換算為物理空間，并計算得出相對位移。黃河現(xiàn)場試驗采集的視頻圖像分析結(jié)果如圖9所示，其中黃色箭頭為冰凌特征點的追蹤結(jié)果。

4.3 流速識別

根據(jù)識別的位移數(shù)據(jù)計算各識別區(qū)間的冰凌速度時程曲線，圖10為隨機(jī)選取一天的冰凌最大、最小、平均速度的24 h變化情況。

5 結(jié) 論

基于采集的視頻圖像，利用灰度化、模糊化、二值化等圖像處理手段，實現(xiàn)了圖像的冰、水、河岸圖像分割，從而準(zhǔn)確地統(tǒng)計出了冰凌密集度;利用稠密光流法，標(biāo)記和追蹤冰凌的實時位置，實現(xiàn)了對冰凌流速的實時識別。將識別出的冰凌密集度和流速按照時間序列排布，可以得到黃河冰凌在監(jiān)視區(qū)段內(nèi)的變化情況。利用計算機(jī)圖像識別方法可以將龐大數(shù)據(jù)量的視頻影像資料快速高效地轉(zhuǎn)化為更加抽象和有意義的黃河冰凌關(guān)鍵參數(shù)，從而為黃河防凌減災(zāi)工作提供及時可靠的數(shù)據(jù)支撐。

參考文獻(xiàn)：

[1] 宋麗梅，朱新軍.機(jī)器視覺與機(jī)器學(xué)習(xí)：算法原理、框架應(yīng)用與代碼實現(xiàn)[M].北京：機(jī)械工業(yè)出版社，2020：3-26.

[2] FUJIYOSHI H， HIRAKAWA T， YAMASHITA T. Deep Learning-Based Image Recognition for Autonomous Driving [J]. IATSS Research， 2019， 43 （4）： 244-252.

[3] 張寶森，張防修，劉滋洋，等.黃河河道冰層雷達(dá)波特征圖譜的現(xiàn)場實驗研究[J].南水北調(diào)與水利科技，2017，15（1）：121-125.

[4] 郜國明，鄧宇，田治宗，等.黃河冰凌近期研究簡述與展望[J].人民黃河，2019，41（10）：77-81，108.

[5] 張侃侃，秦建敏，姚惠林，等.基于GPRS的黃河冰凌圖像遠(yuǎn)程測報系統(tǒng)設(shè)計[J].數(shù)學(xué)的實踐與認(rèn)識，2010，40（21）：119-124.

[6] 鄧宇，岳瑜素.基于無人機(jī)航測的黃河冰凌監(jiān)測試驗研究[J].中國防汛抗旱，2016，26（4）：34-38.

[7] 楊紀(jì)，崔振華，馮仲林.黃河大橋防凌設(shè)計關(guān)鍵技術(shù)探討[J].人民黃河，2019，41（12）：35-38，49.

[8] 許志輝，劉良明.MODIS動態(tài)監(jiān)測黃河寧蒙河段凌情的技術(shù)與方法[J].水利水電技術(shù)，2007，38（9）：58-61.

[9] 何源浩，韓靜敏，趙斐斐，等.基于MODIS的冰凌監(jiān)測預(yù)報系統(tǒng)的實現(xiàn)[J].人民黃河，2012，34（11）：21-22，25.

[10] ZHANG X， JIN J， LAN Z， et al. ICENET： A Semantic Segmentation Deep Network for River Ice by Fusing Positional and Channel-Wise Attentive Features [J]. Remote Sens， 2020， 12（2）：221-242.

[11] KALKE H， LOEWEN M. Support Vector Machine Learning Applied to Digital Images of River Ice Conditions [J]. Cold Regions Science and Technology， 2018，155：225-236.

[12] 季順迎，陳曉東，劉煜，等.基于油氣平臺的海冰雷達(dá)監(jiān)測圖像處理及冰速測量[J].海洋學(xué)報（中文版），2013，35（3）：119-127.

[13] 季順迎，王安良，王宇新，等.渤海海冰現(xiàn)場監(jiān)測的數(shù)字圖像技術(shù)及其應(yīng)用[J].海洋學(xué)報（中文版），2011，33（4）：79-87.

[14] 叢沛桐，王瑞蘭，李翠霞.黃河封河期冰凌預(yù)警地電測試技術(shù)研究[J].水科學(xué)進(jìn)展，2006，17（6）：877-880.

[15] 郜國明，張寶森，張防修，等.ADCP技術(shù)在黃河河道冰下流速監(jiān)測中的應(yīng)用[J].人民黃河，2018，40（6）：38-42，48.

[16] 曹曉衛(wèi)，李春江，顏小飛，等.利用探地雷達(dá)探測黃河彎道及橋墩周圍冰層厚度[J].南水北調(diào)與水利科技，2016，14（6）：91-95.

[17] OTSUN. A Threshold Selection Method from Gray-Level Histograms[J]. IEEE Transactions on Systems， Man， and Cybernetics， 1979，9（1）：62-66.

[18] 李國宏，秦建敏，陳寧，等.基于亮度均衡化的圖像閾值分割技術(shù)在黃河冰凌監(jiān)測中的應(yīng)用[J].數(shù)學(xué)的實踐與認(rèn)識，2011，41（22）：111-116.

[19] DELPIANO J， PIZARRO L， VERSCHAE R， et al. Multi-Objective Optimization for Parameter Selection and Characterization of Optical Flow Methods [J]. Applied Soft Computing， 2016，46：1067-1078.

[20] GHOSH D， KAABOUCH N. A Survey on Image Mosaicing Techniques[J]. Journal of Visual Communication and Image Representation， 2016，34：1-11.