馮 全，張彥洪，趙曉剛

?

基于機(jī)器視覺的河水表面流速估計(jì)

馮 全1，張彥洪2，趙曉剛1

（1. 甘肅農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院，蘭州 730070；2. 甘肅農(nóng)業(yè)大學(xué)水利水電學(xué)院，蘭州 730070）

為了解決河水流速的視頻測(cè)量需要投擲浮標(biāo)、效率低等問題，提出了基于機(jī)器視覺的河水表面流速測(cè)量方法。采用高清攝像機(jī)拍攝河水流動(dòng)視頻，捕捉河水流動(dòng)時(shí)表面產(chǎn)生的波浪運(yùn)動(dòng)。為了凸顯這些細(xì)微的水面運(yùn)動(dòng)，利用幀差法計(jì)算運(yùn)動(dòng)顯著性圖。提取相鄰2幀顯著性圖的SURF特征點(diǎn)，通過特征點(diǎn)匹配法找出相鄰2幀的匹配點(diǎn)，將匹配點(diǎn)間的距離作為特征點(diǎn)在2幀圖像間的運(yùn)動(dòng)距離。計(jì)算了多幀圖像間特征點(diǎn)運(yùn)動(dòng)距離的直方圖，該直方圖具有單峰特征；通過對(duì)直方圖進(jìn)行曲線擬合準(zhǔn)確地找到峰值對(duì)應(yīng)的距離，將其作為最優(yōu)的運(yùn)動(dòng)距離。最后結(jié)合幀間時(shí)間和根據(jù)小孔成像原理導(dǎo)出的速度公式估計(jì)出河水表面流速。為了驗(yàn)證該方法的有效性，用流速儀和該方法進(jìn)行了對(duì)比試驗(yàn)。結(jié)果表明，該方法具有精度好、穩(wěn)定性高和運(yùn)算速度快的優(yōu)點(diǎn)。在低、中速河流速度估計(jì)時(shí)，該方法最大變異系數(shù)為1.63%，與流速儀測(cè)量結(jié)果的最大相對(duì)誤差僅為3.12%。對(duì)2組數(shù)據(jù)的一致性分析表明，2組數(shù)據(jù)的皮爾遜相關(guān)系數(shù)和斯皮爾曼相關(guān)系數(shù)分別為0.998和0.990，顯示了該方法的速度估計(jì)值與流速儀實(shí)測(cè)值有良好的一致性。與已有的圖像處理方法相比，不僅更為準(zhǔn)確，而且耗時(shí)更短。研究可為用其他機(jī)器視覺處理算法估計(jì)復(fù)雜水面和高速水流提供參考。

河流；速度；視頻；SURF特征；水流；幀差

0 引 言

人眼通過觀察河水表面紋理細(xì)節(jié)的運(yùn)動(dòng)變化，可以察覺到水的流動(dòng)，有經(jīng)驗(yàn)的水文工作者甚至可以較精確地估計(jì)出河水的流速。流速測(cè)量是水文監(jiān)測(cè)的重要工作之一，目前的流速測(cè)量依賴于各種儀器。常用的河水流速測(cè)量方法主要分為3類[1-4]：第1類是傳統(tǒng)的流速儀測(cè)量法，其主要原理是通過水流帶動(dòng)旋槳轉(zhuǎn)動(dòng)，記錄旋槳轉(zhuǎn)速，通過一定的映射關(guān)系可算出流速；第2類是通過聲學(xué)多普勒效應(yīng)來測(cè)量流速，主要用于測(cè)量船，存在著設(shè)備和人力投入大、成本高的問題；第3類是非接觸式，如微波多普勒測(cè)速儀，適合于測(cè)量流速較高的河水。近年來，一些研究者采用基于視頻處理的流速測(cè)量方法[5-6]，如文獻(xiàn)[6]通過跟蹤水流視頻中浮標(biāo)的運(yùn)動(dòng)軌跡，結(jié)合攝像機(jī)標(biāo)定來計(jì)算流速。但該類方法需要投擲浮標(biāo)，無法對(duì)流速進(jìn)行不間斷實(shí)時(shí)監(jiān)測(cè)。

傳統(tǒng)模擬攝像機(jī)分辨率不高，加之要受到電磁傳輸干擾、A/D轉(zhuǎn)換、D1畫面的合成反交錯(cuò)等視頻損傷，使得圖像細(xì)節(jié)紋理丟失嚴(yán)重。用此類攝像機(jī)拍攝的流水視頻中，流水運(yùn)動(dòng)產(chǎn)生的細(xì)節(jié)變化在視頻上往往觀察不清，因此傳統(tǒng)的方法需要借助浮標(biāo)或者示蹤子，通過觀察浮標(biāo)的運(yùn)動(dòng)才能在圖像中分析流水的運(yùn)動(dòng)。近年來，數(shù)百萬乃至千萬分辨率的高清數(shù)字?jǐn)z像機(jī)在運(yùn)動(dòng)檢測(cè)和目標(biāo)跟蹤方面應(yīng)用越來越多，目前主要用于車輛違章抓拍[7-12]和行人跟蹤[8-17]方面。借助高分辨率的攝像機(jī)也能較好地觀測(cè)到水面波動(dòng)的紋理細(xì)節(jié)，特別是含有泥沙的河水，水流表面運(yùn)動(dòng)模式比較明顯。本文在利用高清攝像頭拍攝序列圖像（視頻）的基礎(chǔ)上，提出了基于機(jī)器視覺的非接觸河水表面流速估計(jì)方法，通過在運(yùn)動(dòng)顯著性圖像上提取關(guān)鍵點(diǎn)的SURF特征來描述河水流動(dòng)過程中產(chǎn)生波動(dòng)的運(yùn)動(dòng)特征，然后通過特征點(diǎn)匹配的方法找到對(duì)應(yīng)的運(yùn)動(dòng)點(diǎn)，計(jì)算出這些特征點(diǎn)的運(yùn)動(dòng)距離，以此估計(jì)水面的實(shí)際運(yùn)動(dòng)速度。

1 測(cè)量原理

攝像機(jī)最常用的模型是小孔成像模型。在該模型中，景物通過攝像機(jī)光軸中心投射到成像平面，如圖1所示，采用三參數(shù)模型時(shí)，景物點(diǎn)（,,）投影到成像平面為成像點(diǎn)（,），再轉(zhuǎn)換為圖像點(diǎn)（p, p），則[18]：

式中1=，是成像平面到圖像平面的放大系數(shù),為攝像機(jī)焦距；(p0,p0)是光軸中心在成像平面的交點(diǎn)的圖像坐標(biāo)。式（1）中的3個(gè)參數(shù)可以通過攝像機(jī)標(biāo)定得到[18]。

注：為景物點(diǎn)，為其在圖像平面的像點(diǎn)，為攝像機(jī)焦距。

Note:,anddenote object point, image point and focal length, respectively.

圖1 小孔成像原理

Fig.1 Principle of pinhole imaging

由文獻(xiàn)[18]可知，當(dāng)景物點(diǎn)在垂直于光軸的景物平面時(shí)（該平面平行于圖像平面），景物平面的一點(diǎn)從1(1,1,)運(yùn)動(dòng)到2(2,2,)時(shí)，在圖像平面上對(duì)應(yīng)點(diǎn)從1(p1,p1)運(yùn)動(dòng)到2(p2,p2)，其關(guān)系滿足：

在測(cè)量河水表面流速時(shí),攝像機(jī)鏡頭垂直于水面,水面可視為一平面。通過測(cè)量流水視頻中的特征點(diǎn)的運(yùn)動(dòng)速度、水面到攝像機(jī)距離以及參數(shù)1可估計(jì)出河水表面的實(shí)際流速。

2 基于視頻的表面流速估計(jì)

文獻(xiàn)[19]采用模板匹配的方法來估計(jì)流速，需要先在前一幀圖像上提取大小合適的區(qū)域作為模板以便在后一幀圖像上進(jìn)行模板匹配。但這種方法提取的模板數(shù)量和匹配上的區(qū)域數(shù)量較少，水面波動(dòng)較大、流速較高時(shí)流速估計(jì)的偏差與方差都比較大。而本文提取圖像的局部特征點(diǎn)來匹配，在各種流速的視頻上均能提取出更多數(shù)量特征點(diǎn)，匹配點(diǎn)數(shù)量也較多；本文還采用特征點(diǎn)運(yùn)動(dòng)距離的眾數(shù)而不是距離平均來求流速。這些措施使得流速估計(jì)結(jié)果更加可靠。圖2給出了本方法估計(jì)河水表面流速時(shí)的流程圖。

圖2 河水表面流速估計(jì)的流程圖

2.1 運(yùn)動(dòng)幀差圖

車輛或行人運(yùn)動(dòng)檢測(cè)時(shí)，運(yùn)動(dòng)目標(biāo)和背景差異非常大，因?yàn)樽鳛楸尘暗穆访婊蚪ㄖ遣粍?dòng)的，且顏色、形狀與待檢的運(yùn)動(dòng)目標(biāo)也有很大差別。但在河流表面，水面作為整體是一起運(yùn)動(dòng)的，在完全平靜而清澈的水面，視覺幾乎無法察覺出水的運(yùn)動(dòng)。只有在河水有一定含沙量且水流運(yùn)動(dòng)不穩(wěn)定，能夠形成一定波浪，它們與周圍均勻水面對(duì)光照有反射差異時(shí)，才能通過視覺感知水的流動(dòng)，從而判斷流速。波浪與周圍均勻水面屬于同一物質(zhì)，很多情況下，即便是在高清攝像機(jī)拍攝圖像中其差異也不是很明顯，圖3a和3b分別給出了這樣的例子（視頻的一幀原圖和對(duì)應(yīng)的灰度圖）。這種情形給從河面圖像中檢測(cè)運(yùn)動(dòng)特征點(diǎn)造成了很大困難，如圖3d中計(jì)算SURF特征點(diǎn)時(shí)，只能找到很稀疏的若干點(diǎn)，造成在相鄰幀上進(jìn)行特征點(diǎn)匹配時(shí)數(shù)量太少，無法魯棒地估計(jì)運(yùn)動(dòng)速度。本文的解決思路是利用波浪運(yùn)動(dòng)造成連續(xù)2幀圖像的差異放大運(yùn)動(dòng)區(qū)域，生成運(yùn)動(dòng)幀差圖。設(shè)視頻中當(dāng)前幀為I（灰度圖，=1,2,…），前一幀為I-1，則時(shí)刻的運(yùn)動(dòng)幀差圖M計(jì)算如下：

（3）

式中2、3為預(yù)設(shè)系數(shù)，1為預(yù)設(shè)閾值。通過給2設(shè)置大于1的值，可給予運(yùn)動(dòng)顯著區(qū)域的像素較大的系數(shù)，突出運(yùn)動(dòng)部位。

圖3 SURF特征點(diǎn)的提取與匹配實(shí)例

2幀圖像相減后，對(duì)于視覺無法感知運(yùn)動(dòng)的均勻水面，其對(duì)應(yīng)值接近于0；對(duì)于視覺可以感知的運(yùn)動(dòng)波浪，由于連續(xù)2幀圖像中其位置不同，其對(duì)應(yīng)值較大。這種差異的增大為后續(xù)魯棒地提取更多數(shù)量的特征點(diǎn)提供了基礎(chǔ)。圖3c是在圖3b上計(jì)算出的運(yùn)動(dòng)幀差圖，可以看出圖中對(duì)應(yīng)于原圖，運(yùn)動(dòng)的波浪部分被很好地凸顯出來。

2.2 運(yùn)動(dòng)特征點(diǎn)的提取與匹配

在機(jī)器視覺的文獻(xiàn)中已經(jīng)提出來很多特征點(diǎn)（關(guān)鍵點(diǎn)）的提取方法以及特征描述方法[20]，如SIFT描述子[21]、SURF描述子[22]、GIST算子[23]等。其中SURF是機(jī)器視覺中一種常用的局部特征描述算子[24-26]，用來描述某點(diǎn)周圍空間的特征，將特征表述為一個(gè)特征向量，具有對(duì)圖像縮放、旋轉(zhuǎn)、甚至仿射變換保持不變性的圖像局部特征描述算子的特點(diǎn)。試驗(yàn)表明SURF特征描述算子能很好地描述河流運(yùn)動(dòng)所產(chǎn)生的波紋，并且計(jì)算速度快。故本文在運(yùn)動(dòng)顯著性圖中提取特征點(diǎn)的SURF特征描述算子來表示運(yùn)動(dòng)特征，基本計(jì)算步驟如下：

1）通過Hessian矩陣，找出圖像上的特征點(diǎn)；

2）構(gòu)建尺度空間，定位特征點(diǎn)；

3）基于Harr小波提取特征點(diǎn)描述子。

圖3f給出了相鄰運(yùn)動(dòng)顯著圖上特征點(diǎn)匹配的例子，其中2個(gè)有連線的點(diǎn)表示一對(duì)匹配點(diǎn)，可以看到出現(xiàn)了部分長(zhǎng)距離匹配點(diǎn)，顯然這是錯(cuò)誤的匹配。為了進(jìn)一步提高匹配的可靠性，還應(yīng)考慮運(yùn)動(dòng)的空間約束。因?yàn)榱魉乃俣韧ǔ２⒉缓芸?，圖像中的特征點(diǎn)在有限時(shí)間內(nèi)的運(yùn)動(dòng)位移是有限的，因此m的對(duì)應(yīng)點(diǎn)m位置只能出現(xiàn)在其周圍一定空間內(nèi)。這樣，可根據(jù)預(yù)先設(shè)定的空間約束條件進(jìn)一步刪除部分錯(cuò)誤匹配的點(diǎn)。若記d=|m-m|為2匹配點(diǎn)的坐標(biāo)距離，則它們之間的空間約束條件為：2≤d≤3，2和3為預(yù)設(shè)的閾值，其值與流速、圖像分辨率、攝像機(jī)高度等有關(guān)，在本文的試驗(yàn)條件下，2和3分別為設(shè)定為5和100像素，能滿足濾去部分誤匹配點(diǎn)，而基本不會(huì)丟掉正確匹配點(diǎn)的要求。圖3g給出了在空間約束條件下計(jì)算出的匹配情況，可以看出效果比圖3f好，更符合人的視覺感知。

河面中常有一些漂浮物，可以近似為剛體，在運(yùn)動(dòng)跟蹤時(shí)起到了示蹤子的作用，其運(yùn)動(dòng)形態(tài)比波浪更好檢測(cè)。圖3h給出了有漂浮物時(shí)運(yùn)動(dòng)點(diǎn)匹配的例子。

2.3 表面流速的估計(jì)

在相鄰2幀運(yùn)動(dòng)顯著性圖上可以找到多對(duì)運(yùn)動(dòng)匹配點(diǎn)，每對(duì)點(diǎn)的運(yùn)動(dòng)距離并不相同，說明各點(diǎn)速度并不相同，這反映了攝像機(jī)視場(chǎng)內(nèi)河面各點(diǎn)運(yùn)動(dòng)并不是一致的。此外，從圖3g也可以看出，在2幀運(yùn)動(dòng)顯著性圖上找到的匹配點(diǎn)對(duì)在視場(chǎng)中分布并不均勻，它們能否代表整個(gè)視場(chǎng)的流速并不確定。但是如果在一段時(shí)間內(nèi)將多幀圖像上的匹配點(diǎn)對(duì)累積繪制在1張圖上，則可以看出視場(chǎng)中匹配點(diǎn)對(duì)是基本均勻分布的，圖4繪制了某段視頻多幀運(yùn)動(dòng)顯著性圖上的匹配點(diǎn)對(duì)的累積分布情形。為了得到可靠的流速，本文并不計(jì)算單個(gè)特征點(diǎn)在2幀之間的速度，而是求視場(chǎng)內(nèi)河面一段時(shí)間的平均流速的最優(yōu)估計(jì)。即按照2.2節(jié)的方法估計(jì)出（試驗(yàn)中取100）幀運(yùn)動(dòng)顯著性圖以及所有相鄰2幀上匹配特征點(diǎn)的最優(yōu)運(yùn)動(dòng)距離后*后，在圖像上平均流速的最優(yōu)估計(jì)值*為

注：圖中的大方框區(qū)域是對(duì)小方框區(qū)域的放大。

Note: In the figure, the large box area is an enlargement of the small box area.

圖4 多幀運(yùn)動(dòng)顯著圖上SURF特征點(diǎn)累積分布圖

Fig.4 Accumulated distribution of SURF features through multiple maps of motion saliency

為了得到*，以運(yùn)動(dòng)距離為橫軸，落在某段距離范圍內(nèi)的點(diǎn)對(duì)數(shù)為縱軸，進(jìn)行直方圖統(tǒng)計(jì)。發(fā)現(xiàn)一段時(shí)間內(nèi)各特征點(diǎn)對(duì)的運(yùn)動(dòng)距離密集分布在一定范圍內(nèi)，直方圖通常呈現(xiàn)單峰分布，接近于正態(tài)分布。圖5繪出了在某段河流視頻中連續(xù)100幀運(yùn)動(dòng)顯著性圖上的相鄰圖匹配點(diǎn)位移－頻次直方圖，橫坐標(biāo)的單位是像素。本文取直方圖中峰值處對(duì)應(yīng)的橫坐標(biāo)距離為運(yùn)動(dòng)距離的最優(yōu)估計(jì)，這相當(dāng)于采用距離的眾數(shù)作為估計(jì)依據(jù)。對(duì)大量直方圖的觀察發(fā)現(xiàn)，雖然大部分直方圖呈單峰性，但會(huì)出現(xiàn)下面的3種情形：1）部分直方圖的偏度不為0；2）有些直方圖峰值處較為平坦；3）有些可能出現(xiàn)相鄰雙峰。此外受直方圖坐標(biāo)橫軸統(tǒng)計(jì)間隔精度影響，即便是單峰，也不能在直方圖上對(duì)峰值處準(zhǔn)確定位。為了解決以上問題，本文采用了曲線擬合，即計(jì)算出直方圖后，再用如下高斯曲線對(duì)其進(jìn)行擬合：

式中為匹配特征點(diǎn)的運(yùn)動(dòng)距離（像素），()表示對(duì)直方圖的擬合高斯曲線，為其標(biāo)準(zhǔn)差，是其高度。

通過曲線擬合得到運(yùn)動(dòng)距離最優(yōu)估計(jì)*后，代入式（4）可計(jì)算出視頻中特征點(diǎn)的平均運(yùn)動(dòng)速度，也就是圖像上流速的估計(jì)值。再利用式（2）和攝像機(jī)參數(shù)可以計(jì)算實(shí)際流速。由于運(yùn)動(dòng)距離是相對(duì)位移，且本文不考慮運(yùn)動(dòng)方向，故河水表面平均流速*（m/s）估計(jì)公式可簡(jiǎn)化為：

*=*/1（6）

式中為攝像機(jī)鏡頭到水面距離，m。

圖5 距離直方圖示例

3 案例及結(jié)果分析

3.1 試驗(yàn)設(shè)備及參數(shù)設(shè)置

試驗(yàn)中視頻采集使用的攝像機(jī)為佳能公司EOS1200D，鏡頭采用EF 75-300 mm Ⅲ，拍攝視頻的圖像尺寸為1920×1088像素，幀率為25。視頻圖像處理過程是在惠普筆記本上完成（Intel i5-5200U CPU，@2.20 GHz，2 201 MHz，雙核，4 GB內(nèi)存，windows10操作系統(tǒng)），算法運(yùn)行環(huán)境是matlab 2016a。水流測(cè)量?jī)x型號(hào)為L(zhǎng)S1206B型旋漿式流速儀（生產(chǎn)廠家：北京宏信恒測(cè)科技有限公司），涉水測(cè)量方式為側(cè)桿安裝，液晶屏讀數(shù)，測(cè)速范圍0.05～8 m/s，相對(duì)誤差的絕對(duì)值≤5%，全線相對(duì)均方差的絕對(duì)值≤1.5%。

試驗(yàn)中參數(shù)1需要通過攝像機(jī)標(biāo)定計(jì)算得到。2取1.5，3設(shè)置為1，即對(duì)運(yùn)動(dòng)顯著區(qū)域的像素值給予一定放大，而對(duì)于非顯著性區(qū)域的像素值則保持原值。為了選擇合適的閾值1，本文在8次試驗(yàn)拍攝的視頻中隨機(jī)挑選8幀圖像，對(duì)人工判斷圖像中沒有明顯運(yùn)動(dòng)的區(qū)域進(jìn)行截圖，計(jì)算出這些截圖的像素平均標(biāo)準(zhǔn)差=1.04，將1設(shè)置為3。由于試驗(yàn)中攝像機(jī)高度距水面實(shí)際距離大約在2～3 m之間，在設(shè)定的不同焦距下，從視頻計(jì)算出的運(yùn)動(dòng)顯著性圖中，特征點(diǎn)在2幀之間運(yùn)動(dòng)距離的眾數(shù)基本在20～60像素，簡(jiǎn)單地將空間約束條件的2個(gè)閾值設(shè)為：2=5像素，3=100像素，以濾除部分違反空間約束的錯(cuò)誤匹配點(diǎn)對(duì)。

3.2 河流速度測(cè)試與數(shù)據(jù)分析

為驗(yàn)證本方法的有效性，從2016年7月—2017年10月間的晴朗天氣條件下，在黃河蘭州段的河口至七里河黃河大橋之間的不同地點(diǎn)，拍攝了8段不同流速的水流視頻，流速范圍從低速到中速，并用流速儀同步測(cè)量了視場(chǎng)中心的流速作為基準(zhǔn)。選擇視場(chǎng)中各點(diǎn)水流方向一致、穩(wěn)定的河面進(jìn)行拍攝，河面沒有漩渦和耀斑。攝像機(jī)固定在倒L型懸臂的頂端，支架高度1.8 m，拍攝時(shí)支架固定于岸邊，鏡頭光軸垂直于水面，攝像機(jī)距離水面的實(shí)際高度用懸臂上的鉛垂線測(cè)定，用0.4 m×0.4 m的輕質(zhì)方框?qū)z像機(jī)進(jìn)行標(biāo)定[18]。測(cè)量時(shí)，每隔1 min用流速儀記錄1次攝像機(jī)視場(chǎng)中央的流速，共測(cè)10次。流速儀完全浸沒于水中但盡量接近水面。為了不干擾攝像機(jī)視場(chǎng)，每次測(cè)量完，迅速將流速儀拽離。用于流速估計(jì)的視頻只取水面沒有流速儀的部分。視頻序列圖像分析時(shí)，每100幀運(yùn)動(dòng)顯著性圖計(jì)算1次流速，即每4 s輸出1次估計(jì)值；每1 min為1個(gè)周期，輸出15個(gè)估計(jì)值；10 min為1次完整測(cè)量，得到150個(gè)流速估計(jì)值。表1給出了8次測(cè)量中流速儀和本文的視頻測(cè)量結(jié)果的對(duì)比。本文方法測(cè)定的8種流速值與流速儀測(cè)定值的相對(duì)誤差（RE，見表1）在1.39%～3.12%之間，2組測(cè)定結(jié)果比較接近。本文方法的最大CV為1.63%，可見流速估計(jì)法數(shù)據(jù)分散性小、精密度高。在本文的測(cè)試范圍內(nèi)，隨著流速的加快，本方法的相對(duì)偏差和標(biāo)準(zhǔn)差有所增大的趨勢(shì)。這可能與下述原因有關(guān)：1）流速儀測(cè)量的是單點(diǎn)流速，而本文是面流速的整體估計(jì)，兩者之間本來有一定偏差。2）隨著流速增大，水面波動(dòng)增大，不穩(wěn)定現(xiàn)象有所加劇，水面各點(diǎn)速度不同，導(dǎo)致標(biāo)準(zhǔn)差增加。

文獻(xiàn)[30]采用模板匹配的方法來估計(jì)流速，需要先在前一幀圖像上提取大小合適的區(qū)域作為模板以便在后一幀圖像上進(jìn)行模板匹配。表1給出了文獻(xiàn)[30]和本文方法的比較，本文流速估計(jì)的CV和RE分別為1.46%和2.09%，而文獻(xiàn)[30]分別為2.63%和2.88%，本文方法比文獻(xiàn)[30]的方法分別減小了44.5%和26.9%。而在計(jì)算耗時(shí)方面，在本文計(jì)算的環(huán)境下，8次流速估計(jì)的平均時(shí)間為1.35 s，只有文獻(xiàn)[30]（平均耗時(shí)30.3 s）的4.4%。本文方法與文獻(xiàn)[30]相比有以下的優(yōu)點(diǎn)：1）后者對(duì)作為模板的區(qū)域大小有一定要求，區(qū)域太大匹配速度慢，太小則不夠穩(wěn)定，故提取出的模板數(shù)量和匹配上的區(qū)域數(shù)量都較少，對(duì)于水面波動(dòng)較大、流速較高時(shí)流速估計(jì)的偏差與方差都比較大；而本文方法是提取圖像的局部特征點(diǎn)來匹配，在各種流速的視頻上均能提取出更多數(shù)量特征點(diǎn)，匹配點(diǎn)數(shù)量也較多，故估計(jì)效果更加魯棒。2）基于特征點(diǎn)的匹配比基于區(qū)域的模板匹配方法計(jì)算復(fù)雜度要小，這導(dǎo)致本文方法的計(jì)算速度得到了較大的提升，基本實(shí)現(xiàn)了流速的實(shí)時(shí)估計(jì)。3）后者對(duì)模板運(yùn)動(dòng)距離求平均來估計(jì)流速，對(duì)于有偏的距離分布，這種方法不夠合理；本文對(duì)特征點(diǎn)運(yùn)動(dòng)距離直方圖進(jìn)行高斯曲線擬合后取高斯曲線的中心值作為最優(yōu)運(yùn)動(dòng)距離，這相當(dāng)于取多特征點(diǎn)運(yùn)動(dòng)距離的眾數(shù)，更容易與流速儀的單點(diǎn)測(cè)量結(jié)果匹配。以上措施使得本文流速估計(jì)結(jié)果更加可靠，在表1的各項(xiàng)比較指標(biāo)中，本文方法均優(yōu)于文獻(xiàn)[30]。

表1 流速儀與視頻測(cè)量結(jié)果對(duì)比

注：流速儀流速為10 min測(cè)得流速的平均值；RE為估計(jì)值與流速儀測(cè)定值的相對(duì)誤差；運(yùn)動(dòng)速度指圖像平面上估計(jì)出的平均運(yùn)動(dòng)速度。

Note: Speed measured by current meter is average over 10 min; RE is relative error between estimator by this study and literature and that measured by current meter; Motion speed is the mean by the image plane.

注：r1為皮爾遜相關(guān)系數(shù)，r2為斯皮爾曼相關(guān)系數(shù)，D為一致性限度，P為Bland-Altman回歸顯著性分析P值。

此外，本文還對(duì)文獻(xiàn)[6]的浮子跟蹤法的流速估計(jì)進(jìn)行了試驗(yàn)，該方法采用卡爾曼濾波法跟蹤浮子的軌跡，用若干幀間浮子的運(yùn)動(dòng)距離除以時(shí)間得到速度。試驗(yàn)條件和標(biāo)定方法同前，為簡(jiǎn)單起見，本文用乒乓球代替浮子從攝像機(jī)鏡頭下漂過，重復(fù)5次，每次先用流速儀測(cè)得視場(chǎng)中心的流速，然后從視場(chǎng)外投擲乒乓球，使其自然漂入視場(chǎng)。試驗(yàn)中，選擇從乒乓球完全進(jìn)入視場(chǎng)對(duì)應(yīng)的一幀到正要離開視場(chǎng)的那一幀來計(jì)算運(yùn)動(dòng)距離。流速儀5次實(shí)測(cè)的平均流速是0.315 m/s。本文算法的平均估計(jì)流速是0.319 m/s，變異系數(shù)為1.06%，與實(shí)測(cè)值的相對(duì)誤差為1.27%；浮子法估計(jì)平均流速是0.321 m/s，變異系數(shù)為2.73%，與實(shí)測(cè)值的相對(duì)誤差為1.90%。在浮子法測(cè)速試驗(yàn)中，無法控制每次測(cè)量時(shí)乒乓球的漂流路徑，而乒乓球的不同漂流路徑上的流速與視場(chǎng)中心流速差異會(huì)導(dǎo)致誤差及變異系數(shù)增大。

本文雖然是對(duì)河水表面流速進(jìn)行估計(jì)，其原理同樣適用于明渠。但河水和明渠條件有所不同，通常河水?dāng)y帶泥沙量較多，濁度較大，水的波動(dòng)比較明顯，便于提取特征點(diǎn)。對(duì)于濁度類似的明渠，本方法有一定的實(shí)用性，但有些明渠中水較為清澈，肉眼難以觀察明顯波動(dòng)，本文方法可能不適用。在以后研究中可以就什么濁度下的水流可以用本方法進(jìn)行探討，將本方法應(yīng)用于明渠水流的測(cè)定。

4 結(jié) 論

傳統(tǒng)的視頻河水表面流速估計(jì)需要投擲示蹤子來指示水流，費(fèi)時(shí)費(fèi)力，無法連續(xù)測(cè)量。本文采用高清攝像機(jī)捕捉河水流動(dòng)時(shí)水面波動(dòng)紋理的細(xì)節(jié)，通過計(jì)算視頻的2幀圖像之差獲得運(yùn)動(dòng)顯著性圖，突出波動(dòng)水紋的細(xì)節(jié)。在運(yùn)動(dòng)顯著性圖上計(jì)算特征點(diǎn)的SURF特征描述算子后，對(duì)前后2幀圖像的特征點(diǎn)進(jìn)行匹配，以獲得特征點(diǎn)的運(yùn)動(dòng)距離；在獲得大量運(yùn)動(dòng)數(shù)據(jù)后，采用統(tǒng)計(jì)方法估計(jì)出視頻中特征點(diǎn)的最優(yōu)運(yùn)動(dòng)速度，再聯(lián)合攝像機(jī)標(biāo)定來測(cè)算河水表面的實(shí)際流速。通過試驗(yàn)發(fā)現(xiàn)：本文方法的估計(jì)流速與流速儀實(shí)測(cè)結(jié)果相比，最大相對(duì)誤差僅為3.12%，最大變異系數(shù)1.63%；采用多種一致性分析方法的得出本文的估計(jì)結(jié)果與實(shí)測(cè)值具有良好的一致性；與現(xiàn)有河水流速的視頻估計(jì)方法相比，本文估計(jì)精度提高，計(jì)算時(shí)間僅為對(duì)比方法的4.4%。以上說明本文流速估計(jì)精度高，數(shù)據(jù)的一致性好，計(jì)算速度快。與傳統(tǒng)方法相比，本方法的優(yōu)點(diǎn)是不需要投擲浮標(biāo)，可實(shí)現(xiàn)實(shí)時(shí)、連續(xù)測(cè)量，人力和設(shè)備成本低。

受條件限制，本文只在黃河蘭州段部分河道上進(jìn)行了試驗(yàn)，流速數(shù)據(jù)采集也只涵蓋了低速到中速，對(duì)水面狀態(tài)選擇也有一定限制，如要求水流平穩(wěn)，無耀斑和漩渦。這些限制條件主要為了減少噪聲和程序的處理難度。不穩(wěn)定水面上的耀斑，可在多幀圖像中的某些區(qū)域來回閃動(dòng)，會(huì)被程序誤作為特征點(diǎn)；而水面漩渦內(nèi)各點(diǎn)速度和方向都不相同，與無漩渦處的流速也不相同，可能在運(yùn)動(dòng)距離直方圖上形成多個(gè)峰，而本文只擬合單峰，故可能導(dǎo)致曲線擬合時(shí)出現(xiàn)較大誤差。但試驗(yàn)初步表明，本文提出的水流速度測(cè)量方法在受限條件下可以獲得較高精度的測(cè)量結(jié)果，這為進(jìn)一步采用其他機(jī)器視覺處理算法估計(jì)復(fù)雜水面和高速水流提供了參考。

[1] 盛森芝. 流速測(cè)量技術(shù)[M]. 北京：北京大學(xué)出版社, 1987.

[2] 王俊，熊明. 水文監(jiān)測(cè)體系創(chuàng)新及關(guān)鍵技術(shù)研究[M]. 北京：中國(guó)水利水電出版社，2015.

[3] 于建華，楊勝勇，潘妮. 水文信息采集與處理[M]. 北京：中國(guó)水利水電出版社，2015.

[4] 王俊，陳松生，趙昕. 中美水文測(cè)驗(yàn)比較研究[M]. 北京：科學(xué)出版社，2017.

[5] 王興奎，禹明忠，李丹勛, 等. 大范圍表面流速場(chǎng)的圖像處理系統(tǒng)及其同步實(shí)時(shí)測(cè)量方法: ZL 00130291. 4[P]. 2001-03-28.

[6] 韓予皖. 基于視頻處理的河水流速監(jiān)測(cè)系統(tǒng)設(shè)計(jì)[D]. 太原：太原理工大學(xué), 2013. Han Yuwan. Velocity of River Flow Monitoring System Based on Video Processing[D]. Taiyuan: Taiyuan University of Technology, 2013. (in Chinese with English abstract)

[7] Cucchiara R, Piccardi M, Mello P. Image analysis and rule-based reasoning for a traffic monitoring system[J]. IEEE Transactions on Intelligent Transportation Systems, 2000, 1(2): 119－130.

[8] Schoepflin T, Dailey D. Dynamic camera calibration of roadside traffic management cameras for vehicle speed estimation[J]. IEEE Transactions on Intelligent Transportation Systems, 2003, 4(2): 90－98.

[9] Collins R T, Liu Y X, Leordeanu M. Online selection of discriminative tracking features [J]. IEEE Transaction on Pattern Anlysis and Machine Intelligence, 2005, 27(10): 1631－1643.

[10] 支晨蛟，唐慧明. 基于視頻角點(diǎn)特征匹配的車速檢測(cè)方法[J]. 計(jì)算機(jī)工程，2013，39(12)：176－180. Zhi Chenjiao, Tang Huiming. Vehicle speed detection method based on video corner feature matching [J]. Computer Engineering, 2013, 39(12): 176－180. (in Chinese with English abstract)

[11] Tran D, Yuan J, Forsyth D. Video event detection: From subvolume location to spatiotemporal path search [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(2): 404－416.

[12] 朱周. 復(fù)雜環(huán)境下基于視頻的車輛跟蹤算法研究[D]. 南京：東南大學(xué)，2015. Zhu Zhou. Research on Video Based Vehicle Tracking Algorithm in Complex Environment [D]. Nanjing: Southeast University, 2015. (in Chinese with English abstract)

[13] Munder S, Schnorr C, Gavrila D M. Pedestrian detection and tracking using a mixture of view-based shape-texture models[J]. IEEE Transactions on Intelligent Transportation Systems, 2008, 9(6): 333－343.

[14] Dollár P, Wojek C, Schiele B, et al. Pedestrian detection: an evaluation of the state of the art[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(4): 743－761.

[15] 蘇松志，李紹滋，陳淑媛，等. 行人檢測(cè)技術(shù)綜述[J]. 電子學(xué)報(bào)，2012，40(4)：814－820. Su Songzhi, Li Shaozi, Chen Shuyuan, et al. A survey on pedestrian detection[J]. Acta Electronica Sinica, 2012, 40(4): 814－820. (in Chinese with English abstract)

[16] 呂敬欽. 視頻行人檢測(cè)及跟蹤的關(guān)鍵技術(shù)研究[D]. 上海：上海交通大學(xué)，2013. Lü Jingqin. Research on Important Issues of Video Pedestrian Detection and Tracking [D]. Shanghai: Shaihai Jiao Tong University, 2013. (in Chinese with English abstract)

[17] 文嘉俊. 運(yùn)動(dòng)目標(biāo)檢測(cè)及其行為分析研究[D]. 哈爾濱：哈爾濱工業(yè)大學(xué), 2015. Wen Jiajun. Research on Moving Object Detection [D]. Haerbin: Haerbin Institute of Technology, 2015. (in Chinese with English abstract)

[18] 徐德，譚民，李原. 機(jī)器人視覺測(cè)量與控制[M]. 第3版. 北京：國(guó)防工業(yè)出版社，2016.

[19] Tuytelaars T, Mikolajczyk K. Local invariant feature detectors: A survey [J]. Computer Graphics and Vision, 2007, 3(3): 177－280.

[20] Lowe D G. Distinctive image features from scale-invariant key points [J]. International Journal of Computer Vision, 2004, 60(2): 91－110.

[21] Bay H, Ess A, Tuytelaars T, et al. Speeded up robust features [J]. Computer Vision and Image Understanding, 2008, 110(3): 346—359.

[22] Oliva A, Torralba A. Modeling the shape of the scene: A holistic representation of the spatial envelope[J]. International Journal of Computer Vision, 2001, 42(3): 145—175.

[23] 張志斌，趙帥領(lǐng)，羅錫文，等. 基于SURF算法的綠色作物特征提取與圖像匹配方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(14)：172—178. Zhang Zhibin, Zhao Shuailing, Luo Xiwen, etc. . Matching method of green crops based on SURF feature extraction [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(14): 172－178. (in Chinese with English abstract)

[24] 羅天健，劉秉瀚. 融合特征的快速SURF配準(zhǔn)算法[J]. 中國(guó)圖象圖形學(xué)報(bào)，2015，20(1)：95—103. Luo Tianjian, Liu Binghan. Fast SURF key-points image registration algorithm by fusion features [J]. Journal of Image and Graphics, 2015, 20(1): 95—103. (in Chinese with English abstract)

[25] 鄧集洪，魏宇星. 基于局部特征描述的目標(biāo)定位[J]. 光電工程，2015，42(1)：58—64. Deng Jihong, Wei Yuxing. Location of object based on local feature descriptor [J]. Opto-Electronic Engineering , 2015, 42(1): 58—64. (in Chinese with English abstract)

[26] Bunce C. Correlation, agreement, and Bland-Altman analysis: Statistical analysis of method comparison studies [J]. Am J Ophthal, 2009, 148(1): 4—6.

[27] 李鎰沖，李曉松. 兩種測(cè)量方法定量測(cè)量結(jié)果的一致性評(píng)價(jià)[J]. 現(xiàn)代預(yù)防醫(yī)學(xué)，2007，34(17)：3263—3266. Li Yichong, Li Xiaosong. Evaluation on different assessment methods of consistency of quantitative measurements [J]. Modern Preventive Medicine, 2007, 34(17): 3263—3266. (in Chinese with English abstract)

[28] Zaki R, Bulgiba A, Ismil N. Testing the agreement of medical instruments: overestimation of bias in the Bland-Altman analysis [J]. Prev Med, 2013, 57(3): S80—82.

[29] Shao Jun. Mathematical Statistics Second Edition [M]. NewYork: Springer, 2009.

[30] 趙曉剛，馮全，王書志. 一種基于幀間差分與模板匹配的河水表面流速測(cè)量方法[J]. 計(jì)算機(jī)應(yīng)用與軟件，2017，34(9)：68－71. Zhao Xiaogang, Feng Quan, Wang Shuzhi. Measuring surface velocity of river flow based on images of frame difference and template matching[J]. Computer Applications and Software, 2017, 34(9): 68－71. (in Chinese with English abstract)

Estimation of surface speed of river flow based on machine vision

Feng Quan1, Zhang Yanhong2, Zhao Xiaogang1

(1.730070,; 2.730070,)

The wave represents the motion of river flow. The surface speed of river can be estimated through motion analysis for the wave. In the paper, a method was proposed based on computer vision to estimate the surface speed of river directly. The method tried to capture the motion of wave caused by flowing river from the video. However, even taken by HD camera, the contrast between moving waves and even surface in an image is still not obvious since they are homogeneous and all moved as a whole. In order to enlarge details of the motion of waves, the map of motion saliency was calculated by the way of frame difference method. In the map, the key points were extracted and characterized by SURF features. These key points represented the most salient positions of waves. Through the point matching algorithm, a key point in one map and its counterparts in next map were searched. The correspondence between the 2 matched points indicated the motion of wave in the video and the distance between them was computed. In principle, with this distance and the parameters of camera, we could estimate the immediate speed of flow. However, the distance was noisy essentially. For robust and accurate estimation, we estimated the average speed instead of immediate speed. So, we calculated the histogram of the distances during the period of time. We found that most of these histograms appeared as uni-modal distribution. However, there existed some histograms which appeared with 2 adjacent peaks, or appeared with a flat peak. This resulted in the difficulty for estimation of distance accurately. To address the problem, we utilized the Gaussian curve to fit the histogram. The peak of the fitted curve could be searched accurately and its corresponding distance was viewed as the optimal estimation of average distance. Finally, with the speed formula derived from pinhole model, the optimal distance and the time between 2 maps, we could estimate the average surface speed of the river flow. To validate the availability of the proposed method, we compared the speeds estimated by our method with the baselines measured by the current meter. In our experimental setting, we selected gently surface for measurement task, without whirlpool and reflection. We conducted 8 measurements, with the speeds being limited between low and middle range. The experimental results showed that maximal relative error of speed between ours and the baseline was 3.12% while the min relative error only 1.39%, indicating good accuracy of our method. The min and max coefficient of variation was 1.04% and 1.63% respectively, showing high reliability. The correlation coefficients of Pearson and Spearman between our estimators and measured values were respectively 0.998 and 0.990. Bland-Altman regressionis 0.16, higher than 0.05 and in Bland-Altman scatter plot, most of points fell into the limits of agreement. These results showed that the flow speed estimated by our method had a good consistency with the baselines. In addition, our method was compared to the image processing method by previous literatures, the results showed that the time consumption was shortened by our study, which was only 4.4% of that of the literature, indicating that our method is faster than the previous method. In sum, this study provides an effective method for the estimation of flow speed of rivers with complex background.

rivers; speed; video; SURF feature; flow; frame difference

10.11975/j.issn.1002-6819.2018.19.018

TP391.41

A

1002-6819(2018)-19-0140-07

2018-02-04

2018-08-10

國(guó)家自然基金資助項(xiàng)目（61461005）；甘肅省水利廳科技計(jì)劃項(xiàng)目（201776）

馮 全，四川隆昌人，教授，博士，研究方向：計(jì)算機(jī)視覺，農(nóng)業(yè)工程。Email：fquan@sina.com

馮 全，張彥洪，趙曉剛.基于機(jī)器視覺的河水表面流速估計(jì)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(19)：140－146. doi：10.11975/j.issn.1002-6819.2018.19.018 http://www.tcsae.org

Feng Quan, Zhang Yanhong, Zhao Xiaogang. Estimation of surface speed of river flow based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(19): 140－146. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.19.018 http://www.tcsae.org