王祖武,丁 健,魏文力,韓 軍

(1.上海大學 通信與信息工程學院，上海 200444;2.上海先進通信與數(shù)據(jù)科學研究院，上海 200444;3.國網(wǎng)浙江省電力公司 檢修分公司，杭州 310007)

0 引言

近年，國家的公共設(shè)施(例如電力線、電力線桿塔、雕像等)的完善極大方便了人們的生產(chǎn)生活。公共設(shè)施需要定期的檢測維護以確保證公共設(shè)施安全運行，其中輸電線路覆冰是影響電力系統(tǒng)安全運行的重要威脅，是國內(nèi)外電力系統(tǒng)最為嚴重的自然災害之一。為保障電力通暢，需要對輸電線的寬度進行監(jiān)控測量，并根據(jù)監(jiān)控數(shù)據(jù)做出相應的應對措施。因此，研究對線目標的測量在實際應用中具有重要的意義。

當前，目標測量分為主動式測量和被動式測量兩種。Golinelli等[1-2]提出了一種基于紅外激光的便攜式測量系統(tǒng)，采用激光測距原理測量對線目標進行測量，馬[3]提出一種使用超聲波的目標測量方式，但超聲波測量方式一般用于測量參考點到目標之間的距離。主動測量方式下，使用外部向被測對象施加的能量對目標進行測量，雖然準確度比較高，但成本很高，功耗比較大，在實際應用中普及率非常低。Mahajan等[4]和Kamboj 等[5]提出一種結(jié)合GPS進行目標測量的方式，相對于主動測量，它不需要對被測對象施加能量，不受被測對象特性的影響，但需要在GPS信號比較強的地方進行，在山區(qū)、叢林等復雜區(qū)域信號誤差較大。王等[6]和韓等[7]提出一種使用全站儀進行測量的方式，但這種基于全站儀的測量方式需要選擇合適的參考點，人為因素較大，在環(huán)境復雜、人工無法涉足的地方選擇合適的參考點比較困難，同時測量效率降低、誤差增大。而雙目立體視覺技術(shù)[8-9]在測量方面具有測量精度高，功耗低，重量輕等優(yōu)點。此外無人機具有質(zhì)量輕、體積小、靈活輕便、拍攝角度全面、可操作性強等優(yōu)點，在電力線巡檢、測量等各領(lǐng)域中的使用不斷增多。

基于上述對目標測量方法的分析，使用雙目立體視覺技術(shù)對線目標進行測量。為提高對線目標的測量精度，在以下兩個方面進行了改進優(yōu)化。第一，在匹配算法方面，對傳統(tǒng)Census立體匹配算法做了改進，在代價聚合階段對聚合窗口中的初始代價值進行了異常值處理，抑制錯誤初始匹配代價；第二，在線目標視差圖優(yōu)化方面，提出一種基于目標識別的線目標視差圖優(yōu)化算法，該算法依據(jù)目標識別獲取線目標視差圖，然后根據(jù)提出的4個步驟進行優(yōu)化處理，最后得到優(yōu)化后的線目標視差圖。最終設(shè)計出一個無人機雙目視覺圖像采集系統(tǒng)，并依據(jù)采集到的雙目圖像實現(xiàn)對線目標的測量。實際測量結(jié)果表明，該改進方法提高了雙目圖像正確匹配率，對線目標的測量具有較高的精度。

1 改進立體匹配算法

立體匹配算法的精度直接影響著雙目測量的精度。對Scharstein[10]對立體匹配算法進行歸納，包括初始匹配代價估計、代價聚合、視差選擇和優(yōu)化4個方面，并對Census算法中代價過程做了改進。

1.1 初始匹配代價計算

考慮到實際應用場景是戶外，相機成像受光照輻射影響比較大，依據(jù)文獻[10]，采用Census變換計算初始匹配代價。其中以像素為中心選擇Census變換的固定窗口，以中心像素作為參考值，計算該窗口的比特串，如公式(1)～(2)所示。

(1)

(2)

其中：Np={I(pi)|i∈(0,m×n),i∈N,且i≠m×n/2+1}表示除了中心像素p以外的窗口內(nèi)灰度值的集合，?表示按位連接，m和n分別表示支持窗口的長和寬，I(q)表示鄰域像素灰度值，I(p) 表示窗口中心像素灰度值。然后計算Census變換后比特串之間的Hamming距離，用C(p,q,d) 表示，其中d為最大視差dmax和最小視差dmin之間的任意值，即d∈[dmin,dmax]。最后為了控制奇異值，將初始匹配代價值映射到區(qū)間[0,1]中，并以此作為新的初始匹配代價。映射函數(shù)如公式(3)所示。

(3)

其中:Cinit(p,q,d)為初始匹配代價，λ為控制離群值的參數(shù)。

1.2 代價聚合

代價聚合是立體匹配的關(guān)鍵之處。首先根據(jù)Mei等[12]提出的十字交叉代價聚合法得到聚合窗口S，對于任一像素點p，如圖1(a)所示。

圖1 像素P

根據(jù)顏色相似度和空間距離尋找該像素點的橫向臂長(ArmL、ArmR)和縱向臂長(ArmU、ArmD)。臂長的判別原則如(4)～(7)式所示。

Dc(p1,p)<τ1AndDc(p1,p+(1,0))<τ1

(4)

Ds(p1,p)

(5)

Dc(p1,p)<τ2ifL2

(6)

τ1>τ2AndL1>L2

(7)

其中:p1表示像素p的最右邊像素點。Dc表示計算兩個像素點的顏色相似度，Ds表示兩個像素點的空間距離，τ1、τ2，L1、L2分別表示顏色相似度、空間相似度閾值。隨后根據(jù)像素點的橫向臂長和縱向臂長得到像素點p的聚合區(qū)域S，如圖1(b)所示。然而，考慮到自然環(huán)境和相機性能對成像的影響，當聚合區(qū)域S中存在比較多的干擾(異常值)時，采用Mei的方法產(chǎn)生的代價聚合值將會變得不準確，為此,經(jīng)過對傳統(tǒng)立體匹配算法中的代價聚合過程做了改進,提出對聚合區(qū)域S內(nèi)的初始代價值做異常值處理。具體步驟如下：首先計算聚合區(qū)域S的平均值a和方差b，如式(8)～(9)所示:

(8)

(9)

其中:n表示聚合區(qū)域S中所含元素的個數(shù)；而后按照如下兩個準則對區(qū)域S中的初始代價值進行處理，其中α為初始代價值個數(shù)的閾值：

1)當聚合區(qū)域S中的初始代價值的個數(shù)n<α時，不對聚合區(qū)域S內(nèi)初始代價值進行異常值剔除。

2)當聚合區(qū)域S中的數(shù)據(jù)個數(shù)n≥α時，初始代價值大于a+3b或者小于a-3b則判別為異常值并給予剔除。

根據(jù)以上原則可得到關(guān)于像素點p的一個新的聚合區(qū)域S′，然后再對聚合區(qū)域S′進行代價聚合得到聚合匹配代價，如式(10)所示。

(10)

其中:Cagg(u,v,d)為聚合后的匹配代價，n′為新聚合區(qū)域S′中初始匹配代價值的個數(shù)。

1.3 視差選擇和優(yōu)化

在視差選擇階段，為了能夠進一步提高算法匹配率，在代價聚合后進一步加入掃描線優(yōu)化過程[12]，然后采用WTA(Winner-Takes-All)策略[13]進行視差選擇，該策略快速有效，它通過選擇視差空間中匹配代價值最小的點作為匹配點，并得到其對應的視差。

在視差優(yōu)化階段，為了能夠進一步提高視差圖準確率，首先采用左右一致性檢測找出異常點后，根據(jù)對極幾何原理將異常點分類為誤匹配點和遮擋點，然后采用區(qū)域投票的策略，對誤匹配點和遮擋點進行插值處理。最后采用亞像素增強處理來減少離散視差造成的誤差并利用3×3的滑動窗口對視差圖進行中值濾波生成最終的視差圖。

2 線目標視差圖優(yōu)化

通過改進立體匹配算法提高了立體匹配精度，但為了測量線目標，僅僅依賴視差圖進行測量誤差會很大，因為在可見光圖像中，線目標在整個圖像是一種很細的目標對象，寬度占據(jù)的像素不過幾十個像素，且在遠距離拍攝時，其寬度占據(jù)的像素點不過十個幾個，除此之外，在進行立體匹配時往往由于算法的優(yōu)化，生成視差圖中的線目標會出現(xiàn)“膨脹”現(xiàn)象，并且線目標視差圖會出現(xiàn)很多空洞，如圖2所示。為此提出了一種基于目標識別的線目標視差圖優(yōu)化算法，并將得到線目標視差圖用于測量提高對線目標的測量精度。

圖2 線目標原圖及其視差圖

2.1 圖像線目標識別

為了實現(xiàn)對線目標視差圖的優(yōu)化，首先需要將圖像中的線目標識別出來。考慮到自然場景中背景紋理及光線影響，這里采用基于局部特征的識別方法[14]，處理過程如下：首先提取圖像的邊緣線段，采用Blob管理這些邊緣線段并計算各個線段的屬性值，接著采用Gestalt感知定律對斷續(xù)線段的進行合并處理，然后對導線組進行聚合優(yōu)化，實現(xiàn)對導線的識別。最終獲取的線目標的二值圖像如圖3所示。

圖3 圖像中線目標及其二值圖像

2.2 線目標視差圖優(yōu)化

為了實現(xiàn)對線目標視差圖的優(yōu)化，這里首先利用3.1中方法生成的導線二值圖像與改進立體匹配算法生成的視差圖做掩膜處理，得到線目標所有的視差點，將視差值反映到圖像上，如圖4所示。

圖4 對比圖

通過圖4(a)可以發(fā)現(xiàn)，此時生成的線目標視差圖仍然會存在一些干擾點，為此，這里依據(jù)線目標長度并沿著導線方向?qū)υ摼€目標視差圖進行分段，然后對每一個線目標段視差值進行優(yōu)化處理，最后生成優(yōu)化后的線目標視差圖。

為了方便對線目標視差圖進行分析，這里以其中的一個線目標視差段為例抽象出線目標視差模型，如圖5所示。

圖5 線目標視差圖和線目標視差模型

如上圖5(b)所示，白色方格和帶有disp方格表示線目標上的視差點，帶有null的方格表示沒有視差值的視差點，帶有noise的方格表示有異常的視差點，其中模型中的所有視差點用Smodel={Ddisp(i)、Dnull(j)、Dnoise(k)}表示，Ddisp(i)表示正常視差值視差點集合，Dnull(j)表示沒有視差值的視差點集合，Dnoise(k)表示異常值的視差點集合，根據(jù)此模型，提出以下4個原則對線目標視差圖進行優(yōu)化：

1)首先根據(jù)視差值的大小去除沒有視差值的點Dnull(j)，此時對模型中剩下的視差點Smodel={Ddisp(i)、Dnise(k)}進行視差直方圖分析，畫出整個視差圖模型中的視差值分布。

(11)

其中:n，m分別表示處理后正常視差值視差點的個數(shù)和異常值的視差點的個數(shù)。

4)最后采用視差值Dupdate代替視差模型Smodel={Ddisp(i)、Dnull(j)、Dnoise(k)}中的空視差值點和異常值點，即得到優(yōu)化后視差模型S?model={Ddisp(i)、Dupdate(z)}，完成對導線線段的優(yōu)化。

采用以上原則實現(xiàn)可以很大程度的優(yōu)化線目標視差圖存在的缺陷，如圖4(b)所示。

3 實驗結(jié)果與分析

3.1 無人機雙目圖像的采集

無人機雙目圖像采集以大疆無人機M100作為搭載平臺，在上面搭建了平行式雙目立體視覺結(jié)構(gòu)，如圖6所示。

圖6 無人機雙目系統(tǒng)搭建實物圖

其中雙目采用的是兩個同型號200萬像素的工業(yè)相機，相機像元尺寸為 4.5 μm×4.5 μm，焦距為8 mm，兩個相機基線距離為10 cm，同時為保證無人機雙目圖像采集的同步性，這里將兩路相機與NVIDIA Jetson TX1開發(fā)板連接，利用相機API接口設(shè)置相機相關(guān)參數(shù)并同時啟動相機實現(xiàn)圖像的自動采集保存。

為了將無人機采集的圖像實時的傳輸?shù)降孛妫@里以無線WiFi路由器為基站建立局域網(wǎng)絡，實現(xiàn)TX1開發(fā)板與PC計算機之間的實時通信，可將無人機捕獲的圖像實時傳輸?shù)降孛妗?/p>

3.2 聚合算法中異常值控制閾值的確定

為了驗證異常值控制閾值對算法的影響并選擇合適的閾值，這里將采用Middlebury立體匹配算法測試平臺提供的標準立體圖像對(Tsukuba、Venus、Teddy、Cones)作為測試圖，并用視差圖非遮擋區(qū)域的誤匹配率百分比作為評價標準，通過分析不同α值得到視差圖的誤匹配率來確定閾值α。如圖7所示，依據(jù)原則11和22來進行異常值剔除，可以看到隨著α的不斷增大，視差圖的誤匹配率不斷的降低，當α>5時，視差圖像的誤匹配率的變化開始變得不明顯，并趨向于穩(wěn)定。綜合以上分析，可以確定算法中的閾值α值為5。

圖7 不同α值對匹配精度的影響

3.3 改進立體匹配算法性能分析

為了分析所提出的改進算法的性能，這里同樣采用標準測試圖像對(Tsukuba、Venue 、Teddy、Cones)作為算法的輸入，將得到的視差圖與其標準視差圖做對比，如圖8所示。

其中圖8中第一列為原始圖象對的左視圖，第二列為所提出的算法生成的視差圖，第三列為所提出的算法視差圖的誤差圖，其中黑色表示誤匹配點，白色表示正確匹配點，灰色區(qū)域表示遮擋區(qū)域錯誤匹配點。

圖8 標準測試圖下改進算法生成的視差圖及誤差圖

為了更加客觀的分析所改進的算法的性能，這里計算了非遮擋區(qū)域(n-occ)、深度不連續(xù)區(qū)域(disc)、全部區(qū)域的誤匹配率(all)以及平均錯誤率(Avg)等參數(shù)，并以此評價視差圖的好壞。為此，這里不僅與其他改進Census算法(RTCensus[15]、RinCensus[16])做了對比還與當前比較好的算法(FBS[17]、SGBM、)做了對比比較，各個算法在不同區(qū)域的誤匹配率，如表1所示。

根據(jù)上表可以發(fā)現(xiàn)，所提出的改進Census立體匹配算法錯誤匹配率低于其它兩種基于Census變換的立體匹配算法，且相比于FBS、SGBM算法，所提出的的改進算法計算得到的視差圖也具有很大的優(yōu)勢，并且平均錯誤匹配率為5.79%。

3.4 線目標視差優(yōu)化算法性能分析

為了驗證線目標優(yōu)化優(yōu)化算法對提高測量精度的有效性，這里選擇直徑27 mm的細桿作為線目標，并采用4.1節(jié)中的無人機雙目采集系統(tǒng)采集細桿的雙目圖像(如圖9(a))，以桿的寬度作為測量標準，對不采用線目標視差圖優(yōu)化得到的測量結(jié)果和采用線目標視差圖優(yōu)化得到的測量結(jié)果進行比較分析。

表1 不同算法視差圖誤匹配率(%)

具體實驗過程為：在無人機起飛之前，首先用標定板(如圖9(c))對無人機雙目相機進行標定，并將標定結(jié)果保存用作雙目圖像的校正；

圖9 實驗視差結(jié)果及標定板

接著操縱無人機起飛，分別在距離線目標2 m、3 m、4 m、5 m、6 m處定點懸停采集、發(fā)送圖像對，然后在PC端接收圖像對，并選擇待測圖像對進行極線校正、立體匹配得到視差圖(如圖9(b))，然后根據(jù)視差圖，采用劃線的方式對線目標寬度進行20次測量，最后統(tǒng)計測量結(jié)果，如表2所示。

表2 無線目標視差圖優(yōu)化情況下測量結(jié)果

接著根據(jù)立體匹配得到的視差圖，按照3.3節(jié)中方法對視差圖中的線目標視差進行優(yōu)化，然后同樣采用劃線的方式測量桿體的寬度，測量結(jié)果如表3所示。

表3 線目標視差圖優(yōu)化情況下測量結(jié)果

對比表2、表3的測量數(shù)據(jù)可以發(fā)現(xiàn)，對于細桿的測量，隨著測量距離的增加，測量精度會不斷的降低，但是采用文中提出的線目標視差優(yōu)化算法后得到的測量結(jié)果，相比于不加線目標視差優(yōu)化算法測量得到的結(jié)果更接近真實值，而且在不同距離的測量相對誤差都比較低，可見文中提出的線目標視差優(yōu)化算法對提高線目標測量的精度具重要的作用。

4 結(jié)束語

為提高無人機雙目圖像中線目標的測量精度，在立體匹配算法方面，對Census立體匹配算法做了改進，提出了基于異常值篩選的代價聚合方法，提高了立體匹配算法的匹配精度；在線目標測量階段，為應對立體匹配算法生成線目標視差圖中存在的問題，提出了基于目標識別的線目標視差圖優(yōu)化算法，實驗結(jié)果證明，對于無人機雙目圖像中的線目標測量，采用線目標視差優(yōu)化后的視差圖進行測量可以得到較為準確的測量結(jié)果。