張一飛，李新福，田學東

（河北大學網(wǎng)絡空間安全與計算機學院，河北保定071000）

（?通信作者電子郵箱MC_LXF@126.COM）

0 引言

立體匹配可以概括為同一景物在不同視點下各個像素點間的一一對應匹配，Marr的視覺計算理論對立體匹配的發(fā)展奠定了基礎［1］。隨著該技術的發(fā)展，立體匹配在無人駕駛［2-3］、機器人視覺［4-5］、工業(yè)測量［6］和三維重建［7］等方面都有著廣泛的應用，但其中針對弱紋理及純色區(qū)域的匹配仍存在著一些問題。立體匹配算法分為三類：全局、局部、半全局匹配算法［8］。局部立體匹配算法是在參考圖像中構建一個大小、形狀和權重相適應的窗口，然后在匹配圖像中構建參數(shù)相同的匹配窗口，計算視差值。該算法優(yōu)點是可以獲取稠密視差圖，算法時效性好；缺點是在純色區(qū)域的匹配準確度較低［9-11］。造成此問題的原因如圖1所示，匹配窗口在可選區(qū)域（灰色區(qū)域）內(nèi)滑動計算后，所得結果均相同，無法確定一個準確的點作為匹配點來計算視差［12］。

圖1 純色區(qū)域匹配示意圖Fig.1 Schematic diagramof purecolor region matching

1 相關工作

針對弱紋理及純色區(qū)域的匹配不準確的問題，許多學者都嘗試過將顏色信息與圖像分割算法融合到立體匹配過程中來 解 決 這 一 問 題 。 高 雅 昆 等［13］改 進 LocalExp（Local Expansion Move）算法，并提出一種融合多維信息的自適應像素類別優(yōu)化的立體匹配算法，考慮到了構建與顏色相關的權重系數(shù)。馬偉等［14］提出一種結合卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）與分割線索結合的立體匹配算法，該算法首先對圖像進行區(qū)域切割，然后構造馬爾可夫隨機場（Markov Random Field，MRF）能量函數(shù)進行匹配，該算法采用了CNN和圖像分割技術。上述兩種算法在弱紋理及純色區(qū)域的匹配精度均有提升，但共同的存在的問題就是算法運行耗時較多。Mohammadi等［15］提出的可見植被指數(shù)（Visible Vegetation Index，VVI）給本文利用圖像色彩進行切割的想法帶來很大的啟發(fā)。郁懷波等［16］融合圖像顏色、梯度和圖像的Census變換進行匹配代價計算，但該算法并沒有將圖像切割，而是根據(jù)顏色在匹配計算中賦值相應的系數(shù)，采用樹形結構進行匹配代價的聚合，最后得到視差圖。該算法在弱紋理區(qū)域和視差不連續(xù)區(qū)域取得較好的匹配結果，但該算法中的截斷閾值、融合權值、匹配窗口大小均由人工設置，對場景的針對性較強、靈活性較差。為解決絕對差值和（Sum of Absolute Differences，SAD）算法在純色及弱紋理區(qū)域匹配不準確和圖像分割算法在立體匹配中耗時較多的問題，進行以下操作：第一，提取圖像的邊緣特征，得到邊緣特征圖，在圖像紋理豐富的區(qū)域得到更加準確的匹配結果；第二，提取圖像紅、綠、藍三個顏色通道的色值，采用最大類間方差法進行二值化分類，然后再融合得到圖像的模板圖。上述預處理完成之后，將所得邊緣特征圖與分割模板圖用于視差計算及視差優(yōu)化過程中，得到視差圖。

2 圖像預處理

2.1 邊緣特征

邊緣是一幅圖像的重要特征，優(yōu)秀的邊緣提取結果可以提高匹配的正確率［11］。Canny算子在邊緣計算上較其他方法有著更加精確的結果［17］，因此在計算圖像邊緣特征時主要參考了Canny算子中的兩個步驟來提取圖像的邊緣特征：1）使用高斯濾波器平滑圖像，濾除噪聲［18］；2）使用Sobel算子［19］平滑圖像，增強每個像素點的梯度強度和方向。圖2為各個步驟處理后的結果圖，其中在計算過程中用到的高斯濾波核，水平方向與垂直方向的Sobel算子等參數(shù)設置參見文獻［11］。

圖2 預處理的結果Fig.2 Resultsof preprocessing

2.2 分割模板計算

數(shù)字圖像的分割就是將一幅圖像根據(jù)閾值、區(qū)域或者邊緣分割成若干個特定的區(qū)域。Li等［20］提出基于補丁匹配的超像素分割算法，利用分割信息和補丁匹配的隨機細化來更新每個像素的候選三維標簽集，從而進行圖像切割；Ma等［21］提出了一種交互式的切割匹配算法，通過交互繪制更多的筆畫，或者使用添加對應點的交互方法來改進結果，直到對切割結果滿意，這其中就涉及到較多的人工參與；龔文彪等［22］指出利用顏色將圖像切割的方法是根據(jù)圖像的顏色信息、像素之間的相似性、相鄰性等特征將圖像切分成不同顏色的區(qū)域。

上述學者都提出了分割效果不錯的圖像分割方法，但對于立體匹配的過程來說，都顯得有些復雜，且切割過程耗時較多，運用到立體匹配過程中會使整個立體匹配算法的時效性較差。

顏色作為一個圖像的重要特征，在許多場景下都有著非常重要的作用［23］。本文提出一種利用顏色將圖像進行切分的分割算法，這一過程主要包括以下三步：單色通道提取、二值化分類和融合并分割圖像。各步驟處理后的圖像如圖3所示。

圖3 分割過程Fig.3 Segmentation process

2.2.1 單色通道提取

彩色圖像的每個像素是由R、G、B分量構成的圖像，其中R、G、B是由不同的灰度級來描述的。因此，本文中將各個分量的灰度級提取出來，存儲在一張二維表中，將這張表分別命名為 Red、Green、Blue，如圖 3（b）所示。計算公式如式（1）所示：

其中：Original為輸入的原始圖像；R、G、B分別為各個顏色通道的值；i、j為在圖像中的橫縱坐標值。

2.2.2 二值化分類

在醫(yī)學圖像分析、前景檢測、字符識別、形狀識別等領域二值圖像都有著重要的應用。二值圖像即圖像中只有前景1和背景0兩種狀態(tài)，這樣的圖像首先在程序處理過程中可以極大地節(jié)省存儲空間，其次可以較強地表現(xiàn)出前景與背景的輪廓，同時還在目標提取的問題上有著重要應用［24］。

本文采用了最大類間方差法來分類。最大類間方差法是由日本學者大津（Nobuyuki Otsu）于1979年提出，是一種自適應的閾值確定方法［25-26］。設閾值T將灰度級分為二組，分別對應于0、1兩個狀態(tài)，此二組灰度級應滿足組內(nèi)方差最小，而組間方差最大。這個方法在目標像素數(shù)量與背景像素數(shù)量占一定比例時，可以有效地把目標從背景中區(qū)分出來。

以下是OTSU算法實現(xiàn)的4個步驟及計算公式的詳細介紹。

1）遍歷整幅圖像，i表示0～255這256個灰度值，統(tǒng)計各個灰度級的點的個數(shù)用ni表示，N表示整幅圖像中像素點個數(shù)，Pi表示灰度值為i的點占整幅圖像中總像素點數(shù)概率，可由古典概型計算得出，計算公式如式（2）所示：

2）該算法目的是在所有灰度級選一個合理的灰度級k，將整幅圖像的灰度值分為兩類C0、C1，其中0～k屬于C0類，k到最大灰度級L為C1類，w0、w1分別為兩類點中各個點占總體點數(shù)的概率再求和，其中w0也記為wk，計算公式如式（3）所示：

3）以μ0、μ1分別表示C0、C1的灰度平均值，則有如式（4）所示的計算公式來計算μ0和μ1：

在式（4）中μ（k）的計算方法如式（5）所示：

4）由此可以推導出兩組灰度像素對整幅圖像中平均灰度的統(tǒng)計方差，如式（6）所示：

閾值T即為使σ2方最大時的k的值，如式（7）所示：

至此，OTSU算法實現(xiàn)步驟已經(jīng)完成，下一步將R、G、B三個分量的色值進行二值分類，該過程計算公式如式（8）所示。本文將二值化分類后的三張圖片分別命名為Red_2bit、Green_2bit、Blue_2bit。

2.2.3 融合后分割圖像

經(jīng)過上述二值分類處理之后，可以得到Red_2bit、Green_2bit、Blue_2bit三張二值圖像，如圖 3（c）所示。將三張二值圖像采用圖4所示的方法融合到一張圖像上，融合后的圖像記為F，該過程如圖4所示。

圖4 融合過程示意圖Fig.4 Schematic diagramof fusion process

如圖4所示，經(jīng)過二值化分類以后，單個通道就被分成了兩類，在圖4中以“0”“1”表示。將同一個像素點的三個通道的分類結果組合到一起，便有了從“000”到“111”的8種組合結果。遍歷每一個像素點，便得到一張跟原圖大小相等的八分類圖。

為了便于觀察分類結果，在實驗過程中將這張分類圖的每一類渲染一種顏色，這8種分類結果對應顏色及代碼中的編寫如表1所示，將分類圖按照融合后的標號采用對應顏色進行渲染，即可得到圖3（d）分割模板，記為Mask。

3 視差計算

視差計算流程如圖5所示。

圖5 視差計算流程Fig.5 Flowchart of parallax calculation

算法描述如下：

1）取一對左右視圖，設左圖為參考圖，右圖為匹配圖。

2）對這一對左右視圖進行第2章的相關操作得到左右圖的灰度圖、邊緣特征圖、Mask模板圖。

3）取出左圖模板圖中當前點Mask值（Current Mask Value），記為CMV。

4）在右圖的取出該點的Mask值（Temp Mask Value），記為TMV。

5）對比CMV與TMV，若二值相等則進行下一步：匹配計算視差值；若二值不相等則返回第4）步。

6）經(jīng)過步驟5）后，左右兩圖匹配點的坐標均已確定，取出當前坐標8鄰域或者24鄰域灰度圖和邊緣圖的灰度值。

7）對應位置做差，將做差所得的結果再求和。將所求和最小且橫坐標相差最小的點記為最終匹配點，記錄其橫坐標差值即為視差值。

8）遍歷左圖所有點即可得到左圖所有點所對應的視差值。

視差計算過程中以灰度圖、邊緣特征圖，左右視圖的Mask模板圖作為匹配源圖。在匹配過程中，如果當前點在顏色分割過程中不是同一類，則直接跳過該點的匹配過程。所有點都取得匹配結果以后，再次統(tǒng)計在圖像分割中8個類中各個類的點的視差值，將統(tǒng)計結果按類別平均計算，以達到視差平滑的效果，消除匹配過程中出現(xiàn)的奇異點。

4 實驗結果與對比分析

4.1 實驗環(huán)境與實驗結果

機器參數(shù)如下：操作系統(tǒng)為64位Windows10專業(yè)版，CPU為Intel Core i7-6700，CPU主頻為3.40 GHz（3 408 MHz），內(nèi)存8 GB，顯卡 AMD Radeon R5 340X（2 048 MB）。測試集中Cones和Teddy的分辨率是450×383，Tsukuba的分辨率是384×288，Venus的分辨率是434×383。本文算法的實驗結果如圖6所示。

圖6 視差結果圖Fig.6 Parallax result diagram

圖6中為了便于觀察結果，已將模板中各個類對應點的視差值求和然后平均計算后歸一化到0～255，具體值如表2所示。

表2 視差值歸一化到0～255的值Tab.2 Parallax valuenormalized to 0～255

4.2 對比分析

表3和表4為詳細的數(shù)據(jù)對比，其中表3為誤匹配率的對比，表4為算法耗時的對比。誤匹配率的計算方式是將所得的視差結果與標準視差圖的各個像素點逐一比較計算可得詳細的誤匹配率的數(shù)據(jù)，計算公式如式（9）所示：

式中：miss表示誤匹配率，width為圖像寬度，height為圖像高度，ret為本文算法計算得出的視差圖，GroundTruth為標準視差圖。將當前點的計算視差值與該點標準視差值相減的差求絕對值，相差5以上記為誤匹配點，相差5以內(nèi)則為匹配準確的點。按上述方法統(tǒng)計整幅圖像中的點，將絕對值相差5以上的點的數(shù)量與總的點數(shù)相除，所求的商即為誤匹配率。

由表3分析可得，本文算法在誤匹配率上與文獻［16］相比，平均誤匹配率較高，與SAD算法相比誤匹配有大幅度的下降。在Cones中誤匹配率較高，究其原因是Cones中的錐形桶和人臉圖像上有較多顏色差異較大的噪點，在分類過程中將同一物體的不同部分被分成了兩類，所以導致了誤匹配率的上升。

表3 幾種算法的誤匹配率對比 單位：%Tab.3 Mismatchingratiocomparison of several algorithms unit：%

由表4分析可得：本文算法在時間開銷上增加較少，SAD算法在匹配過程中匹配源圖只有左右視圖的灰度圖這兩幅圖像，本文算法的匹配源不僅包括原圖的灰度圖，還有分割模板圖、邊緣特征圖，按此計算匹配原圖達到了6張，運行時消耗的時間上按每萬個像素點計算，時間開銷上與時效性較強的SAD算法相比僅增加7.16 ms，所以本文算法的時效性較強。

表4 不同算法的時間消耗 單位：sTab.4 Timeconsumption of different algorithms unit：s

為了更加直觀地體現(xiàn)本文算法的特點，將實驗結果與標準視差圖和也采用圖像顏色特征得到視差圖的文獻［16］對比，如圖7所示，同時與采用了圖割算法的文獻［27］對比如圖8所示。

圖7 與文獻［16］算法對比Fig.7 Comparison with literature［16］algorithm

圖8 與文獻［27］算法對比Fig.8 Comparison with literature［27］algorithm

從圖7可以看出，本文算法的優(yōu)點體現(xiàn)在臺燈、臺燈桿和人頭等部分，這些部分純色和弱紋理區(qū)域較多，匹配結果較文獻［16］更加平滑；缺點也在這張圖上得到了體現(xiàn)，如在圖中的黑色三腳架攝影機及臺燈后邊的課桌等顏色較為暗淡，與背景顏色較為相似的區(qū)域的匹配結果明顯不如文獻［16］。

從圖8可以看出，本文算法的優(yōu)點體現(xiàn)在圖中左側的人頭及人頭左下方等顏色單一的區(qū)域，在這些區(qū)域的匹配結果具有平滑無噪點的優(yōu)點，同時在視差不連續(xù)區(qū)域的分界線較為整齊，無毛刺現(xiàn)象的出現(xiàn)。在圖像的右下方和人頭像的左側這些較小區(qū)域但卻擁有較多的顏色時，本文的匹配結果出現(xiàn)了較多的噪點。

圖9 其他場景下的計算過程圖和結果圖Fig.9 Calculation processdiagrams and result diagrams for other scenarios

為進一步驗證該算法在純色以及弱紋理區(qū)域匹配的優(yōu)越性，對另外一組純色及弱紋理較多場景圖進行測試，測試過程圖以及最終結果如圖9所示。

5 結語

為解決弱紋理區(qū)域的匹配精度低、圖像分割耗時較多的問題，在預處理過程中通過邊緣特征提取的方法增強紋理邊緣，得到原圖像的邊緣特征圖；然后將彩色圖像的R、G、B三個通道提取出來，采用最大類間方差法進行二分類，再將分類結果利用本文的融合方法得到原圖像的分割圖模板Mask。在視差計算過程中，融合灰度圖像、邊緣特征圖與分割圖模板圖，選用實時性較強的SAD算法計算得到視差圖，最后在視差優(yōu)化過程中根據(jù)每個像素點在分割模板圖中的值來計算和平滑匹配結果，最終得到結果圖。

實驗結果表明，所提算法針對圖像的弱紋理及純色區(qū)域和視差不連續(xù)區(qū)域有著更加平滑的結果，有效地防止了毛刺現(xiàn)象的出現(xiàn)。在圖像分割過程中采用最大類間方差法和所提融合方法，能夠快速有效地將原圖分割，且閾值是根據(jù)圖像自適應調(diào)節(jié)，減少了人工干預。匹配精度上比經(jīng)典的SAD算法精度上平均提升了14.23個百分點，時間開銷上每萬個像素點的時間消耗比SAD算法增加了7.16 ms。本文算法適用于主體顏色較為單一、時效性要求較高的場景。

所提算法也存在一些不足：1）當圖像主成分存在較多同一物體含有不同的顏色和純色區(qū)域的噪點較多時匹配結果的誤匹配率較高。2）由于平滑過程直接采用平均值來替代原有的視差值導致整個視差圖的層次豐富程度下降。下一步的研究將針對上述兩點問題改進算法，增強算法對應用場景的普適性。