任宏 劉培勛

摘 要：因受光不均、成像系統(tǒng)電子學(xué)、光學(xué)特性不一致等因素影響，雙目圖像間會(huì)存在亮度差異，導(dǎo)致立體匹配錯(cuò)誤。針對(duì)這一問(wèn)題，本文提出了一種新的全局——局部相結(jié)合的雙目圖像勻光校正算法，該方法參考全局信息校正亮度的增減，參考局部信息確定亮度的離散。通過(guò)減少無(wú)關(guān)匹配點(diǎn)對(duì)亮度校正的干擾，使相關(guān)性更強(qiáng)的參考量參與計(jì)算。首先用標(biāo)定獲得雙目相機(jī)內(nèi)外參數(shù)，并對(duì)圖像進(jìn)行極線(xiàn)校正使對(duì)應(yīng)行對(duì)齊，再根據(jù)對(duì)應(yīng)行間的亮度特征用最小二乘法計(jì)算出圖像全局的亮度差異，最后對(duì)全局校正后的圖像進(jìn)行行亮度校正。與幾種傳統(tǒng)的全局勻光校正方法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果表明，該方法在對(duì)整幅圖像亮度校正的同時(shí)，能夠保持被校圖像的細(xì)節(jié)信息，同時(shí)可有效提高立體匹配準(zhǔn)確度。處理后實(shí)驗(yàn)圖像平均匹配誤差比未處理圖像降低約70%。

關(guān)鍵詞：亮度校正；Wallis變換；極線(xiàn)幾何；雙目立體

【中圖分類(lèi)號(hào)】G 【文獻(xiàn)標(biāo)識(shí)碼】B 【文章編號(hào)】1008-1216（2018）07B-0034-03

雙目立體視覺(jué)是計(jì)算機(jī)視覺(jué)的重要組成部分，高精度的雙目視覺(jué)在自主導(dǎo)航、目標(biāo)跟蹤、三維重建等領(lǐng)域被廣泛應(yīng)用。對(duì)于大部分立體視覺(jué)系統(tǒng)，立體匹配是決定精度的最關(guān)鍵步驟。像素灰度作為圖像的最基本特征，廣泛應(yīng)用于多種立體匹配算法，它是一種對(duì)亮度變化比較敏感的特征。受光照不均、成像系統(tǒng)電子學(xué)、光學(xué)特性不一致等因素影響，使得同一物點(diǎn)在不同相機(jī)獲得的圖像上灰度有一定的差別，這樣的圖像作為立體匹配輸入會(huì)引起誤匹配。一般立體視覺(jué)標(biāo)定技術(shù)只能修正圖像的幾何誤差，不能消除灰度差異，因此，本文提出了一種針對(duì)雙目系統(tǒng)的圖像勻光校正方法，用于校正圖像上對(duì)應(yīng)像素間的灰度差異。

一、勻光算法研究現(xiàn)狀

多幅圖像亮度一致化方法大體可以分為三類(lèi)，包括基于直方圖的勻光方法、基于模型的勻光方法，還有基于統(tǒng)計(jì)學(xué)的勻光方法?；谥狈綀D的方法通過(guò)一致化直方圖分布來(lái)降低圖像間的亮度差異，如Sridharan提出的一種直方圖匹配算法，常淑華等提出的一種直方圖均衡化方法，王密等提出當(dāng)圖像差異較大時(shí)，基于直方圖的匹配方法會(huì)改變?cè)械膱D像內(nèi)部特征，容易造成偏色現(xiàn)象?；谀Ｐ偷膭蚬夥椒ú捎没谡斩然蚍瓷淠Ｐ偷脑?，常用的方法有Mask和Retinex勻光算法，Mask方法會(huì)降低圖像較暗區(qū)域的對(duì)比度，增強(qiáng)亮區(qū)域的對(duì)比度，Retinex方法對(duì)圖像邊緣有增強(qiáng)效果，但會(huì)降低圖像對(duì)比度?；诮y(tǒng)計(jì)的勻光方法從整體上考慮亮度一致性，但不能很好地反映細(xì)節(jié)亮度分布，在局部區(qū)域仍存在亮度差異，具有代表性的包括基于Wallis變換的勻光算法，信息熵匹配。

以上方法計(jì)算的參考特征都是通過(guò)全局圖像計(jì)算得到的，雖然通過(guò)整幅圖像計(jì)算得到結(jié)果能夠反映全局亮度信息，但會(huì)導(dǎo)致局部灰度信息淹沒(méi)于全局信息中，產(chǎn)生全局亮度差異減小而局部差異增大的結(jié)果。因此，如何能夠在降低圖像間亮度差異的同時(shí)，盡量保持圖像的原有信息是雙目勻光校正算法研究的重點(diǎn)。

不同于其他勻光校正應(yīng)用，雙目視覺(jué)系統(tǒng)本身存在無(wú)關(guān)光照變化的極線(xiàn)幾何約束，這是一種行對(duì)行的約束。因此提出了一種使用全局——局部相結(jié)合的雙目勻光校正方法，通過(guò)全局校正亮度的增減，局部確定亮度的離散，通過(guò)降低無(wú)關(guān)匹配點(diǎn)對(duì)亮度校正的干擾，使相關(guān)性更強(qiáng)的參考量參與計(jì)算。

二、兩步勻光校正方法

（一）極線(xiàn)校正方法和原理

雙目成像系統(tǒng)由兩個(gè)針孔成像系統(tǒng)組成，如圖1（a）和（b）所示。雙目成像系統(tǒng)中左相機(jī)的光心C在右相機(jī)像平面上的投影稱(chēng)為右極點(diǎn)e，左極點(diǎn)同理記作e'，3D點(diǎn)X被投影到兩個(gè)圖像平面上，分別記作x、x'， XCC'構(gòu)成的平面稱(chēng)為極平面，CC'C稱(chēng)為基線(xiàn)，xe稱(chēng)為左極線(xiàn)，x'e'稱(chēng)為右極線(xiàn)，極線(xiàn)約束定義為某相機(jī)像點(diǎn)的共軛點(diǎn)一定在另一相機(jī)對(duì)應(yīng)的極線(xiàn)上。

當(dāng)左相機(jī)光心位于右相機(jī)的焦平面內(nèi)，同時(shí)右相機(jī)光心 位于左相機(jī)的焦平面內(nèi)，此時(shí)左右極點(diǎn)分別投影到無(wú)窮遠(yuǎn)處，基線(xiàn) 位于兩個(gè)相機(jī)焦平面內(nèi)，同時(shí)與像面平行。在這種情況下，兩相機(jī)的極線(xiàn)均為水平的平行線(xiàn)。極線(xiàn)校正可以將圖像對(duì)應(yīng)的極線(xiàn)水平方向共線(xiàn)，消除垂直方向的視差。通過(guò)極線(xiàn)約束可以使立體匹配的運(yùn)算量從搜索整個(gè)像面降低到只搜索極線(xiàn)對(duì)應(yīng)的行，在匹配時(shí)只需要搜索對(duì)應(yīng)行就可以確定匹配點(diǎn)，極大地提高了匹配效率。

假設(shè)通過(guò)標(biāo)定得到的相機(jī)坐標(biāo)系間的旋轉(zhuǎn)矩陣為R，平移矩陣為T(mén)，極線(xiàn)校正可以通過(guò)以下步驟實(shí)現(xiàn)：

（1）左右相機(jī)分別旋轉(zhuǎn)±R1/2，使兩相機(jī)的光軸平行，但像面與基線(xiàn)不平行；

（2）構(gòu)造旋轉(zhuǎn)矩陣Q=[q1T q2T q3T]T使兩像面與基線(xiàn)平行：

（a）通過(guò)平移向量確定基線(xiàn)方向向量q1，q2=（C-C'）/‖C-C'‖=T/‖T‖；

（b）通過(guò)q1與圖像光軸方向向量k確定圖像豎直方向向量，q2=k×q1；

（c）新的光軸方向向量q3與q1、q2正交，q3=q1×q2。

通過(guò)上述兩次旋轉(zhuǎn)，左右相機(jī)的坐標(biāo)系能夠?qū)崿F(xiàn)像面與基線(xiàn)平行，并且水平軸共線(xiàn)，達(dá)到了極線(xiàn)校正行對(duì)齊的目的。

（二）極線(xiàn)約束下的勻光變換方法和原理

圖像的灰度均值能夠反映其亮度和色調(diào)，標(biāo)準(zhǔn)差能夠反映灰度的動(dòng)態(tài)范圍。一般情況下，同一空間點(diǎn)在雙目相機(jī)中成像灰度應(yīng)該一致，具有近似的色調(diào)、亮度和灰度動(dòng)態(tài)范圍，即應(yīng)該具有近似的灰度均值和標(biāo)準(zhǔn)差。因此，以標(biāo)準(zhǔn)圖像為基準(zhǔn)，勻光校正的結(jié)果應(yīng)該是兩幅圖像均值和標(biāo)準(zhǔn)差一致，這是灰度一致的必要條件。以極線(xiàn)亮度特征為基準(zhǔn)，校正對(duì)應(yīng)極線(xiàn)上像素的亮度，能夠降低無(wú)關(guān)匹配點(diǎn)對(duì)亮度校正過(guò)程的干擾，突出相關(guān)性更強(qiáng)的參考量在局部匹配中的作用。極線(xiàn)約束下的勻光校正方法步驟如下：

（1）雙目標(biāo)確定相機(jī)內(nèi)外參數(shù)；

（2）通過(guò)標(biāo)定參數(shù)對(duì)輸入圖像做極線(xiàn)校正，使對(duì)應(yīng)行對(duì)齊；

（3）將雙目圖像間的亮度關(guān)系定義為線(xiàn)性模型

以對(duì)應(yīng)極線(xiàn)亮度均值為基準(zhǔn)，通過(guò)最小二乘法計(jì)算圖像間的亮度系數(shù)

其中，式（2）中為待校正圖像第行的灰度均值， 為基準(zhǔn)圖像第i行的灰度均值，線(xiàn)性方程的最優(yōu)解為b=（ATA）-1ATY，通過(guò)式（1）校正圖像亮度，得到圖像I'f；

（4）計(jì)算I'f第i行圖像的均值m'f（i）和標(biāo)準(zhǔn)差std'f（i），Ig的標(biāo)準(zhǔn)差stdg（i）。

（5）根據(jù)公式（4）將對(duì)應(yīng)行（極線(xiàn)對(duì)）間的均值和標(biāo)準(zhǔn)差一致化：

其中，I'f（i，j）為被校圖像灰度值，I''f（i，j）為變換之后的灰度值，mg（i）和stdg（i）分別為參考圖像的行灰度均值和標(biāo)準(zhǔn)差，m'f（i）和std'f（i）分別為被校圖像的灰度均值和標(biāo)準(zhǔn)差均值。c∈[0，1]用于調(diào)節(jié)方差的一致程度， b∈[0，1]用于調(diào)節(jié)圖像均值的一致程度。

三、實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文勻光算法的有效性，采用Middlebury 2014標(biāo)準(zhǔn)圖像進(jìn)行測(cè)試。標(biāo)準(zhǔn)圖像已經(jīng)進(jìn)行極線(xiàn)校正，垂直方向視差小于一個(gè)像素，可以認(rèn)為對(duì)應(yīng)行嚴(yán)格對(duì)齊。原始左右圖像拍攝時(shí)相機(jī)積分時(shí)間不同或環(huán)境光照不同，圖像亮度有明顯的差異。直方圖均衡化方法會(huì)改變參考圖像的灰度信息，全局Wallis變換會(huì)改變被校圖像的灰度分布如圖2（c）-（e）所示。本文勻光算法2（f）與傳統(tǒng)方法圖像圖2（c）-（e）相比較后發(fā)現(xiàn)，2（f）與2（a）間亮度差異明顯減小，并且圖像亮度均勻，同時(shí)無(wú)明顯的突變。

計(jì)算測(cè)試圖集中的ClassroomE、MotorcycleE、MotorcycleL、DjembeL和PianoL（E代表積分時(shí)間不同，L代表環(huán)境光照不同）的結(jié)構(gòu)相似性SSIM。SSIM是一種衡量校正后圖像與標(biāo)準(zhǔn)圖像的差異的指標(biāo)，計(jì)算公式如式5所示。SSIM是一種全參考的圖像評(píng)價(jià)指標(biāo)，分別從亮度、對(duì)比度、結(jié)構(gòu)三個(gè)方面度量圖像的相似性。

其中x為以左圖作為參考，對(duì)不同積分時(shí)間或環(huán)境光照采集的右圖進(jìn)行勻光校正得到的圖像，y為與左圖一樣積分時(shí)間和環(huán)境光照拍攝的右圖，即真值圖像，ux為y的平均值，uy為y的平均值，σ2x和σ2y分別為x和y的方差，σxy為協(xié)方差，c1=（K1L）2，c2=（K2L）2是用來(lái)維持穩(wěn)定的常數(shù)，L為像素值動(dòng)態(tài)范圍。k1和k2分別為0.01和0.03。SSIM取值范圍（0，1），當(dāng)兩圖像一樣時(shí)SSIM等于1。

從圖3可以看出，對(duì)于積分時(shí)間不同的圖像，三中勻光校正方法差別不大，但對(duì)于環(huán)境光照不同的圖像，本文算法校正后的圖像SSIM值高于其他兩種方法，說(shuō)明和真值圖像一致性更強(qiáng)。

為了進(jìn)一步說(shuō)明本文算法的有效性，采用傳統(tǒng)的方法和本文的方法，對(duì)實(shí)驗(yàn)圖像分別進(jìn)行了立體匹配，獲得視差圖，如圖4（a）-（e）所示。從圖4（b）-4（d）可以看出，未經(jīng)處理的原始圖像匹配效果很差，甚至難以進(jìn)行，直方圖均衡化和全局Wallis方法雖然能減小圖像對(duì)的亮度差異，但錯(cuò)誤匹配較多。本文算法平衡了局部和全局亮度差異，有效降低了誤匹配。

通過(guò)對(duì)比真值視差圖，將視差差值過(guò)大的像素視為誤匹配，如式6所示，同時(shí)計(jì)算平均匹配誤差，如式7所示，得到結(jié)果如表1所示。從表1可以看出，本文算法與其他算法相比，能夠有效減少誤匹配并提高匹配準(zhǔn)確性。

四、結(jié)論

本文提出了一種新的雙目勻光校正算法，該方法以極線(xiàn)一致性作為約束，通過(guò)對(duì)應(yīng)行亮度信息使被校圖像和基準(zhǔn)圖像的灰度分布近似一致。同傳統(tǒng)的雙目勻光算法相比，本文方法用于校正亮度的參考特征和待求量相關(guān)性更高，在將局部的細(xì)節(jié)亮度特征一致化的同時(shí)，減小圖片間全局亮度差異，符合局部立體匹配算法局部特征一致性的思想，并與傳統(tǒng)的幾種典型的雙目勻光校正算法進(jìn)行了對(duì)比實(shí)驗(yàn)，證明了本文算法的有效性。

參考文獻(xiàn)：

[1] 常淑華，宋艷秋，楊永敏.雙目立體視覺(jué)匹配的預(yù)處理技術(shù)[J]. 吉林大學(xué)學(xué)報(bào)，2012，（1）.

[2]王密，潘俊. 面向無(wú)縫影像數(shù)據(jù)庫(kù)應(yīng)用的一種新的光學(xué)遙感影像色彩平衡方法[J]. 國(guó)土資源遙感，2006，（4）.

[3]姚芳，萬(wàn)幼川，胡晗.基于Mask原理的改進(jìn)勻光算法研究[J]. 遙感信息，2013，（3）.

[4]劉家朋，趙宇明，胡福喬.基于單尺度Retinex算法的非線(xiàn)性圖像增強(qiáng)算法[J]. 上海交通大學(xué)學(xué)報(bào)，2007，（5）.

[5]朱巧云，答星. 基于Wallis濾波器的異源遙感影像勻光方法[J]. 測(cè)繪與空間地理信息，2012，（10）.

[6]倪章松，顧藝，柳慶林. 大視場(chǎng)雙目立體視覺(jué)柔性標(biāo)定[J]. 光學(xué)精密工程，2017，（7）.