閆小宇，陸凡凡，葛蘆生

（安徽工業(yè)大學(xué)電氣與信息工程學(xué)院，安徽馬鞍山 243000）

0 引言

計(jì)算機(jī)視覺(jué)是通過(guò)二維圖像認(rèn)知三維世界的信息。立體視覺(jué)技術(shù)是計(jì)算機(jī)視覺(jué)中感知三維信息的重要技術(shù)，它可以模擬人類視覺(jué)對(duì)事物處理的方法，具有簡(jiǎn)單、可靠、靈活、使用范圍廣等特點(diǎn)，可以進(jìn)行非接觸性檢測(cè)。立體匹配作為立體視覺(jué)技術(shù)的核心，其原理是針對(duì)于不同視角的圖像尋找具有相同像素的點(diǎn)進(jìn)行匹配，并計(jì)算視差。通過(guò)構(gòu)建一個(gè)代價(jià)函數(shù)，對(duì)其最小化并估計(jì)像素點(diǎn)的視差，進(jìn)而求取深度。近年來(lái)，立體匹配被廣泛應(yīng)用于無(wú)人機(jī)巡檢、無(wú)人駕駛、虛擬現(xiàn)實(shí)和3D-SLAM 地圖重建等領(lǐng)域［1-3］。立體匹配大致可以分為4 個(gè)過(guò)程：初始代價(jià)計(jì)算、代價(jià)聚合、掃描線優(yōu)化、視差優(yōu)化，其中初始代價(jià)計(jì)算作為最基礎(chǔ)的步驟，對(duì)后續(xù)立體匹配和視差提取的精確性起到至關(guān)重要的作用。

立體匹配根據(jù)最優(yōu)化理論方法可以分為全局立體匹配算法和局部立體匹配算法。全局立體匹配算法是通過(guò)全局優(yōu)化理論方法估計(jì)視差，建立全局能量函數(shù)，通過(guò)最小化全局能量函數(shù)得到最優(yōu)視差值。經(jīng)典全局立體匹配算法有動(dòng)態(tài)規(guī)劃算法（Dynamic Programming，DP）［4］、置信傳播算（Belief Propagation，BP）［5］、圖割算法［6］（Graph Cuts，GC）等，這些算法雖然能夠獲取圖像的視差信息，生成視差圖，但是基于全局的立體匹配算法計(jì)算代價(jià)耗時(shí)太大。

與全局立體匹配算法相比，基于局部立體匹配［7］算法計(jì)算代價(jià)耗時(shí)少、速度快、效率高，能夠快速恢復(fù)豐富紋理區(qū)域的視差。局部立體匹配算法是對(duì)像素周圍小區(qū)域進(jìn)行約束，根據(jù)圖像基元不同可分為區(qū)域匹配、特征匹配及相位匹配。常用的立體匹配算法有AD-Census 算法［8］、灰度差絕對(duì)值（AD）、跨尺度代價(jià)聚合算法［9］等。

在實(shí)際的測(cè)距應(yīng)用中，光照強(qiáng)弱、噪聲大小對(duì)代價(jià)計(jì)算會(huì)造成很大影響，一方面會(huì)使立體匹配和視差計(jì)算精度大幅度降低，另一方面會(huì)大幅度增加匹配時(shí)耗，這會(huì)影響測(cè)距準(zhǔn)確性。

Lim 等［10］對(duì)于處于光照下的不同匹配代價(jià)計(jì)算進(jìn)行研究發(fā)現(xiàn)，光照噪聲對(duì)于census 變換的影響較小，且census變換對(duì)光照有較好的魯棒性。光照對(duì)于計(jì)算像素灰度值匹配代價(jià)影響較大，如灰度差、絕對(duì)值之和（SAD）等。傳統(tǒng)的census 變換由于過(guò)度依賴于中心像素點(diǎn)，對(duì)噪聲的抗干擾能力較差。為解決這類問(wèn)題，Hosni 等［11］將梯度信息與SAD 相結(jié)合，將匹配點(diǎn)與待匹配點(diǎn)的梯度和支持窗口內(nèi)SAD 作為匹配代價(jià)。對(duì)于Census 變換算法，Chang 等［12］將中心像素點(diǎn)的像素值于其選取支持窗口內(nèi)8 個(gè)點(diǎn)的像素值進(jìn)行比較，產(chǎn)生一串比特值，雖然增強(qiáng)了匹配能力，但還是過(guò)度依賴于中心像素點(diǎn)。對(duì)于中心像素點(diǎn)的處理，呂倪祺等［13］通過(guò)將中心像素替換成支持窗口內(nèi)像素值的加權(quán)平均值，并融合了AD 特征進(jìn)行代價(jià)計(jì)算，對(duì)于單像素的匹配代價(jià)有很好的可靠性，但該算法比較復(fù)雜、計(jì)算量時(shí)耗較大。

鑒于雙目測(cè)距系統(tǒng)立體匹配耗時(shí)和精度要求，本文提出一種基于改進(jìn)型AD-Census 立體匹配算法，其中灰度差絕對(duì)值（AD）算法對(duì)于重復(fù)紋理區(qū)域效果比Census 效果好，Census 算法在弱紋理區(qū)域比AD 算法效果好。實(shí)驗(yàn)結(jié)果表明，本文提出的改進(jìn)型AD-Census 立體匹配算法降低了對(duì)中心像素的依賴與算法計(jì)算量，提高了立體匹配速度，同時(shí)也滿足測(cè)距精度。

1 改進(jìn)型Census的代價(jià)計(jì)算

傳統(tǒng)的Census 變換是基于一種局部窗口的非參數(shù)變換。其基本思想是：選定一個(gè)長(zhǎng)寬為奇數(shù)的匹配窗口，通過(guò)將領(lǐng)域窗口內(nèi)的像素灰度值q與窗口的中心像素p的灰度值進(jìn)行比較，將比較得到的布爾值映射到一個(gè)比特串中，最后用比特串的值作為中心像素p的Census 變換值Ccen，如式（1）所示。ξ的運(yùn)算則由式（2）定義。

式中，ξ［·］為比較函數(shù)，（Ip）、（Iq）分別為像素點(diǎn)p和q點(diǎn)的灰度值，CCen（p）為p點(diǎn)的變換值，符號(hào)?為按位連接，Np表示p的領(lǐng)域。

根據(jù)式（1）、式（2）可知左右視場(chǎng)中各像素視場(chǎng)的Census 變換值，基于Census 變換的匹配代價(jià)計(jì)算方法是計(jì)算左右視場(chǎng)對(duì)應(yīng)兩個(gè)像素的Census 變換值的Hamming 距離，如式（3）所示，計(jì)算方法如圖1所示。

Fig.1 Hamming distance diagram圖1 Hamming距離示意圖

從上述函數(shù)可以看出，傳統(tǒng)的非參數(shù)Census 變換對(duì)中心像素過(guò)于依賴，由于光線強(qiáng)弱，會(huì)有噪聲對(duì)中心像素產(chǎn)生干擾，因而得到的比特串發(fā)生很大改變，通過(guò)計(jì)算Hamming距離得到匹配代價(jià)的準(zhǔn)確性將極大降低。

對(duì)于以上問(wèn)題，本文提出一種改進(jìn)型Census 變換算法，該算法以選定的正方形窗口呈現(xiàn)，窗口大小如式（4）所示。

建立X-Y 直角坐標(biāo)系，將中心像素作為坐標(biāo)原點(diǎn)，水平向右，豎向向上為X 軸和Y 軸的正方向。在窗口中選取8個(gè)參考點(diǎn)Mi，參考點(diǎn)的坐標(biāo)表示為：

將選取的8 個(gè)像素參考點(diǎn)按坐標(biāo)順序構(gòu)成一個(gè)新的正方形m，將左上角第一個(gè)m0開(kāi)始按下標(biāo)順序排列，依次比較其像素點(diǎn)的灰度值。比較方式如圖2 所示，若后一個(gè)像素灰度值大于前一個(gè)則記為1，否則記為0。這8 個(gè)比較后的值串聯(lián)起來(lái)形成一個(gè)比特串，即為中心像素點(diǎn)p的變換碼CCen，如式（6）所示。

最后根據(jù)式（3）可得到在視差范圍［dmin，dmax］內(nèi)不同d下的匹配代價(jià)。

Fig.2 Pixel comparison method圖2 像素點(diǎn)比較方式

本文提出的改進(jìn)型Census 算法對(duì)于大支持窗口的匹配速度提升較大，克服了傳統(tǒng)算法對(duì)中心像素點(diǎn)的依賴，有助于測(cè)距場(chǎng)景的快速實(shí)現(xiàn)。

2 改進(jìn)型Census與AD融合原理

本文提出的改進(jìn)型Census 變換和AD 變換融合的代價(jià)計(jì)算，同樣遵循立體匹配算法的4 個(gè)步驟，即代價(jià)計(jì)算［14］、代價(jià)聚合［15］、掃描線優(yōu)化［16］、視差優(yōu)化。

2.1 代價(jià)計(jì)算

AD（Absolute Differences）算法即亮度或顏色差的絕對(duì)值，其原理是左右視圖像素點(diǎn)的3 個(gè)顏色分量之差的絕對(duì)值取平均，如果是灰度圖像，則為灰度的亮度差。由于傳統(tǒng)Census 對(duì)于重復(fù)紋理處理效果不理想，而AD 這類基于單像素亮度差的方法可在一定程度上緩解這種重復(fù)紋理的問(wèn)題，因此選擇AD 與Census 相結(jié)合。AD 計(jì)算代價(jià)如式（7）所示。

式中，CAD(p，d)為AD 變換的初始代價(jià)值，R、G、B 為圖像的3個(gè)通道，Ii為像素點(diǎn)的灰度值。

將AD 算法和Census 算法對(duì)應(yīng)的代價(jià)簡(jiǎn)單相加并不合理，由于這兩種算法的結(jié)果尺度不一樣，AD 算法結(jié)果表示為亮度差，范圍為［0，255］，而Census 算法是比特串對(duì)應(yīng)位值不相同個(gè)數(shù)，范圍為［0，N］（N 為比特串的位數(shù)），因此定義歸一化公式（8）將兩者結(jié)果歸一化到相同的［0，1］區(qū)間，這樣可以將歸一化后的AD 算法與Census 算法進(jìn)行相加得到新的匹配代價(jià)如式（9）所示。

式中，ρ(c，λ)可以設(shè)置參數(shù)使函數(shù)值的區(qū)間為［0，1］，c 為代價(jià)值，λ為控制參數(shù)，其中c 和λ都為正數(shù)。Ccen(p，d)為Census 變換后的代價(jià)，CAD(p，d)為AD 變換后的代價(jià)。

2.2 代價(jià)聚合

AD-Census 代價(jià)聚合是采用十字交叉域代價(jià)聚合的方式，十字交叉域是每個(gè)像素都會(huì)有一個(gè)十字臂，該像素的亮度和十字臂上的所有像素亮度值相近。十字臂構(gòu)造是以該像素為中心往上下及左右延伸，當(dāng)遇到亮度與該像素差別較大時(shí)延伸停止，且延伸是有限的。十字臂對(duì)中心像素上下左右4 個(gè)臂延伸到下一個(gè)點(diǎn)pl滿足一定規(guī)則（以左臂為例），如式（10）—式（12）所示。

式中，Dc(pl，p)是pl和p像素點(diǎn)間的顏色差異，τ1、τ2、L1、L2是給定閾值，Ds(pl，p)是pl和p的空間長(zhǎng)度。式（10）表明像素點(diǎn)pl和中心像素點(diǎn)p之間的顏色差異要小于閾值τ1，且像素點(diǎn)pl和它臂上的前一個(gè)像素pl+(1，0)的差異也要小于閾值τ1，防止臂延伸穿過(guò)邊緣像素，式（11）、式（12）表明，為了讓弱紋理區(qū)域包含更多像素，要求臂長(zhǎng)閾值L1較大。而當(dāng)臂長(zhǎng)超過(guò)閾值L2時(shí)，設(shè)定一個(gè)更嚴(yán)格的顏色閾值才能使臂長(zhǎng)延伸到L1。

上臂、下臂、右臂延伸規(guī)則和左臂相同，十字交叉域的結(jié)果不但考慮到周圍像素與中心像素之間的距離關(guān)系，而且能夠使代價(jià)聚合效率提高。

當(dāng)每個(gè)像素的十字臂構(gòu)造成完成后，就可以構(gòu)造像素的支持域如圖3 所示。中心像素點(diǎn)p其支持域是包含垂直臂上所有像素的水平臂。圖3 中q就是p垂直臂上的某個(gè)像素，p的支持域包含q及其水平臂上的像素集合。

Fig.3 Cross principle圖3 十字交叉原理

對(duì)于p的代價(jià)聚合，先將所有水平臂上的像素代價(jià)值累加存儲(chǔ)，再將每個(gè)像素的垂直臂進(jìn)行累加迭代4 次，代價(jià)聚合方式如圖4 所示。第1 次和第3 次順序?yàn)橄人奖墼俅怪北郏? 次和第4 次順序?yàn)橄却怪北墼偎奖?。以這種方式進(jìn)行迭代可降低非連續(xù)區(qū)域的視差匹配錯(cuò)誤。

Fig.4 Cost aggregation method圖4 代價(jià)聚合方式

2.3 掃描線與視差優(yōu)化

掃描線優(yōu)化是為了進(jìn)一步降低誤匹配并提高代價(jià)可靠性。掃描線優(yōu)化在選擇優(yōu)化路徑上可以是4 路徑、8 路徑、16 路徑的方式，路徑數(shù)越多效果越好，但是時(shí)耗也越多。綜合考慮后選擇使用左右上下4 路方向優(yōu)化，最后對(duì)4 路優(yōu)化代價(jià)取均值代替該像素點(diǎn)。視差優(yōu)化將錯(cuò)誤視差剔除掉，提高視差精度及填補(bǔ)視差圖。對(duì)于誤差較大的點(diǎn)和被遮擋區(qū)域［17］，使用一致性檢查［18］后進(jìn)行剔除和視差填充，在提高視差精度方面可以采用子像素優(yōu)化技術(shù)，即對(duì)最優(yōu)視差代價(jià)值與其前后的代價(jià)值進(jìn)行二次曲線擬合，將曲線極值對(duì)應(yīng)的視差值作為子像素視差。經(jīng)過(guò)以上4個(gè)步驟得到最終視差圖。

3 實(shí)驗(yàn)結(jié)果分析

本文采用C++語(yǔ)言在Visual Studio2017 集成環(huán)境下進(jìn)行開(kāi)發(fā)實(shí)驗(yàn)，驗(yàn)證改進(jìn)型AD-Census 變換算法的效果。在64 位的臺(tái)式機(jī)上進(jìn)行，硬件配置：AMD Ryzen 5 3600X 6-Core Processor @3.80 GHz 處理器，16G 內(nèi)存，2060 顯卡，顯存6G。進(jìn)行如下實(shí)驗(yàn)：①分別采用傳統(tǒng)型AD-Census 立體匹配算法和改進(jìn)型AD-Census 立體匹配算法對(duì)應(yīng)代價(jià)計(jì)算耗時(shí)進(jìn)行對(duì)比實(shí)驗(yàn)，使用Middlebury 數(shù)據(jù)集中的圖像對(duì)進(jìn)行驗(yàn)證；②將改進(jìn)型AD-Census 立體匹配算法進(jìn)行測(cè)距實(shí)驗(yàn)。

3.1 耗時(shí)比較實(shí)驗(yàn)

通過(guò)實(shí)驗(yàn)在Middlebury 數(shù)據(jù)集中使用Cones、Teddy、Venus、Tsukuba 圖像對(duì)進(jìn)行代價(jià)計(jì)算算法耗時(shí)實(shí)驗(yàn)比較。如圖5 所示，使用9x9 支持窗口得到視差圖，將本文提出的改進(jìn)型AD-Census 算法得到的視差圖和傳統(tǒng)型AD-Census 算法以及真實(shí)的視差圖作比較，4 組圖像從上到下分別為Cones、Teddy、Jadeplant、Tsukuba，其中Cones 和Teddy 兩組圖像分辨率為450×375 像素，Jadeplant 和Tsukuba 的分辨率分別為1 318×994 像素、384×288 像素，視差搜索范圍為0-64 像素。傳統(tǒng)型AD-Census 立體匹配算法和改進(jìn)型AD-Census 立體匹配算法代價(jià)計(jì)算耗時(shí)如圖6所示。

Fig.5 Stereo matching result of test image pair圖5 測(cè)試圖像對(duì)的立體匹配結(jié)果

從視差圖效果上看，本文算法得到的視差圖與傳統(tǒng)算法和真實(shí)視差很接近。仿真實(shí)驗(yàn)中，較低像素圖片視差范圍為［0-64］，隨著支持窗口的增大，基于傳統(tǒng)的AD-Census 算法代價(jià)計(jì)算可達(dá)到0.6s 左右，而本文提出的改進(jìn)型AD-Census 算法代價(jià)計(jì)算耗時(shí)穩(wěn)定在0.2s左右。對(duì)于高質(zhì)量像素圖片，視差范圍在［0-320］，由于視差范圍和圖像像素的增加，隨著支持窗口的增大，改進(jìn)型AD-Census 算法代價(jià)計(jì)算耗時(shí)穩(wěn)定在6.8s 左右，而傳統(tǒng)的AD-Census 算法代價(jià)計(jì)算隨著支持窗口的增大可達(dá)到16s 左右。由此可知本文提出的算法在速度上有很大優(yōu)勢(shì)。因此，對(duì)于連續(xù)視場(chǎng)支持大窗口進(jìn)行匹配，本文提出的算法是一種速度相對(duì)較快的測(cè)距算法。

3.2 雙目測(cè)距實(shí)驗(yàn)

由本文提出的算法得到視差圖，并應(yīng)用于雙目測(cè)距，根據(jù)測(cè)距精度驗(yàn)證得到視差圖的精度。根據(jù)得到的最終視差d，結(jié)合雙目系統(tǒng)測(cè)量原理可知目標(biāo)物深度Z 的表達(dá)式為：

Fig.6 Cost calculation time-consuming comparison圖6 代價(jià)計(jì)算耗時(shí)比較

其中，B為雙目攝像機(jī)的基線長(zhǎng)度，f為雙目攝像機(jī)焦距，Z為目標(biāo)物深度信息。

本次測(cè)距實(shí)驗(yàn)所用的雙目攝像機(jī)型號(hào)為zed，采集圖像分辨率為1 280×720（像素）。標(biāo)定圖案由8 列6 行方塊組成，每個(gè)方塊實(shí)際大小為20mm×20mm，角點(diǎn)數(shù)為7×5。兩攝像機(jī)平行放置，基線距離約為120mm，焦距2.1mm，圖像分辨率為1 280×720像素。

雙目測(cè)距系統(tǒng)實(shí)現(xiàn)可劃分為：圖像采集、立體標(biāo)定、立體校正、立體匹配和測(cè)距。采集16 張不同角度的圖片采用［19］實(shí)現(xiàn)標(biāo)定，將采集到的16 張圖片對(duì)導(dǎo)入MATLAB 工具箱［20］中可以得到攝像機(jī)結(jié)果。下面給出了得到的左、右攝像機(jī)和雙目攝像機(jī)外部參數(shù)的場(chǎng)景模擬圖。圖7 為攝像機(jī)外部參數(shù)場(chǎng)景圖，圖7（a）為左攝像機(jī)外部參數(shù)場(chǎng)景圖，7（b）為右攝像機(jī)外部參數(shù)場(chǎng)景圖。圖7（c）為左右攝像機(jī)外部參數(shù)場(chǎng)景圖。攝像機(jī)標(biāo)定結(jié)果如表1所示。

Fig.7 External parameter scene graph圖7 外部參數(shù)場(chǎng)景圖

Table 1 Camera calibration result表1 攝像機(jī)標(biāo)定結(jié)果

由得到的內(nèi)外參數(shù)可以看出外參數(shù)T 第一個(gè)元素絕對(duì)值為119.360 與攝像機(jī)實(shí)際基線120mm 很接近，說(shuō)明得到的參數(shù)是準(zhǔn)確的。再根據(jù)標(biāo)定得到的參數(shù)通過(guò)對(duì)采集到的圖像對(duì)進(jìn)行校正，圖8（a）是校正之前采集的左右圖像，圖片背景墻有彎曲的現(xiàn)象。圖8（b）是校正之后左右圖像對(duì)，圖片背景墻彎曲現(xiàn)象消失，左右視圖的極線都相互平行，對(duì)應(yīng)點(diǎn)的縱坐標(biāo)一致。

通過(guò)本文提出的改進(jìn)型AD-Census 立體匹配算法得到視差圖并計(jì)算視差，根據(jù)雙目測(cè)距模型，目標(biāo)物的深度Z等于基線長(zhǎng)度B 與攝像機(jī)焦距f乘積與視差d的比值。

Fig.8 Effect of picture before and after correction圖8 校正前后效果

在測(cè)距實(shí)驗(yàn)中，將被目標(biāo)物分別置于離光心800mm 到3 000mm 處。根據(jù)攝像機(jī)標(biāo)定的各項(xiàng)參數(shù)和式（10）可得到被測(cè)目標(biāo)物的深度。實(shí)驗(yàn)結(jié)果如表2所示。

Table 2 Experimental results表2 實(shí)驗(yàn)結(jié)果

由表2 可知，根據(jù)本文提出的改進(jìn)型AD-census 立體匹配算法在測(cè)距實(shí)驗(yàn)結(jié)果中測(cè)量距離800mm 到3 000mm以內(nèi)相對(duì)誤差小于5%，滿足實(shí)驗(yàn)要求，隨著測(cè)量距離的增加，相對(duì)誤差呈現(xiàn)增長(zhǎng)趨勢(shì)。

4 結(jié)語(yǔ)

本文提出改進(jìn)型AD-Census 立體匹配算法，通過(guò)采用經(jīng)典的AD-Census 匹配和改進(jìn)型AD-Census 匹配算法的速度進(jìn)行對(duì)比實(shí)驗(yàn)，使用Middlebury 數(shù)據(jù)集中的圖像對(duì)進(jìn)行驗(yàn)證，再將改進(jìn)型AD-Census 匹配算法進(jìn)行測(cè)距實(shí)驗(yàn)以驗(yàn)證算法的精確性。由實(shí)驗(yàn)可知，傳統(tǒng)的AD-Census 算法隨著支持窗口的不斷增大其代價(jià)計(jì)算時(shí)耗也在不斷增大，而本文提出的改進(jìn)型AD-Census 算法，對(duì)于低像素圖形，隨著支持窗口的增加，其代價(jià)計(jì)算時(shí)耗穩(wěn)定在0.2S 左右，對(duì)于高像素圖形，其代價(jià)計(jì)算時(shí)耗穩(wěn)定在6.8S 左右而不會(huì)隨著支持窗口的增加而增加。因此，對(duì)于大窗口進(jìn)行匹配，效果比傳統(tǒng)算法更有優(yōu)勢(shì)。

通過(guò)將本文算法計(jì)算得到的視差用于測(cè)距實(shí)驗(yàn)，由于攝像機(jī)本身的工藝限制如基線和焦距的長(zhǎng)度有限可得到被測(cè)目標(biāo)物距離光心800mm 到3 000mm 以內(nèi)相對(duì)誤差小于5%，滿足實(shí)驗(yàn)精度要求。由此證明，本文提出的算法不僅在速度上得到了提升，而且得到了有效的視差，能夠滿足測(cè)距系統(tǒng)的要求。

光照和弱紋理等因素的存在給目標(biāo)匹配精度帶來(lái)了很大影響，雖然極大提高了匹配速度，但像素點(diǎn)的誤匹配率較高。為了得到更高的測(cè)距精度，可以將算法作進(jìn)一步優(yōu)化并選擇合適的目標(biāo)匹配區(qū)域進(jìn)行細(xì)劃分匹配。