廣東機(jī)場(chǎng)白云信息科技有限公司系統(tǒng)集成中心 李 濤

現(xiàn)有的立體視覺(jué)系統(tǒng)對(duì)于弱紋理對(duì)象三維重建十分困難，因此本文提出了一種用于增強(qiáng)弱紋理對(duì)象表面紋理質(zhì)量投影圖像生成算法和自適應(yīng)窗口立體匹配算法。首先根據(jù)立體匹配算法的原理，提出一種紋理質(zhì)量增強(qiáng)圖像生成算法，將該算法投影到弱紋理對(duì)象上，使得表面形成高強(qiáng)度的的紋理分布；然后基于梯度積分方差提出了自適應(yīng)窗口的立體匹配算法，該算法首先計(jì)算左相機(jī)的積分圖像，并根據(jù)梯度積分方差的大小確定匹配窗口的紋理質(zhì)量，自適應(yīng)的調(diào)整匹配窗口的大小，通過(guò)遍歷整幅圖像得到稠密的視差圖。實(shí)驗(yàn)結(jié)果表明：該視覺(jué)系統(tǒng)能夠準(zhǔn)確可靠的恢復(fù)若紋理對(duì)象的深度信息，其相對(duì)誤差為0.075%，且重構(gòu)點(diǎn)云質(zhì)量和精度均高于Intel RealSense D435、Orbbec Astra S以及MYNT D1000等設(shè)備。

自助行李托運(yùn)系統(tǒng)已廣泛應(yīng)用于各大機(jī)場(chǎng)，該系統(tǒng)需要對(duì)旅客投放的行李進(jìn)行自動(dòng)檢測(cè)，并判斷其尺寸和形狀是否符合托運(yùn)要求。在目前三維信息采集方案中，三維激光掃描儀造價(jià)較高，線激光造價(jià)高且掃描速度較慢，傳統(tǒng)立體視覺(jué)方法對(duì)弱紋理對(duì)象的三維建模精度角度，其穩(wěn)定性和可靠性不高，均不適用于自助行李托運(yùn)系統(tǒng)的技術(shù)或價(jià)格要求。因此，弱紋理行李的紋理增強(qiáng)和可靠的三維重建方法，對(duì)于解決航空行李的三維信息采集問(wèn)題具有重要意義。

立體視覺(jué)測(cè)量技具有視場(chǎng)大、精度高、信息豐富等優(yōu)點(diǎn)，因而廣泛地運(yùn)用于機(jī)器人導(dǎo)航避障、農(nóng)業(yè)生產(chǎn)、建筑測(cè)量和臨床醫(yī)療等方面。稠密的視差圖估計(jì)利用立體視覺(jué)進(jìn)行目標(biāo)場(chǎng)景三維重建的前提條件。目前相關(guān)的大部分研究工作重點(diǎn)都是圍繞稠密視差圖估計(jì)精度展開(kāi)的，也有公認(rèn)的統(tǒng)一測(cè)試平臺(tái)。立體視覺(jué)稠密視差估計(jì)算法可分為局部方法和全局方法兩類。局部方法通過(guò)在特定的區(qū)域內(nèi)對(duì)匹配代價(jià)求和或取加權(quán)均值實(shí)現(xiàn)稠密視差估計(jì)，這類算法簡(jiǎn)單且復(fù)雜度低，由于僅僅考慮局部代價(jià)計(jì)算和積累，容易產(chǎn)生歧義性。全局方法是將圖像匹配問(wèn)題轉(zhuǎn)化為像素視差值標(biāo)記問(wèn)題，通過(guò)建立全局能量函數(shù)，求得使其最小化的視差估計(jì)，這類算法的匹配精度較高，但是由于求解全局能量函數(shù)過(guò)程的計(jì)算資源消耗過(guò)大，不適用于實(shí)時(shí)處理的場(chǎng)合。

上述稠密匹配算法僅僅適用于紋理較為豐富的場(chǎng)景，而在實(shí)際的場(chǎng)景中往往會(huì)出現(xiàn)弱紋理甚至無(wú)紋理的重建對(duì)象。僅僅依靠自然特征重建往往會(huì)很困難，因此為了增加空間的紋理信息，通常需要借助投影儀向被測(cè)目標(biāo)投射出編碼圖案，在重建目標(biāo)表面形成唯一性較好的紋理。隨機(jī)數(shù)字散斑、激光點(diǎn)陣以及特殊編碼圖案最為常用。投影隨機(jī)數(shù)字散斑圖案的方法，簡(jiǎn)單易行，應(yīng)用廣泛。但是由于其隨機(jī)性，會(huì)造成一定概率的誤匹配，這增加了重建的不確定性。于爽等在《雙目立體視覺(jué)中的編碼光圖像主動(dòng)特征匹配方法》文中采用投影格雷碼的方法對(duì)靜態(tài)物體表面進(jìn)行三維重建，其重建精度較高；s.y.chen采用基于M-陣列模板的空間域編碼方法，集中多種編碼信息在投影圖像中，投影到目標(biāo)表面后，進(jìn)行實(shí)時(shí)的三維重建。但是，這兩種編碼方法所需的精密光學(xué)儀器造價(jià)較高，不適合工業(yè)上的大范圍應(yīng)用。

基于上述文獻(xiàn)的啟發(fā)，提出了一種局部唯一性編碼圖像生成方法，用于增加航空行李表面紋理信息，為了恢復(fù)行李完整的表面深度信息，提出了一種基于積分圖的自適應(yīng)窗口匹配算法。實(shí)驗(yàn)裝置示意圖如圖1所示，在立體視覺(jué)系統(tǒng)中加入投影裝置，向目標(biāo)表面局部唯一性編碼圖像，然后通過(guò)雙目相機(jī)同步采集行李圖像，采用自適應(yīng)窗口匹配算法恢復(fù)行李表面深度信息。

圖1 自助行李托運(yùn)系統(tǒng)及立體視覺(jué)系統(tǒng)示意圖

本文第2節(jié)介紹了約束隨機(jī)編碼模型的原理以及生成算法；第3節(jié)介紹了梯度積分圖像計(jì)算方法以及自適應(yīng)窗口匹配算法；第4節(jié)為實(shí)驗(yàn)與結(jié)果分析，首先驗(yàn)證了本文算法得到點(diǎn)云模型的精度與質(zhì)量，接著驗(yàn)證了自適應(yīng)窗口匹配算法的有效性，最后證明了該算法可對(duì)常見(jiàn)類型的航空行李進(jìn)行穩(wěn)定可靠的三維重建；第5章為結(jié)論。

1 投影編碼方法

立體視覺(jué)三維重建的關(guān)鍵環(huán)節(jié)是立體匹配，它決定了三維重建的精度和穩(wěn)定性。部分像素匹配失敗后，很容易出現(xiàn)表面空洞現(xiàn)象；對(duì)于弱紋理目標(biāo)，空洞區(qū)域就會(huì)顯著增加。因此，立體匹配算法的選擇很重要，但是好的匹配算法也不能從根本上解決該問(wèn)題。為此，投影編碼圖像到被測(cè)物體表面，增加其表面的紋理特征，可以顯著減少匹配失敗的概率，從而保證三維重建的可靠性。

常見(jiàn)的快速立體匹配算法有SGM、rSGM、ELAS、BP、DP等算法，其中半全局立體匹配算法(Semi-global matching,SGM)應(yīng)用較為為廣泛，并且可以兼顧匹配速度和精度，適合在工業(yè)場(chǎng)景中應(yīng)用，其改進(jìn)算法有CNNF+SGM、SGM-Net等。

1.1 匹配代價(jià)

代價(jià)計(jì)算往往只考慮局部信息，通過(guò)兩個(gè)像素鄰域內(nèi)一定窗口內(nèi)的像素信息來(lái)計(jì)算代價(jià)值，這很容易受到噪聲的影響，而且當(dāng)重建目標(biāo)為弱紋理或者重復(fù)紋理時(shí)，這代價(jià)值極有可能無(wú)法準(zhǔn)確反映像素之間的相關(guān)性，直接表示就是真實(shí)同名點(diǎn)的代價(jià)值非最小。因此，代價(jià)聚合的目的是讓代價(jià)值準(zhǔn)確的反映鄰域像素之間的相關(guān)性，建立鄰接像素的聯(lián)系，因此代價(jià)聚合從特征點(diǎn)的8個(gè)或16個(gè)方向進(jìn)行優(yōu)化（如圖2所示），每一個(gè)方向都使用動(dòng)態(tài)規(guī)劃算法求解。這樣把多個(gè)方向上的匹配代價(jià)進(jìn)行累加，選取累加代價(jià)最小的點(diǎn)作為最終的匹配點(diǎn)。對(duì)每個(gè)像素進(jìn)行相同操作就行形成了整個(gè)圖像的視差圖。

圖2 局部唯一性圖像優(yōu)化方向

從圖2中可以看到根據(jù)路徑數(shù)的不同，聚合方向也有所不同。路徑數(shù)越多，效果越好，但耗時(shí)也會(huì)越長(zhǎng)，往往需要平衡利弊，根據(jù)實(shí)際需要來(lái)選擇合適的路徑數(shù)。根據(jù)實(shí)際情況要求，選擇8路徑聚合的方向，既可以保證立體匹配的精度，也能兼顧匹配的速度。因此該約束隨機(jī)編碼圖像按照代價(jià)聚合的原理進(jìn)行設(shè)計(jì)。

1.2 編碼規(guī)則

設(shè)定編碼圖像為I，其高度和寬度分別為h和w，編碼圖像矩陣中的每個(gè)像素的灰度值為，用i,j表示該灰度值φ在編碼圖像矩陣中的位置，表示為即φij。設(shè)定Npq表示φij周圍的8鄰域像素，即Npq可以表示為：

其中，φpq為φij的8鄰域像素灰度值，且滿足條件：

在編碼圖像I是由h×w－2(h+w)+4h個(gè)φij以及φij所對(duì)應(yīng)Npq構(gòu)成，當(dāng)φij處于圖像I的邊界時(shí)，則不存在8鄰域，分為3種情況（四個(gè)角點(diǎn)，上下邊界以及左右邊界）：

在進(jìn)行圖像I編碼時(shí)，含有8鄰域位置的像素編碼具有共同的編碼方法，而四個(gè)角點(diǎn)和邊界情況需要特殊編碼方法來(lái)完成。

2 用于生成自適應(yīng)窗口

2.1 積分圖像

由《數(shù)字圖像相關(guān)中斑紋圖像質(zhì)量評(píng)價(jià)的研究》一文可知圖像的梯度可以作為衡量紋理質(zhì)量的依據(jù)，但是如果在實(shí)時(shí)的立體匹配中每次都要計(jì)算該窗口內(nèi)的梯度積分，計(jì)算消耗較大。因此，可以利用Viola等人提出來(lái)的積分圖像概念，通過(guò)對(duì)原始圖像的積累形成一幅新的積分圖像，如圖3所示該積分圖像能夠快速的計(jì)算出任意窗口內(nèi)的像素梯度之和，而且求和的效率不受區(qū)域大小的影響。

圖3 代價(jià)聚合優(yōu)化方向

圖像是由一系列的離散像素點(diǎn)組成的，因此圖像的積分其實(shí)就是求和。圖像積分圖中的每個(gè)點(diǎn)的值都是原圖像中該點(diǎn)左上角的所有像素值之和，其具體定義如下：

如圖4(b)所示，計(jì)算圖像內(nèi)任意矩形的像素值之和（積分）可以表示為：

同理可得積分圖像內(nèi)任意矩形內(nèi)灰度積分求和的結(jié)果為：

2.2 積分梯度運(yùn)算

由2.2節(jié)可知，梯度可以作為衡量圖像紋理質(zhì)量的評(píng)價(jià)依據(jù)，因此對(duì)圖像I分別在x和y方向上進(jìn)行一階梯度提取，表示為：

依據(jù)公式(5)和公式(7)建立梯度積分圖像為：

則積分梯度圖像任意矩形區(qū)域內(nèi)求和和平方求和表示為：

根據(jù)公式(11)可得到梯度積分方差(GIV)的表達(dá)式為：

由于引入了積分圖像的計(jì)算方法，算法的復(fù)雜度為O(1)，即匹配窗口內(nèi)的梯度積分方差的計(jì)算時(shí)間與匹配窗口的大小無(wú)關(guān)。

2.3 自適應(yīng)窗口的匹配算法

為了保證目標(biāo)的邊緣區(qū)域的重建精度，且較好的恢復(fù)重建目標(biāo)表面三維信息，在紋理質(zhì)量較好的地方，盡量減小匹配窗口，以準(zhǔn)確的反映目標(biāo)表面的外形輪廓，加快重建速度；在紋理質(zhì)量差的地方，通過(guò)適當(dāng)?shù)脑龃笃ヅ浯翱冢@得其更多周圍鄰域的信息，保證其匹配的可靠性。因此自適應(yīng)窗口匹配算法的基本思想是通過(guò)計(jì)算該窗口內(nèi)的紋理質(zhì)量來(lái)調(diào)整匹配窗口大小，從而保證立體匹配的速度和精度。該算法的詳細(xì)流程圖如圖4所示：

圖4 自適應(yīng)窗口匹配算法流程圖

Step1：編碼圖像采集。開(kāi)啟投影裝置向被測(cè)空間投影編碼圖像，利用視覺(jué)系統(tǒng)的雙目相機(jī)同時(shí)采集帶有編碼圖像的重建目標(biāo)。

Step2：立體校正。通過(guò)得到的攝像機(jī)內(nèi)外參數(shù)，對(duì)左右圖像進(jìn)行變換，輸出行對(duì)準(zhǔn)的校正圖像，把二維空間的匹配問(wèn)題轉(zhuǎn)化為一維空間內(nèi)的求解問(wèn)題。立體校正提高了立體匹配的效率和可靠性。

Step3：積分圖像計(jì)算。遍歷左相機(jī)圖像上的所有像素，利用公式(11)計(jì)算出梯度積分圖像。

Step4：梯度積分方差計(jì)算。初始化左圖像卷積核大小為Mpixel×Npixel，卷積核中心坐標(biāo)為(x,y)，然后使用公式(12)計(jì)算出該窗口的梯度積分方差ξ。

Step5：自適應(yīng)窗口調(diào)整。將Step4中計(jì)算的GIV與設(shè)定的紋理質(zhì)量的閾值TH進(jìn)行比較；若小于該閾值，則增加卷積核的大小，否則說(shuō)明該卷積核內(nèi)的紋理質(zhì)量滿足要求，進(jìn)行Step5計(jì)算。

Step6：立體匹配。在右圖像相同的行坐標(biāo)y上搜索使得能量函數(shù)最小化的對(duì)應(yīng)點(diǎn)，左右圖像的橫坐標(biāo)差值即為視差d。重復(fù)Step4-Step5完成左圖像上所有像素的匹配計(jì)算，就可以得到完整的稠密視差圖。

3 實(shí)驗(yàn)分析

3.1 3D重建和點(diǎn)云質(zhì)量實(shí)驗(yàn)分析

如圖5所示，雙目立體視覺(jué)系統(tǒng)由兩臺(tái)工業(yè)相機(jī)組成，圖像分辨率為1920×1080；分辨率為500萬(wàn)像素；同時(shí)在該實(shí)驗(yàn)平臺(tái)上固定放置Intel RealSense D435、Orbbec Astra S深度度相機(jī)以及雙目立體相機(jī)MYNT D1000。將組合標(biāo)準(zhǔn)件放置在自助行李系統(tǒng)傳送帶上，同時(shí)采用本文提出的重建方法和其他三種3D設(shè)備對(duì)組合標(biāo)準(zhǔn)件進(jìn)行三維建模。

圖5 實(shí)驗(yàn)平臺(tái)結(jié)構(gòu)示意圖

如圖5所示，為了準(zhǔn)確地進(jìn)行對(duì)比實(shí)驗(yàn)，將點(diǎn)云模型從各自的攝像機(jī)坐標(biāo)系CCS(Camera Coordinate System)轉(zhuǎn)換到統(tǒng)一自定義下的世界坐標(biāo)系WCS(World Coordinate System)下，轉(zhuǎn)換過(guò)程可以表示為：

其中P(XC,YC,ZC)表示在相機(jī)坐標(biāo)系中物點(diǎn)P的坐標(biāo)，P(XW,YW,ZW)表示在世界坐標(biāo)系中物點(diǎn)P的坐標(biāo)。R和T分別為旋轉(zhuǎn)矩陣和平移矩陣。各傳感器對(duì)標(biāo)準(zhǔn)件三維重建之后的點(diǎn)云模型轉(zhuǎn)換到世界坐標(biāo)系下，如圖6所示，旋轉(zhuǎn)矩陣R和平移矩陣T參數(shù)如表1所示。

表1 旋轉(zhuǎn)矩陣R和平移矩陣T

圖6 標(biāo)準(zhǔn)件三維重建的點(diǎn)云(標(biāo)準(zhǔn)件：400mm×160mm):(a)OBBEC Astra深度相機(jī)；(b)Intel RealSense D435深度相機(jī)；(c)MYNT D1000雙目相機(jī)；(d)本文所采用的方法（Proposed Method）

在Geomagic Studio 2013軟件上對(duì)標(biāo)準(zhǔn)件的點(diǎn)云模型進(jìn)測(cè)量，以三維重建的點(diǎn)云到擬合平面距離最大值作為測(cè)量值，精度測(cè)量結(jié)果如圖7所示。

圖7 點(diǎn)云精度測(cè)量統(tǒng)計(jì)：(a)長(zhǎng)度方向統(tǒng)計(jì)；(b)寬度方向統(tǒng)計(jì)

方差是一組數(shù)據(jù)離散程度的度量，用來(lái)衡量隨機(jī)變量與其數(shù)學(xué)期望之間的偏離程度。將從攝像機(jī)坐標(biāo)系下轉(zhuǎn)換到世界坐標(biāo)下的標(biāo)準(zhǔn)件三維點(diǎn)云模型作與世界坐標(biāo)系中的基準(zhǔn)面進(jìn)行對(duì)比實(shí)驗(yàn)，并統(tǒng)計(jì)標(biāo)準(zhǔn)件點(diǎn)云模型方向與基準(zhǔn)面的方差，方差越大表示與基準(zhǔn)面之間的偏離程度越大，可用于衡量點(diǎn)云的穩(wěn)定性，統(tǒng)計(jì)結(jié)果如表2所示?？梢允褂幂喞阈g(shù)平均偏差評(píng)價(jià)點(diǎn)云表面的粗糙度。它是在取樣面積為內(nèi)，點(diǎn)云坐標(biāo)與基準(zhǔn)面之間絕對(duì)值的算術(shù)平均值，在標(biāo)準(zhǔn)件的點(diǎn)云數(shù)據(jù)中隨機(jī)選取4個(gè)不重疊且面積為50mm×50mm的區(qū)域計(jì)算輪廓算術(shù)平均偏差，結(jié)果如圖8所示。

圖8 標(biāo)準(zhǔn)件三維重建表面粗糙度統(tǒng)計(jì)圖

表2 標(biāo)準(zhǔn)件三維重建點(diǎn)云的相對(duì)誤差、方差和粗糙度統(tǒng)計(jì)

由表2可知，本文方法得到點(diǎn)云模型的重建精度、點(diǎn)云質(zhì)量均高于Intel RealSense D435、ORBBEC Astra S以及MYNT D1000，其長(zhǎng)度和寬度重建精度的相對(duì)誤差分別為0.075%和0.081%，方差為1.26，點(diǎn)云表面的粗糙度為0.62。

本文根據(jù)自助行李托運(yùn)系統(tǒng)中航空行李三維檢測(cè)的需求，建立了由雙目相機(jī)和投影裝置組成的主動(dòng)立體視覺(jué)系統(tǒng)。為了增加行李表面的紋理質(zhì)量設(shè)計(jì)了一種局部圖像生成算法；同時(shí)為了保證恢復(fù)行李表面完整的深度信息，提出了一種自適應(yīng)窗口的立體匹配算法。實(shí)驗(yàn)證明本文提出的算法得到的點(diǎn)云精度和質(zhì)量均高于Intel RealSense D435、Orbbec Astra S以及MYNT D1000，其相對(duì)誤差為0.081%，滿足自助行李托運(yùn)系統(tǒng)對(duì)航空行李實(shí)時(shí)三維檢測(cè)的精度和可靠性的要求。