郭偉青,吳小剛,湯一平

1(浙江工業(yè)大學(xué) 之江學(xué)院,浙江 紹興 312030) 2(浙江工業(yè)大學(xué) 信息工程學(xué)院,杭州 310023)

1 引 言

基于機(jī)器視覺(jué)的三維測(cè)量和三維重構(gòu)技術(shù),是一門新興而實(shí)用的技術(shù),可廣泛應(yīng)用于工農(nóng)業(yè)檢測(cè)、地理勘測(cè)、醫(yī)學(xué)診斷、文物復(fù)制、模具快速成型、刑偵取證、保安識(shí)別、機(jī)器人視覺(jué)、虛擬現(xiàn)實(shí)、動(dòng)漫游戲、動(dòng)畫制作等領(lǐng)域[1].

基于單目視覺(jué)(Monocular Vision)的三維重構(gòu)是指利用單臺(tái)攝像機(jī)拍攝成像進(jìn)行三維重構(gòu).圖像可以使用單視點(diǎn)的單幅或多幅圖像,也可以使用多視點(diǎn)的多幅圖像[2].單視點(diǎn)成像可通過(guò)分析圖像二維特征來(lái)獲取物體深度信息,即X 恢復(fù)形狀法.該類方法具有簡(jiǎn)單的設(shè)備結(jié)構(gòu),采用單幅圖像或者少量幾幅圖像即可實(shí)現(xiàn)三維幾何模型重構(gòu),但要求成像及重構(gòu)的條件比較理想化.多視點(diǎn)成像則在不同圖像中根據(jù)相關(guān)約束條件匹配特征點(diǎn),根據(jù)匹配約束推導(dǎo)出三維空間坐標(biāo),實(shí)現(xiàn)三維模型重構(gòu).該類方法可實(shí)現(xiàn)重構(gòu)過(guò)程攝像機(jī)自標(biāo)定,適用于大型三維場(chǎng)景重構(gòu),當(dāng)圖像信息較充分時(shí)重構(gòu)效果較好,但運(yùn)算復(fù)雜,且重構(gòu)時(shí)間較長(zhǎng).

Shum等依據(jù)用戶提供的被測(cè)物體約束信息,通過(guò)全景成像系統(tǒng)重構(gòu)出被測(cè)物體的三維模型[3],該系統(tǒng)首先為每張圖片恢復(fù)出攝像機(jī)的位置,然后使用有效的幾何限定來(lái)重構(gòu)三維幾何模型,重構(gòu)問(wèn)題通過(guò)解線性限定的最小二乘問(wèn)題來(lái)解決.Devevec等將基本幾何形體進(jìn)行參數(shù)化,從而實(shí)現(xiàn)建筑場(chǎng)景等幾何形體的交互式三維建模[3],文獻(xiàn)使用單張或少量照片,采用與視點(diǎn)相關(guān)的紋理映射來(lái)產(chǎn)生渲染效果,模擬出基本模型的幾何細(xì)節(jié).上述方法僅適用于由平面或基本幾何形狀構(gòu)成的物體或場(chǎng)景.

Lipson等采用手工繪制圖像進(jìn)行三維實(shí)體重構(gòu)[4].文獻(xiàn)通過(guò)識(shí)別和計(jì)算幾何規(guī)律來(lái)得到相關(guān)的三維外形結(jié)構(gòu),適合于線框型物體重構(gòu)幾何模型.由于輪廓內(nèi)部的不確定性,算法無(wú)法識(shí)別一些重要特征,易產(chǎn)生一定程度的變形,且該方法在處理曲線曲面型物體時(shí)會(huì)產(chǎn)生較大的誤差.

基于單目視覺(jué)的三維重建,一般采用以下幾種方法:

基于知識(shí)庫(kù)數(shù)據(jù)三維重建方法.Blanz等使用人頭模型數(shù)據(jù)庫(kù),從單幅圖像中恢復(fù)出人臉模型[5,6],文獻(xiàn)[5]通過(guò)轉(zhuǎn)換示例的形狀和紋理成為一個(gè)向量空間表示,導(dǎo)出一個(gè)形變的臉部模型,新的臉部及表情通過(guò)原型的線性組合來(lái)重構(gòu).文獻(xiàn)通過(guò)計(jì)算與數(shù)據(jù)庫(kù)中某一臉部模型的密集點(diǎn)的對(duì)應(yīng)來(lái)識(shí)別新模型,但是該方法依賴于模型數(shù)據(jù)庫(kù).

基于深度估計(jì)的三維重建方法.研究者采用傳統(tǒng)圖像編輯方法設(shè)定圖像中各像素點(diǎn)的深度值[7,8].Chen Y[8]等在圖像編輯系統(tǒng)中,采用參數(shù)優(yōu)化、深度賦值使圖片作自由形狀復(fù)制,但是其深度值依賴于操作者的經(jīng)驗(yàn).Saxena等對(duì)單張場(chǎng)景圖片的深度估計(jì)及模型重建做了系列的研究[9,10],文獻(xiàn)[9]使用一種具有圖像深度線索和不同區(qū)塊之間關(guān)系模型的MRF方法表示系列參數(shù),用于獲取不同區(qū)塊的三維位置和方向,算法優(yōu)點(diǎn)是單圖像線索可提供大量幾何信息進(jìn)行深度和形狀檢測(cè),而不需要多幅圖像的線索去推出深度值,但該方法在物體或場(chǎng)景識(shí)別中會(huì)出錯(cuò).

基于表面法向量局部約束條件的三維重建方法.文獻(xiàn)通過(guò)用戶交互方式,給出圖像中特征點(diǎn)的對(duì)應(yīng)法向,得到物體曲面的幾何形狀估計(jì)[11,12].文獻(xiàn)[11]根據(jù)用戶給出的一些局部場(chǎng)景的約束,如曲面位置、法向、輪廓等,得到平滑且符合約束的三維曲面.通過(guò)交互操作,對(duì)添加的約束條件實(shí)時(shí)修改模型.該方法可重構(gòu)出自由形狀的曲面,曲面法向相對(duì)于深度估計(jì)更易交互指定,但只能重構(gòu)圖片中可見(jiàn)的曲面,在邊界附近會(huì)產(chǎn)生失真.

基于圖像幾何分類的三維模型重構(gòu).通過(guò)對(duì)圖像進(jìn)行幾何分類、分割、區(qū)域標(biāo)識(shí)來(lái)進(jìn)行三維模型重構(gòu)[13,14].文獻(xiàn)[14]按幾何分類對(duì)圖像做標(biāo)記,用于描述圖像區(qū)域的三維場(chǎng)景定位,通過(guò)顏色、紋理、透視等線索確認(rèn)幾何標(biāo)記.不同線索提供區(qū)域不同類型的信息,識(shí)別能力強(qiáng).但由于陰影反射等因素會(huì)混淆算法的執(zhí)行效果.文獻(xiàn)[15,16]使用單目全景成像一次獲取物體表面多視圖,對(duì)多視圖區(qū)域進(jìn)行切割,依據(jù)多視圖的幾何約束、紋理顏色約束等得到物體表面輪廓信息,因?yàn)殓R面數(shù)的限制,該方法存在遮擋和失真現(xiàn)象,在處理較復(fù)雜物體時(shí)易出現(xiàn)形狀的變形.文獻(xiàn)[17,18]提出了基于雙曲鏡面單目全景成像的管道內(nèi)壁三維檢測(cè)及重構(gòu)方法.對(duì)管道橫斷面進(jìn)行全景掃描,獲取管道切面全景掃描圖像,根據(jù)標(biāo)定結(jié)果解析出管道內(nèi)壁的三維信息.該方法在處理非均勻截面采樣點(diǎn)數(shù)據(jù)時(shí)易出現(xiàn)形狀的失真和不穩(wěn)定.

本文提出了一種基于單目多視角視圖的輪廓體素極坐標(biāo)遍歷算法用于真實(shí)腳型的三維重構(gòu).使用一種以物為中心的單目全景視覺(jué)傳感器獲取多個(gè)不同視角的被測(cè)物體全景圖像,單目多視角成像克服了系統(tǒng)中相機(jī)的顏色系統(tǒng)和內(nèi)外參數(shù)很難保持一致的問(wèn)題,減少了硬件使用成本,同時(shí)降低了被測(cè)物體立體圖像匹配復(fù)雜度,增加了實(shí)時(shí)性;采用Otsu算法對(duì)圖像進(jìn)行分割,圖像數(shù)據(jù)的取值范圍只有前景和背景區(qū)分,降低了運(yùn)算復(fù)雜度;通過(guò)輪廓體素極坐標(biāo)遍歷得到物體的三維點(diǎn)云數(shù)據(jù)是一種明確、不含二義性的信息,具有較好的魯棒性,在實(shí)際系統(tǒng)應(yīng)用中驗(yàn)證了本文方法的有效性.

2 以物為中心的單目多視角全景視覺(jué)傳感器

為同步、實(shí)時(shí)、全方位得到被測(cè)對(duì)象整體表面信息,我們?cè)O(shè)計(jì)了由平面鏡、折反射鏡、光源及高清CMOS相機(jī)組成的單目全景立體成像裝置,采用攝像機(jī)在成像孔處拍攝,實(shí)時(shí)同步獲取7個(gè)不同方位攝取的被測(cè)物體表面成像,實(shí)現(xiàn)以被測(cè)物體為觀察中心的全方位成像用于三維重構(gòu),其原理如圖1所示.

圖1 單目多視角全景成像裝置Fig.1 Monocular multi-view panoramic imaging equipment

其實(shí)現(xiàn)方法為:在相機(jī)成像范圍區(qū)域內(nèi)配置6枚平面鏡構(gòu)成一個(gè)斗型鏡腔,反射面朝向鏡腔內(nèi)部,被測(cè)物體表面光線通過(guò)6枚平面鏡反射,再經(jīng)反射鏡兩次改變光路方向,最終投影于相機(jī)成像平面上的不同區(qū)域,物體在相機(jī)成像平面上的多個(gè)影像,構(gòu)成單目多視角全景立體成像.該裝置一次成像即能獲取7個(gè)不同方位攝取的物體多視圖,且該7張多視圖具有相同的相機(jī)參數(shù)和統(tǒng)一的顏色系統(tǒng).

單目多視角全景視覺(jué)系統(tǒng)主要由攝像機(jī)、反射鏡和斗型鏡腔組成.斗型鏡腔由6面等腰梯形鏡面構(gòu)成,鏡腔各組成鏡面呈上小下大朝向腔體內(nèi)側(cè)放置;攝像機(jī)光軸與成像裝置反射鏡I夾角為45°,反射鏡I與反射鏡II互成90°放置,反射鏡II與斗型鏡腔的軸心成45°放置.

成像鏡頭入射光線由腔內(nèi)直射光線和腔內(nèi)鏡面反射光線經(jīng)反射鏡II->反射鏡I折反射構(gòu)成.通過(guò)腔內(nèi)的直射光線依次經(jīng)反射鏡II->反射鏡I反射投影于成像平面中心區(qū)域;腔內(nèi)鏡面反射光線經(jīng)反射鏡II->反射鏡I反射投影于成像平面周邊區(qū)域.利用鏡面折反射成像原理得到被測(cè)物體多個(gè)視角成像.因此,斗型鏡腔可視為存在7個(gè)透視投影點(diǎn),即:1個(gè)真實(shí)相機(jī)投影點(diǎn)及6個(gè)虛擬相機(jī)投影點(diǎn),對(duì)應(yīng)的成像分別為俯、主、左、后、右、輔助1和輔助2等7個(gè)視圖.

單目全景視覺(jué)裝置從成像效果上,等同于配備了7臺(tái)內(nèi)外參數(shù)統(tǒng)一,且顏色系統(tǒng)保持一致的攝像機(jī),各攝像機(jī)坐標(biāo)之間位置固定且成一定的角度.為減少來(lái)自成像系統(tǒng)的外部干擾及環(huán)境多義性對(duì)成像的影響,該單目立體視覺(jué)裝置還設(shè)計(jì)了一個(gè)外殼及內(nèi)部光源,與外界相對(duì)屏蔽.

3 基于輪廓體素極坐標(biāo)遍歷的三維重構(gòu)算法

利用上述以物為中心的視覺(jué)傳感器一次成像可以得到被測(cè)物體多個(gè)視角的圖像.根據(jù)獲得的多個(gè)不同視圖之間的空間幾何關(guān)系,設(shè)計(jì)了一種輪廓體素極坐標(biāo)遍歷算法獲取物體表面三維型值點(diǎn)數(shù)據(jù).

3.1 三維型值點(diǎn)獲取的原理

對(duì)帶有顏色信息的被測(cè)物體表面點(diǎn)云數(shù)據(jù),我們用高斯極坐標(biāo)表示為(α,β,r,R,G,B),將被測(cè)物體中心點(diǎn)作為高斯極坐標(biāo)的原點(diǎn),記為O,拍攝主視圖與左右視圖的攝像機(jī)的光軸分別與世界坐標(biāo)系的X軸和Y軸重合;拍攝俯視圖的相機(jī)光軸與世界坐標(biāo)系Z軸重合.被測(cè)物體表面任一點(diǎn)A的世界坐標(biāo)為(x,y,z),A點(diǎn)到O的距離為r,OA連線投影于XOY平面,X軸與該投影線的夾角稱為方位角α,Z軸與OA連線的夾角稱為入射角β[15],如圖2所示,R,G,B為A點(diǎn)的顏色分量值.

圖2 被重構(gòu)物體在世界坐標(biāo)系中的位置示意圖Fig.2 Location image of reconstructed object in the world coordinate system

根據(jù)以上定義的變量,以第一象限為例,設(shè)物體表面任一型值點(diǎn)A,其世界坐標(biāo)記為 (x,y,z),則A在XOY平面、XOZ平面、YOZ平面上的投影點(diǎn)分別對(duì)應(yīng)俯視圖中的坐標(biāo)點(diǎn)(x,y)、主視圖中的坐標(biāo)點(diǎn)(x,z)及左右視圖中的坐標(biāo)點(diǎn)(y,z);輔助鏡面位于第一、第二象限,與X軸夾角分別為-θ和θ.根據(jù)以上約束關(guān)系,以方位角α、入射角β及距離r為變量,本文采用遍歷高斯極坐標(biāo)的方式,遍歷整個(gè)被測(cè)物體表面,獲取被測(cè)物體表面型值點(diǎn)數(shù)據(jù).

遍歷整個(gè)被測(cè)物體表面時(shí),XOZ平面沿著OZ軸對(duì)被測(cè)物體進(jìn)行遍歷切分,XOY平面沿著OY軸對(duì)其進(jìn)行遍歷切分,分別按照方位角α從 0度到90度、90度到180度、180度到270度、270度到360度的順序,以及入射角β從-90度到90度順序,依次遍歷.不同的方位角對(duì)應(yīng)不同的約束條件,各方位角范圍和各視圖間的約束關(guān)系如表1所示.

表1α的范圍與各視圖間的約束關(guān)系
Table 1 Constraints between theαscope and the views

α的范圍0°～90°90°～180°180°～270°270°～360°變量α與各視圖間的約束關(guān)系主視圖右半部分與左視圖左半部分以及輔助視圖1(參照俯視圖第一象限)主視圖左半部分與右視圖右半部分以及輔助視圖2(參照俯視圖第二象限)右視圖左半部分與后視圖右半部分(參照俯視圖第三象限)后視圖左半部分與左視圖右半部分(參照俯視圖第四象限)

各視圖中物體表面輪廓信息可采用邊緣檢測(cè)算法獲得,當(dāng)α=0°、90°、180°、270°時(shí),可直接計(jì)算獲取物體的輪廓體素,其余角度則無(wú)法直接獲取,需要通過(guò)遍歷算法查找物體表面體素.

本文對(duì)物體表面輪廓信息用離散體素來(lái)表示,物體經(jīng)入射角和方位角的遍歷,被均勻切分成一個(gè)個(gè)獨(dú)立的小立方體空間,依據(jù)長(zhǎng)、寬、高幾何約束關(guān)系限定被測(cè)物體表面離散體素的幾何范圍,對(duì)方位角α從 0度到360度,入射角β從-90度到90度,依次遍歷,計(jì)算出在各方位角α和各入射角β時(shí)的最長(zhǎng)估算極半徑Re-out與最短估算極半徑Re-in,形成系列可視化幾何立方體,定義為最小包圍體,其外形大小為Δβ×Δα×(Re-out-Re-in).采用空間雕刻算法在Re-out與Re-in之間查找被測(cè)物體表面體素,該方法基于光一致性約束原則,如果一個(gè)體素屬于被測(cè)物體表面體素,則在所有可見(jiàn)該體素的視圖上投影像素的亮度值應(yīng)相同.

本文采用比較體素投影的亮度值方差和閾值設(shè)定來(lái)判定光一致性,用Pro(v)表示物體表面體素v投影在K幅相關(guān)約束視圖上的像素集,Con(v)表示像素集Pro(v)的光一致性函數(shù),設(shè)定閾值為λ,Lm(m∈{1,2,…,K})為像素集v在相關(guān)約束視圖m上的投影亮度值,計(jì)算亮度值方差用公式(1):

(1)

計(jì)算物體表面體素v的光一致性用公式(2):

Con(v)=σ-λ

(2)

若Con(v)<0,判定該像素滿足光一致性條件,則該體素為被測(cè)物體表面體素.

3.2 圖像預(yù)處理及三維型值點(diǎn)獲取的算法流程

3.2.1 圖像預(yù)處理

Step 1.單目多視角全景視覺(jué)傳感器獲取被測(cè)物體的一次成像(包括俯視圖、主、后、左、右視圖及輔助視圖);

Step 2.對(duì)原始成像進(jìn)行圖像分割,以鏡腔的邊緣作為切割基準(zhǔn),按照一定的比例對(duì)原始圖像進(jìn)行以各個(gè)鏡面為基準(zhǔn)的切割,獲得以每個(gè)鏡面為切割單位的各個(gè)視圖;

Step 3.采用閾值分割將各個(gè)視圖的前景從背景中分離出來(lái),獲得二值化圖;

Step 4.對(duì)二值化圖進(jìn)行歸一化處理,通過(guò)等比例的旋轉(zhuǎn)和縮放將主視圖與俯視圖進(jìn)行寬相等的歸一化,以這兩個(gè)視圖為基準(zhǔn),再對(duì)其他視圖進(jìn)行歸一化操作,兩個(gè)輔助視圖根據(jù)固定的鏡面角度參數(shù)與側(cè)視圖進(jìn)行歸一化,得到不同視角的七張視圖.

3.2.2 三維型值點(diǎn)獲取流程

Step 1.根據(jù)表1對(duì)不同的方位角α進(jìn)行劃分,將被測(cè)物體劃分成四個(gè)部分;

Step 2.初始設(shè)定入射角β和方位角α,使得初始方位角∠α=0°,初始入射角∠β=-90°,設(shè)置每次增量為1°;

Step 3.根據(jù)表1確定在α范圍內(nèi)與之相應(yīng)的視圖遍歷區(qū)域;

Step 4.用公式(3)、公式(4)計(jì)算出在當(dāng)前方位角α和當(dāng)前入射角β時(shí)的最長(zhǎng)估算極半徑Re-out和最短估算極半徑Re-in,從而獲得被測(cè)物體表面點(diǎn)的一個(gè)包圍體Δβ×Δα×(Re-out-Re-in);

(3)

(4)

xe、ye、ze是當(dāng)方位角為α入射角為β時(shí)所遍歷視圖的邊緣點(diǎn)坐標(biāo)值,遍歷視圖范圍由表1確定;

Step 5.若方位角α處于第一、第二象限,將第一、第二象限劃分為四個(gè)區(qū)域,分別為(0°,90°-θ),(90°-θ,90°),(90°,180°-θ),(180°-θ,180°).從最長(zhǎng)估算極半徑Re-out開(kāi)始遍歷查找被測(cè)物體表面體素ve,利用公式(5)計(jì)算出遍歷點(diǎn)在輔助鏡面中的坐標(biāo)值.

(5)

式中,θ為輔助鏡面與x軸的夾角.由公式(2)進(jìn)行光一致性檢測(cè),在(0°,90°-θ)區(qū)間采用左視圖與輔助鏡面1中的視圖進(jìn)行光一致性判斷;依此類推,在(90°-θ,90°)區(qū)間采用輔助鏡面1中的視圖與主視圖,在(90°,180°-θ)區(qū)間采用主視圖與輔助鏡面2中的視圖,在(180°-θ,180°)區(qū)間采用輔助鏡面2中的視圖與右視圖進(jìn)行判斷,對(duì)于匹配成功的點(diǎn)則跳轉(zhuǎn)到Step7,否則繼續(xù)遍歷;

Step 6.若方位角α處于第三、第四象限,以最長(zhǎng)估算極半徑Re-out為起始位置向內(nèi)遍歷查找被測(cè)物體表面點(diǎn)ve,若某點(diǎn)在表1對(duì)應(yīng)的視圖中可見(jiàn),且符合光一致性約束,則記錄該點(diǎn)信息為(α,β,r);若遍歷的最小包圍體內(nèi)所有點(diǎn)均不滿足條件,則按公式(4)計(jì)算最小值,將其作為候選體素點(diǎn)ve,記為(α,β,r);

Step 7.Step 5和Step 6中所獲取的點(diǎn)(α,β,r),采用公式(6)計(jì)算出對(duì)應(yīng)的三維點(diǎn)坐標(biāo)(x,y,z),保存于文件用于后續(xù)測(cè)試;

(6)

Step 8.計(jì)算β←β+Δβ,判斷是否滿足β≤ 90°,若滿足,則跳轉(zhuǎn)到Step 4執(zhí)行;

Step 9.計(jì)算α←α+Δα,判斷是否滿足α<360°,若滿足,令β=-90°,跳轉(zhuǎn)到Step 3執(zhí)行;

Step 10.三維點(diǎn)云獲取完成.

4 實(shí)驗(yàn)測(cè)試

為了驗(yàn)證上述輪廓體素極坐標(biāo)遍歷算法,本文采用真人腳型進(jìn)行實(shí)驗(yàn)測(cè)試.

采用單目全景成像裝置一次性同步獲取7個(gè)視角被測(cè)腳部全景視圖,圖3為鏡腔實(shí)物及被測(cè)腳部在鏡腔中的成像.

4.1 腳型圖像的預(yù)處理

腳型圖像的預(yù)處理主要包括多視角全景圖像分割、圖像的灰度化、二值化以及圖像的歸一化處理.

4.1.1 圖像的分割

通過(guò)圖像分割將圖5切分成7個(gè)不同視角的圖片,用于獲取腳型的7個(gè)輪廓的信息.圖像分割調(diào)用JDK的圖像分割函數(shù),為了避免過(guò)分割,將腳圖中鏡腔的邊緣作為分割的依據(jù),在切割左輔助視圖與右輔助視圖時(shí),需將全景圖分別旋轉(zhuǎn)-θ與θ角度,實(shí)際系統(tǒng)中θ取值根據(jù)需要設(shè)定.

圖3 鏡腔及鏡腔全景成像Fig.3 Image of the mirror cavity and panoramic imaging

4.1.2 圖像的灰度化處理

圖片任何一個(gè)像素點(diǎn)具有RGB三個(gè)顏色屬性,而灰度化處理通過(guò)參數(shù)轉(zhuǎn)換使得R=G=B,將原來(lái)的彩色表示成一種灰度顏色.圖像像素由三個(gè)字節(jié)處理成一個(gè)字節(jié)表示,可提高圖像的處理速度.圖像中各像素點(diǎn)灰度值由加權(quán)平均法計(jì)算獲取,其計(jì)算公式如公式(7)所示:

f(x,y)=0.30*R(x,y)+0.59*G(x,y)+0.11*B(x,y)

(7)

運(yùn)算后獲得灰度圖,該灰度圖中各像素的灰度值作為亮度值參與物體表面光一致性判斷.

4.1.3 圖像的二值化處理

在初始分割中得到的7張視圖中,圖像背景會(huì)干擾各個(gè)視圖的后續(xù)操作,需要做前景的提取.由于在拍攝裝置中將背景設(shè)置為黑色,所以被測(cè)物體成像顏色與裝置中背景的顏色有較大差異,本文使用閾值法進(jìn)行分割,當(dāng)像素灰度值>閾值時(shí)設(shè)為白色,當(dāng)像素灰度值<=閾值時(shí)設(shè)為黑色,經(jīng)過(guò)遍歷處理獲得被測(cè)物體初始二值化圖.

4.1.4 圖像的降噪

初始二值化圖不可避免地存在噪聲,圖像前景有許多黑點(diǎn),即丟失的前景部分,背景有許多白點(diǎn),即多余的背景部分.因此需進(jìn)一步消除背景中多余信息,修復(fù)前景丟失的信息,排除噪聲對(duì)后續(xù)的干擾.

由于前景主要為白色,而噪聲區(qū)域普遍較小,通過(guò)深度優(yōu)先遍歷,計(jì)算各個(gè)白色連通塊的面積,消除較小的白色連通塊,留下最大白色連通塊,初步消除背景區(qū)域的噪聲.然后用同樣方式消除較小的黑色連通塊,留下最大黑色連通塊,初步修復(fù)前景區(qū)域丟失的信息.采用膨脹和腐蝕算法,對(duì)二值化圖進(jìn)行后續(xù)降噪.

4.1.5 圖像的歸一化處理

以俯視圖為基準(zhǔn),將7張視圖進(jìn)行旋轉(zhuǎn)和等比例縮放,使之符合約束關(guān)系:左、右視圖的長(zhǎng)與俯視圖的長(zhǎng)保持一致,主、后視圖的寬與俯視圖的寬保持一致,左、右輔助視圖的長(zhǎng)與俯視圖上的投影部分相對(duì)應(yīng).

根據(jù)裝置鏡腔的幾何關(guān)系,確定腳部重心在各個(gè)視圖中的位置,可獲得統(tǒng)一的多視角圖像重心.將得到的二值化圖統(tǒng)一轉(zhuǎn)化為500*500像素的圖像,便于三維型值點(diǎn)的提取.圖4(a)-圖4(g)為經(jīng)過(guò)預(yù)處理獲取的7視圖的二值化圖,圖4(h)-圖4(n)為經(jīng)過(guò)預(yù)處理獲取的7視圖的灰度圖.

4.2 型值點(diǎn)數(shù)據(jù)的獲取及三維重構(gòu)

在三維型值點(diǎn)數(shù)據(jù)的獲取過(guò)程中,為了便于點(diǎn)匹配數(shù)據(jù)處理,首先將二值化圖像轉(zhuǎn)化為布爾類型的二維數(shù)組.點(diǎn)匹配過(guò)程采用了高斯極坐標(biāo)遍歷,需要確定腳型表面體素的極半徑R的值,算法中通過(guò)各視圖的邊界檢測(cè)來(lái)獲取R的取值范圍,通過(guò)對(duì)入射角β和方位角α的遍歷,在R取值范圍內(nèi)從最短估算距離到最長(zhǎng)估算距離依次進(jìn)行點(diǎn)匹配,獲取腳型各個(gè)表面體素.

圖4 預(yù)處理獲取的7視圖的二值化圖(a-g)和灰度圖(h-n)Fig.4 Binary images(a-g)and grey images(h-n)of the 7 views obtained by preprocessing

圖5為采用本文所述輪廓體素極坐標(biāo)遍歷法得到的腳型三維點(diǎn)云重構(gòu)圖.

圖5 被重構(gòu)腳型的三維點(diǎn)云顯示Fig.5 Three-dimensional point cloud displays of the reconstructed foot

4.3 誤差測(cè)試

為了對(duì)重構(gòu)誤差進(jìn)行分析,本文通過(guò)對(duì)被測(cè)物體的投影與原始分割進(jìn)行比較,得出誤差數(shù)據(jù).

首先計(jì)算點(diǎn)云數(shù)據(jù)的投影,其過(guò)程如下:

點(diǎn)云數(shù)據(jù)中每個(gè)點(diǎn)(x,y,z),通過(guò)計(jì)算實(shí)現(xiàn)點(diǎn)云數(shù)據(jù)在高斯坐標(biāo)系內(nèi)的旋轉(zhuǎn).

如某點(diǎn)以Z軸為中心旋轉(zhuǎn)k度:

Step 1.用t=arctan(y/x)求得該點(diǎn)在XOY平面上的角度;

Step 2.使t=t+k,得出旋轉(zhuǎn)后的角度;

Step 3.令R= sqrt(x*x+y*y),求得該點(diǎn)在平面XOY上的投影與原點(diǎn)O的距離;

Step 4.用x′=R*cos(t)求得新的x坐標(biāo),y′ =R*sin(t)求得新的y坐標(biāo);

Step 5.計(jì)算完成.旋轉(zhuǎn)后的坐標(biāo)為(x′,y′,z).

同理,同樣方法可完成以Y軸為中心以及以X軸為中心的旋轉(zhuǎn).

要獲得相應(yīng)視圖的投影,則可將對(duì)應(yīng)的面旋轉(zhuǎn)至Z軸正方向,然后根據(jù)點(diǎn)的x,y坐標(biāo)映射到投影緩沖區(qū).表2 為不同視圖的原始分割和投影圖.

表2 不同視圖的原始分割和投影
Table 2 Original segmentation and projection of different views

序號(hào)視圖原始分割投影1俯視圖2主視圖3左視圖4后視圖5右視圖6輔助視圖17輔助視圖2

誤差測(cè)試方法1為通過(guò)膨脹腐蝕進(jìn)行閉運(yùn)算,將投影圖中的空洞填充,然后利用得到的圖與原始分割圖按照同一中心點(diǎn)重疊,分別統(tǒng)計(jì)其共同區(qū)域、僅原圖存在區(qū)域、僅投影存在區(qū)域,重疊圖為表3中所示.統(tǒng)計(jì)各區(qū)域像素點(diǎn),按照Max{僅原圖存在區(qū)域像素點(diǎn),僅投影存在區(qū)域像素點(diǎn)}/共同區(qū)域像素點(diǎn),計(jì)算誤差率,數(shù)據(jù)見(jiàn)表3.

誤差測(cè)試方法2為比較投影和原視圖各方向上的截線長(zhǎng)度.利用表2中列出的原始分割和投影,以中心點(diǎn)為基準(zhǔn),計(jì)算投影各個(gè)角度上通過(guò)中心點(diǎn)的截線長(zhǎng),同時(shí)也計(jì)算原始分割各個(gè)角度上通過(guò)中心點(diǎn)的截線長(zhǎng).對(duì)每個(gè)視圖方向的投影和原始分割的每個(gè)角度,計(jì)算誤差率|Ws-Wo|/Wo,Ws為當(dāng)前投影在當(dāng)前角度下的截線長(zhǎng),Wo為當(dāng)前原始分割在當(dāng)前角度下的截線長(zhǎng).對(duì)180個(gè)方向上的誤差求平均值作為最后該視圖方向上的平均誤差.

計(jì)算通過(guò)中心點(diǎn)每個(gè)方向上的截線長(zhǎng).遍歷像素點(diǎn),根據(jù)像素點(diǎn)相對(duì)于中心點(diǎn)的(x,y)值計(jì)算角度t= arctan(y/x).按照t的整數(shù)部分k分別計(jì)算dist[k]k=0,1,2,…,359,表示360個(gè)方向的邊緣點(diǎn)到中心點(diǎn)的最大距離.

遍歷角度[0,180),令length[k] =dist[k] +dist[k+180] 得到角度k上的截線長(zhǎng).按照以上方法計(jì)算得到各視圖各方向通過(guò)中心點(diǎn)的截線長(zhǎng),可求得誤差.

表3 原始分割和投影疊加圖及數(shù)據(jù)分析
Table 3 Overlay image of original segmentation and projection with data analysis

序號(hào)視圖重疊圖僅原圖存在區(qū)域像素點(diǎn) 僅投影存在區(qū)域像素點(diǎn) 共同區(qū)域像素點(diǎn) 誤差率1俯視圖47736358061.31%2主視圖357337132892.62%3左視圖532736257282.81%4后視圖772361132655.50%5右視圖903255262123.33%6輔助視圖171123184880.66%7輔助視圖2134145187090.77%

誤差數(shù)據(jù)如表4所示.

表4 方法2在不同視圖上的誤差數(shù)據(jù)
Table 4 Error data of method 2 on different views

整理各角度誤差,得到各視圖各角度誤差數(shù)據(jù),如圖6(a)所示,其中俯視圖與輔助視圖1各角度誤差率數(shù)據(jù)圖如圖6(b)、圖6(c)所示.

從上述實(shí)驗(yàn)所得的數(shù)據(jù)進(jìn)行分析,用兩種方法測(cè)試誤差均顯示后視圖誤差相對(duì)較大.理想狀態(tài)的主后視圖輪廓應(yīng)按鏡面垂直對(duì)稱,因此該誤差可通過(guò)調(diào)整被測(cè)物體擺放角度、相機(jī)拍攝位置及鏡頭角度等方法以減少拍攝誤差,從而得到較好的成像效果.實(shí)驗(yàn)過(guò)程中還發(fā)現(xiàn)由于物體表面對(duì)光線的反射作用,有時(shí)在對(duì)初始圖像二值化處理中產(chǎn)生噪聲較大,針對(duì)這一影響因素,我們通過(guò)調(diào)整光源及閾值,獲得較好的重構(gòu)效果.后續(xù)需進(jìn)一步提高裝置精度,同時(shí)減少環(huán)境干擾,以提高前景提取的準(zhǔn)確度,降低重構(gòu)誤差.文獻(xiàn)[15]和文獻(xiàn)[16]提出用單目多視角全景視覺(jué)傳感器進(jìn)行腳型測(cè)量及重構(gòu),采用的方法是基于5視圖全景成像,因?yàn)殓R面數(shù)的限制,該方法在重構(gòu)過(guò)程中存在遮擋和失真現(xiàn)象.本文采用單目多視角7視圖實(shí)現(xiàn)被測(cè)物體的三維重構(gòu),增加了鏡面數(shù),即增加虛擬視點(diǎn),獲取了更多的物體表面信息,實(shí)驗(yàn)結(jié)果顯示較好的重構(gòu)效果.

5 結(jié)束語(yǔ)

針對(duì)基于機(jī)器視覺(jué)的物體三維建模,本文研究了單目折反射成像機(jī)理,利用由多個(gè)折反射鏡面組成的矩形狀斗型腔所形成的多視角立體視覺(jué)特性,探索以物為中心的全景立體感知理論與方法,實(shí)現(xiàn)了一種基于單目多視角成像的輪廓體素極坐標(biāo)遍歷重構(gòu)方法.通過(guò)單目全景立體視覺(jué)傳感器獲取幾何物體的全景視圖,采用Otsu算法對(duì)圖像進(jìn)行分割,提取前景信息,用輪廓體素極坐標(biāo)遍歷得到物體的表面采樣點(diǎn)數(shù)據(jù).克服了通用多視角成像在三維重構(gòu)中存在的攝像機(jī)的顏色系統(tǒng)和內(nèi)外參數(shù)很難保持一致;在圖像特征提取及立體匹配過(guò)程中實(shí)時(shí)性不足且所花計(jì)算資源較多;軟件系統(tǒng)復(fù)雜度過(guò)高等問(wèn)題.該方法計(jì)算過(guò)程簡(jiǎn)單,易于軟件編程實(shí)現(xiàn),并用真人腳型三維重構(gòu)實(shí)驗(yàn)驗(yàn)證了該方法的有效性.