圣延聰,崔桂華,吳自然
基于雙目立體視覺(jué)的3D物體顏色測(cè)量方法研究
圣延聰,崔桂華?,吳自然
(溫州大學(xué)電氣與電子工程學(xué)院,浙江溫州 325035)
傳統(tǒng)的物體顏色測(cè)量方法,均是針對(duì)平面物體而言的,不適用于3D物體尤其是表面不規(guī)則的3D物體表面的顏色測(cè)量.隨著3D彩色打印技術(shù)的飛速發(fā)展,亟需一種快速的直接的3D物體顏色測(cè)量方法.鑒于此,提出了一種基于雙目立體視覺(jué)的3D物體顏色測(cè)量方法.在標(biāo)準(zhǔn)LED燈箱中,首先使用雙目相機(jī)采集標(biāo)準(zhǔn)棋盤(pán)格圖像進(jìn)行相機(jī)幾何參數(shù)的標(biāo)定,利用標(biāo)定后的相機(jī)參數(shù)重建物體的3D圖像,再采集標(biāo)準(zhǔn)色卡圖像進(jìn)行相機(jī)顏色特征化處理,建立3D圖像RGB顏色值與CIE XYZ三刺激值之間的數(shù)學(xué)模型,然后采集被測(cè)物圖像并從重建的3D圖像中提取物體像素點(diǎn)的空間幾何信息和顏色信息,實(shí)現(xiàn)3D物體的空間位置和顏色的測(cè)量.實(shí)驗(yàn)中,采用低端網(wǎng)絡(luò)雙目相機(jī)和DigiEye 240色卡,訓(xùn)練具有20項(xiàng)三階多項(xiàng)式的相機(jī)特征化模型,模型訓(xùn)練誤差為3.5 CIELAB色差單位,用ColorChecker 24色卡作為測(cè)試目標(biāo)物,測(cè)試誤差為5.7 CIELAB色差單位,略大于訓(xùn)練誤差3.5.實(shí)驗(yàn)結(jié)果表明,該方法具有一定的測(cè)量精確度,可以測(cè)量傳統(tǒng)顏色測(cè)量?jī)x器無(wú)法測(cè)量的3D物體的顏色.
雙目立體視覺(jué);立體匹配;顏色測(cè)量
雙目立體視覺(jué)通過(guò)模仿人眼視覺(jué)系統(tǒng)原理,用雙攝像機(jī)從不同的角度,獲取同一三維場(chǎng)景的兩幅數(shù)字圖像,通過(guò)立體匹配算法計(jì)算兩幅圖像像素間的視差來(lái)重建該場(chǎng)景的幾何形狀與空間位置[1].目前,雙目立體視覺(jué)在工業(yè)測(cè)量領(lǐng)域已經(jīng)發(fā)揮了巨大作用[2],但其在顏色測(cè)量領(lǐng)域的應(yīng)用甚少.隨著3D打印制造技術(shù)的快速發(fā)展,采用新的方法能及時(shí)準(zhǔn)確地測(cè)量3D物體的顏色信息顯得尤為重要.
在圖像重建的過(guò)程中,主要問(wèn)題是解決相機(jī)標(biāo)定和立體匹配算法帶來(lái)的誤差.張氏平面標(biāo)定法[3]既克服了需要高精度三維標(biāo)定物的缺點(diǎn),又解決了自標(biāo)定法魯棒性差的難題.根據(jù)優(yōu)化的方法不同,雙目立體視覺(jué)算法可分為:局部算法[4]、非局部算法[5]、全局算法[6]和半全局算法[7-8].半全局塊匹配算法(Semi-Global Block Matching,SGBM)將文獻(xiàn)[7-8]中基于互信息[9]的匹配代價(jià)計(jì)算法修改為基于BT[10]的匹配代價(jià)計(jì)算法,該算法的核心是通過(guò)選取每個(gè)像素點(diǎn)的視差,構(gòu)成一張視差圖,設(shè)置一個(gè)和視差圖相關(guān)的全局能量函數(shù),使這個(gè)能量函數(shù)最小化,以達(dá)到求解每個(gè)像素最優(yōu)視差的目的.Mei[11]等人提出的AD-Census立體匹配算法,將局部算法和半全局算法相結(jié)合,構(gòu)造每個(gè)像素的支持區(qū)域,視差圖中弱紋理區(qū)域和非連續(xù)區(qū)域都得到了明顯改善.
常用的顏色測(cè)量方法有目視評(píng)價(jià)法、接觸式儀器測(cè)量法和數(shù)碼測(cè)色法[12].傳統(tǒng)的顏色測(cè)量方法多采用接觸式測(cè)量方式,可以用來(lái)測(cè)量一定尺寸、平整的物體表面的顏色特性或光譜反射特性數(shù)據(jù),測(cè)量3D物體時(shí),曲率較大的物體表面會(huì)穿過(guò)測(cè)量?jī)x器孔徑切面,導(dǎo)致出現(xiàn)漏光、不規(guī)則漫反射以及陰影等現(xiàn)象,對(duì)精確測(cè)量顏色的信息產(chǎn)生較大的影響.現(xiàn)有的數(shù)碼測(cè)色法只是采用單個(gè)相機(jī)捕獲物體表面外觀信息,無(wú)法獲取更復(fù)雜的物體3D信息.
本文提出一種基于雙目立體視覺(jué)的3D物體顏色測(cè)量方法,是對(duì)數(shù)碼測(cè)色法的一種改進(jìn),解決了數(shù)碼測(cè)色法無(wú)法測(cè)量3D物體的問(wèn)題,可以有效地減少接觸式和數(shù)碼顏色測(cè)量帶來(lái)的誤差,既可以用于物體外形尺寸的測(cè)量,又可以用于物體表面顏色的測(cè)量.
雙目立體視覺(jué)系統(tǒng)由兩個(gè)水平放置的數(shù)碼相機(jī)組成,單個(gè)相機(jī)成像模型可以抽象為針孔相機(jī)模型,完成世界坐標(biāo)系中點(diǎn)到像素坐標(biāo)系中點(diǎn)的轉(zhuǎn)換.
1.1.1 針孔相機(jī)模型
針孔相機(jī)模型描述的是單個(gè)相機(jī)拍攝物體的坐標(biāo)變換過(guò)程,包括像素坐標(biāo)系、歸一化坐標(biāo)系、相機(jī)坐標(biāo)系和世界坐標(biāo)系,建立坐標(biāo)系的根本目的是建立三維空間點(diǎn)與二維圖像像素點(diǎn)之間的聯(lián)系.像素坐標(biāo)系是以二維圖像為基本建立的直角坐標(biāo)系,描述了每一個(gè)像素點(diǎn)在圖像中的位置;歸一化坐標(biāo)系并不是實(shí)際存在的坐標(biāo)系,該坐標(biāo)系是相機(jī)坐標(biāo)系中Z軸歸一化為1的投影平面;相機(jī)坐標(biāo)系是以相機(jī)的視角去描述圖像在三維空間中的坐標(biāo)位置,通常以相機(jī)中心為原點(diǎn);世界坐標(biāo)系即真實(shí)世界中的絕對(duì)坐標(biāo)系,描述了所有物體在實(shí)際空間中的坐標(biāo)位置.
圖1 4個(gè)坐標(biāo)系關(guān)系圖
1.1.2 雙目立體匹配原理及方法
圖2 雙目立體視覺(jué)原理圖(a)和極線約束圖(b)
1.1.3雙目模型
圖4 雙目相機(jī)幾何模型圖
圖5表示3D圖像重建流程,所用的儀器設(shè)備如下:雙目相機(jī)選用金乾象K4A418-D寬動(dòng)態(tài)雙目相機(jī);攝像頭選用4.3 mm無(wú)畸變鏡頭;燈箱選用的是標(biāo)準(zhǔn)LED燈箱;標(biāo)準(zhǔn)色卡為DigiEye 240色卡(如圖6);驗(yàn)證色卡為ColorChecker 24色卡(如圖7);標(biāo)定板選用棋盤(pán)格大小為9 × 6、方格尺寸為25 mm × 25 mm的標(biāo)準(zhǔn)標(biāo)定板(如圖8).從相機(jī)參數(shù)可以看出,本實(shí)驗(yàn)采用的雙目相機(jī)由兩個(gè)普通的網(wǎng)絡(luò)相機(jī)構(gòu)成,其成像質(zhì)量和相機(jī)曝光參數(shù)控制等均與高端相機(jī)有一定差距,但兩個(gè)相機(jī)較好地固定在一個(gè)支架上,形成一個(gè)完整的雙目相機(jī),適合于本課題的探索性實(shí)驗(yàn)工作.
圖5 3D圖像重建流程
圖6 DigiEye 240色卡
圖7 ColorChecker 24色卡
1.2.1 圖像采集
1)編寫(xiě)圖像采集代碼,代碼中設(shè)置圖像亮度、對(duì)比度、飽和度、色相、增益和曝光量,控制相機(jī)的拍照參數(shù)保持不變.
2)將標(biāo)定板置于標(biāo)準(zhǔn)LED燈箱,如圖9所示,光源設(shè)置為D65光源,雙目相機(jī)位于燈箱外,調(diào)節(jié)雙目相機(jī)基線,雙目相機(jī)畫(huà)面分割成左右大小為640 × 480像素的圖像,保持鏡頭中心正對(duì)棋盤(pán)格,拍攝左右標(biāo)定圖片.
3)旋轉(zhuǎn)標(biāo)定板,改變標(biāo)定板與雙目相機(jī)之間距離,拍攝左右標(biāo)定圖片共16對(duì).
4)在相同的位置,拍攝重建的DigiEye 240色色卡和ColorChecker 24色色卡.
圖8 標(biāo)準(zhǔn)棋盤(pán)格(9 × 6)
圖9 圖像采集
1.2.2 雙目相機(jī)標(biāo)定
本文采用由張氏平面標(biāo)定法改進(jìn)的雙目立體視覺(jué)標(biāo)定方法,將16對(duì)棋盤(pán)格圖像經(jīng)過(guò)角點(diǎn)檢測(cè)、單目標(biāo)定、雙目標(biāo)定、相機(jī)校正、相機(jī)校正映射以及重映射等步驟,使左、右圖像的同名點(diǎn)位于同一高度,計(jì)算出的均方根和平均對(duì)極線誤差可以反映標(biāo)定誤差的大?。?/p>
1.2.3 立體校正
立體校正主要包括兩方面:畸變校正和極線校正.通過(guò)去畸變、相機(jī)校正映射以及重映射等步驟,使左右校正圖像的同名點(diǎn)位于同一高度,提高立體匹配算法精度.
1.2.4 立體匹配
雙目立體視覺(jué)中最為關(guān)鍵的技術(shù)是圖像的匹配.本文采用的立體匹配算法包括SGBM和AD-Census,兩種算法的輸入均為立體校正后的DigiEye 240色卡左、右圖像,如圖10所示.
圖10 輸入的左圖和右圖
1)SGBM算法
SGBM算法流程如圖11所示.匹配代價(jià)計(jì)算包括水平方向梯度濾波、BT代價(jià)計(jì)算、代價(jià)融合和像素塊代價(jià)計(jì)算,代價(jià)聚合采用全局立體匹配,視差計(jì)算采用贏家通吃算法,視差優(yōu)化包括唯一性檢查、亞像素插值和左右一致性檢查.
圖11 SGBM算法流程圖
I)匹配代價(jià)計(jì)算
SGBM算法的匹配代價(jià)計(jì)算主要包含以下步驟:輸入圖像經(jīng)過(guò)水平方向的梯度濾波處理后,計(jì)算BT代價(jià)[10],輸入圖像直接計(jì)算BT代價(jià);將上面兩步的代價(jià)值進(jìn)行融合(相加);對(duì)上述步驟得到的代價(jià)值進(jìn)行成塊計(jì)算.
II)代價(jià)聚合
SGBM算法的能量函數(shù)為:
III)視差計(jì)算
在SGBM算法中,視差計(jì)算采用贏家通吃算法,每個(gè)像素選擇最小聚合代價(jià)值所對(duì)應(yīng)的視差值作為最終視差.
IV)視差優(yōu)化
在文獻(xiàn)[8]中,SGM算法作者Hirschmuller H提出了視差優(yōu)化的概念,左右圖像經(jīng)過(guò)以上I)、II)、III)、IV)4個(gè)步驟,得到圖12所示的SGBM算法視差圖.圖12中黑色部分表示無(wú)法匹配的區(qū)域,正上方表示匹配錯(cuò)誤(由于弱紋理導(dǎo)致),沒(méi)有實(shí)際意義,灰色部分(DigiEye 240色卡)表示視差連續(xù)區(qū)域,距雙目相機(jī)越近的位置越亮,反之越暗.
2)AD-Census算法
AD-Census算法流程如圖13[11]所示,其中代價(jià)計(jì)算包括絕對(duì)差代價(jià)計(jì)算、Census代價(jià)計(jì)算和代價(jià)融合,代價(jià)聚合為十字交叉域代價(jià)聚合,視差優(yōu)化包括離群點(diǎn)檢測(cè)、迭代局部投票、視差填充、非連續(xù)區(qū)視差調(diào)整、子像素優(yōu)化和中值濾波等.
I)代價(jià)計(jì)算
初始代價(jià)計(jì)算采用的是絕對(duì)差A(yù)D[13]和Census[14]變換結(jié)合的方法.AD法在重復(fù)紋理區(qū)域比Census法表現(xiàn)更好,Census法在弱紋理區(qū)域比AD法表現(xiàn)更好,而AD-Census法在兩種場(chǎng)景下都是表現(xiàn)最好的.
II)代價(jià)聚合
AD-Census算法代價(jià)聚合采用的是十字交叉域代價(jià)聚合方法[15],主要分為兩步.
i)十字交叉域構(gòu)造
圖13 AD-Census算法流程圖
圖14 像素p的支持區(qū)域
ii)代價(jià)聚合
圖15 兩種支持區(qū)域的構(gòu)造方法
iii)掃描線優(yōu)化
iv)視差優(yōu)化
在文獻(xiàn)[13]中,視差優(yōu)化分為多個(gè)后處理步驟,得到圖16所示的AD-Census算法視差圖.圖16中不僅出現(xiàn)了弱紋理區(qū)域無(wú)法匹配的現(xiàn)象,灰色部分(DigiEye 240色卡)也出現(xiàn)了無(wú)法匹配的區(qū)域(黑色部分),該視差圖誤差較大.
本文采用了兩種生成視差圖方法,綜合比較兩種算法,最后采用SGBM算法生成了視差圖(見(jiàn)圖12).
1.2.5 視差轉(zhuǎn)點(diǎn)云
圖16 AD-Census算法視差圖
圖17 視差轉(zhuǎn)點(diǎn)云
1.2.6 點(diǎn)云可視化
打開(kāi)生成的pcd文件(如圖18),點(diǎn)擊色塊點(diǎn)云,可得到240個(gè)色塊不同的RGB值.
通過(guò)雙目立體視覺(jué)重建出DigiEye 240色卡3D點(diǎn)云圖(如圖18)和ColorChecker 24色卡3D點(diǎn)云圖(如圖19),分別得到240個(gè)色塊RGB值和24個(gè)色塊RGB值,采用如圖20所示的流程進(jìn)行相機(jī)特征化和顏色測(cè)量.
圖18 DigiEye 240色卡3D點(diǎn)云圖
圖19 ColorChecker 24色卡3D點(diǎn)云圖
圖20 相機(jī)特征化及顏色測(cè)量流程圖
實(shí)驗(yàn)中采用X-Rite便攜式分光光度計(jì)Ci64UV,測(cè)量DigiEye 240色卡和ColorChecker 24色卡每個(gè)色塊在D65標(biāo)準(zhǔn)光源和CIE 1964標(biāo)準(zhǔn)色度觀察者、包含鏡面反射(SPIN)和去除鏡面反射(SPEX)條件下的三刺激值XYZ[16].
多項(xiàng)式回歸模型的基本公式為:
將測(cè)得的DigiEye 240色卡SPIN和SPEX三刺激值分別代入式(11),選定3至20項(xiàng)多項(xiàng)式,計(jì)算預(yù)測(cè)XYZ值與實(shí)測(cè)XYZ值之間的平均CIELAB[16]色差,利用非線性規(guī)劃最小化平均色差,獲取對(duì)應(yīng)的多項(xiàng)式系數(shù),結(jié)果如表1所示.
表1中4(2)、7(2)和11(2)分別表示項(xiàng)數(shù)是4、7和11,但是項(xiàng)數(shù)中參數(shù)發(fā)生變化.從表1中可以看出隨著項(xiàng)數(shù)的遞增,SPIN和SPEX的平均色差逐漸減?。划?dāng)項(xiàng)數(shù)相同時(shí),SPIN的平均色差小于或等于SPEX的平均色差;當(dāng)項(xiàng)數(shù)為20時(shí),SPIN和SPEX的平均色差達(dá)到最小,約為3.5.由此可得出包含鏡面反射得到的模型要略?xún)?yōu)于排除鏡面反射得到的模型的結(jié)論.
表1 平均色差
將ColorChecker 24色卡3D圖像的24個(gè)色塊RGB值代入20項(xiàng)SPIN訓(xùn)練模型,可以得到預(yù)測(cè)顏色XYZ,并與實(shí)測(cè)的XYZ計(jì)算CIELAB色差及平均色差值,結(jié)果如表2所示.
表2 ColorChecker 24色卡色差及平均色差
從表2可以看出,測(cè)量24色卡時(shí)平均色差為5.7,略大于3.5.造成平均色差過(guò)大的原因是第3行第1列、第3行第4列、第4行第6列等色塊色差過(guò)大.這可能與雙目相機(jī)傳感器分辨率、鏡頭質(zhì)量、位置、拍照參數(shù)以及光照不均勻等因素有關(guān),更換高端相機(jī)有可能進(jìn)一步改善測(cè)量精度,這需要進(jìn)一步驗(yàn)證和改進(jìn).
本文提出了一種新的基于雙目立體視覺(jué)的3D物體顏色測(cè)量方法.該方法利用經(jīng)過(guò)參數(shù)標(biāo)定和顏色特征化的雙目相機(jī)采集被測(cè)物圖像,并利用立體視覺(jué)理論重建被測(cè)物的3D圖像,除了可提取物體表面像素點(diǎn)的空間幾何信息外,還可以提取顏色信息,可以用于3D物體顏色的測(cè)量.實(shí)驗(yàn)中,對(duì)比了3項(xiàng)到20項(xiàng)的多項(xiàng)式回歸模型的轉(zhuǎn)換精度,確定了20項(xiàng)多項(xiàng)式為最佳且最穩(wěn)定的相機(jī)特征化模型,模型訓(xùn)練誤差約為3.5 CIELAB色差單位.以相同方法重建ColorChecker 24色卡3D圖像,檢驗(yàn)顏色測(cè)量模型的誤差為5.7 CIELAB色差單位,略大于3.5.本文通過(guò)實(shí)驗(yàn)驗(yàn)證了該方法的可行性,后續(xù)將展開(kāi)更深入的研究,以提高該方法測(cè)量像素點(diǎn)的空間坐標(biāo)幾何信息和顏色信息的精度.
[1] 黃鵬程, 江劍宇, 楊波. 雙目立體視覺(jué)的研究現(xiàn)狀及進(jìn)展[J]. 光學(xué)儀器, 2018, 40(4): 81-86.
[2] 劉建偉, 梁晉, 梁新合, 等. 大尺寸工業(yè)視覺(jué)測(cè)量系統(tǒng)[J]. 光學(xué)精密工程, 2010, 18(1): 126-134.
[3] Zhang Z. A Flexible New Technique for Camera Calibration [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.
[4] Zhu S, Li Z. Local Stereo Matching Using Combined Matching Cost and Adaptive Cost Aggregation [J]. KSII Transactions on Internet & Information Systems, 2015, 9(1): 224-241.
[5] Yang Q. Stereo Matching Using Tree Filtering [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 37(4): 834-846.
[6] Wang D, Lim K B. Obtaining Depth Map from Segment-based Stereo Matching Using Graph Cuts [J]. Journal of Visual Communication and Image Representation, 2011, 22(4): 325-331.
[7] Hirschmuller H. Accurate and Efficient Stereo Processing by Semi-global Matching and Mutual Information [EB/OL]. [2020-12-20]. https://ieeexplore.ieee.org/abstract/document/1467526.
[8] Hirschmuller H. Stereo Processing by Semiglobal Matching and Mutual Information [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 30(2): 328-341.
[9] Kim J. Visual Correspondence Using Energy Minimization and Mutual Information [EB/OL]. [2020-12-20]. https://ieeexplore.ieee.org/abstract/document/1238463.
[10] Birchfield S, Tomasi C. A Pixel Dissimilarity Measure That Is Insensitive to Image Sampling [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(4): 401-406.
[11] Mei X. On Building an Accurate Stereo Matching System on Graphics Hardware [EB/OL]. [2020-12-20]. https://ieeexplore.ieee.org/abstract/document/6130280.
[12]金肖克, 李啟正, 張聲誠(chéng), 等. 織物顏色測(cè)量方法的分類(lèi)與發(fā)展[J]. 紡織導(dǎo)報(bào), 2012(9): 103-105.
[13] Wang L. How Far Can We Go with Local Optimization in Real-time Stereo Matching [EB/OL]. [2020-12-20]. https://ieeexplore.ieee.org/abstract/document/4155719.
[14] Zabih R, Woodfill J. Non-parametric Local Transforms for Computing Visual Correspondence [EB/OL]. [2020- 12-20]. https://link.springer.com/chapter/10.1007/BFb0028345.
[15] Zhang K, Lu J, Lafruit G. Cross-based Local Stereo Matching Using Orthogonal Integral Images [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2009, 19(7): 1073-1079.
[16] Commission Internationale de l’éclairage. Colorimetry [M]. Vienna: Central Bureau of the CIE, 2004: 16-20.
[17] Hong G, Luo M R, Rhodes P. A Study of Digital Camera Colorimetric Characterization Based on Polynomial Modeling [J]. Color Research and Applications, 2001, 26(1): 76-84.
Study of Color Measurement Method Based on Binocular 3D Stereo Vision
SHENG Yancong, CUI Guihua, WU Ziran
(College of Electrical and Electronic Engineering, Wenzhou University, Wenzhou, China 325035)
Traditional color measurement methods are aimed at planar objects, and are not suitable for color measurement of 3D objects, especially those with irregular 3D surfaces. With the rapid development of 3D color printing technology, a fast and direct 3D object color measurement method is urgently needed. Therefore, a color measurement method based on binocular 3D stereo vision was proposed. In a standard LED lighting cabinet, a binocular camera was first used to collect a standard checkerboard images to compute the camera parameters for reconstructing 3D images of objects; then a standard color chart was used for the camera color characterization to establish a mathematical model between 3D image RGB values and CIE XYZ tristimulus values; finally, the spatial geometric and color information of an object pixel from the reconstructed 3D image was extracted for measuring the geometrical dimension and color of the 3D object. In the experiment, a third order polynomial with twenty terms was trained from a low-profile network binocular camera and a DigiEye 240 color chart, the training error being about 3.5 CIELAB units; then a ColorChecker 24 color chart was used as test target, the average color difference of testing being about 5.7 CIELAB units, slightly greater than 3.5. The experimental results show that the proposed method has certain measurement accuracy, and can measure 3D objects that cannot be measured by traditional color measuring instruments.
Binocular Stereo Vision; Stereo Matching; Color Measurement
TP3
A
1674-3563(2022)01-0051-12
10.3875/j.issn.1674-3563.2022.01.007
本文的PDF文件可以從www.wzu.edu.cn/wzdxxb.htm獲得
2020-12-26
國(guó)家自然科學(xué)基金(61775170);溫州市重大科技創(chuàng)新攻關(guān)工業(yè)項(xiàng)目(ZG2019017);溫州市工業(yè)科技項(xiàng)目(ZG2020049)
圣延聰(1994― ),男,安徽蕪湖人,碩士研究生,研究方向:計(jì)算機(jī)視覺(jué).
通訊作者,gcui@wzu.edu.cn
(編輯:王一芳)
(英文審校:黃璐)