周國(guó)平，朱文韜，易傳華，曾龍輝，黃舒欣，祝振敏

（1. 江西省水投建設(shè)集團(tuán)有限公司，江西 南昌 330029；2. 華東交通大學(xué) 電氣與自動(dòng)化工程學(xué)院，江西 南昌 330013）

引言

光學(xué)測(cè)量是一種表面非接觸式三維形狀測(cè)量技術(shù)[1]，光學(xué)測(cè)量技術(shù)具有非接觸、速度快、精度高等優(yōu)點(diǎn)，已被廣泛應(yīng)用于工件檢測(cè)、游戲模型、文物數(shù)字化、水庫(kù)大壩形變或連接縫檢測(cè)等場(chǎng)合中。光學(xué)方法包括定時(shí)飛行法、立體視覺法、陰影估計(jì)法、激光距離掃描法和結(jié)構(gòu)光法[2-6]。其中，結(jié)構(gòu)光法是應(yīng)用最廣泛的三維形狀測(cè)量技術(shù)之一。結(jié)構(gòu)光測(cè)量系統(tǒng)通常由投影儀和攝像機(jī)組成。投影儀將編碼好的圖形序列投影到被測(cè)物體表面，與此同時(shí)，使用相機(jī)捕捉被物體表面調(diào)制后的圖案，這些圖案攜帶有價(jià)值的物體深度信息，可通過(guò)相移算法檢索?？梢岳玫玫降慕^對(duì)相位圖，通過(guò)對(duì)系統(tǒng)進(jìn)行標(biāo)定，計(jì)算出物體表面的三維坐標(biāo)。

由于HDR 物體的反射率范圍較大，會(huì)導(dǎo)致所拍攝的圖像出現(xiàn)過(guò)亮或過(guò)暗的問(wèn)題。為了克服這個(gè)問(wèn)題，Zhang 提出了一種HDR 掃描的技術(shù)[7]。此技術(shù)通過(guò)拍攝多組不同曝光時(shí)間的條紋圖像，從低曝光圖像中提取高反射率區(qū)域，從高曝光圖像中提取低反射率區(qū)域。最后基于像素最大不飽和原理對(duì)圖像進(jìn)行融合，從而得到高信噪比的圖像。此方法能夠很好地測(cè)量HDR 物體。但是，由于并未對(duì)曝光時(shí)間進(jìn)行量化，導(dǎo)致在測(cè)量復(fù)雜的HDR 物體時(shí)，必須利用相機(jī)捕捉大量不同曝光時(shí)間的圖像。因此，該方法存在圖像數(shù)據(jù)耗時(shí)和冗余的缺點(diǎn)。為了克服這些缺點(diǎn)，Jiang 等人提出了一種通過(guò)同時(shí)調(diào)整曝光時(shí)間和投影光強(qiáng)來(lái)捕獲原始條紋圖像的技術(shù)[8]。從原始圖像中選擇像素點(diǎn)合成復(fù)合條紋圖像時(shí)，考慮的是最高調(diào)制強(qiáng)度而不是最亮的非飽和強(qiáng)度；因此，獲得了較高的信噪比（signal to noise ratio, SNR）和環(huán)境光效應(yīng)最小化。

調(diào)整投影儀的光強(qiáng)是解決HDR 問(wèn)題的另一種方法。Waddington 和Kofman 提出了一種用修改后的最大灰度值來(lái)投影條紋圖案的技術(shù)[9]，以此來(lái)適應(yīng)可變的環(huán)境照明，從而解決圖像飽和。由于該方法只調(diào)整了條紋圖的最大灰度值，因此在測(cè)量反射率較低的表面區(qū)域時(shí)，可能會(huì)降低條紋圖像的信噪比。Zhang 等人提出了基于黑白單色條紋用于三維重構(gòu)，通過(guò)使用自適應(yīng)強(qiáng)度模版對(duì)所投影的圖案的亮度進(jìn)行動(dòng)態(tài)調(diào)節(jié)，以消除圖像高光的影響[10]。但是其中的問(wèn)題是相機(jī)到投影儀的單應(yīng)性矩陣難以被準(zhǔn)確求解。倘若求解出的單應(yīng)性矩陣不精確，就會(huì)導(dǎo)致坐標(biāo)映射出現(xiàn)誤差，從而會(huì)在后續(xù)三維測(cè)量中產(chǎn)生誤差。

此外，還有使用偏振濾光片[11-13]、彩色信息[14-15]以實(shí)現(xiàn)對(duì)HDR 物體進(jìn)行測(cè)量。然而，它們都需要額外的硬件來(lái)提高系統(tǒng)的性能，這可能會(huì)增加成本或復(fù)雜的計(jì)算。

本文則提出了一種基于投影強(qiáng)度的快速的測(cè)量方法，該方法通過(guò)求解相機(jī)和投影儀之間的響應(yīng)函數(shù)，并結(jié)合所提出的一種簡(jiǎn)便的最佳投影亮度的確定方法以及圖像融合算法，能夠得到高信噪比的融合圖片，再基于該融合圖片實(shí)現(xiàn)對(duì)被測(cè)物體的三維重構(gòu)，能夠有效提高其三維重構(gòu)的精度。此外，該方法無(wú)需盲目投射和拍攝大量圖片或計(jì)算復(fù)雜的單應(yīng)性矩陣，使得測(cè)量速度有極大的提升。

1 基本原理

1.1 相機(jī)與投影儀的響應(yīng)關(guān)系

如若要建立相機(jī)與投影儀的強(qiáng)度響應(yīng)函數(shù)，前提是探究結(jié)構(gòu)光系統(tǒng)中射進(jìn)相機(jī)的光線的組成。一般情況下把進(jìn)入系統(tǒng)的相機(jī)鏡頭的光分3 類：1)由投影儀投射出的光經(jīng)被測(cè)物體表面反射進(jìn)入相機(jī)鏡頭；2)直接射進(jìn)相機(jī)鏡頭的環(huán)境光；3)環(huán)境光射至被測(cè)物體表面而被反射入相機(jī)鏡頭。圖1即顯示了系統(tǒng)中的上述3 類光線。其中Ip是由投影儀發(fā)出的投影光強(qiáng)度，Ia為射至被測(cè)物體表面的環(huán)境光強(qiáng)，Ib為直接射進(jìn)相機(jī)鏡頭的環(huán)境光強(qiáng)，ρ表示被測(cè)物體表面的反射率。

圖1 進(jìn)入相機(jī)的光線組成Fig. 1 Composition diagram of light to enter camera

所以可以推導(dǎo)出相機(jī)拍攝的圖片的強(qiáng)度公式為

式中：I(x,y)為結(jié)構(gòu)光系統(tǒng)中相機(jī)所拍攝的圖片灰度；ρ(x,y)是被測(cè)物的表面反射率；t與k分別代表了相機(jī)曝光時(shí)間及增益。假設(shè)測(cè)量時(shí)外界環(huán)境是黑暗的，僅有投影儀發(fā)出的光，此時(shí)可以認(rèn)為Ia與Ib為零。所以為了簡(jiǎn)化該相機(jī)-投影儀的響應(yīng)關(guān)系，測(cè)量時(shí)需保證為黑暗環(huán)境。此外在測(cè)量過(guò)程中對(duì)相機(jī)參數(shù)和其位置不做改變，而只改變系統(tǒng)中投影儀所射出的投影亮度時(shí)，這意味著參數(shù)ρ(x,y)、t和k均不發(fā)生改變。因此上述3 個(gè)參數(shù)的積則應(yīng)該是一個(gè)確定的常數(shù)，可以將之定義為

由于k1(x,y)為一個(gè)確定常數(shù)，而測(cè)量環(huán)境為黑暗時(shí)參數(shù)Ia及Ib均為零。所以公式（1）可以寫為

假設(shè)結(jié)構(gòu)光系統(tǒng)中的投影儀投射出一個(gè)已知的光照強(qiáng)度到被測(cè)物體上，另一邊由相機(jī)拍攝此強(qiáng)度下被測(cè)物體的圖片，就能夠快速計(jì)算出參數(shù)k1(x,y)的值：

式中：Ip1是投影儀投射出的已知強(qiáng)度的光；Ic1(x,y)表示在Ip1下拍攝的圖片強(qiáng)度。并且為了保證標(biāo)定的參數(shù)k1(x,y)的準(zhǔn)確性，投影儀所投射出的光強(qiáng)度應(yīng)該在一個(gè)較低的灰度水平，確保相機(jī)拍攝的圖片不過(guò)曝，即Ic1(x,y) 中不出現(xiàn)灰度值為255 的像素點(diǎn)。此時(shí)能夠推導(dǎo)出參數(shù)k1(x,y)為

結(jié)合上述公式，可得最終的相機(jī)-投影儀響應(yīng)關(guān)系的關(guān)系式為

式中：Ipideal表示最佳投影亮度；Iideal(x,y)則表示了所期望的相機(jī)拍攝的圖片灰度。由公式（6）可知，能夠基于確定所期望的圖片灰度Iideal(x,y)求解出最佳投影亮度。

1.2 確定投影亮度策略

就理論而言，Iideal(x,y)的期望值是254，這代表相機(jī)所拍攝的圖片的像素點(diǎn)灰度值最大且不過(guò)曝。然而由于相機(jī)響應(yīng)函數(shù)本身存在非線性因素，并且測(cè)量中還存在噪聲所帶來(lái)的影響，這便意味著要給Iideal(x,y)預(yù)留一些值，從而避免該非線性及噪聲的影響。通過(guò)大量的實(shí)驗(yàn)表明，Iideal(x,y)的值為250 時(shí)測(cè)量效果最佳。所以將Iideal(x,y)為250 代入公式（6）：

由于一張圖片上擁有許許多多的像素點(diǎn)，因此基于參數(shù)k1(x,y)所計(jì)算出的最佳投影亮度亦數(shù)量驚人。倘若要使得融合圖片的每個(gè)像素灰度值均達(dá)到最大不飽和狀態(tài)，就需要很多投影亮度進(jìn)行補(bǔ)償，這無(wú)疑會(huì)大幅降低測(cè)量速度。所以為保證測(cè)量效率，本文提出了一種簡(jiǎn)便的最佳投影亮度確定策略。正常情況下使用幾個(gè)投影亮度即可較好地補(bǔ)償被測(cè)物體。這是由于被測(cè)物體表面反射率ρ(x,y)接近時(shí)，只用一個(gè)投影亮度即可。而對(duì)于HDR 物體ρ(x,y)較大時(shí)，則能夠把ρ(x,y)劃分成若干個(gè)小區(qū)間，再根據(jù)區(qū)間進(jìn)行取值，從而獲得所需的投影亮度。而根據(jù)公式（2）可知，參數(shù)k1(x,y)與ρ(x,y)是呈正比的，所以可以對(duì)參數(shù)k1(x,y)進(jìn)行區(qū)間劃分，以此獲取最佳投影亮度。基于此原理，投射一個(gè)較低且已知強(qiáng)度的均勻光至被測(cè)物體表面，確保所拍攝的圖片像素點(diǎn)不過(guò)于飽和，此時(shí)根據(jù)已知的投影強(qiáng)度與拍攝的圖片可以迅速求解出參數(shù)k1(x,y)。進(jìn)而得到參數(shù)k1(x,y) 的像素分布直方圖，隨后根據(jù)該像素分布直方圖進(jìn)行曲線擬合，得到關(guān)于參數(shù)k1(x,y)的像素分布曲線。圖2 顯示的是一幅關(guān)于參數(shù)k1(x,y)像素分布曲線的圖例，圖中的橫坐標(biāo)代表的是參數(shù)k1(x,y)的值；縱坐標(biāo)則表示像素點(diǎn)的數(shù)量。由此像素曲線分布圖能夠把參數(shù)k1(x,y)分割成幾個(gè)小范圍的簇，而對(duì)每個(gè)簇實(shí)現(xiàn)劃分則是基于k1(x,y)明顯的一個(gè)尖峰與兩邊的峰谷。劃分后的一個(gè)簇內(nèi)的參數(shù)k1(x,y)的值是接近的，在理論上只需要一個(gè)投影亮度即可。但是為了兼顧盡可能多的像素點(diǎn)，本方法在一個(gè)簇內(nèi)選取3 個(gè)k1(x,y)。具體選取策略于圖2 的第一個(gè)簇內(nèi)進(jìn)行了標(biāo)注。其中對(duì)參數(shù)k1(x,y)的第一個(gè)取值是取簇內(nèi)左側(cè)的峰谷，這樣能夠補(bǔ)償反射率較小的像素點(diǎn)。第二個(gè)則取此簇內(nèi)尖峰處的k1(x,y)值，取這個(gè)值能夠補(bǔ)償簇內(nèi)最多的像素點(diǎn)。第三個(gè)值取本簇內(nèi)右側(cè)的峰谷，該值是本簇內(nèi)參數(shù)k1(x,y)的最大值，可以確保這部分簇內(nèi)的圖像不會(huì)出現(xiàn)過(guò)飽和像素點(diǎn)。因此假設(shè)對(duì)k1(x,y)像素分布曲線上的簇由左到右分別從1-i進(jìn)行標(biāo)記，總共i個(gè)簇。這樣一共可以獲得3i個(gè)投影亮度。隨后基于所獲得的投影亮度拍攝被測(cè)物體的圖片。

圖2 像素分布曲線圖Fig. 2 Curves of pixel distribution

1.3 圖像融合算法

得到數(shù)個(gè)最佳投影強(qiáng)度下的原始圖片后，需要保留圖片上各個(gè)像素點(diǎn)的最佳灰度值，因此能夠通過(guò)建立一個(gè)掩摸圖片Mi(x,y)來(lái)實(shí)現(xiàn)，其公式如下所示：

由公式（8）得出Mi(x,y) 后，把Ii(x,y) 和Mi(x,y)相乘后求和，這樣可以保留Ii(x,y)中的最佳像素灰度值融合到一張圖片中去，其公式如下所示:

式中：Iopt(x,y) 是在最佳投影強(qiáng)度下的融合圖片。此時(shí)融合圖片的像素點(diǎn)灰度值大多是最大不飽和的。因此這樣得到的融合圖片的信噪比較高，從而能夠提高三維重構(gòu)的精度。

2 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文所提出的方法的有效性，搭建了如圖3 所示結(jié)構(gòu)光測(cè)量系統(tǒng)。測(cè)量系統(tǒng)采用了LCD 投影儀。相機(jī)則是FLIR 公司制造的型號(hào)為BFS-U3-23S3M-M 的灰度相機(jī)(配HC1605 鏡頭)，其分辨率為1 920 pixel×1 200 pixel。本方法的實(shí)驗(yàn)步驟如下：

圖3 測(cè)量系統(tǒng)Fig. 3 Physical picture of measurement system

1） 投影一張灰度值已知的均勻白光至被測(cè)物體表面且由相機(jī)進(jìn)行拍攝，需保證所拍攝的圖片上無(wú)飽和像素；

2） 快速求解出相機(jī)與投影儀的響應(yīng)系數(shù)，得到響應(yīng)系數(shù)的分布曲線，并基于所提出的最佳投影亮度確定策略得到所需的投影亮度；

3） 將確定的投影亮度分別投影至被測(cè)物體，同時(shí)用相機(jī)拍攝各個(gè)亮度下的圖片，再根據(jù)圖像融合算法對(duì)所拍攝的圖片進(jìn)行融合；

4） 基于所得的融合圖片實(shí)現(xiàn)對(duì)被測(cè)物體的三維點(diǎn)云重構(gòu)。

2.1 基于最佳投影亮度的圖片融合

為驗(yàn)證本方法的有效性，實(shí)驗(yàn)對(duì)象選擇了黑白棋盤格，因?yàn)槠浔砻鎰?dòng)態(tài)范圍較大。圖4(a)和圖4(b)顯示了相機(jī)所拍攝的黑白棋盤格在投影亮度分別為100 和255 時(shí)的圖片。

圖4 不同投影亮度的圖像。Fig. 4 Images with different projection brightness

由圖4 可知，由于該黑白棋盤格的動(dòng)態(tài)范圍較大，導(dǎo)致僅在單一亮度下所拍攝的圖片容易過(guò)亮或過(guò)暗，因此如果在這樣單個(gè)亮度下直接對(duì)被測(cè)物體進(jìn)行三維測(cè)量很容易出現(xiàn)誤差。所以在測(cè)量此類HDR 表面物體時(shí)，很有必要使用多個(gè)亮度對(duì)被測(cè)物體進(jìn)行補(bǔ)償。

圖5 顯示了在投影亮度為140 時(shí)黑白棋盤格的圖片。

圖5 投影亮度為140 的圖像Fig. 5 Image with projection brightness of 140

因?yàn)樵谕队傲炼葹?40 時(shí)圖片上像素灰度值均不過(guò)飽和，所以本實(shí)驗(yàn)使用該圖片作為輸入，即可求解相機(jī)-投影儀的響應(yīng)關(guān)系。所得響應(yīng)關(guān)系曲線如圖6 所示。由圖6 可知，參數(shù)k1(x,y)按最佳投影亮度確定策略進(jìn)行取值可得：0.11、0.33、0.75、1.30、1.73、1.83。其中k1(x,y) 的值小于1 時(shí)，意味著被測(cè)物的此部分表面反射率過(guò)低，在這種情況下，只通過(guò)改變投影亮度，無(wú)法使相機(jī)拍攝的圖片達(dá)到最大不飽和狀態(tài)。所以在k1(x,y)小于1 時(shí)最佳投影亮度可設(shè)置為250。因此根據(jù)參數(shù)k1(x,y)的值可以計(jì)算出所需要的投影亮度為：135、145、192、250。

圖6 相機(jī)與投影儀的響應(yīng)分布曲線Fig. 6 Response distribution curves of camera and projector

由上述方法得到的4 個(gè)投影亮度的原始條紋圖像如圖7（a）、7（b）、7（c）和7（d）所示，基于這4 個(gè)投影亮度下的條紋圖像進(jìn)行圖像融合，得到最佳的融合圖像。融合后的圖像及其像素分布直方圖如圖8（a）、圖8（b）所示，由圖8（b）可以直觀看出在融合后的圖像中，大部分像素的灰度并不飽和，且都保持著高像素水平。

圖7 4 幅不同投影亮度的圖像Fig. 7 Four images with different projection brightness

圖8 融合圖像及其像素分布直方圖Fig. 8 Fused image and histogram of pixel distribution

對(duì)融合圖像及單張投影亮度下的圖像進(jìn)行信噪比計(jì)算，結(jié)果如表1 所示。表1 顯示了融合圖片與其他幾張單個(gè)亮度下的圖片的信噪比。根據(jù)其信噪比大小可知，融合圖片在避免像素點(diǎn)飽和情況下保持了較高的信噪比，有效提升了圖片質(zhì)量。

表1 多組圖像對(duì)的信噪比Table 1 Signal-to-noise ratio of multiple image pairs

2.2 圖像質(zhì)量分析

圖9 融合圖像及各個(gè)投影強(qiáng)度下的圖像的頻率分布Fig. 9 Frequency distribution diagram of fused image and images under various projection intensities

條紋邊緣提取時(shí)將更加精準(zhǔn)，從而有助于提高三維測(cè)量精度。

2.3 被測(cè)物體三維重構(gòu)

本實(shí)驗(yàn)中采用的結(jié)構(gòu)光編碼方式是格雷碼的編碼方式，被測(cè)物體是黑白棋盤格。根據(jù)提出的原理對(duì)被測(cè)物體進(jìn)行三維重構(gòu)，重構(gòu)結(jié)果如圖10所示。該圖顯示了被測(cè)物體的三維重構(gòu)結(jié)果圖。根據(jù)該重構(gòu)結(jié)果可知，被測(cè)物體的三維點(diǎn)云完整。這證明了本文所提出的方法即可有效消除被測(cè)物體高反射率表面過(guò)亮的影響，亦可以有效補(bǔ)償被測(cè)物體表面的低反射率區(qū)域，提升了對(duì)HDR物體三維點(diǎn)云重構(gòu)的精度。

圖10 三維重構(gòu)結(jié)果Fig. 10 Diagram of 3D reconstruction results

3 結(jié)論

本文提出了一種基于調(diào)整投影圖案亮度的快速測(cè)量方法，該方法通過(guò)求解相機(jī)與投影儀之間的響應(yīng)關(guān)系，結(jié)合所提出的一個(gè)簡(jiǎn)便的投影亮度確定方法，再基于所提出的圖像融合算法，可以獲得高質(zhì)量的融合圖片，從而實(shí)現(xiàn)對(duì)HDR 物體的高精度三維重構(gòu)。與傳統(tǒng)的基于改變投影亮度的方法相比，該方法僅需要投影一張均勻白光至被測(cè)物體上，并由相機(jī)拍攝一張圖片，即可快速求解出相機(jī)和投影儀之間的響應(yīng)函數(shù)，從而能夠定量分析求得所需要的投影亮度，而無(wú)需盲目投射和拍攝大量圖片或計(jì)算復(fù)雜的單應(yīng)性矩陣，使得測(cè)量速度有極大的提升。