馮維 張福民 王惟婧 曲興華

(天津大學(xué),精密測試技術(shù)及儀器國家重點實驗室,天津 300072)

基于數(shù)字微鏡器件的自適應(yīng)高動態(tài)范圍成像方法及應(yīng)用?

馮維 張福民?王惟婧 曲興華

(天津大學(xué),精密測試技術(shù)及儀器國家重點實驗室,天津 300072)

計算成像,高動態(tài)范圍,編碼曝光,數(shù)字微鏡器件

1 引 言

在數(shù)字圖像中,成像動態(tài)范圍表示圖像中包含“最暗”至“最亮”的范圍.相機的動態(tài)范圍越大,表示它能同時記錄圖像的明暗部細(xì)節(jié)越豐富.而在結(jié)構(gòu)光三維掃描測量中,被測物的表面反射特性極大地影響測量效果,被測強反射表面因編碼結(jié)構(gòu)光照射后易產(chǎn)生局部鏡面反射的特性,其反射光強動態(tài)范圍遠(yuǎn)遠(yuǎn)超過普通8 bit工業(yè)數(shù)字相機的成像動態(tài)范圍,引起相機曝光飽和,從而導(dǎo)致其圖像中常伴有高亮光、眩光等光斑現(xiàn)象,淹沒了所要檢測的表面幾何特征信息,引起測量失效或產(chǎn)生較大的測量誤差,其根本原因是光學(xué)成像動態(tài)范圍帶寬不夠.

為提高成像系統(tǒng)的動態(tài)范圍,國內(nèi)外學(xué)者開展了深入的研究.多次曝光法是目前最常用的一種方法,該方法需要數(shù)字相機對同一場景設(shè)置不同的曝光時間進(jìn)行多次成像,并將多幅不同曝光量的圖像運用圖像處理算法融合成具有高動態(tài)范圍的單幅圖像[1?3].然而,多次曝光法僅適宜靜態(tài)物體和穩(wěn)定環(huán)境,并不適用于復(fù)雜多變的工業(yè)現(xiàn)場.一些學(xué)者提出采用多個圖像傳感器同時曝光融合,以實現(xiàn)對動態(tài)場景的高動態(tài)范圍成像,但這類方法需要多個探測器和精密的光學(xué)系統(tǒng)作為支撐,導(dǎo)致其光學(xué)系統(tǒng)結(jié)構(gòu)復(fù)雜且昂貴[4,5].此外,通過改變圖像傳感器的感光單元結(jié)構(gòu)或尺寸等方法以提高原圖像傳感器探測高動態(tài)范圍場景的能力,然而這些硬件方法均需要設(shè)計復(fù)雜的光電結(jié)構(gòu)與加工工藝,大大增加了生產(chǎn)和制造的難度與成本[6?8].

近年來,新興的計算成像技術(shù)進(jìn)一步拓展了高動態(tài)范圍成像的技術(shù)手段.計算成像結(jié)合了計算機與相機的優(yōu)勢,通過計算機控制不同類型的空間光調(diào)制器(spatial light modulator,SLM)以實現(xiàn)對入射光線的精確調(diào)制,從而獲得更加理想的視覺圖像[9].Mannami等[10]和Li等[11,12]采用液晶類SLM,如液晶顯示(liquid crystal display,LCD)和硅基液晶(liquid crystal on silicon,LCoS),以調(diào)制入射光線的強度,提高成像系統(tǒng)的動態(tài)范圍.這類方法的優(yōu)勢在于通過液晶類SLM實現(xiàn)對空間光線的調(diào)制,使進(jìn)入相機的入射光強始終處于相機合適的曝光強度內(nèi),實現(xiàn)自適應(yīng)的高動態(tài)范圍成像.然而,由于液晶類SLM的光效率低、對比度較低等固有物理特性的限制,影響了其在高動態(tài)范圍成像技術(shù)中的進(jìn)一步應(yīng)用與發(fā)展.

與上述解決方法不同,本文基于數(shù)字微鏡器件(digital micromirror device,DMD)具有調(diào)制入射光線空間信息的特性,借助DMD具有光效率高、對比度高等優(yōu)勢,提出了一種基于DMD的自適應(yīng)高動態(tài)范圍成像方法,以突破普通數(shù)字相機動態(tài)范圍的限制:設(shè)計與搭建了一套新型的可編程的計算成像系統(tǒng),并建立其光學(xué)系統(tǒng)模型;詳細(xì)論述了DMD微鏡與CMOS像素的匹配與映射方法;提出基于DMD的逐像素編碼曝光理論與自適應(yīng)光強編碼控制算法,以精確有效地調(diào)制入射光線強度.實驗表明,本方法能夠擴(kuò)大成像系統(tǒng)的動態(tài)范圍,實現(xiàn)對強反射表面的局部過曝光區(qū)域的清晰成像.

2 系統(tǒng)構(gòu)成及分析

2.1 成像系統(tǒng)的設(shè)計

DMD是一種空間光調(diào)制器,它是由數(shù)百萬個可獨立控制位置狀態(tài)的高速數(shù)字式微小平面鏡陣列組成.每個微鏡都有三種可能的狀態(tài),即“開”態(tài)、“平”態(tài)和“關(guān)”態(tài),分別對應(yīng)+12°,0°及?12°的偏轉(zhuǎn)角,通過二進(jìn)制脈寬調(diào)制技術(shù)能精確地實現(xiàn)對微鏡狀態(tài)的快速轉(zhuǎn)換,從而實現(xiàn)對入射光線的灰度調(diào)制[13].DMD已經(jīng)在數(shù)字全息、單像素成像、壓縮感知等不同領(lǐng)域得到了廣泛的應(yīng)用[14?20].

本文設(shè)計了一款新型的可編程的計算成像系統(tǒng)——DMD相機,如圖1(a)所示.該成像系統(tǒng)主要由DMD、CMOS圖像探測器、全內(nèi)反射(total internal re flection,TIR)棱鏡、透鏡組1、透鏡組2和處理器共六個部分組成.DMD作為精密的數(shù)字光學(xué)開關(guān),被放置于CMOS圖像探測器的成像光路上.當(dāng)DMD微鏡設(shè)置為“開”狀態(tài)時,從被測物表面反射的光線能順利通過透鏡組1和TIR棱鏡將高動態(tài)場景成像在DMD表面;經(jīng)過DMD對入射光線編碼調(diào)制后,其反射光線以24°偏角再次進(jìn)入TIR棱鏡內(nèi),反射光線因在TIR棱鏡中發(fā)生內(nèi)全反射而改變光線傳播方向,使該光線進(jìn)入到透鏡組2中,經(jīng)該成像物鏡會聚后在CMOS圖像探測器上成像.反之,當(dāng)DMD微鏡設(shè)置為“關(guān)”狀態(tài)時,被測物反射的光線則不能進(jìn)入CMOS圖像探測器.此外,DMD、CMOS圖像探測器、透鏡組2和處理器構(gòu)成了一個完整的光電反饋系統(tǒng).因此,DMD相機能夠決定入射光線能否進(jìn)入探測器內(nèi),實現(xiàn)了在二維空間的可編程成像.

圖1(b)是本實驗中搭建的DMD相機的硬件原型.為達(dá)到高速高分辨的成像目標(biāo),選用Texas Instruments 0.65 inch DMD為空間光調(diào)制器,其物理有效分辨率為1920×1080,微鏡尺寸為7.6μm,并最高可達(dá)247幀8 bit灰度圖像顯示.CMOS圖像探測器被固定在一個高精密六維位移臺上,能夠?qū)崿F(xiàn)對xyz-αβθ共六個方向的微調(diào).TIR棱鏡前置于DMD,它能折疊光路,使成像系統(tǒng)結(jié)構(gòu)更加緊湊.

圖1 基于DMD的計算成像系統(tǒng) (a)光學(xué)原理圖;(b)內(nèi)部結(jié)構(gòu)圖Fig.1.Computational imaging system based on DMD:(a)Optical principle;(b)hardware prototype.

2.2 基于DMD的自適應(yīng)高動態(tài)范圍成像原理

基于DMD的自適應(yīng)高動態(tài)范圍成像過程如圖2所示.首先,所有的DMD微鏡被設(shè)置為“開”狀態(tài),因而被測物的反射光線經(jīng)DMD編碼調(diào)制后可在數(shù)字相機中成像;接著,該原始圖像被傳輸至計算機處理,計算原圖像中的亮度分布,利用自適應(yīng)閾值分割算法判別編碼圖像中是否存在過飽和區(qū)域并提取原圖像中的過飽和區(qū)域;然后,根據(jù)DMD微鏡與CMOS像素的匹配與映射關(guān)系,設(shè)計自適應(yīng)光強編碼控制算法生成合適的DMD掩模以精確控制DMD各微鏡的狀態(tài),實現(xiàn)對相應(yīng)區(qū)域入射光線的有效衰減.依次迭代,直至最終獲得的編碼圖像完整清晰,從而達(dá)到自適應(yīng)高動態(tài)范圍成像的目標(biāo).

圖2 基于DMD的自適應(yīng)高動態(tài)范圍成像過程Fig.2.The processing of adaptive high dynamic range imaging based on DMD.

在DMD相機中,核心成像器件是固態(tài)圖像傳感器,其動態(tài)范圍通常被定義為

其中,Imax和Imin分別表示圖像傳感器能探測到的最大亮度值和最小亮度值.對于普通8 bit的數(shù)字相機,一般設(shè)定最小亮度值Imin=1,因此8 bit數(shù)字相機的動態(tài)范圍為20·lg255=48.13 dB.

DMD作為光學(xué)衰減器,主要用于記錄入射光的衰減值.設(shè)Tmax和Tmin分別表示DMD微鏡保持“開”狀態(tài)的最長時間和最短時間,則DMD相機的動態(tài)范圍可以表示為

當(dāng)用8 bit圖像作為掩模對DMD進(jìn)行編碼控制時,DMD相機的動態(tài)范圍為20·lg(255×255)=96.26 dB.因此,DMD相機的動態(tài)范圍遠(yuǎn)大于8 bit的普通數(shù)字相機,其性能相當(dāng)于一個非常昂貴的16 bit的圖像傳感器的動態(tài)范圍.

2.3 成像系統(tǒng)的光學(xué)模型

在由DMD與CMOS組成的線性空間不變的成像系統(tǒng)中,CMOS像平面的一個像點實際是由被測物的物平面上的多個物點疊加而成,這種混合疊加的成像過程可以用數(shù)學(xué)積分來表達(dá):

式中,(s,t)和(x,y)分別表示物平面和像平面上二維空間坐標(biāo);f(s,t)表示被測物的圖像;g(x,y)表示相機采集到的圖像,又稱為降質(zhì)圖像;h(x,y;s,t)表示該DMD相機的光學(xué)傳遞函數(shù)(PSF).

光強函數(shù)I(x,y)可以表示為像函數(shù)g(x,y)與其共軛像函數(shù)g?(x,y)的點積的時間平均值:

將(3)式代入(4)式中,光強函數(shù)I(x,y)又可表示為

由于從物體表面反射的光線可以看作是非相干平面波,故(5)式可以進(jìn)一步表示為

設(shè)I(x,y,t)對應(yīng)于M×N像素鄰域內(nèi)的時空卷積和相機積分時間;M(x,y,t)表示DMD與CMOS之間的調(diào)制函數(shù);T表示相機的曝光周期;(x,y)表示DMD平面上的任意一點,其與CMOS像平面上的某一點相對應(yīng).因此,DMD相機的實際光強函數(shù)V(x,y)可以表示為

(7)式中,M(x,y,t)∈[0,1].當(dāng)M(x,y,t)=0時,所有的DMD微鏡為“關(guān)”態(tài),沒有光線可以進(jìn)入數(shù)字相機的像面成像;當(dāng)M(x,y,t)=1時,所有的DMD微鏡為“開”態(tài),所有入射光線均可進(jìn)入數(shù)字相機的像面成像.對于普通數(shù)字相機,M(x,y,t)=1?(x,y,t).此外,當(dāng)微鏡未偏轉(zhuǎn)(即處于“平”態(tài))時,所有DMD微鏡處于水平位置,入射光線均因微鏡反射而偏離數(shù)字相機的像面.

3 成像系統(tǒng)的匹配與映射

為了實現(xiàn)DMD對CMOS入射光線的像素級精確控制,必須獲得各DMD微鏡與CMOS像素之間的匹配與映射關(guān)系.

3.1 成像系統(tǒng)的匹配

成像系統(tǒng)的匹配是指DMD微鏡與CMOS像素之間的空間頻率的一致性.由于單個DMD微鏡與CMOS像素都非常微小,僅通過微調(diào)平臺無法直接消除兩者間的匹配偏差.本文采用莫爾條紋法放大DMD與CMOS的匹配特征,以實現(xiàn)DMD微鏡與CMOS像素的像素級匹配[21].

眾所周知,當(dāng)兩塊光柵距相等的光柵以相對保持一個較小的夾角θ疊加時,在它們的疊加區(qū)域會產(chǎn)生肉眼可見的莫爾條紋,這樣就能把微小的柵距位移變成清晰可見的條紋位移.同理,由于DMD與CMOS都是二維離散抽樣結(jié)構(gòu),當(dāng)對它們的微鏡與像素分別做等間隔采樣時,則它們均可被看作是二維光柵.若它們的空間頻率不一致時,就會產(chǎn)生清晰可見的莫爾條紋.基于此原理,可先將DMD掩模設(shè)置成周期性條紋光柵圖案,如圖3(a)所示.該條紋圖案在每個周期方向上由4列微鏡組成,且前兩列為“開”狀態(tài),后兩列為“關(guān)”狀態(tài),分別用于衡量x,y兩軸向的空間頻率一致性.接著,CMOS相機采集DMD像面的圖像,并以每四列為一個周期進(jìn)行1/4抽樣,而且每個周期內(nèi)的第一列CMOS像素值被作為采樣值復(fù)制給其同周期內(nèi)的其他三列,使同周期內(nèi)的像素灰度值均相同.當(dāng)DMD微鏡與CMOS像素沒有完全一一對應(yīng)時,由于相鄰周期的CMOS采樣值不同,在復(fù)制插值之后就會出現(xiàn)灰度漸進(jìn)的周期性的莫爾條紋現(xiàn)象;否則,CMOS圖像探測器采集的圖像中將不會顯示有莫爾條紋.DMD相機初始匹配結(jié)果如圖3(b)所示,圖中出現(xiàn)了明暗相間的莫爾條紋,說明DMD與CMOS之間未完全匹配.

圖3DMD與CMOS的匹配結(jié)果 (a)DMD匹配掩模;(b)未匹配;(c)已匹配Fig.3.Result of matching between the DMD and the CMOS detector:(a)Matching mask taken by DMD camera;(b)not matched;(c)matched.

實驗中可調(diào)整CMOS在xyz-αβθ六維位移臺上的位置來實現(xiàn)DMD微鏡與CMOS像素的匹配,實驗結(jié)果如圖3(c)所示,CMOS所采集的掩模圖像中的四個區(qū)域均不存在莫爾條紋,圖案亮度較均勻.因此,該DMD相機中已實現(xiàn)了DMD微鏡與CMOS像素的像素級匹配.

3.2 成像系統(tǒng)的映射

根據(jù)該成像系統(tǒng)的光路特征可得到其坐標(biāo)映射等效示意圖,如圖4所示.可知DMD微鏡陣列與CMOS像素陣列的對應(yīng)關(guān)系實際上是一種空間映射關(guān)系,兩坐標(biāo)系間可用三維投影變換矩陣表示.因此,從DMD像面到CMOS像面的像素映射關(guān)系可用如下等式:

其中,U和X分別代表DMD像面和CMOS像面對應(yīng)映射點的齊次坐標(biāo),R是一個3×3的非齊次單應(yīng)矩陣,它可表示為

其中,rij為矩陣R的第i行與第j列相交的元素.設(shè)Pd(u,v)和Pc(x,y)分別是DMD像面和CMOS像面上的任意一點,則(9)式可以表示為

因此,當(dāng)Pd(u,v)和Pc(x,y)坐標(biāo)均已知時,單應(yīng)矩陣R可采用直接線性變換(DLT)算法求解[22].

圖4DMD與CMOS相機坐標(biāo)映射關(guān)系的等效示意圖Fig.4.Equivalent schematic diagram of coordinate mapping between DMD and CMOS detector.

事實上,根據(jù)本成像系統(tǒng)的特點,DMD微鏡與CMOS像素的標(biāo)定方法如下.

步驟1DMD顯示棋盤格標(biāo)定圖案.為了簡便計算,設(shè)計一個如圖5(a)所示的4×6的棋盤格陣列,共存在15個角點,且該棋盤格上各角點坐標(biāo)Pd(u,v)已知.

步驟2CMOS相機采集DMD像面的圖像,如圖5(b)所示.

步驟3運用Harris算法檢測CMOS相機中所采集的圖像中存在的角點坐標(biāo)Pc(x,y),檢測結(jié)果如圖5(c)所示.

步驟4采用DLT算法,由步驟1和步驟3的數(shù)據(jù)計算即可得到DMD相機的單應(yīng)矩陣R:

當(dāng)求解出單應(yīng)矩陣R后,根據(jù)CMOS像面上的任意特征點Pc(x,y)都可用表達(dá)式(11)式解出其對應(yīng)于DMD像面中的微鏡Pd(u,v):

圖5 DMD與CMOS的映射關(guān)系 (a)DMD標(biāo)定圖案;(b)CMOS相機采集的棋盤格圖像;(c)角點檢測結(jié)果Fig.5. Mapping relationship between DMD and the CMOS detector:(a)DMD calibration pattern;(b)the calibration pattern captured by CMOS detector;(c)the result of corner detection.

4 自適應(yīng)高動態(tài)范圍成像方法

4.1 基于DMD的逐像素編碼曝光理論

根據(jù)DMD的高速偏轉(zhuǎn)特性,DMD掩模能夠在CMOS的一個曝光積分周期內(nèi)完成多次狀態(tài)轉(zhuǎn)換.假設(shè)DMD相機先后采集不同的場景,N幅不同的DMD掩模Mi依次有序地曝光在一個CMOS相機曝光周期T內(nèi),每個DMD掩模的曝光時間為ti,如圖6所示.

圖6 基于DMD的逐像素編碼曝光原理Fig.6.Principle of per-pixel coded exposure based on DMD.

設(shè)Mi(x,y,t)表示DMD掩模函數(shù),逐像素編碼曝光函數(shù)M(x,y,t)能準(zhǔn)確地揭示DMD對入射光線像素級調(diào)制過程,其表達(dá)式可表示為

此后,一系列的編碼曝光圖像被作為系統(tǒng)輸出而存儲.因此,該編碼曝光圖像不僅保存了DMD相機的分辨率,而且還記錄了原始圖像的時間和空間信息.結(jié)合DMD相機的光學(xué)模型,逐像素編碼曝光圖像的灰度值函數(shù)V′(x,y)可以表示為

若在CMOS相機的一個曝光周期T內(nèi),只有一幅DMD掩模被曝光,那么此時DMD被用于調(diào)制入射光線的空間信息,以實時衰減入射光線的光強.此時,N=1和ti=T.因而由(13)式可進(jìn)一步推導(dǎo)出逐像素編碼曝光理論用于高動態(tài)范圍成像中的表達(dá)公式為

根據(jù)DMD的調(diào)制函數(shù)M(x,y),CMOS相機獲取的圖像灰度值Vhdr(x,y)以及反射曲線D(x),原始高動態(tài)場景的實際光強函數(shù)Ihdr(x,y)可重構(gòu)為

4.2 基于DMD的光強編碼控制算法

設(shè)計自適應(yīng)光強控制算法是為了有效地調(diào)制各DMD微鏡處于“開”狀態(tài)的時間,使入射光強始終處于CMOS相機的最佳響應(yīng)區(qū)域內(nèi),從而避免圖像過飽和現(xiàn)象的發(fā)生.本文設(shè)計了一種自適應(yīng)光強控制算法用于精確地調(diào)制入射光線的強度.

通常情況下,實際場景的入射光強不可預(yù)知,因此需要多次迭代以確保CMOS相機獲得的圖像沒有出現(xiàn)過曝光現(xiàn)象.結(jié)合2.2節(jié)的內(nèi)容,本文設(shè)計的自適應(yīng)光強編碼控制算法如下.

步驟1初始化.所有的DMD微鏡打開,即M(x,y)=1.此時,CMOS相機獲得場景的原始圖像Io(x,y).

步驟2分割與判別.對于8 bit的CMOS相機,圖像中的像素灰度值超過255意味著圖像中存在過曝光現(xiàn)象.但由于相機采集過程中噪聲是不可避免的,因此像素飽和值Vs應(yīng)被設(shè)定為稍低于255,且該像素飽和值Vs將被用作圖像分割的閾值以判別圖像中的過飽和區(qū)域.如果圖像中存在過曝光區(qū)域,則進(jìn)入步驟3;否則,進(jìn)入步驟5.

步驟3提取與映射.經(jīng)過圖像分割后,用Sobel算子來檢測圖像的邊緣,從而可以提取出圖像中的過飽和區(qū)域Oc(x,y).根據(jù)3.2節(jié)的方法,DMD掩模所對應(yīng)的區(qū)域Od(u,v)可以表達(dá)為

步驟4DMD掩模設(shè)計.設(shè)DMD掩模的調(diào)制函數(shù)Mi(u,v)與其對應(yīng)的CMOS相機圖像Ii(x,y)的關(guān)系如下:其中,α和β都是光強衰減因子,Vc是已知較小的均勻亮度值,C是常數(shù)且0＜C≤255.

根據(jù)(17)式生成新的DMD掩模并導(dǎo)入到DMD中,進(jìn)入步驟2.

步驟5結(jié)束.

因此,所設(shè)計的基于DMD的光強編碼控制算法的調(diào)制速度是由DMD光強調(diào)制函數(shù)Mi(u,v)決定的,迭代次數(shù)Q可表示為

其中,Q是正整數(shù);num[]是計數(shù)函數(shù),I是實際場景的光強值.當(dāng)I和Vc是固定值時,α和β決定著光強調(diào)制函數(shù)的迭代次數(shù).在本實驗中,α=0.85,β=0.1和Vc=26=64,C=255.

5 實驗結(jié)果與對比分析

強反射表面的三維幾何特征測量一直是光學(xué)三維測量研究的熱點,其難點在于被測強反射表面因編碼結(jié)構(gòu)光照射后易導(dǎo)致進(jìn)入普通工業(yè)數(shù)字相機的圖像中常常出現(xiàn)局部過曝光現(xiàn)象,影響強反射表面的三維幾何參數(shù)測量精度,導(dǎo)致該問題的原因是實際被測表面反射光的動態(tài)范圍超過了普通工業(yè)數(shù)字相機的成像動態(tài)范圍.

為解決強反射表面的視覺成像難題,實驗中選用金屬鋁制直角件作為被測對象,且該被測物表面的部分區(qū)域經(jīng)機加工研磨后已達(dá)到局部強反射表面的效果.將不同的被測物放置于不同的光照環(huán)境下進(jìn)行實驗,實驗結(jié)果如圖7所示.左側(cè)第一列圖7(a)是DMD不參與調(diào)制時,DMD相機采集的原始圖像.此時,DMD微鏡全部處于“開”狀態(tài),即M(x,y,t)=1,可以將DMD相機看作是傳統(tǒng)的8 bit數(shù)字相機.從圖7(a)可以看出,原始圖像中存在明顯的局部無規(guī)則的過曝光區(qū)域,淹沒了部分原圖像細(xì)節(jié)信息.根據(jù)4.2節(jié)所述方法,所得DMD最佳掩模如圖7(b)所示.圖7(c)是經(jīng)DMD調(diào)制后,DMD相機采集的圖像,該圖像中無明顯的過曝光區(qū)域.對比圖7(a)和圖7(c),原圖像中的局部過曝光區(qū)域的光強經(jīng)DMD精確調(diào)制后有效地衰減,被測強反射表面的幾何特征信息均清晰成像.

圖7 實驗結(jié)果 (a)無DMD調(diào)制時,DMD相機采集的原始圖像;(b)DMD掩模;(c)經(jīng)DMD調(diào)制后,DMD相機采集的圖像Fig.7.Experimental results:(a)Different images captured by the DMD camera without DMD modulation;(b)DMD masks;(c)different images captured by the DMD camera with DMD modulation.

因灰度直方圖能有效地反映圖像中某種灰度出現(xiàn)的頻率,故可采用灰度直方圖統(tǒng)計圖像中過飽和像素點的分布情況.由于原始場景中有較大范圍的黑色背景,為突出圖像的局部細(xì)節(jié)特征,僅提取圖7(a)和圖7(c)中灰度級為50—255之間的灰度直方圖,結(jié)果如圖8所示.圖8(a)對應(yīng)的是圖7(a)的灰度直方圖,可以看出有較多像素點灰度級處于200—255區(qū)間內(nèi),且有部分像素點灰度值達(dá)到CMOS相機的飽和灰度值.圖8(b)對應(yīng)的是圖7(c)的灰度直方圖,可以看出灰度級處于200—255區(qū)間內(nèi)的像素點大大減少,且絕大部分像素點的灰度值都處于CMOS相機的最佳灰度響應(yīng)區(qū)間100—180內(nèi).因此,該實驗表明,經(jīng)DMD調(diào)制后,原圖像中存在的局部不規(guī)則的過曝光區(qū)域的像素值均被調(diào)制到相機的理想灰度級區(qū)間內(nèi),具有更好的圖像質(zhì)量.

圖8 灰度直方圖對比結(jié)果 (a)圖7(a)圖像的灰度直方圖;(b)圖7(c)圖像的灰度直方圖Fig.8.Comparison results of gray histogram:(a)Gray histogram of the image in Fig.7(a);(b)gray histogram of the image in Fig.7(c).

6 結(jié) 論

因普通8 bit的數(shù)字相機動態(tài)范圍有限,在結(jié)構(gòu)光三維掃描測量中難以實現(xiàn)對局部強反射表面的有效成像而引起測量失效,提出一種基于DMD的自適應(yīng)高動態(tài)范圍成像方法.基于DMD具有調(diào)制入射光線空間信息的特性,研制了一套可編程的DMD相機,建立了該成像系統(tǒng)的光學(xué)模型,并系統(tǒng)地提出基于逐像素編碼曝光的高動態(tài)范圍成像理論.設(shè)計基于DMD的光強編碼曝光算法,可準(zhǔn)確有效控制被測表面各個區(qū)域的入射光線強弱,尤其是衰減強反射表面的高光區(qū)域的光強,擴(kuò)大計算成像系統(tǒng)的動態(tài)范圍,并自適應(yīng)量化該高動態(tài)范圍成像過程.

實驗結(jié)果表明,本文所提方法可實現(xiàn)對局部強反射表面的高動態(tài)范圍成像,有效地解決強反射表面的視覺成像難題.同時,對多個不同的被測物的實驗表明,設(shè)計的成像系統(tǒng)和方法具有很好的穩(wěn)定性和可靠性.本研究成果將為從根源上解決強反射表面因局部過曝光造成的三維點云缺失問題提供新的解決思路.

[1]Srikantha A,Sidibé D 2012Signal Process.27 650

[2]Wang C,Tu C 2014Int.J.Signal Process.Image Process.Pattern Recognit.7 217

[3]Gu B,Li W,Wong J,Zhu M,Wang M 2012J.Visual Commun.Image Represent.23 604

[4]Venkataraman K,Jabbi A S,Mullis R H 2015US Patent9 041 829[2015-05-26]

[5]Ward G J,Seetzen H,Heidrich W 2012US Patent8 242 426[2012-08-14]

[6]Brajovic V 2004Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern RecognitionWashington DC,USA,June 2 2004 p189

[7]Lai L W,Lai C H,King Y C 2004IEEE Sens.J.4 122

[8]Ikebe M,Saito K 2007IEEE Sens.J.7 897

[9]Zhou C,Nayar S K 2011IEEE Trans.Image Proc.20 3322

[10]Mannami H,Sagawa R,Mukaigawa Y,Echigo T,Yagi Y 2007J.Visual Commun.Image Represent.18 359

[11]Li X,Sun C,Wang P 2015Opt.Lasers Eng.66 41

[12]Yang Z,Wang P,Li X,Sun C 2014Opt.Lasers Eng.54 31

[13]Dudley D,Duncan W M,Slaughter J 2003Proc.SPIEThe International Society for Optical EngineeringUSA,January 20 2003 Vol.4985

[14]Zhang H,Cao L,Jin G 2017Appl.Opt.56 F138

[15]Cheng J,Gu C,Zhang D,Wang D,Chen S C 2016Opt.Lett.41 1451

[16]Qiao Y,Xu X,Liu T,Pan Y 2015Appl.Opt.54 60

[17]Li M F,Mo X F,Zhao L J,Huo J,Yang R,Li K,Zhang A N 2016Acta Phys.Sin.65 064201(in Chinese)[李明飛,莫小范,趙連潔,霍娟,楊然,李凱,張安寧2016物理學(xué)報65 064201]

[18]Feng W,Zhang F,Wang W,Xing W,Qu X 2017Appl.Opt.56 3831

[19]Li L Z,Yao X R,Liu X F,Yu W K,Zhai G J 2014Acta Phys.Sin.63 224201

[20]Feng W,Zhang F,Qu X,Zheng S 2016Sensors16 331[21]Ri S,Fujigaki M,Matui T,Morimoto Y 2006Appl.Opt.45 6940

[22]Mackie C J,Candian A,Huang X,Lee T J,Tielens A 2015J.Chem.Phys.142 244107

Adaptive high-dynamic-range imaging method and its application based on digital micromirror device?

Feng WeiZhang Fu-Min?Wang Wei-Jing Qu Xing-Hua

(State Key Laboratory of Precision Measuring Technology and Instruments,Tianjin University,Tianjin 300072,China)

1 January 2017;revised manuscript

5 June 2017)

In the three-dimensional(3D)scanning measurement based on structured light techniques,the strong reflection surface is easy to produce local specular reflection due to the illumination of the structured light,which will cause the camera to be over-exposed,and therefore the geometry information of strong reflection surface cannot be detected.Since the digital micromirror device(DMD)has the modulating characteristics of the spatial information of incident light,an adaptive high-dynamic-range imaging method based on DMD is proposed to solve the problem of visual imaging of strong reflection surface.Firstly,a novel and computational imaging system is designed and built,and its optical model is also established.Then,the matching and mapping methods between DMD micromirrors and CMOS pixels are described in detail and realized.Meanwhile,we analyze the theory of the high-dynamic-range imaging based on per-pixel coded exposure,and design a coding control algorithm of light intensity to achieve the adaptive precision modulation of the intensity of incident light,so that the incident light in the imaging system is always in appropriate exposure intensity.The experiments show that the method can break through the limited dynamic range of the ordinary digital camera,and accurately control the intensity of incident light in each region of the measured strong reflection surfaces,and thus it can obtain the high-quality images of the local over-exposure area of the strong reflection surface.More importantly,the research will provide a new solution to the problem of 3D point cloud loss caused by local over-exposure of the strong reflection surface.

computational imaging,high dynamic range,coded exposure,digital micromirror device

PACS:42.30.Va,42.30.–d,43.60.Gk,42.79.–eDOI:10.7498/aps.66.234201

*Project supported by the National Natural Science Foundation of China(Grant Nos.51775379,51675380).

?Corresponding author.E-mail:zhangfumin@tju.edu.cn

(2017年1月1日收到;2017年6月5日收到修改稿)

在結(jié)構(gòu)光三維掃描測量中,強反射表面因編碼結(jié)構(gòu)光照射后易產(chǎn)生局部鏡面反射的特性,引起相機曝光飽和,淹沒了所要檢測的表面幾何特征信息.為解決強反射表面的視覺成像難題,基于數(shù)字微鏡器件(digital micromirror device,DMD)具有調(diào)制入射光線空間信息的特性,本文提出一種基于DMD的自適應(yīng)高動態(tài)范圍成像方法.設(shè)計與搭建了一套新型可編程的計算成像系統(tǒng),建立其光學(xué)系統(tǒng)模型,并實現(xiàn)了DMD微鏡與CMOS像素的匹配與映射;分析了基于逐像素編碼曝光的高動態(tài)范圍成像原理,并設(shè)計了基于DMD的光強編碼控制算法,實現(xiàn)對入射光線強度的自適應(yīng)精確調(diào)制,從而使進(jìn)入成像系統(tǒng)中的入射光強始終處于相機的合適曝光強度內(nèi).實驗表明:該方法突破了普通數(shù)字相機的動態(tài)范圍限制,能夠精確地控制被測強反射表面各個區(qū)域的入射光線強弱,并實現(xiàn)了對強反射表面的局部過曝光區(qū)域的清晰成像.該研究成果將為從根源上解決強反射表面因局部過曝光造成的三維點云缺失問題提供重要的解決方案.

10.7498/aps.66.234201

?國家自然科學(xué)基金(批準(zhǔn)號:51775379,51675380)資助的課題.

?通信作者.E-mail:zhangfumin@tju.edu.cn