尚穎英，朱川川，謝蓄芬，,廖寧放，梁 靜，鄒念育

(1.大連工業(yè)大學(xué)信息科學(xué)與工程學(xué)院光子學(xué)研究院，遼寧 大連 116033；2.北京理工大學(xué)光電學(xué)院，光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100081)

引言

照明環(huán)境涵蓋的亮度范圍較大，超出了成像系統(tǒng)的響應(yīng)范圍，成像時(shí)場景中過亮或過暗的場景不能同時(shí)成像，這導(dǎo)致了高動(dòng)態(tài)范圍場景亮度成像測(cè)量具有較大難度。系統(tǒng)動(dòng)態(tài)范圍延展廣泛應(yīng)用于光環(huán)境測(cè)量和評(píng)價(jià)，文獻(xiàn)[1-8]中均應(yīng)用高動(dòng)態(tài)范圍(HDR)圖像進(jìn)行光環(huán)境評(píng)價(jià)。另一方面，由于成像系統(tǒng)輸出顏色空間具有設(shè)備依賴性，顏色空間的特性化可以將系統(tǒng)輸出的三通道響應(yīng)值轉(zhuǎn)換為CIEXYZ，其中Y分量代表亮度。其經(jīng)典算法包括查找表(LUT look up table)法、多項(xiàng)式法、神經(jīng)網(wǎng)絡(luò)法[9-11]。此外針對(duì)全色相機(jī)，文獻(xiàn)[12-14]中提出亮度和圖像灰度值的映射關(guān)系定標(biāo)。在系統(tǒng)進(jìn)行動(dòng)態(tài)范圍延展的基礎(chǔ)上，標(biāo)定高動(dòng)態(tài)范圍圖像數(shù)字值與光環(huán)境場景的實(shí)際亮度映射關(guān)系是解決成像系統(tǒng)照明環(huán)境光度測(cè)量的關(guān)鍵。本文首先進(jìn)行成像系統(tǒng)動(dòng)態(tài)范圍和場景亮度的匹配分析，提出了融合系統(tǒng)響應(yīng)函數(shù)相對(duì)定標(biāo)、系統(tǒng)響應(yīng)線性化、高動(dòng)態(tài)范圍圖像生成、顏色空間特性化、圖像灰度值與光環(huán)境亮度映射關(guān)系定標(biāo)的系統(tǒng)光度定標(biāo)方法。然后實(shí)驗(yàn)驗(yàn)證方法的有效性。

1 成像系統(tǒng)與場景的動(dòng)態(tài)范圍匹配分析

實(shí)際場景的動(dòng)態(tài)范圍(DR，dynamic range)描述了場景所包含的亮度范圍[15]，可定義為

(1)

式中，lmax為最大亮度值，lmin為最小亮度值。成像系統(tǒng)的動(dòng)態(tài)范圍描述了系統(tǒng)響應(yīng)的亮度范圍，可定義為

(2)

式中，Dmax為系統(tǒng)輸出的最大數(shù)字值，Dmin為系統(tǒng)輸出的最小數(shù)字值。

理想條件下，當(dāng)場景輻射通量Φe恒定時(shí)，曝光時(shí)間t越長，圖像傳感器接收到的輻射能量Qe越多；當(dāng)曝光時(shí)間t恒定時(shí)，場景輻射通量Φe越多，則圖像傳感器接收的輻射能量Qe越多。成像系統(tǒng)響應(yīng)函數(shù)與輻射能量、輻射通量和曝光時(shí)間的關(guān)系如圖1所示。當(dāng)場景輻射能量過大時(shí)圖像傳感器響應(yīng)達(dá)到飽和，導(dǎo)致圖像灰度值與圖像傳感器所接受的輻射能量值不能一一對(duì)應(yīng)。圖像傳感器所接受的輻射通量Φe與圖像灰度值Z之間的映射關(guān)系如式(3)所示[20]：

Φe(i,j)·t=f-1[Z(i,j)]

(3)

式中，Z(i,j)為像面坐標(biāo)(i,j)位置的數(shù)字值，Φe(i,j)為像面坐標(biāo)(i,j)的探測(cè)元所接收的輻通量，t為曝光時(shí)間，f為系統(tǒng)響應(yīng)函數(shù)。

理論上曝光時(shí)間與圖像傳感器接收的輻射能量成正比，調(diào)整曝光時(shí)間可以改變系統(tǒng)對(duì)場景輻射通量的響應(yīng)范圍，為了匹配場景的輻射通量范圍，系統(tǒng)應(yīng)選擇合適的曝光時(shí)間，但對(duì)于高動(dòng)態(tài)范圍場景，過亮或過暗的場景難以同時(shí)匹配，需要對(duì)系統(tǒng)的動(dòng)態(tài)范圍進(jìn)行延展。

圖1 成像系統(tǒng)響應(yīng)函數(shù)非線性示意圖Fig.1 Nonlinear diagram of imaging system response function

2 成像系統(tǒng)動(dòng)態(tài)范圍延展

成像系統(tǒng)響應(yīng)函數(shù)是描述輸入圖像傳感器的輻射能量與傳感器輸出數(shù)字值之間的映射關(guān)系。成像系統(tǒng)響應(yīng)函數(shù)相對(duì)定標(biāo)是標(biāo)定場景輸入能量與系統(tǒng)輸出灰度值的相對(duì)關(guān)系。為了標(biāo)定這一關(guān)系，通過改變系統(tǒng)的曝光時(shí)間而改變探測(cè)器輸入的輻射能量，在不同輻射能量下獲得系統(tǒng)輸出的數(shù)字量值，進(jìn)而求取輸入輸出之間映射關(guān)系。通過取對(duì)數(shù)剝離系統(tǒng)輸出Gamma變換帶來的非線性。則輸入與輸出的映射關(guān)系可用點(diǎn)對(duì)表達(dá)為

{Φe(i,j)·tN,ln[Z(i,j)]}=

{kN·ln[Z0(i,j)],ln[Z(i,j)]}

(4)

式中，N表示成像序號(hào)，Z0(i,j)代表某一曝光時(shí)間下的輸出圖像，kN·ln[Z0(i,j)]與Φe(i,j)·tN線性映射。則可以以點(diǎn)對(duì){kN·ln[Z0(i,j)],ln[Z(i,j)]}為輸入輸出標(biāo)定系統(tǒng)的響應(yīng)關(guān)系。該響應(yīng)函數(shù)的映射關(guān)系可表達(dá)為

Z(i,j)=F[k·Z0(i,j)]

(5)

式中，k代表積分時(shí)間變化帶來的輸入光能量變化的倍率，F(xiàn)代表相對(duì)系統(tǒng)響應(yīng)函數(shù)，該響應(yīng)函數(shù)表達(dá)了系統(tǒng)對(duì)輸入輻射能量的響應(yīng)關(guān)系。

2.1 系統(tǒng)輸出線性化

為了使輸出與輸入輻射成線性關(guān)系，對(duì)多積分時(shí)間獲得的數(shù)字圖像進(jìn)行線性化，即去除相對(duì)響應(yīng)函數(shù)。對(duì)三通道響應(yīng)值分別進(jìn)行線性化公式為

(6)

2.2 高動(dòng)態(tài)范圍圖像生成

由于場景的輻射通量不變，則圖像(i,j)像元對(duì)應(yīng)的三通道響應(yīng)值進(jìn)行融合，則高動(dòng)態(tài)范圍圖像的三通道響應(yīng)值為

(7)

式中，tj代表第j次成像的曝光時(shí)間。

3 成像系統(tǒng)顏色空間特性化及亮度定標(biāo)

由于成像系統(tǒng)中探測(cè)器的光譜響應(yīng)與CIEXYZ標(biāo)準(zhǔn)色度系統(tǒng)中的顏色匹配函數(shù)不同，需要進(jìn)行相機(jī)顏色空間特性化[16]，如式(8)所示。

(8)

L=G[Y]

(9)

式中，G是Y刺激值與亮度L的映射關(guān)系。

4 實(shí)驗(yàn)驗(yàn)證

4.1 成像系統(tǒng)光度定標(biāo)方案

成像系統(tǒng)的光度定標(biāo)方案如圖2所示。

圖2 成像系統(tǒng)光度定標(biāo)方案Fig.2 Luminance calibration method for imaging system

4.2 實(shí)驗(yàn)裝置

使用圖3所示的實(shí)驗(yàn)裝置，分光輻射亮度計(jì)cs2000以及CannonEOS600D成像系統(tǒng)。首先使用CanonEOS600D型成像系統(tǒng)對(duì)具有動(dòng)態(tài)范圍明顯很大的場景進(jìn)行拍攝，設(shè)置光圈數(shù)F/4.5，設(shè)置曝光時(shí)間為1/1250 s、1/800 s、1/400 s、1/320、1/125 s、1/60 s、1/40 s、1/30 s、1/20 s、1/10 s、1/5 s、1 s，對(duì)同一場景在各個(gè)曝光時(shí)間下分別拍攝一張圖像，可得12張低動(dòng)態(tài)范圍圖像并存儲(chǔ)為RAW格式，所得的低動(dòng)態(tài)范圍圖像序列如圖4所示。根據(jù)2.1節(jié)所提的方法確定成像系統(tǒng)紅、綠、藍(lán)三通道的響應(yīng)函數(shù)曲線如圖5所示。

圖3 實(shí)驗(yàn)裝置Fig.3 Experimental facility

圖4 多曝光時(shí)間下低動(dòng)態(tài)范圍圖像Fig.4 Low dynamic range image with multiple exposure times

4.3 實(shí)驗(yàn)結(jié)果

1)系統(tǒng)動(dòng)態(tài)范圍延展。成像系統(tǒng)輸出灰度與相對(duì)輸入輻射能量值之間的函數(shù)關(guān)系如圖5所示；合成高動(dòng)態(tài)范圍圖像，如圖6所示。

圖5 系統(tǒng)三通道相對(duì)響應(yīng)函數(shù)曲線Fig.5 System three-channel relative response function curve

圖6 合成的高動(dòng)態(tài)范圍圖像Fig.6 Composited high dynamic range image

2)光亮度定標(biāo)。顏色空間特性化后Y分量如圖7所示，上面的黑色標(biāo)記為對(duì)應(yīng)的定標(biāo)點(diǎn)對(duì)位置。使用亮度計(jì)測(cè)量圖7標(biāo)記點(diǎn)實(shí)際亮度獲取數(shù)據(jù)點(diǎn)對(duì)，用多項(xiàng)式擬合結(jié)果如圖8所示，該曲線的擬合優(yōu)度為0.8931。

圖7 特性化后的圖像及測(cè)量點(diǎn)位置Fig.7 Image after characterization and the position of the measuring point

圖8 擬合后的定標(biāo)系數(shù)曲線Fig.8 The fitted calibration coefficient curve

定標(biāo)曲線如式(10)所示。

G(x)=p1·x5+p2·x4+p3·x3+p4·x2+p5·x+p6

(10)

其中p1=1.54×104;p2=-1.35×105;p3=3.81×105;p4=-3.26×105;p5=-4.77×104;p6=1.23×105。

從圖8中可知，該定標(biāo)曲線只適用于實(shí)際場景亮度小于1 000 cd/m3，當(dāng)實(shí)際場景亮度大于該值會(huì)有較大誤差出現(xiàn)。

4.4 亮度測(cè)量及評(píng)價(jià)

將從高動(dòng)態(tài)范圍圖像中得到的亮度L與用亮度計(jì)測(cè)得的亮度進(jìn)行比較，如式(11)所示：

(11)

式中，L_r表示應(yīng)用亮度計(jì)測(cè)得的亮度，L表示本文方法獲得的亮度。

選取圖9所示的圖片投影到幕布上，對(duì)60個(gè)點(diǎn)分別使用兩種方法進(jìn)行測(cè)量，二者測(cè)量結(jié)果的比較如圖10所示?？梢?，本文方法誤差小于1.8%。

圖9 選取圖片及測(cè)量點(diǎn)的位置Fig.9 Select the picture and the location of the measurement point

圖10 高動(dòng)態(tài)范圍圖像亮度與亮度計(jì)測(cè)量亮度的誤差Fig.10 Error with HDR image luminance and luminance meter

5 結(jié)論

本文提出了面向照明環(huán)境亮度測(cè)量的成像系統(tǒng)光亮度定標(biāo)方法，給出了定標(biāo)模型,擬合優(yōu)度達(dá)到0.8931。對(duì)方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證，結(jié)果表明在動(dòng)態(tài)范圍內(nèi)定標(biāo)方法測(cè)量誤差小于1.8%。本文提出的定標(biāo)方法可用于高動(dòng)態(tài)范圍場景高密度亮度測(cè)量。