黃浩，廖寧放，趙長(zhǎng)明，李玉梅

（北京理工大學(xué) 光電學(xué)院 顏色科學(xué)與工程國家專業(yè)實(shí)驗(yàn)室, 北京 100081）

彩色數(shù)字相機(jī)通過對(duì)光信號(hào)進(jìn)行處理，最終成像，為了獲得準(zhǔn)確的色彩，白平衡和顏色校正起著重要作用. 多攝成像系統(tǒng)以其特有優(yōu)勢(shì)被廣泛應(yīng)用[1-3]，但不同攝像頭使用的相機(jī)模組光學(xué)特性多有不同，對(duì)不同攝像頭的成像顏色一致性提出挑戰(zhàn).

白平衡作為相機(jī)成像中的關(guān)鍵性技術(shù)，國內(nèi)外進(jìn)行了大量研究，在早期的白平衡算法中，以灰度世界法[4]和完美反射法[5]為主；為了減少色塊對(duì)圖像增益的影響，又提出了標(biāo)準(zhǔn)加權(quán)法[6]和利用邊緣檢測(cè)模型的邊緣白點(diǎn)白平衡方法[7]；為了較為準(zhǔn)確地估計(jì)光源的色度信息，又提出了光源色差估計(jì)法[8]，對(duì)圖像的色彩偏差有較好的校正效果. 目前隨著圖像信號(hào)處理（image signal processing，ISP）技術(shù)和人工智能的發(fā)展，新型的白平衡算法不斷出現(xiàn)，包括光源色溫估計(jì)法[9]、神經(jīng)網(wǎng)絡(luò)白平衡算法[10]、光源復(fù)合白平衡算法[11]、多幀比較法[12]和儀器輔助法[13]等.

現(xiàn)有的多攝成像系統(tǒng)多使用多個(gè)不同光學(xué)特性的相機(jī)模組，但使用相同的白平衡算法，當(dāng)固定機(jī)位拍攝同一場(chǎng)景時(shí)，由于不同相機(jī)模組視場(chǎng)角等的差異，導(dǎo)致用于白平衡算法校正的統(tǒng)計(jì)點(diǎn)有較大差異，例如視場(chǎng)角的差異會(huì)導(dǎo)致像面成像內(nèi)容不同，一些極端景物的統(tǒng)計(jì)點(diǎn)會(huì)導(dǎo)致其中某個(gè)相機(jī)模組的白平衡出現(xiàn)誤判，導(dǎo)致算法估計(jì)的光源不同，不同相機(jī)的圖像顏色出現(xiàn)差異. 為了保證多攝成像系統(tǒng)的白平衡一致性，在拍攝同一場(chǎng)景，切換相機(jī)后，白平衡不出現(xiàn)明顯的跳變，需要找到不同相機(jī)模組之間的白平衡結(jié)果轉(zhuǎn)換關(guān)系，將多攝系統(tǒng)主攝像頭的白平衡計(jì)算結(jié)果提供給其他幾顆攝像頭.

為解決上述問題，本文提出了基于光源估計(jì)的白平衡一致性轉(zhuǎn)換方法，使用決策點(diǎn)轉(zhuǎn)換方法、查找表方法、分類決策點(diǎn)轉(zhuǎn)換多種方法進(jìn)行白平衡決策點(diǎn)轉(zhuǎn)換. 為比較不同算法的轉(zhuǎn)換精度，提出了色度比例差異、白點(diǎn)色差和全色塊色差三個(gè)指標(biāo)，并在多種驗(yàn)證光源下對(duì)轉(zhuǎn)換算法進(jìn)行分析和討論.

1 基本原理

以手機(jī)三攝像頭成像系統(tǒng)為例，如圖1 所示，原始相機(jī)模組為主攝廣角相機(jī)，參考相機(jī)模組為長(zhǎng)焦和超廣角相機(jī)，在影像系統(tǒng)工作過程中，僅主攝廣角相機(jī)運(yùn)行白平衡算法，長(zhǎng)焦和超廣角不運(yùn)行白平衡算法，通過轉(zhuǎn)換關(guān)系，將主攝廣角白平衡算法計(jì)算得到的白平衡決策點(diǎn)轉(zhuǎn)換給長(zhǎng)焦和超廣角相機(jī)，節(jié)省運(yùn)行功耗的同時(shí)，可最大程度保證多攝成像系統(tǒng)的顏色一致性.

圖1 手機(jī)三攝像頭成像系統(tǒng)成像示意圖Fig. 1 The imaging diagram of mobile phone triple camera imaging system

將光譜特性已知的環(huán)境光加入到式（4）中參與計(jì)算，可得到基于光源估計(jì)的多攝系統(tǒng)白平衡一致性轉(zhuǎn)換方法，為了盡可能減少算法實(shí)際工程化應(yīng)用過程中調(diào)試人員的工作量，轉(zhuǎn)換方法使用32 種標(biāo)準(zhǔn)黑體光源和12 種CIE 標(biāo)準(zhǔn)光源參與計(jì)算. 黑體發(fā)光的顏色與它的溫度有密切關(guān)系，根據(jù)普朗克公式可以計(jì)算出對(duì)應(yīng)于某一溫度的光譜功率分布，如下式所示

按麥勒德（ μrd）等間距，將32 種不同色溫下黑體光譜功率分布模擬的光源作為已知光源納入計(jì)算，色溫分別為1 515，1 563，1 613，1 667，1 724，1 786，1 852，1 923，2000，2 083，2 174，2 273，2 381，2 500，2 632，2 778，2 941，3 125，3 333，3 571，3 846，4 167，4 545，5 000，5 556，6 250，7 143，8 333，10 000，12 500，16 667，25 000 K，為了兼顧常用的商業(yè)、辦公和家居場(chǎng)景，加入12 種CIE 典型熒光燈光源，即CIE 標(biāo)準(zhǔn)F1～F12 光源，根據(jù)色度學(xué)公式計(jì)算各個(gè)色溫下光源的三刺激值以及色品坐標(biāo)，在CIE 1931 色度圖上繪制出44 種光源的色品坐標(biāo)如圖2 所示.

圖2 1931-xy 色度空間上的光源特性Fig. 2 Light source in CIE 1931-xy chromaticity space

決策點(diǎn)轉(zhuǎn)換算法(M32)使用32 種黑體模擬光源，可分別仿真計(jì)算得原始相機(jī)和參考相機(jī)在32 種光源下，拍攝色卡時(shí)，色卡第20 個(gè)色塊的 [R/G,B/G]通道比值，以此作為該相機(jī)在該環(huán)境光下的理論白平衡決策點(diǎn)，并將色溫按照25 000 K 為最大值進(jìn)行歸

分類決策點(diǎn)轉(zhuǎn)換算法(C LF)考慮到不同光源類型的發(fā)光機(jī)理不同，對(duì)32 種模擬光源和12 種CIE 熒光燈光源，參照式（8）分別計(jì)算轉(zhuǎn)換關(guān)系，得到兩個(gè)轉(zhuǎn)換矩陣，由于熒光燈特殊的發(fā)光機(jī)理會(huì)出現(xiàn)不同于連續(xù)光譜的光譜類型，實(shí)際使用過程中，可通過額外的光譜傳感器或者其他類型硬件傳感器，對(duì)拍攝場(chǎng)景的實(shí)際光源進(jìn)行區(qū)分，例如現(xiàn)在手機(jī)影像系統(tǒng)多配有光譜傳感器，可對(duì)拍攝光的光譜特性進(jìn)行檢測(cè). 當(dāng)環(huán)境光是連續(xù)光譜或LED 光源時(shí)，使用32 種模擬光源計(jì)算得到的轉(zhuǎn)換矩陣進(jìn)行白平衡決策點(diǎn)轉(zhuǎn)換，當(dāng)環(huán)境光是熒光燈光源類型時(shí)，則使用CIE 熒光燈光源計(jì)算得的轉(zhuǎn)換矩陣. 最終的轉(zhuǎn)換矩陣為根據(jù)光源類型，j可分為連續(xù)光譜或LED 光源和熒光燈光源兩類.

單位變換(I)將式（6）中的轉(zhuǎn)換矩陣變?yōu)閱挝痪仃?，如下所示，這表示將使用原始相機(jī)模組的白平衡決策點(diǎn)作為參考相機(jī)模組的決策點(diǎn)，進(jìn)行白平衡校正，從而與其他轉(zhuǎn)換方法進(jìn)行對(duì)比.

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)條件

實(shí)驗(yàn)使用索尼IMX582、三星HMX、佳能5DM4三顆相機(jī)模組對(duì)算法進(jìn)行驗(yàn)證，使用Newport 單色儀對(duì)三個(gè)相機(jī)模組各通道的光譜靈敏度進(jìn)行測(cè)量，測(cè)量結(jié)果如圖3 所示，由圖可知，三個(gè)相機(jī)模組除G通道外，R通道和B通道的光譜靈敏度均顯著不同，這會(huì)導(dǎo)致在拍攝同一場(chǎng)景時(shí)，其相機(jī)白平衡決策點(diǎn)[R/G,B/G]響應(yīng)不同. 利用SpectralLight QC（SPL）燈箱中的7 種光源和Image Engineering（IE）燈箱中的D65光源計(jì)算三個(gè)相機(jī)模組的 [R/G,B/G]響應(yīng)，如圖4 所示，同一光源下，佳能5DM4 的響應(yīng)與其余兩顆模組相比，差異較大，這與圖3 中的光譜靈敏度差異結(jié)果一致，即佳能5DM4 的光譜靈敏度曲線較其他兩顆模組有明顯的不同. 由圖4 還可觀察得到，即使是色溫相近的情況下，相機(jī)之間的響應(yīng)差異也會(huì)有明顯不同，例如 IE D65 和SPL D65 光源，即使色溫同樣在6 500 K 左右，但三個(gè)模組之間的響應(yīng)仍有較大差異.實(shí)驗(yàn)使用IMX582 作為原始相機(jī)模組，三星HMX 和佳能5DM4 作為參考相機(jī)模組，使用上節(jié)介紹的轉(zhuǎn)換方法，根據(jù)硬件特性，將原始相機(jī)模組的白平衡計(jì)算結(jié)果轉(zhuǎn)換給參考相機(jī)模組.

圖3 相機(jī)光譜靈敏度響應(yīng)曲線Fig. 3 Spectral sensitivities of the cameras

圖4 3 個(gè)相機(jī)在8 種光源下在[R/G, B/G]色度空間的色度分布Fig. 4 Chromaticity distribution of three cameras in [R/G, B/G] color space under eight light sources

為充分驗(yàn)證在實(shí)際應(yīng)用中，轉(zhuǎn)換算法在各個(gè)光源下的穩(wěn)定性，驗(yàn)證實(shí)驗(yàn)使用的光源包括Spectral-Light QC 燈箱中的人造標(biāo)準(zhǔn)光源，CIE 標(biāo)準(zhǔn)光源，商場(chǎng)中的多種室內(nèi)光源，以及北京夏季在上午9 點(diǎn)，中午12 點(diǎn)，和下午4 點(diǎn)的戶外自然光，共21 種光源，與上述44 種光源（黑體模擬光源和CIE 標(biāo)準(zhǔn)光源）不同，驗(yàn)證光源均為相機(jī)系統(tǒng)實(shí)際拍攝過程中的典型場(chǎng)景光源，如表1 所示，使用柯尼卡美能達(dá)CL-500A測(cè)量每個(gè)光源的光譜功率分布.

表1 實(shí)驗(yàn)中使用的驗(yàn)證光源Tab. 1 Verification light source used in experiment

2.2 評(píng)價(jià)方法

2.2.1 色度比例差異

2.2.2 CIEDE2000 白點(diǎn)色差

CIEDE2000(ΔE00)色差公式[16]是由CIE 推薦并被廣泛使用的色差公式. 將圖像數(shù)據(jù)轉(zhuǎn)換到sRGB 空間，再轉(zhuǎn)換到CIE L*a*b*空間，然后在CIEDE2000 顏色空間進(jìn)行色差計(jì)算. 根據(jù)顏色特性化原理，利用色卡數(shù)據(jù)，使用最小二乘法可計(jì)算得到 3×3的顏色校正矩陣TRGB2sRGB， 從而將傳感器的RGB 數(shù)據(jù)SRGB經(jīng)過白平衡校正之后，轉(zhuǎn)換到sRGB 空間，得到SsRGB，再通過TsRGB2L*a*b*轉(zhuǎn)換到CIE L*a*b*空間[14]，如下式所示

將色卡的第20 個(gè)色塊定義為圖像白點(diǎn)，由上式可計(jì)算得到經(jīng)過轉(zhuǎn)換算法之后的參考模組第20 個(gè)色塊的SL*a*b*,c和 經(jīng)過實(shí)際仿真計(jì)算得到的SL*a*b*,ref，其計(jì)算過程如下

2.2.3 CIEDE2000 全色塊色差

與E2直接計(jì)算色差不同，E3.1和E3.2對(duì)各個(gè)驗(yàn)證光源下每個(gè)色塊的色差大小進(jìn)行分類統(tǒng)計(jì)，分類標(biāo)準(zhǔn)通過觀察者實(shí)驗(yàn)得到，使用Imatest 圖像分析軟件對(duì)市場(chǎng)上高端手機(jī)實(shí)拍圖片進(jìn)行CIEDE2000 色差計(jì)算，并組織10 名色覺正常的觀察者，進(jìn)行觀察者實(shí)驗(yàn)，根據(jù)色差大小的感知差異，將色差分為4 個(gè)等級(jí)，分別為無差異、低差異、中差異和高差異，如表2 所示，分類可以滿足移動(dòng)設(shè)備影像的應(yīng)用需求.

表2 根據(jù)色差大小劃分等級(jí)Tab. 2 The classification of color difference

2.3 實(shí)驗(yàn)結(jié)果與討論

已知三個(gè)相機(jī)模組的光譜靈敏度，使用表1 中的21 種驗(yàn)證光源，通過計(jì)算和仿真可以得到各個(gè)模組在每種光源下色卡中每個(gè)色塊的響應(yīng)，使用上述評(píng)價(jià)標(biāo)準(zhǔn)對(duì)轉(zhuǎn)換方法進(jìn)行分析和討論，結(jié)果如表3～表6 所示.

表3 三星HMX 相機(jī)模組的色度比例差異(E1)數(shù)據(jù)Tab. 3 The chromaticity ratio difference(E1) data of Samsung HMX

表4 佳能5DM4 相機(jī)模組的色度比例差異(E1)數(shù)據(jù)Tab. 4 The chromaticity ratio difference(E1) data of Canon 5DM4

表5 三星HMX 和佳能5DM4 相機(jī)模組的CIEDE2000 白點(diǎn)色差(E2)數(shù)據(jù)Tab. 5 The CIEDE2000 white point color difference (E2) data of Samsung HMX and Canon 5DM4

表6 三星HMX 和佳能5DM4 相機(jī)模組的CIEDE2000 全色塊色差(E3.1 和E3.2)數(shù)據(jù)Tab. 6 The CIEDE2000 full-color color difference (E3.1&E3.2) data of Samsung HMX and Canon 5DM4

索尼、三星和佳能相機(jī)模組具有較高的市場(chǎng)占有率，制造工藝不同，選用三個(gè)不同品牌的相機(jī)模組進(jìn)行算法驗(yàn)證，實(shí)驗(yàn)結(jié)果可認(rèn)為適用于較大范圍的商用相機(jī)模組. 結(jié)果表明，在所有轉(zhuǎn)換方法中，分類白點(diǎn)轉(zhuǎn)換方法(C LF)優(yōu)于其他幾種轉(zhuǎn)換方法，其次是查找表方法(L UT)方法，組織移動(dòng)影像行業(yè)的專業(yè)測(cè)試人員和普通用戶進(jìn)行主觀觀察評(píng)價(jià)，轉(zhuǎn)換結(jié)果可以滿足商用使用需求. 分類白點(diǎn)轉(zhuǎn)換方法(C LF)通過將連續(xù)光譜和不連續(xù)光譜的光源進(jìn)行區(qū)分，可以提升整體的數(shù)據(jù)穩(wěn)定性，這說明光譜類型會(huì)很大程度影響到轉(zhuǎn)換精度，在移動(dòng)影像設(shè)備算法實(shí)際使用過程中，可以進(jìn)一步對(duì)光源類型進(jìn)行統(tǒng)計(jì)分析，例如手機(jī)設(shè)備在成像過程中，當(dāng)拍攝環(huán)境光的亮度很高時(shí)，此時(shí)多為戶外場(chǎng)景，場(chǎng)景的光源多為自然光，可以單獨(dú)建立自然光的轉(zhuǎn)換關(guān)系，以提升戶外的白平衡的轉(zhuǎn)換精度，解決大部分拍攝場(chǎng)景. 查找表方法(L UT)方法在不依賴外部傳感器進(jìn)行光源分類，僅使用仿真光源進(jìn)行算法計(jì)算的情況下，算法表現(xiàn)也較為穩(wěn)定，可以滿足使用需求，目前很多移動(dòng)影像設(shè)備由于成本的限制，并不配有環(huán)境光傳感器，此類設(shè)備更適合使用查找表方法，上面的查找表方法在每種色溫下僅使用一種黑體模擬光源進(jìn)行轉(zhuǎn)換矩陣的計(jì)算，如每種色溫根據(jù)使用場(chǎng)景增加光源數(shù)據(jù)，可進(jìn)一步提升算法的轉(zhuǎn)換精度.

通過數(shù)據(jù)分析，發(fā)現(xiàn)經(jīng)過白平衡轉(zhuǎn)換方法轉(zhuǎn)換后，三 星HMX 在E1和E2中 的 最 大 值 以 及 在E3.1和E3.2中的色差分布要明顯優(yōu)于佳能5DM4，數(shù)據(jù)整體表現(xiàn)更好，從圖3 可以觀察到，與佳能5DM4 相比，三星HMX 各個(gè)通道的光譜響應(yīng)更接近索尼IMX582，這說明參考模組的光譜響應(yīng)與原始模組越接近，轉(zhuǎn)換精度越好. 移動(dòng)影像成像模組的光譜靈敏度影響因素主要包括：光學(xué)鏡頭各波段光譜透過率曲線、紅外截止濾光片的各波段光譜透過率曲線、相機(jī)模組的R、G、B各顏色通道的各波段光譜透過率曲線和光電傳感器光電轉(zhuǎn)換效率曲線，實(shí)際多攝成像系統(tǒng)硬件選型和光學(xué)設(shè)計(jì)時(shí)，可以通過優(yōu)化光學(xué)鏡頭的鍍膜工藝、各模塊的光譜透過率、盡可能選用同一品牌的光電傳感器等措施來修正模組最終的光譜響應(yīng)，從而減小多攝系統(tǒng)不同模組之間的光譜靈敏度差異，進(jìn)而提高轉(zhuǎn)換算法的精度，提升白平衡的一致性.

3 結(jié) 論

針對(duì)多攝成像系統(tǒng)的白平衡一致性問題，提出基于光源估計(jì)的白平衡一致性轉(zhuǎn)換方法，基于相機(jī)的成像原理，使用決策點(diǎn)轉(zhuǎn)換方法、查找表方法、分類決策點(diǎn)轉(zhuǎn)換多種方法將原始相機(jī)的白平衡決策點(diǎn)轉(zhuǎn)換給參考相機(jī). 使用索尼IMX582、三星HMX 和佳能5DM4 三顆相機(jī)模組進(jìn)行的算法驗(yàn)證，以索尼IMX582 為原始相機(jī)模組，其他兩顆為參考相機(jī)模組，完成三者的白平衡一致性轉(zhuǎn)換，并使用色度比例差異、白點(diǎn)色差和全色塊色差三個(gè)指標(biāo)，在多種光源下對(duì)白平衡一致性進(jìn)行評(píng)價(jià). 結(jié)果表明本文提出的轉(zhuǎn)換方法可有效地提升多攝相機(jī)的白平衡一致性，分類決策點(diǎn)轉(zhuǎn)換方法可提供較好的轉(zhuǎn)換結(jié)果，當(dāng)移動(dòng)設(shè)備等多攝成像系統(tǒng)無環(huán)境光傳感器時(shí)，可使用查找表法. 轉(zhuǎn)換算法在實(shí)際工程化應(yīng)用過程中，僅需測(cè)量相機(jī)模組的光譜響應(yīng)，使用已知光源進(jìn)行轉(zhuǎn)換算法的計(jì)算，應(yīng)用方便且節(jié)省調(diào)試人力. 從不同相機(jī)模組的轉(zhuǎn)換結(jié)果差異可得，相機(jī)的光譜靈敏度響應(yīng)越接近，最后的轉(zhuǎn)換結(jié)果越好，從而可以指導(dǎo)硬件的設(shè)計(jì)和選型.