王 建，龐彥偉，俞 浩

(1. 天津大學(xué)電子信息工程學(xué)院，天津 300072；2. 天津大學(xué)理學(xué)院，天津 300072)

當(dāng)照明光源的色溫發(fā)生改變時(shí)，人眼視覺(jué)系統(tǒng)能夠自動(dòng)調(diào)整光敏感度，使人眼對(duì)物體顏色的感知近似保持不變，這種現(xiàn)象稱為色彩恒常性(color constancy)[1]．消費(fèi)級(jí)數(shù)碼相機(jī)鏡頭本身不具備色彩恒常性功能，為使拍攝的圖片與人眼現(xiàn)場(chǎng)所見(jiàn)效果接近，需要借助相關(guān)技術(shù)，使相機(jī)具有類似人眼的色適應(yīng)能力．白平衡是完成上述功能的技術(shù)之一，它的目標(biāo)是調(diào)節(jié)不同色溫光照條件下圖像的顏色，使圖像中的白色看上去與標(biāo)準(zhǔn)色溫光源下拍攝的白色一致．白平衡分為手動(dòng)和自動(dòng)兩種方式．手動(dòng)白平衡需要手工確定照片中白色區(qū)域位置，或人工設(shè)定拍攝現(xiàn)場(chǎng)光源色溫類型；雖然采用手動(dòng)白平衡方式可以取得理想的處理效果，但它僅適用于專業(yè)人士．相比之下，自動(dòng)白平衡(automatic white balance，AWB)技術(shù)實(shí)現(xiàn)更簡(jiǎn)單，處理效果也越來(lái)越完善．

已有的 AWB技術(shù)主要分為兩類[1]：廣泛假設(shè)法和先驗(yàn)知識(shí)法．前者基于對(duì)圖像內(nèi)容的某種假設(shè)，如灰色世界假設(shè)[2]和白斑假設(shè)[3]等．后者需要提前獲得光源信息，主要包括色彩透視法[4]、色彩相關(guān)法[5]和色域?qū)?yīng)法[6]等．兩類方法相比，廣泛假設(shè)法實(shí)現(xiàn)簡(jiǎn)單，但當(dāng)圖像內(nèi)容不滿足假設(shè)條件時(shí)，處理效果不佳；先驗(yàn)知識(shí)法的性能優(yōu)于前者，但需要復(fù)雜的訓(xùn)練過(guò)程，計(jì)算量大，不適于硬件實(shí)現(xiàn)．

筆者提出了一種基于灰軸調(diào)整技術(shù)的 AWB算法．該方法基于白斑假設(shè)，通過(guò)選取偏色圖像中的部分像素點(diǎn)估測(cè)估計(jì)灰軸，進(jìn)而計(jì)算估計(jì)灰軸到理想灰軸的空間變換，并借助該變換實(shí)現(xiàn)偏色圖像的自動(dòng)白平衡處理．與傳統(tǒng)方法相比，所提方法能更好地校正均勻光照條件下彩色圖像的非嚴(yán)重偏色情況．

1 背景知識(shí)

首先介紹幾個(gè)重要術(shù)語(yǔ)[7]．

(1)適應(yīng)白色(adapted white)：人類視覺(jué)系統(tǒng)在不同色溫光源條件下所感知的恒常性白色信息．

(2)純白色(pure white)：對(duì)人類視覺(jué)系統(tǒng)適應(yīng)白色的描述．如對(duì)于RGB三原色系統(tǒng)，取純白色為(R，G，B)=(255，255，255)．

(3)采用白色(adopted white)：攝像設(shè)備在不同色溫光源條件下所得到的白色信息．

(4)估計(jì)白色(estimated white)：AWB 算法對(duì)攝像設(shè)備采用白色的估計(jì)．

(5)Von Kries色適應(yīng)模型：Von Kries假設(shè)認(rèn)為，人眼的3種錐狀視覺(jué)細(xì)胞具有各自的運(yùn)作適應(yīng)模式，互不影響．

(6)尺度系數(shù)(scale coefficient)：進(jìn)行白平衡處理時(shí)各顏色通道所乘的比例值．

一般的基于廣泛假設(shè)AWB方法實(shí)現(xiàn)過(guò)程包括3步：①估計(jì)實(shí)際拍攝條件下光源色溫的信息；②計(jì)算各顏色通道的尺度系數(shù)；③顏色校正．估計(jì)光源色溫是最關(guān)鍵的步驟．已有方法都是通過(guò)求解“采用白色”到“適應(yīng)白色”的轉(zhuǎn)換過(guò)程來(lái)估計(jì)光源色溫，但由于無(wú)法直接得到“采用白色”，需要借助相關(guān)技術(shù)估測(cè)“采用白色”，即使用“估計(jì)白色”代替“采用白色”．

如何得到“估計(jì)白色”是各種基于廣泛假設(shè)AWB方法的主要區(qū)別．以白斑(white patch)假設(shè)為例，它假定“彩色圖像中一定存在白色，而且它對(duì)應(yīng)于圖像中最亮的區(qū)域”[8]．

基于白斑假設(shè) AWB方法(簡(jiǎn)記為 WP-AWB)的基本實(shí)現(xiàn)思路是：首先根據(jù)原始圖像計(jì)算“估計(jì)白色”；然后使用 Von Kries色適應(yīng)模型，將“估計(jì)白色”轉(zhuǎn)換為“適應(yīng)白色”，得到尺度系數(shù)；再調(diào)整各顏色通道的數(shù)值，校正顏色．

以 RGB 顏色空間為例，用{r，g，b}和{r′，g′，b′}分別表示原圖像和處理后圖像中像素點(diǎn)的顏色值，經(jīng)典WP-AWB方法的處理過(guò)程可表示為

式中：re、ge、be分別為“估計(jì)白色”的取值；λR、λG、λB分別為各顏色通道的尺度系數(shù)，它定義為純白色和估計(jì)白色對(duì)應(yīng)顏色通道的比值．早期的 WP-AWB方法[2]只使用灰度信息，選取圖像中最亮的一點(diǎn)作為估計(jì)白色，但該方法易受噪聲干擾．后來(lái)的方法[9-10]綜合考慮灰度和顏色信息，選擇滿足特定條件的像素點(diǎn)集合計(jì)算估計(jì)白色．這類方法能有效抑制噪聲影響，但當(dāng)拍攝場(chǎng)景中不存在白色區(qū)域或者出現(xiàn)鏡面全反射現(xiàn)象時(shí)，處理效果不佳．

2 算法描述

2.1 理想灰軸和實(shí)際灰軸

首先引入灰軸的概念．圖1所示為RGB色彩空間示意．圖中，R、G、B 三分量的取值都在[0，255]之間；P 點(diǎn)表示純白色，有(rP，gP，bP)=(255，255，255)；O 點(diǎn)對(duì)應(yīng)黑色，有(rO，gO，bO)=(0，0，0)．OP 稱為RGB色彩空間的灰度軸，簡(jiǎn)稱灰軸．它上面各點(diǎn)的R、G、B分量取值相等，對(duì)應(yīng)顏色為灰色．所提方法將OP稱為“理想灰軸”，以區(qū)分后面引入的“估計(jì)灰軸”．

圖1 理想灰軸和估計(jì)灰軸示意Fig.1 Illustration of ideal gray axis and estimated gray axis

以某種標(biāo)準(zhǔn)照明體(如 D65光源)條件下拍攝的圖像作為標(biāo)準(zhǔn)圖像．當(dāng)光源色溫改變時(shí)，圖像中各點(diǎn)的顏色值發(fā)生偏離，整幅圖像發(fā)生偏色．考慮到黑色區(qū)域不反射任何入射光，純白區(qū)域反射全部入射光，因此標(biāo)準(zhǔn)圖像中的黑色區(qū)域在偏色圖像中保持不變，而白色區(qū)域在偏色圖像對(duì)應(yīng)區(qū)域的顏色反映了偏色光源色溫信息．如果用“估計(jì)白色”估測(cè)偏色圖像中的白色，用E點(diǎn)表示，即E=(re，ge，be)．則OE上各點(diǎn)反映的是標(biāo)準(zhǔn)圖像各灰度級(jí)在偏色光照條件下的取值．所提方法將 OE稱為偏色圖像的“估計(jì)灰軸”，如圖1所示．

根據(jù)上述分析不難發(fā)現(xiàn)，估計(jì)灰軸可以看作是理想灰軸在偏色光照條件下發(fā)生偏移的結(jié)果．所提算法的基本思路是：借助特定空間變換，將估計(jì)灰軸調(diào)整至與理想灰軸重合的位置，以此實(shí)現(xiàn)自動(dòng)白平衡．已有WP-AWB方法可看作是根據(jù)P點(diǎn)和E點(diǎn)模值的比值進(jìn)行尺度放縮的過(guò)程，沒(méi)有考慮兩者方向上的差異．所提方法將 P點(diǎn)和 E點(diǎn)看作是顏色空間中的不同點(diǎn)，借助旋轉(zhuǎn)變換和尺度變換調(diào)整估計(jì)灰軸與理想灰軸重合，達(dá)到白平衡校正的目的．

2.2 計(jì)算估計(jì)灰軸

選取圖像中多個(gè)點(diǎn)估測(cè) E點(diǎn)．考慮到偏色情況下白色區(qū)域像素點(diǎn)三顏色通道的取值都有可能降低，選用三通道中的最小值表示像素點(diǎn)的強(qiáng)度值．在所提方法中，對(duì)于圖像中(i，j)位置的像素點(diǎn)的強(qiáng)度值L(i，j)定義為

與 HSI(hue，saturation，intensity)色彩空間中強(qiáng)度分量I相比，使用式(2)得到的強(qiáng)度分量L偏小，但是對(duì)于偏色圖像情況，采用式(2)得到的強(qiáng)度分量更宜于估計(jì) E點(diǎn)．選取占像素點(diǎn)總數(shù)(用 N表示)一定比例(用α表示)的像素點(diǎn)估計(jì)E點(diǎn)．具體方法是將各像素點(diǎn)按照 L值從大到小的順序排列，選取最前面(100α)%的像素點(diǎn)構(gòu)造集合，用Ω表示．計(jì)算Ω中各點(diǎn)三通道的平均值表示E點(diǎn)，即有

為降低場(chǎng)景中全反射情況的影響，α的取值不能太?。坏恋娜≈翟酱?，越影響估計(jì)白色的精度．通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，可取α∈[0.01～0.001]，所提算法取α=0.005．

2.3 計(jì)算旋轉(zhuǎn)變換矩陣

將OE旋轉(zhuǎn)至OP的過(guò)程是三維空間中繞任意軸旋轉(zhuǎn)的問(wèn)題[11]．具體過(guò)程包括4個(gè)步驟．

第1步：計(jì)算旋轉(zhuǎn)軸．

用OZ表示旋轉(zhuǎn)軸，它應(yīng)垂直于OE和OP所在平面，且經(jīng)過(guò) O點(diǎn)．如圖 2所示，使用向量積運(yùn)算計(jì)算OZ，得到

第2步：將OZ旋轉(zhuǎn)至B軸方向．

將OZ旋轉(zhuǎn)至B軸方向的方式不唯一．本文選用一種典型方法：首先將OZ繞 R軸旋轉(zhuǎn)至 R-B平面，再繞 G軸旋轉(zhuǎn)至 B軸方向，并規(guī)定沿坐標(biāo)軸向原點(diǎn)看去逆時(shí)針的方向?yàn)樾D(zhuǎn)的正方向．

首先將OZ繞R軸旋轉(zhuǎn)φ角，如圖2所示．對(duì)應(yīng)的變換矩陣為

圖2 旋轉(zhuǎn)變換示意Fig.2 Illustration of rotation transformation

然后再繞G軸旋轉(zhuǎn)?角，對(duì)應(yīng)的變換矩陣為

經(jīng)上述兩次旋轉(zhuǎn)，將OZ旋轉(zhuǎn)至B軸方向．

第3步：繞B軸旋轉(zhuǎn)θ角．

用θ表示OE和OP夾角，對(duì)應(yīng)的變換矩陣為

根據(jù)余弦定理和正弦定理計(jì)算cos θ 和sin θ，可以得到

第4步：逆旋轉(zhuǎn)．

根據(jù)變換矩陣的復(fù)合法則，將上述4步合并，得到最終的旋轉(zhuǎn)變換矩陣

2.4 顏色校正

顏色校正包括兩步：首先借助旋轉(zhuǎn)變換和尺度變換將估計(jì)灰軸和理想灰軸重合；然后對(duì)變換后的圖像進(jìn)行截?cái)嗵幚恚?/p>

用{r(i，j)，g(i，j)，b(i，j)}表示偏色圖像中(i，j)位置上像素點(diǎn)的顏色值，進(jìn)行灰軸調(diào)整變換，即

式中：{rt(i，j)，gt(i，j)，bt(i，j)}表示變換后的顏色值．放縮系數(shù)β定義為OP和OE模的比值，即

經(jīng)式(9)處理后的某些像素點(diǎn)的顏色值可能超出[0，255]范圍．為顯示方便，需進(jìn)行截?cái)嗵幚恚?R 通道為例，其截?cái)嗵幚磉^(guò)程如式(11)所示，其中 rc(i，j)表示截?cái)嘟Y(jié)果．G通道和B通道的處理過(guò)程與之類似．

使用式(2)定義的L值可以有效估計(jì)偏色情況下的白色區(qū)域，而β能起到拉伸灰度級(jí)的作用．實(shí)驗(yàn)表明，由式(11)引起的截?cái)嘈?yīng)對(duì)圖像灰度級(jí)別影響并不明顯．

3 實(shí)驗(yàn)結(jié)果

為驗(yàn)證所提算法的有效性，將自己拍攝以及網(wǎng)上收集共 136幅偏色照片作為實(shí)驗(yàn)素材，組織多名評(píng)測(cè)人員對(duì)白平衡結(jié)果進(jìn)行主觀評(píng)測(cè)．評(píng)測(cè)結(jié)果分為 3種情況：處理效果明顯且與自然光照條件接近；處理效果明顯但與自然光照條件有較大差別；處理效果不明顯．只將第1種情況判為處理成功．統(tǒng)計(jì)評(píng)測(cè)結(jié)果發(fā)現(xiàn)，共有 112幅圖像被判為處理成功，成功率在82%以上．導(dǎo)致處理失敗的原因主要有 2個(gè)．第 1個(gè)原因是嚴(yán)重偏色情況，此時(shí)原圖像中白色區(qū)域三顏色通道取值變化明顯，僅使用 L值不能很好地估計(jì) E點(diǎn)，導(dǎo)致估計(jì)灰軸存在偏差．第 2個(gè)原因是多光源不均勻光照情況，所提模型只針對(duì)單一均勻光源情況，當(dāng)場(chǎng)景中同時(shí)存在多個(gè)光源時(shí)，所提方法失效．圖 3給出了部分處理結(jié)果，其中第1幅和第2幅圖像為處理成功的例子，第3幅圖像屬于嚴(yán)重偏色引起的處理失敗情況．

圖3 仿真結(jié)果示例Fig.3 Examples of simulation results

為進(jìn)一步評(píng)價(jià)所提算法的性能，選用一種經(jīng)典WP-AWB方法[9]和 Photoshop CS3自動(dòng)色階處理技術(shù)與所提算法進(jìn)行比較．圖 4所示為 3種方法性能比較結(jié)果．圖中，前 4幅圖像對(duì)應(yīng)均勻光照條件下的偏色情況．第 1幅和第 2幅圖像中都存在明顯純白區(qū)域，使用 3種方法都能得到較好的白平衡結(jié)果．第3幅圖像中最亮區(qū)域?qū)?yīng)于椅子金屬把手產(chǎn)生的全反射，WP-AWB法將該區(qū)域誤判為估計(jì)白色，方法失效，所提方法和 Photoshop都能較好地處理這類情況，處理結(jié)果相近．第4幅圖像代表嚴(yán)重偏色情況，3種方法的處理結(jié)果都不理想，相比之下，Photoshop的處理結(jié)果略優(yōu)于所提算法，WP-AWB方法最差．第5幅圖像是多光源非均勻光照條件，圖中有2個(gè)主要光源，分別是室外通過(guò)藍(lán)色窗簾入射的自然光和室內(nèi)臺(tái)燈產(chǎn)生的白熾燈光．對(duì)于這種情況，3種方法都失效．

選用本文方法、白斑法[9]、灰色世界法[2]以及Photoshop自動(dòng)色階調(diào)整共 4種方法進(jìn)行定量分析．選用標(biāo)準(zhǔn)光源(D65)照射條件下的24色標(biāo)準(zhǔn)色卡(如圖 4(a)圖像所示)作為標(biāo)準(zhǔn)圖像．偏色光源分別選用白熾燈、熒光燈和正午晴天日光光源．實(shí)驗(yàn)選用的拍攝設(shè)備是Cannon A640數(shù)碼相機(jī)，拍攝方式選擇手動(dòng)，曝光模式選擇手動(dòng)曝光，關(guān)閉相機(jī)的自動(dòng)白平衡功能，感光度設(shè)為 ISO 100．拍攝得到的標(biāo)準(zhǔn)圖像及3種偏色圖像都以24位真彩色TIFF格式存儲(chǔ)，色彩模式為RGB．分別采用上述 4種方法對(duì) 3種光源照射下的偏色圖像進(jìn)行白平衡校正，處理結(jié)果存儲(chǔ)為原圖像相同的格式．計(jì)算校正圖像與標(biāo)準(zhǔn)圖像對(duì)應(yīng)像素的均方差，用σ表示．采用σ值的大小衡量校正性能，σ值越小，說(shuō)明校正圖像與標(biāo)準(zhǔn)圖像越接近，校正效果越佳；反之亦然．為便于比較，以本文算法的均方差為基準(zhǔn)，計(jì)算其他3種方法的均方差與所提方法均方差的比值．如果比值小于 1，則說(shuō)明該方法優(yōu)于所提方法．表 1給出了 3種光照條件下 4種方法的性能定量比較結(jié)果．由表 1可見(jiàn)，白熾燈光照條件下各種方法的性能差別最大，日光條件下的差別最?。凰岱椒ǖ奶幚硇Ч缘陀?Photoshop處理結(jié)果，但明顯優(yōu)于白斑法；灰色世界法處理效果最差．但并不能斷定白斑法優(yōu)于灰色世界法．造成灰色世界法處理效果較差的原因是該方法假定標(biāo)準(zhǔn)圖像中各色彩通道的平均值都是 128[2]，但通過(guò)觀察發(fā)現(xiàn)，標(biāo)準(zhǔn)圖像中背景偏暗，并不滿足灰色世界法的假設(shè)條件，導(dǎo)致校正后的圖像與標(biāo)準(zhǔn)圖像存在較大差別．

圖4 不同方法性能比較結(jié)果Fig.4 Comparison of performance between various methods

表1 不同方法的定量比較Tab.1 Quantitative comparison between various methods

綜上所述，本文方法可以有效校正均勻光照條件下的偏色圖像，白平衡處理效果與 Photoshop的自動(dòng)色階結(jié)果接近，優(yōu)于經(jīng)典的白斑法和灰色世界法．

4 結(jié) 語(yǔ)

提出了一種基于灰軸調(diào)整技術(shù)的自動(dòng)白平衡算法．分析了經(jīng)典 WP-AWB方法的不足，引入了估計(jì)灰軸和理想灰軸的概念．推導(dǎo)出了將估計(jì)灰軸和理想灰軸重合的變換矩陣，在此基礎(chǔ)之上實(shí)現(xiàn)白平衡處理．實(shí)驗(yàn)結(jié)果表明，所提算法可以有效校正均勻光照條件下彩色圖像的非嚴(yán)重偏色情況，并能有效克服全反射情況的影響．未來(lái)的工作集中在兩個(gè)方面：一是將該方法推廣到其他顏色空間(如 CIELab空間)；二是增加偏色檢測(cè)過(guò)程，進(jìn)一步提高算法的性能．

［1］ Ebner M. Color Constancy [M]. USA： John Wiley &Sons，2007.

［2］ Buchsbaum G. A spatial processor model for object color perception[J]. Journal of Franklin Institute，1980，310(1)：1-26.

［3］ McCann J. Lessons learned from mondrians applied to real images and color gamuts [C]// Proceedings of the IS & T/SID 7th Color Imaging Conference. Scottsdale AZ，USA，1999：1-8.

［4］ Finlayson G. Color in perspective[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1996，18(10)：1034-1038.

［5］ Finlayson G，Hordley S，Hubel P. Color by correlation：A simple，unifying framework for color constancy [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23(11)：1209-1221.

［6］ Jiang X Y，Ohta N. Illuminant estimation based on von kries transformation and gamut comparison[C] // Proceedings of IS & T/SID 9th Color Imaging Conference．Scottsdale AZ，USA，2001：141-145.

［7］ Fairchild M D. Color Appearance Models[M]. 2nd ed.USA：John Wiley and Sons，2005.

［8］ Provenzi E，Gatta C，F(xiàn)ierro M，et al. A spatially variant white-patch and gray-world method for color image enhancement driven by local contrast [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30(10)：1757-1770.

［9］ Nakano N，Nishimura R，Sai H，et al. Digital still camera system for megapixel CCD[J]. IEEE Transactions on Consumer Electronics，1998，44(3)：581-586.

［10］ Chikane V，F(xiàn)uh C S. Automatic white balance for digital still cameras [J]．Journal of Information Science and Engineering，2006，22(3)：497-509.

［11］ 潘云鶴，董金祥，陳德人. 計(jì)算機(jī)圖形學(xué)——原理、方法和應(yīng)用[M]. 2版. 北京：高等教育出版社，2003.Pan Yunhe，Dong Jinxiang，Chen Deren. Computer Graphics——Principles，Methods and Applications [M].2nd ed. Beijing：Higher Education Press，2003(in Chinese).