何可丁,王 慶

齊魯工業(yè)大學(xué)制漿造紙科學(xué)與技術(shù)教育部/山東省重點實驗室,齊魯工業(yè)大學(xué)(山東省科學(xué)院) 輕工科學(xué)與工程學(xué)院,濟南 250353

目前對于自動白平衡(AWB)己經(jīng)提出了多種經(jīng)典算法,這些算法可以通過多種方式進行分類,其中包括1)靜態(tài)方法:灰度世界法[1]、完美反射法[2]等；2)動態(tài)方法:動態(tài)閾值算法,色溫估計算法、白點檢測算法等；3)基于學(xué)習(xí)的方法:該方法通過學(xué)習(xí)訓(xùn)練集,以建立模型的方式來估計光源,校正效果較好但實現(xiàn)過程復(fù)雜。

灰度世界法,完美反射法等是目前公認(rèn)最基礎(chǔ)的兩種白平衡方法。其中灰度世界法算法簡單,假設(shè)條件寬泛,所以得到了廣泛的應(yīng)用,但對含有單一大色塊圖像的白平衡校正會失效。完美反射法其原理是假設(shè)圖像上最亮點為白點,并以此白點為參考對圖像進行自動白平衡校正。該算法的優(yōu)勢在于計算量少,實現(xiàn)方式簡單,但當(dāng)圖像色彩絢麗或亮度整體偏暗時,經(jīng)過該算法處理的圖像仍然存在色偏。2005年Lam提出了一種灰度世界法和完美反射法的正交組合算法(Quadratic Combining GW&PR,QCGP)[3]。該方法可以很好地對圖像的色彩進行調(diào)整,并且保留上面提到兩種算法的優(yōu)點。但有兩種缺陷,其一,對色彩豐富度低且某一顏色為主導(dǎo)時的圖像會失效;其二,會使圖像亮度被削弱。針對第一種缺陷有學(xué)者提出了加權(quán)標(biāo)準(zhǔn)差的灰度世界算法[4],該方法將圖像分塊,并舍棄掉顏色相關(guān)性較小的宏塊,對嚴(yán)重偏色的圖像校正效果較好,但當(dāng)顏色相關(guān)性較小的區(qū)塊過多時,圖像白平衡效果依舊很差。針對第二種缺陷有學(xué)者提出了使用亮度恢復(fù)的QCGP算法[5],它能解決QCGP算法亮度被削弱的缺陷,但仍然無法解決低色彩豐富度圖像的白平衡問題。圖像熵值加權(quán)的AWB方法[6]便是針對顏色塊較少的圖像校正結(jié)果不理想的問題,對白平衡算法中增益因子的計算進行改進,改進算法顏色還原準(zhǔn)確度較高,但仍然存在一定的校正誤差。由上可知不同特征的圖像的白平衡效果會有不同,還有學(xué)者通過將圖像分類選擇相應(yīng)的靜態(tài)類白平衡算法進行校正[7]。

近年來AWB算法的研究以根據(jù)特定場景的設(shè)定,直方圖的運用和多種算法的融合為主。如2016年Yu等提出了一種結(jié)合GW和色度直方圖重合的自動白平衡方法[8]。該方法能分別滿足GW理論和色度直方圖重合的要求,并能在更多的場景中獲得比這兩種方法更好的效果,計算復(fù)雜成為該方法最大缺點。Huang等提出了一種基于直方圖偏移補償?shù)陌灼胶馑惴╗9]便是為了解決一些白平衡方法計算復(fù)雜的缺點,它是結(jié)合了簡單功率約束方法和良好的色差校正能力的AWB算法。該算法以加法運算為主,因此計算復(fù)雜度低。2017年張朵朵等提出基于海思平臺的自動白平衡算法[10],該算法雖然可解決單色場景嚴(yán)重偏色的缺陷,但其因為在實現(xiàn)過程中用到線性擬合、線性映射等操作,會給算法本身引入一定的誤差。2019年戴愛霞將白點檢測算法、灰度世界算法以及色溫估計算法相融合,并且通過增益多邊形對增益值進行調(diào)整[11]。但其色溫估計采用的是單色光估計,而實際生活中大多數(shù)光源是混合光,因此校正效果存在欠缺。2020年M Iqbal等為了解決微光下圖像過暗的原因,提出了一種在保持輸入圖像對比度的同時去除顏色飽和度的白平衡技術(shù)[12],從微光圖像中提取低頻和高頻。使用Sigmoid函數(shù)在低頻上進行顏色平衡。然后在YCbCr顏色空間中用約束線性最小二乘極小化來實現(xiàn)白平衡。該方法對于微光下的圖像處理效果較好,但沒有考慮其它光源下的效果。

盡管目前已經(jīng)研究出了大量的AWB算法,還沒有一種算法能夠適用于所有的圖像,并且對于低色彩豐富度圖像的AWB校正算法較少。本文提出了一種適用于低色彩豐富度且沒有某一顏色為主導(dǎo)的圖像的白平衡算法。在此基礎(chǔ)上,建立了一種自適應(yīng)的白平衡解決方案。根據(jù)圖像的色彩豐富度判定原則,自適應(yīng)選取最合適的白平衡算法。在大量自然圖像上的實驗表明,該方法計算簡單,且適用于滿足條件的大部分圖像。

1 GW-DCT算法

利用圖像處理中常用DCT[13-14]對圖像進行變換。DCT作為圖像處理的一種手段,其應(yīng)用特點為:對于色彩艷麗的圖像在DCT變換后,由于濾掉了高頻部分,從而會導(dǎo)致圖像不同程度的失真；反之低色彩豐富度圖像因包含較大的冗余信息,且圖像的主要信息為低頻分量,因此DCT變換后圖像基本無失真情況。因此利用該特點,可在白平衡校正之前將低色彩豐富度圖像,先進行DCT變換,過濾掉圖像中的高頻部分,從而降低了由于圖像高頻像素值參與白平衡算法而導(dǎo)致失效的風(fēng)險。該算法適用于色彩豐富度低、單色面積不大的圖像。

其具體步驟如下所示:首先將圖像的R,G,B三通道進行DCT變換。然后根據(jù)灰度世界思想,取圖像平均值,并進行不同顏色通道之間的比較。這里可得:

(X=R,G,B)

(1)

然后根據(jù)顏色通道平均值大小比較的結(jié)果進行增益系數(shù)計算。當(dāng)R通道的值居中時,增益過程如下:

KR=1,

(2)

G,B通道居中時亦同理,最后對圖像通道進行增益計算并輸出結(jié)果。

在CVonline圖庫中選取了22張圖像,圖像主要包含山,水,建筑物等結(jié)構(gòu),因此大部分圖像色彩豐富度不高。首先調(diào)節(jié)圖像顏色通道大小使其偏色,再將偏色圖像經(jīng)過QCGP算法和GW-DCT算法處理。將顏色豐富度低的圖像經(jīng)兩種算法處理比較后得到的結(jié)果如圖1所示。

注:a)原圖；b)偏色圖像；c)GW-DCT；d)QCGP

圖1為低色彩豐富度圖像的校正結(jié)果,其中圖b)是色彩豐富度低且偏色的圖像。圖d)為QCGP算法處理后的圖像,經(jīng)該算法校正后的圖像仍有紅色,存在校正效果不足的現(xiàn)象。圖c)是本文改進算法處理的圖像,校正效果較好。

將圖庫中色彩豐富度高的圖像進行了測試,如圖2所示。

注:a)原圖；b)色偏圖像；c)GW-DCT

由仿真結(jié)果可知,色彩豐富度較低的圖像經(jīng)過GW-DCT算法處理白平衡校正效果較好。但圖庫中色彩豐富度較高的圖像經(jīng)過該算法處理會存在校正過度的現(xiàn)象。因此該算法存在一定的局限性,僅適用于低色彩豐富度的圖像。

2 自適應(yīng)白平衡解決方案

通過圖像的色彩豐富度、熵、顏色占比和亮度占比四參數(shù)將圖像進行分類,然后對分類好的圖像利用QCGP、PR和GW-DCT算法對分類圖像進行白平衡校正。如圖3所示,該解決方案的關(guān)鍵在于兩次對于圖像的判定,首先通過計算圖像顏色占比來判定圖像是否以某一顏色為主導(dǎo),然后將區(qū)分出來的兩類圖像分別進行圖像色彩豐富度的判定以及圖像亮度占比的判定,最后綜合以上參數(shù)自適應(yīng)選擇白平衡算法對圖像進行白平衡校正。

圖3 自適應(yīng)解決方案

首先通過計算圖像顏色占比來判斷圖像是否以某一顏色為主導(dǎo)。本文采用量化后的HSV顏色直方圖方法[15],首先將所有顏色量化成64種顏色分類,然后統(tǒng)計64種顏色分類的像素數(shù),得到直方圖。以64種顏色中像素最多的顏色與圖像總像素之間的比例記為最多顏色占比M。根據(jù)顏色占比將圖像分為兩類:圖像是否以單一色主導(dǎo)。本文在CVonline圖庫與柯達真實彩色圖庫中選取了101幅圖片進行了驗證,當(dāng)M<0.2時,圖像不存在某一顏色為主導(dǎo)；反之說明圖像存在某一顏色為主導(dǎo)。經(jīng)過首次分類判斷后,將無單一色主導(dǎo)圖像進行顏色豐富度的判定。該判定需要包含圖像信息熵H以及圖像色度標(biāo)準(zhǔn)差K兩個圖像參數(shù)。其中,彩色圖像求圖像信息熵H[6]:通過計算R、G、B三通道離散熵的平均值獲取。以閾值T1區(qū)分圖像信息熵將圖像分為高、低兩種色彩豐富度的圖像。圖像信息熵H計算公式如下:

(3)

(4)

其中,p(ki)表示R,G,B三個分量的灰度值i的像素在圖像中所占的比例。

對于圖像色度標(biāo)準(zhǔn)差的測量:將YCbCr空間中的Cb,Cr分量的標(biāo)準(zhǔn)差作為圖像色度標(biāo)準(zhǔn)差能有效評判圖像顏色豐富度信息,這是因為不同顏色物體邊沿的變化會導(dǎo)致樣本標(biāo)準(zhǔn)差的增大[16]。因此本文首先將圖像的RGB三通道驅(qū)動值轉(zhuǎn)換為YCbCr空間,然后分別計算Cb,Cr的標(biāo)準(zhǔn)差,若同時滿足Cb標(biāo)準(zhǔn)差Kb大于閾值T2,Cr標(biāo)準(zhǔn)差Kr大于閾值T3,則判定圖像整體顏色豐富[17]。

(5)

經(jīng)過多次測試驗證,當(dāng)T1=0.38,T2=1.5,T3=1.5時,可以判定圖像的豐富程度。圖像信息熵H與色度標(biāo)準(zhǔn)差K的皮爾斯相關(guān)系數(shù)[18]為0.47,為弱相關(guān)。因此,雙參數(shù)聯(lián)合判定,彌補了但單參數(shù)判定的可靠性不足,保證了色彩豐富度的色彩判斷準(zhǔn)確性。

單一色主導(dǎo)的圖像利用亮度占比判定可將圖像分類為高、低亮度圖像進行亮度占比的判定,由此決定是否采用PR白平衡校正算法[7]。首先需要計算在圖像中滿足一定閾值的G分量像素的比例:

0.7Gmax≤G(i,j)≤Gmax,

(6)

然后計算符合條件的圖像像素的個數(shù)占圖像像素的百分比。

(7)

3 驗證與分析

3.1 色偏檢測

為了驗證有效性,在CVonline圖像庫以及柯達真實彩色圖庫中的101幅圖像采用偏色因子來衡量圖像的偏色程度[19],共找出未偏色圖像78幅,為了能夠主觀感知圖像經(jīng)過本文白平衡方法后的處理效果,通過將未偏色圖像的RGB三通道分別擴大1.2倍,縮小0.8倍來模擬偏色圖,共得到468幅偏色圖像。最后經(jīng)過本文自適應(yīng)白平衡解決方案處理。

3.2 結(jié)果驗證

通過第二節(jié)的解決方案處理,468幅偏色圖像被分類成246幅色彩絢麗圖像,168幅色彩豐富度低的圖像,54幅存在單一色主導(dǎo)的圖像,其中54幅存在單一色主導(dǎo)的圖像中,有6幅圖像由于亮度不符合條件,故本文所用的三種算法的校正也不理想,其他圖像的白平衡校正方法較好。該自適應(yīng)白平衡解決方案能夠正確地選擇合適的算法,得到圖像的最佳處理效果。

注:a)原圖；b)3.1節(jié)處理后的偏色圖像；c)經(jīng)過自適應(yīng)解決方案處理的圖像；d)GW處理的圖像；e)GW-DCT算法處理的圖像；f)PR算法處理的圖像

圖4為豐富度較高的圖像白平衡校正效果。從圖4可以看出,GW算法亮度被削弱,GW-DCT校正過度,PR算法校正不足。自適應(yīng)解決方案正確地選擇了QCGP算法,得到了圖像最佳的處理效果。

注:a)原圖；b)3.1節(jié)處理后的偏色圖像；c)經(jīng)過自適應(yīng)解決方案處理的圖像；d)GW算法處理的圖像；e)GW-DCT算法處理的圖像；f)QCGP算法處理的圖像

圖5是圖像存在單一大色塊情況的圖像的白平衡校正效果。從這組圖像的天空可以看出,GW與GW-DCT算法都存在過校正現(xiàn)象,天空都存在偏紅現(xiàn)象,QCGP算法校正效果不足,自適應(yīng)解決方案正確地選擇了PR算法,得到了最佳的白平衡處理效果。

3.3 結(jié)果分析和討論

(8)

表1 評價函數(shù)結(jié)果

由表1可知,通過自適應(yīng)算法處理得到圖4 c)與圖5 c)無論是平均色度法還是白點色差法,校正圖像與原圖之間的色差都為三種算法最小。證明了本文提出的自適應(yīng)白平衡的解決方案能夠正確的選擇合適的算法。通過對圖3的評價結(jié)果可知,QCGP更適合色彩豐富度高的圖像。將圖4 c)與圖4 e)的評價結(jié)果比較可以看出經(jīng)過QCGP算法處理的白平衡效果明顯好于DCT算法,與本文第二章的提出的內(nèi)容相符。而圖4 f)的白點色差值與圖4 a)接近是因為經(jīng)過PR算法處理的圖像白點色差較低。通過對圖4的評價結(jié)果可知,PR算法更適合存在單一色主導(dǎo)的圖像。圖5 c)與圖5 e)的評價結(jié)果較為接近是因為部分色彩豐富度低的圖像也會存在單一色主導(dǎo)的現(xiàn)象。

4 結(jié) 論

本文對圖像進行色彩統(tǒng)計特性分析,根據(jù)圖像色度標(biāo)準(zhǔn)差,信息熵,亮度占比和顏色占比對圖像歸類后選擇合適的校正算法從而實現(xiàn)自適應(yīng)的白平衡解決方案,包含QCGP,GW-DCT和PR算法。方法簡單并且適應(yīng)性廣。經(jīng)過多幅圖像仿真驗證,GW-DCT算法適用于色彩豐富低的圖像；如果圖像的顏色層次豐富,QCGP算法仍然是首選的算法之一；如果圖像以某一顏色為主導(dǎo)且亮度值符合要求,PR算法更為合適。