陳曉文,鄭 華,2,3,4,5,蔡堅(jiān)勇,2,3,4,5,林爍爍,程 玉

1(福建師范大學(xué) 光電與信息工程學(xué)院,福州 350007)

2(福建師范大學(xué) 醫(yī)學(xué)光電科學(xué)與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,福州 350007)

3(福建師范大學(xué) 福建省光子技術(shù)重點(diǎn)實(shí)驗(yàn)室,福州 350007)

4(福建師范大學(xué) 福建省光電傳感應(yīng)用工程技術(shù)研究中心,福州 350007)

5(福建師范大學(xué) 智能光電系統(tǒng)工程研究中心,福州 350007)

1 引言

大部分?jǐn)z像頭采用的是RGB 圖像傳感器,加上相應(yīng)的光學(xué)系統(tǒng),而在光學(xué)系統(tǒng)中都會(huì)使用一個(gè)紅外光截止濾鏡,即IR-CUT;它的作用就是防止IR 串?dāng)_RGB 光線(xiàn)在RGB 圖像傳感器上的成像.四帶圖像偏色校正算法就是要探究在移除IR-CUT 之后,受IR 串?dāng)_的四帶偏色圖像如何恢復(fù)自然色彩的問(wèn)題,使得校正后的四帶圖像更接近正常的RGB 三帶圖像.

目前的四帶圖像偏色校正算法有:晏嫚[1]利用白點(diǎn)反射的白平衡算法對(duì)四帶圖像中特殊物體的特殊區(qū)域進(jìn)行校正,但只對(duì)四帶圖像進(jìn)行局部校正,未考慮特殊物體外其他區(qū)域的偏色校正;林李金等[2,3]通過(guò)四帶圖像的數(shù)據(jù)分析,得到四帶圖像不同區(qū)域的校正算法來(lái)進(jìn)行偏色校正,而由于分割精度問(wèn)題,使得不應(yīng)該被分割進(jìn)來(lái)的區(qū)域被劃到一起,導(dǎo)致錯(cuò)誤校正;石慧玲[4]是從四帶圖像全局進(jìn)行初步校正,再通過(guò)改進(jìn)的Frankle-McCann Retinex 算法對(duì)四帶圖像進(jìn)行最終偏色校正,此方法克服了局部校正的局限性,但對(duì)不同場(chǎng)景的四帶圖像偏色校正效果不一致;童飛揚(yáng)[5]把前人相應(yīng)的四帶圖像偏色校正算法應(yīng)用到視頻流中,并未對(duì)四帶圖像偏色校正算法做任何優(yōu)化;曾兆濱等[6]是在實(shí)驗(yàn)環(huán)境下,通過(guò)24 色卡建立三元一次多項(xiàng)式回歸算法來(lái)對(duì)四帶圖像進(jìn)行偏色校正,此法無(wú)需對(duì)圖像場(chǎng)景進(jìn)行分割識(shí)別和局部校正,且初步解決了同色溫環(huán)境下,不同場(chǎng)景照片校正效果不一致的問(wèn)題,但其校正后樹(shù)葉等綠色植物場(chǎng)景色彩恢復(fù)不夠自然.

本文基于曾兆濱等[6]算法的思想局限性,從訓(xùn)練樣本、樣本數(shù)據(jù)類(lèi)型和算法校正模型入手,有效提升了四帶圖像的偏色校正效果.

2 多項(xiàng)式回歸算法的構(gòu)建與優(yōu)化

本節(jié)介紹了三元一次四帶圖像偏色校正算法;在此基礎(chǔ)上,通過(guò)增加訓(xùn)練樣本量、優(yōu)化數(shù)據(jù)類(lèi)型和校正模型實(shí)現(xiàn)校正效果的提升.

2.1 多項(xiàng)式回歸算法的建立

首先獲取實(shí)驗(yàn)環(huán)境下的24 色卡的三帶圖像和四帶圖像;如圖1 所示,用(R3i,G3i,B3i)表示24 色卡RGB 圖像的各顏色塊三通道均值量,(R4i,G4i,B4i)表示24 色卡四帶圖像的各顏色塊三通道均值量,其中i=1,2,3,···,24,表示顏色塊.獲得的數(shù)據(jù)分別組成三帶矩陣Y3和 四帶矩陣X4,它們之間的關(guān)系[6,7]如公式(1)所示:

其中,

圖1 三帶圖像(左)與四帶圖像(右)

CT為校正矩陣C的轉(zhuǎn)置矩陣.將式(1)展開(kāi)為:

然后根據(jù)離差平方和思想[8]來(lái)估計(jì)校正矩陣的系數(shù),由離差平方和公式:

得到CT的表達(dá)式:

最后將得到的校正矩陣代回式(1),即完成了多項(xiàng)式回歸的四帶圖像偏色校正模型建立.

2.2 樣本優(yōu)化

在有監(jiān)督的機(jī)器學(xué)習(xí)中,在建立相應(yīng)算法前,都需要大量的訓(xùn)練數(shù)據(jù),增大訓(xùn)練數(shù)據(jù)量,可使得算法更加健壯;根據(jù)《應(yīng)用回歸分析》[9],訓(xùn)練數(shù)據(jù)要為解釋變量的10 倍以上.本文所采用的多項(xiàng)式回歸算法,是機(jī)器學(xué)習(xí)的一種,相對(duì)整塊色卡,原來(lái)是取每個(gè)色塊平均值,有24 色塊,3 通道,共有72 對(duì)訓(xùn)練數(shù)據(jù),但相對(duì)每個(gè)色塊而言只有3 對(duì)訓(xùn)練數(shù)據(jù),進(jìn)行24 次訓(xùn)練.根據(jù)這一點(diǎn),我們通過(guò)擴(kuò)大數(shù)據(jù)量來(lái)訓(xùn)練算法,最終得到以色塊質(zhì)心為中心點(diǎn)的2×2 像素區(qū)域作為每塊顏色數(shù)據(jù),那么對(duì)于每個(gè)色塊共有12 對(duì)訓(xùn)練數(shù)據(jù),對(duì)于整塊色卡有288 對(duì)訓(xùn)練數(shù)據(jù),需要進(jìn)行96 次訓(xùn)練.最后通過(guò)t檢驗(yàn)[9]來(lái)判斷解釋變量的數(shù)據(jù)量是否對(duì)因變量具有解釋能力,t檢驗(yàn)如式(5)所示.

其中,βi為校正系數(shù),為回歸標(biāo)準(zhǔn)差.

2.3 數(shù)據(jù)類(lèi)型優(yōu)化

本文在彩色數(shù)字圖像的色彩校正過(guò)程中,采用有符號(hào)浮點(diǎn)型的數(shù)據(jù)類(lèi)型來(lái)優(yōu)化表達(dá)像素值.這是由校正矩陣的校正系數(shù)決定的,其數(shù)據(jù)類(lèi)型為有符號(hào)浮點(diǎn)型,為使整個(gè)校正模型的數(shù)據(jù)類(lèi)型統(tǒng)一,計(jì)算精度高,最后校正得到的像素值更可靠,將訓(xùn)練樣本以及校正樣本一律采用有符號(hào)浮點(diǎn)數(shù)據(jù)類(lèi)型進(jìn)行計(jì)算.

2.4 三元二次校正模型

實(shí)際的彩色成像系統(tǒng)并不是線(xiàn)性的,獲取光信號(hào)后,會(huì)經(jīng)過(guò)攝像頭內(nèi)部圖像信號(hào)處理模塊,進(jìn)行白平衡、Gamma 校正、降噪等一系列處理[10],這使得RGB 三通道間的關(guān)系并不是線(xiàn)性的.為了提高校正能力,將校正模型中的多項(xiàng)式改為三元二次多項(xiàng)式.將以上校正式(1)改寫(xiě)為:

其中,

其中,n為像素點(diǎn)次序.改為三元二次后,以上j和x4變?yōu)?

根據(jù)以上優(yōu)化思想,最終得到優(yōu)化的四帶圖像校正算法,如圖2 流程圖所示.

3 實(shí)驗(yàn)結(jié)果與分析

先進(jìn)行3.1 節(jié)的基礎(chǔ)實(shí)驗(yàn),驗(yàn)證兩種優(yōu)化方法的可用性;然后在優(yōu)化的基礎(chǔ)上進(jìn)行三元一次和三元二次校正實(shí)驗(yàn),即實(shí)驗(yàn)3.2;將每種算法的色差值記錄下來(lái),最終進(jìn)行色差值比較,得到最佳校正算法,即優(yōu)化的三元二次校正算法.其中色差計(jì)算根據(jù)CIE 色差公式進(jìn)行計(jì)算[11].

圖2 優(yōu)化的四帶圖像偏色校正算法

3.1 三元一次校正模型實(shí)驗(yàn)

基于三元一次的四帶圖像偏色校正算法,進(jìn)行數(shù)據(jù)類(lèi)型和訓(xùn)練樣本的優(yōu)化實(shí)驗(yàn),得到三元一次校正模型的24 色卡色差比較圖,如圖3;以及相應(yīng)四帶圖像24 色卡的色差均值比較表,如表1 所示.

從實(shí)驗(yàn)數(shù)據(jù)可知數(shù)據(jù)類(lèi)型優(yōu)化的三元一次校正算法校正效果最好,其色差均值為3.0722;其次是訓(xùn)練數(shù)據(jù)優(yōu)化的三元一次校正算法,其色差均值為6.7567;最后未經(jīng)優(yōu)化的三元一次校正算法,色差均值為7.116.從優(yōu)化校正后的色差均值來(lái)看,數(shù)據(jù)類(lèi)型優(yōu)化的三元一次校正算法效果明顯;而訓(xùn)練數(shù)據(jù)優(yōu)化的三元一次校正算法在原來(lái)基礎(chǔ)上略有提高.

圖3 三元一次校正模型的24 色卡色差比較

表1 實(shí)驗(yàn)1 四帶圖像24 色卡的色差均值比較

3.2 三元二次校正模型實(shí)驗(yàn)

將優(yōu)化后的三元一次多項(xiàng)式回歸四帶圖像偏色校正算法模型中的多項(xiàng)式改為三元二次,同時(shí)使用基于白平衡的灰度世界法進(jìn)行24 色卡色差校正實(shí)驗(yàn).得到優(yōu)化后的三元一次與三元二次校正算法的24 色卡色差比較圖,如圖4 所示;表2 是優(yōu)化后的三元一次與三元二次校正算法的24 色卡色差均值比較表.

圖4 優(yōu)化后的三元一次與三元二次校正算法的24 色卡色差比較

表2 優(yōu)化后的三元一次與三元二次校正算法的24 色卡色差均值比較

由實(shí)驗(yàn)數(shù)據(jù)可知,優(yōu)化的三元二次校正算法優(yōu)于優(yōu)化的三元一次校正算法,并且都比灰度世界法校正24 色塊的四帶圖像效果好.

3.3 室外四帶圖像偏色校正

采取優(yōu)化的三元一次和三元二次四帶圖像偏色校正算法分別對(duì)室外紅外強(qiáng)度較弱情況下的四帶圖像進(jìn)行校正.

首先在相應(yīng)場(chǎng)景下獲取24 色卡的三帶和四帶圖像,如圖5.

圖5 室外環(huán)境24 色卡的三帶圖像(左)和四帶圖像(右)

然后獲取色塊訓(xùn)練數(shù)據(jù),構(gòu)建優(yōu)化的三元一次和三元二次校正算法,對(duì)比圖見(jiàn)圖6～圖9.分別對(duì)圖6 和圖8 的四帶圖像進(jìn)行校正,得到圖7 和圖9,以及相應(yīng)的誤差均值比較表,如表3 和表4 所示.

圖6 操場(chǎng)的三帶圖像(左)和四帶圖像(右)

圖7 操場(chǎng)四帶圖像經(jīng)優(yōu)化的三元一次(左)和三元二次(右)校正算法校正后圖像

圖8 草坪的三帶圖像(左)和四帶圖像(右)

圖9 草坪四帶圖像經(jīng)優(yōu)化的三元一次(左)和三元二次(右)校正算法校正后圖像

表3 操場(chǎng)四帶圖像校正前后色差均值比較

表4 草坪四帶圖像校正前后色差均值比較

通過(guò)比較發(fā)現(xiàn),優(yōu)化的三元一次校正算法對(duì)操場(chǎng)和草坪的四帶圖像校正有一定的效果,但人眼還是可以明顯看出偏色,與相應(yīng)的三帶圖像相比,差別較大;而優(yōu)化的三元二次校正算法的校正效果優(yōu)于前者,其校正的效果接近于三帶圖像.

4 結(jié)論與展望

本文針對(duì)三元一次多項(xiàng)式四帶圖像回歸偏色校正算法的不足,結(jié)合機(jī)器學(xué)習(xí)和彩色圖像的特性,優(yōu)化三元一次校正算法的訓(xùn)練數(shù)據(jù)及處理的數(shù)據(jù)類(lèi)型,降低了校正后圖像的色差均值;在此基礎(chǔ)上,根據(jù)RGB 圖像灰階表達(dá)的非線(xiàn)性特性,使用三元二次校正算法,使得校正效果進(jìn)一步得到提高.本文的研究結(jié)果可以為從事紅外數(shù)字濾波和彩色圖像偏色校正領(lǐng)域的研究人員提供參考.