張爍晨

(西安交通大學(xué) 陜西 西安 710049)

彩色相機的發(fā)展已經(jīng)有幾十年的歷史，早期的彩色相機的成像過程是在鏡頭前加裝三原色濾光片，依次拍3張照片，然后合成1張彩色照片。但這種方法具有成像模塊體積較大，三色圖片難以完全匹配等缺陷，如今只有航空航天等少數(shù)領(lǐng)域還在使用這種成像方式。隨著成像技術(shù)的進步，相機的體積顯著縮小，同時為了滿足攝像的便攜性，也必須采用一次成像的方法得到圖像，早期的光學(xué)彩色相機已經(jīng)不適合應(yīng)用于商業(yè)。于是出現(xiàn)了適應(yīng)一次成像的照相方式，其成像原理類似于生物視網(wǎng)膜，即將三原色的感光單元密布在一張底片上，同時獲取3個顏色的信息[1]。一個點的位置只能放入一個感光單元，因此只能記錄一個顏色的值。而倘若直接把鄰近位置的顏色放在一起，就會產(chǎn)生相差，因此需要通過一定的手段來消除相差[2]。數(shù)碼相機出現(xiàn)后，出現(xiàn)了數(shù)字化的處理方式，即利用計算機對相鄰點進行插值處理，以還原像素點內(nèi)缺失的顏色通道值[3]。隨著近年來數(shù)碼相機的發(fā)展，數(shù)字化處理設(shè)備的普及，人們獲取彩色照片的方式越來越便捷，數(shù)字化的成像技術(shù)已經(jīng)發(fā)展成為了一門成熟的產(chǎn)業(yè)，與之相關(guān)的軟硬件開發(fā)層出不窮。

受到縮小成像模塊體積與減小成本等因素的限制，當(dāng)今的彩色相機一般都只有一個感光片。感光片上密布著可以感知光強的小傳感器，通過在感光片表面覆蓋一張具有特定色彩排列的濾光片（Color Filter Array，CFA）得到原始圖像[4]。這樣得到的原始圖片中，每一個像素點內(nèi)只能記錄一種顏色的光強。這種原始圖片其實是一張由三色像素交錯構(gòu)成的矩陣陣列。不同排列格式的CFA如圖1所示。

圖1 不同的CFA陣列

通過對鄰域內(nèi)包含特定顏色的像素進行插值，進而還原某一像素點內(nèi)缺失通道的色彩值，這種過程稱為去馬賽克（Demosaicing）處理[5]。不同CFA 陣列的適合場合不同，在同一場合的表現(xiàn)也各有優(yōu)劣。如今主流的CFA 采用的是具有Bayer 陣列的濾光片。針對不同陣列的Demosaicing 算法有很多，也不盡相同；基于Bayer陣列的插值算法有雙線性插值算法、樣條插值算法、Cok算法、Hibbard算法等[6]。

由于Demosaicing 算法的性能直接影響了最終圖像的還原效果，因而在硬件條件不變的情況下，研究更優(yōu)秀的、更適合圖片的算法則可以有效地提升成像的質(zhì)量?，F(xiàn)行的算法在遇到色彩值劇烈變化的區(qū)域，以及圖像的邊緣處，普遍會出現(xiàn)不同程度的顏色失真和拉鏈效應(yīng)，使圖片出現(xiàn)噪點[7]。本文提出了一種基于Hibbard算法的改進型插值算法，對RGB三通道先取對數(shù)處理，再進行插值，得到總亮度的修正量，最后對Hibbard算法進行亮度修正。相較于原算法，本文的改進算法對于圖像色彩暗淡部分的恢復(fù)更加清晰，適用于對不明亮圖片的還原，且改進算法的結(jié)構(gòu)較簡單，具有一定的應(yīng)用價值。

1 對數(shù)插值算法

傳統(tǒng)的Hibbard 算法對G 通道的還原采用梯度判別法，對梯度較小的通道使用線性插值方法。而線性平均應(yīng)用于某些亮度較小的區(qū)域后，邊界像素的還原值會被暗色背景拉低，導(dǎo)致很多細節(jié)處的亮度偏小[8]。而對數(shù)函數(shù)在其定義域上斜率很小，能夠在一定程度上消除暗色背景對總亮度恢復(fù)的影響。如果先取對數(shù)再求平均，則邊界亮度的還原值將會比線性平均更高，具體情況詳見圖2。

而在高亮度部分，由于通道顏色值較大，因而在取對數(shù)后，均值與原值的差異將不會很顯著。

基于Hibbard 算法，對RGB 三通道均進行取對數(shù)處理，如式（1）所示：

如果單純?nèi)?shù)再求平均，此時相當(dāng)于取幾何平均。注意到對數(shù)函數(shù)在其自變量值過小時反而斜率很大，因此可以預(yù)見對暗色部分進行還原時，反而會產(chǎn)生較大的偏差。而通道顏色值的取值范圍是0～255，因而這種情況完全有可能發(fā)生[9]。所以引入一定的偏移量（本文采取+e3，以確保數(shù)據(jù)處于平緩區(qū)間），再進行插值，如式（2）所示（以行方向為例）：

此時對數(shù)函數(shù)在其定義域上就是相當(dāng)平緩的，求平均值時可以使兩點色彩值的貢獻更接近，避免出現(xiàn)陰暗背景干擾邊界插值的情況。

Hibbard算法在還原時具有一定色差，這是算法的固有問題[10]。實驗結(jié)果表明：單獨采用對數(shù)插值時，Hibbard 算法原有的色差會被一定程度上放大。這說明對數(shù)插值雖然在亮度的還原上具有優(yōu)勢，同時也具有放大色差的副作用。

為消除這一副作用，同時保持還原效果，本文采用將對數(shù)插值算法和Hibbard 算法相融合的方法。具體思路為：分別采用對數(shù)插值和Hibbard算法對圖片進行還原，生成兩張圖像；再用對數(shù)插值圖片在每一個像素點的總亮度值替換Hibbard 算法對應(yīng)像素點處的總亮度，得到合成圖片的通道色彩值。由于對數(shù)插值并未改變Hibbard算法的基本結(jié)構(gòu)，即G通道插值方向的選取，以及R，B通道以G通道為基準進行還原；只是將具體的插值公式進行改變，因而圖片在每個像素點僅有亮度與色差的差別，對應(yīng)的像素點在匹配度上則沒有任何差異[11]。因此可以只保留對數(shù)插值圖片的總亮度值（記為Ω0），而不采用其顏色比例。再用得到的總亮度去修正Hibbard算法對應(yīng)像素點處的總亮度，同時不會產(chǎn)生像差，如式（3）所示（以G通道為例）：

式（3）中，G'(i,j)為合成圖片在某一像素點處的綠色通道的值，G(i,j)為Hibbard算法在該點處綠色通道的值，Ω與Ω0分別為Hibbard 算法與對數(shù)插值在該點處的總亮度值，總亮度由式（4）計算得到。

這樣就得到了顏色比例與Hibbard算法一致，但總亮度值與對數(shù)插值算法一致的合成圖片。在實際應(yīng)用時應(yīng)當(dāng)注意避免分母Ω過小的情況，即在賦值前須事先規(guī)定Ω大于一個小量（如取Ω>1）時才能進行賦值。同時也可以這樣理解：當(dāng)Ω非常小時，說明該區(qū)域是近乎沒有亮度的，即黑色區(qū)域，因而去掉這些無信息的像素點對圖像恢復(fù)不會產(chǎn)生影響。融合算法既保留了對數(shù)插值在亮度還原上的優(yōu)勢，又保留了Hibbard算法在顏色比例的還原上的優(yōu)勢，沒有出現(xiàn)色差放大的情況。

2 實驗結(jié)果與分析

為檢測算法的還原程度，本研究采用均方誤差（Mean-Square Error，MSE）的方法來評價還原圖像與原圖的差異水平。如果一張圖片規(guī)格為M×N，其均方誤差的值為SMSE，則SMSE的定義為

其值越大，說明圖像與原圖的偏離度越大。如果選取待檢偏差值為綠色通道的顏色值，此時f[m,n]的定義為：

表示原圖像在特定通道的顏色值。而如果選取待檢值為總亮度，則f[m,n]即為

f?[m,n]的定義類似，表示還原圖像在該通道的顏色值。

本文選取了10張背景較暗且細節(jié)較豐富的圖片，分別計算雙線性插值算法、Hibbard算法與對數(shù)插值算法的總亮度SMSE值，數(shù)據(jù)具體見表1。

表1 不同算法總亮度的MSE對比

在表1 中未列入融合算法的總SMSE值，因為融合算法正是保證了總亮度和對數(shù)插值一致，故二者SMSE相同。可以觀察到，對數(shù)插值算法在大多數(shù)情況下，對亮度的還原效果要顯著優(yōu)于雙線性算法。在一些細節(jié)較多的圖片中，對數(shù)插值算法對亮度的還原要明顯優(yōu)于Hibbard 算法，而在一些色彩值變化不顯著的地方，也與Hibbard算法的還原結(jié)果相近。

為評價算法對圖像顏色還原的偏離程度，本文使用R、G、B 三色通道SMSE之和的值來衡量，數(shù)據(jù)如表2所示。

表2 不同算法的三色MSE總和對比

從表2可以觀察到，在大多數(shù)情況下，融合算法對顏色還原的效果要明顯優(yōu)于Hibbard 算法。這主要是因為Hibbard算法在還原時只采用了線性插值方法，因而損失了一定的亮度值。融合算法在并未改變顏色配比的情況下，SMSE總和的值仍然低于Hibbard 算法，說明Hibbard 算法對圖片的還原過程中確實是損失了一定的亮度值的。此次實驗還發(fā)現(xiàn)，在一些主題為星空的圖片中，融合算法普遍能夠比Hibbard 算法的MSE值提升10%～20%，主要是因為圖片所含的白色小點較多。這些只有幾個像素大小的小點的還原，是很多以線性插值為基礎(chǔ)的算法的劣勢，背景對亮度的拉低作用將會十分明顯。而本算法在處理這些細節(jié)時有一定的優(yōu)勢，圖片所包含的這種點越多，SMSE的提升越明顯。本次實驗使用的10張圖片如圖3所示。

圖3 本次實驗使用的圖片

綜合表1、表2 可以看出，融合算法對于亮度的恢復(fù)效果是比較明顯的，可以說同時兼顧了對數(shù)插值算法和Hibbard 算法的優(yōu)勢。由于亮度值和對數(shù)插值算法一致，因而總體SMSE和對數(shù)插值相等；同時顏色的還原比例又與Hibbard算法相同，因而不會放大色差。下面以一張細節(jié)較多的星空背景圖片為例，放大某一局部，可以對比一些細節(jié)的還原結(jié)果，具體結(jié)果見圖4。

圖4 本文改進算法與Hibbard算法還原細節(jié)的對比

圖5（a）是Hibbard算法的還原結(jié)果，圖5（b）是對數(shù)插值算法的還原結(jié)果，圖5（c）是融合算法的還原結(jié)果。對比觀察可以發(fā)現(xiàn)：對于低亮度部分，對數(shù)插值算法在細節(jié)處的還原比Hibbard算法更清晰，主要是因為對數(shù)插值使得色彩值都向均值中心集中，還原后亮度值相比Hibbard算法要更高，但色差的放大也相當(dāng)明顯，可以看到圖片整體發(fā)紅。而融合算法則無這一缺陷，可以看到融合算法的亮度相較于Hibbard算法有所強化，但同時又保留了原始Hibbard算法的顏色還原比例，因而并未出現(xiàn)色差放大這一副作用。效果上低亮度部分的細節(jié)處看起來更亮，觀感上更清晰；而在高亮度的局部，本算法的插值結(jié)果則和Hibbard算法相近，圖像在整體上仍然保持了較好的還原效果，如圖5所示。

圖5 不同算法對高亮度圖片的還原結(jié)果對比

3 討論

在Hibbard算法對圖片進行還原時，會產(chǎn)生一定的色差。這是兩個因素共同作用的結(jié)果：一是由色彩值的劇烈變化所致，這是Hibbard算法在處理大梯度色彩值時的固有缺陷；二是由于基準顏色選取為綠色，對其他兩個顏色通道的還原存在一定的誤差[12]。大多數(shù)算法都不可避免地存在色差，一般而言，算法所使用的插值函數(shù)越復(fù)雜，就越容易放大色差，因此必須考慮減小色差或者消除額外色差的問題。本算法由于并未改變Hibbard算法的基本結(jié)構(gòu)，于是也存在一定的色差。當(dāng)單純采用對數(shù)插值時，由于低亮度通道的顏色值得到了強化，因而色差也被一定程度上強化了。例如：很多以綠色為基準顏色的算法，還原圖片就容易產(chǎn)生偏暖色的色差，而在進行取對數(shù)操作后就看起來會更紅。本文采取的將Hibbard算法與對數(shù)算法融合后，則兼具了對數(shù)插值的高亮度優(yōu)勢和Hibbard 算法的低色差優(yōu)勢，副作用較小。另外，Hibbard 算法在插值時是選取梯度最小的方向進行插值，因而可以避免很多雙線性算法容易產(chǎn)生的拉鏈效應(yīng)。但是同時也會產(chǎn)生很多額外的噪點，主要是因為單方向的插值不能避開單像素長度的梯度。如果另一個方向的梯度也較大，此時算法就無法分辨，容易繞過邊緣插值，從而形成噪點。

4 結(jié)語

本文基于Hibbard算法，提出了一種利用對數(shù)平均強化亮度的改進型插值算法，對暗色圖片的還原效果有所改善。實驗結(jié)果表明：本算法可以有效提高圖片在細節(jié)處的還原亮度。然而本算法在顏色比例的還原上依然沿用Hibbard 算法的思路，以綠色為基準色，在單方向上進行插值，因而并不能改善Hibbard算法固有的色差問題。同時本算法對圖片高亮度部分的改善效果不明顯，不能提高還原結(jié)果的清晰度。另外，本算法在恢復(fù)的過程中進行了兩次插值，分別恢復(fù)了亮度和顏色比例，計算開銷較大。進一步改進的方向具體有：（1）分析三通道梯度值的大小，選取不同的基準色進行插值，以減小色差；（2）采用更高效的亮度恢復(fù)算法，減小計算量。然而算法總是優(yōu)劣并存，任何算法都既有適用場合，也存在固有缺陷。只要針對不同的場景，合理地選擇適用的算法，就可以揚長避短，將恢復(fù)效果最優(yōu)化。