張 倩，崔 斌，王 沛，黃繼風(fēng)

(上海師范大學(xué) 信息與機(jī)電工程學(xué)院，上海 200234)

基于3DGMM的多視點視頻直方圖顏色校正

張 倩，崔 斌，王 沛，黃繼風(fēng)

(上海師范大學(xué) 信息與機(jī)電工程學(xué)院，上海 200234)

多視點視頻在采集過程中，由于受到攝像機(jī)所處位置以及攝像機(jī)自身的參數(shù)設(shè)置等因素的影響，會造成視點間顏色的不一致，針對這一情況，提出基于三維高斯混合模型的多視點視頻直方圖顏色校正算法。算法首先獲取源圖像以及目標(biāo)圖像的直方圖并檢測直方圖的峰值個數(shù)，然后結(jié)合三維高斯混合模型對源圖像以及目標(biāo)圖像進(jìn)行聚類分析，獲取中心矢量，最后計算兩圖像中像素點距離中心矢量的最小歐幾里得距離并分割圖像，對源圖像和目標(biāo)圖像的匹配區(qū)域進(jìn)行直方圖匹配校正。實驗結(jié)果表明，該算法與傳統(tǒng)直方圖匹配算法相比，避免了校正過度的影響，校正效果較好。

多視點；三維高斯混合模型；歐幾里得距離；直方圖

1 多視點顏色的校正

隨著計算機(jī)圖形學(xué)與視覺技術(shù)的發(fā)展，傳統(tǒng)的二維圖形已經(jīng)很難滿足人們對于視頻質(zhì)量及內(nèi)容多樣性的追求。三維立體視頻因其可以給人們帶來身臨其境的視覺體驗又可以提供交互式場景的多視點視頻，越來越受到觀眾的青睞，正引領(lǐng)著視頻技術(shù)的發(fā)展。作為新興的媒體數(shù)據(jù)，三維立體視頻在電視、遠(yuǎn)程控制、醫(yī)療以及導(dǎo)航等方面具有廣闊的前景[1]，并有可能在不久的將來作為一種基礎(chǔ)的數(shù)字媒體存在。

三維立體視頻通過擺放在不同角度的攝像機(jī)對同一場景的內(nèi)容進(jìn)行采集，獲取到了不同視點的相同內(nèi)容的信息，經(jīng)過處理呈現(xiàn)在觀眾面前的是具有立體感的視頻圖像。然而，隨著攝像機(jī)數(shù)目的增加，攝像機(jī)陣列所采集到的信息量也在成倍增加[2]，這就限制了其存儲與傳輸，對于存儲設(shè)備以及網(wǎng)絡(luò)帶寬提出了更高的要求，因此綜合決定了多視點視頻所需的高壓縮特性。同時，視頻在采集過程中，由于物體表面的反射性、噪聲環(huán)境以及成像設(shè)備本身的特性(包括電荷耦合器件CCD噪聲、抖動、快門速度以及曝光時間等)，都會導(dǎo)致獲取的視點間的視頻顏色不一致[3]，這將直接影響視頻處理后期的視差估計以及虛擬視點繪制[4]，無法有效去除視點間圖像的冗余信息，從而無法達(dá)到滿意的壓縮效率，并有可能生成顏色不均勻的虛擬視點圖像，嚴(yán)重影響傳輸以及觀看質(zhì)量。

針對上述問題，業(yè)界提出了許多視點顏色的校正方法，從方法上可歸納為三類：一類是通過調(diào)節(jié)攝像機(jī)參數(shù)以便從獲取源頭對視頻圖像進(jìn)行校正(目前多采用自動白平衡方法對攝像機(jī)進(jìn)行校正[5])；另外兩類是將視頻校正作為多視點視頻編碼的預(yù)處理過程[6]以及將顏色差異補(bǔ)償作為視頻編碼中的一個模塊。也可以按照所提出的方法是否涉及到參數(shù)變量歸類為：有參數(shù)(如Miguel等人利用三維高斯混合模型模擬多視點圖像中的像素值分布應(yīng)用于車載系統(tǒng)的雙目視頻顏色校正[7])和無參數(shù)方法(如Fecker等人提出的將目標(biāo)圖像的直方圖映射到參考圖像的直方圖的顏色補(bǔ)償方法[8])，并在此基礎(chǔ)上繼續(xù)分為基于全局校正以及局部校正方法[9]。而這些方法實質(zhì)上都是將待校正圖像的顏色模板校正到源圖像的顏色模板上去，使其顏色保持一致[9]。文獻(xiàn)[10]中采用尺度不變(SIFT)檢測特征點之間的一致性然后構(gòu)造相應(yīng)的查找表，通過查表進(jìn)行顏色校正，這種方法雖然比較直觀，但是不便于操作。文獻(xiàn)[2]從固定匹配塊會降低視差估計可靠度出發(fā)，提出了一種尺寸可變塊匹配的校正方法，但由于需要根據(jù)塊的可靠性判斷是否要繼續(xù)分割重新搜索，所以算法較復(fù)雜。文獻(xiàn)[7]中的方法雖然比較簡單，但為了滿足整幅圖像的校正效果，校正參數(shù)不宜過大，否則會引起校正過度的情況。

為了達(dá)到算法簡單并且能夠盡量滿足局部區(qū)域的校正效果，本文將采用基于局部校正的思想利用高斯混合模型將源圖像與目標(biāo)圖像分割成相同數(shù)目的區(qū)域，分割數(shù)目通過算法自動檢測計算兩幅圖像的直方圖的峰值數(shù)目來決定，最后對源圖像區(qū)域與目標(biāo)圖像的對應(yīng)區(qū)域建立基于直方圖的線性映射關(guān)系，求出線性映射的相關(guān)系數(shù)，逐步校正各視點的圖像，實驗證明了方法的有效性和可靠性。

2 基于三維高斯混合模型(GMM)的直方圖校正方法

2.1 整體結(jié)構(gòu)框圖

通常采用圖像的直方圖信息處理簡單圖像效果比較好，但對于細(xì)節(jié)較多的圖像進(jìn)行直方圖校正則會產(chǎn)生較多的錯誤校正，校正后顏色與真實值差距比較大。為了提高校正的精確性，需要將基于整體的校正改為局部校正。因此本文首先采用三維高斯混合模型對圖像進(jìn)行聚類分割，分割的個數(shù)由各通道的直方圖峰值個數(shù)之積來決定，這是因為彩色圖像中所呈現(xiàn)的顏色值都是基于三原色混合而成且各通道像素值是相互獨(dú)立的，而彩色圖像內(nèi)的主要顏色區(qū)域正是由各通道直方圖峰值區(qū)域的像素值相互組合而成，所以基于排列組合的思想，本文將聚類分割數(shù)定為各通道直方圖峰值個數(shù)之積，峰值個數(shù)則采用先平滑濾波直方圖，再計算直方圖梯度值的自動檢測算法來自動獲取。然后，根據(jù)圖像中像素點距離聚類中心的最小歐幾里得距離對圖像進(jìn)行區(qū)域劃分，在源圖像與目標(biāo)圖像之間構(gòu)建映射關(guān)系進(jìn)行局部的直方圖校正。最后，比較實驗結(jié)果并分析。算法框架如圖1所示。

圖1 本文算法整體結(jié)構(gòu)

2.2 三維高斯混合模型(3DGMM)

圖像灰度直方圖反映的是圖像中某個灰度值出現(xiàn)圖像灰度直方圖，反映的是圖像中某個灰度值出現(xiàn)的次數(shù)，也可以認(rèn)為是圖像灰度概率密度的估計。當(dāng)圖像中顏色相近時，直方圖會顯示“鐘形”曲線，近似高斯分布曲線。當(dāng)圖像的目標(biāo)區(qū)域與背景區(qū)域顏色相差較大時，直方圖會顯示出雙峰形狀，每個峰谷近似一個高斯分布，所以可以將灰度或彩色圖像近似為一個或者多個高斯分布的疊加，進(jìn)而將高斯混合模型用于語音、圖像識別等方面平滑地近似任意形狀的密度分布，得到了不錯的效果。通過對于圖像的直方圖峰值個數(shù)的自動檢測不僅能夠得到近似的數(shù)學(xué)模擬模型，還可以通過直方圖中峰值的個數(shù)了解圖像中主要顏色區(qū)域的數(shù)目。因此本文考慮利用三維高斯混合模型近似模擬彩色視頻圖像三個通道的直方圖分布，對多視點視頻的每幀圖像進(jìn)行局部校正。

由于不同視點反映的是對同一場景不同角度的信息，所以圖像中的主要顏色區(qū)域個數(shù)應(yīng)該是相同的。首先，本文先獲取參考視點源圖像的直方圖，通過算法自動檢測到圖像的3個通道的峰值個數(shù)Mj(j=1，2，3)，如圖2、圖3所示。

圖2 flamenco2序列源圖像直方圖

圖3 flamenco2序列目標(biāo)圖像直方圖

考慮彩色圖像的三通道是相互獨(dú)立的，所以，根據(jù)排列組合原理，可推導(dǎo)出三維高斯混合模型的聚類個數(shù)N

(1)

然后，利用已獲取的參數(shù)，將圖像視中每個像素值的分布視為三維高斯混合分布模型，對圖像進(jìn)行聚類分析，獲取聚類中心矢量，定義如下

(2)

(3)

(4)

通過上述數(shù)學(xué)模型，在MATLAB上將參考視點的源圖像與待校正視點的目標(biāo)圖像聚類成N個區(qū)域，并獲取對應(yīng)的聚類中心矢量，選取源圖像的中心矢量作為兩幅圖的中心矢量，計算兩圖像中的每一個像素點距離聚類中心的最小歐幾里得距離，從而確定圖像中的每個像素點歸屬于哪個區(qū)域，即

(5)

式中：N由式(1)得到；I(x)代表圖像中的像素矢量；Vk(x)表示圖像中第k個區(qū)域的中心矢量；D(x)代表各像素點距離中心矢量的歐幾里得距離。

2.3 基于直方圖的局部顏色校正

圖像的直方圖體現(xiàn)了一幅圖像各通道的像素值在其值域范圍內(nèi)的分布頻數(shù)。通過圖像的直方圖可以清楚觀察到圖像中的主要顏色區(qū)域。所以基于直方圖的匹配校正方法可以直觀地將待校正圖像的直方圖盡量與源圖像的直方圖重合，從而達(dá)到顏色基本一致的效果，這就是直方圖匹配的基本原理。直方圖匹配方法的優(yōu)點是不受光照成像模型的影響，既可以校正線性偏差，也可以消除伽馬效應(yīng)之類的非線性差異。本文采用基于局部的直方圖校正方法，選取靠近中央攝像機(jī)的視頻序列作為參考視點，構(gòu)建映射關(guān)系，將其余視點的目標(biāo)圖像分別聚類，再對相應(yīng)區(qū)域分別進(jìn)行直方圖匹配校正方法，獲取相關(guān)系數(shù)，避免了全局校正造成局部效果不理想以及過度校正的缺陷。本文采用式(6)獲取源圖像各通道的直方圖

(6)

而源圖像的直方圖與目標(biāo)圖像的直方圖之間的映射關(guān)系可以考慮為一個乘性差異和一個加性差異[11]

Iref(x,y)=aj·Itar(x,y)+bj

(7)

式中：Iref(x,y)，Itar(x,y)分別代表源圖像區(qū)域與目標(biāo)圖像區(qū)域?qū)?yīng)點(x，y)處的像素；aj代表由相機(jī)靈敏度等因素引起的三維乘性差異；bj代表由相機(jī)元件暗電流產(chǎn)生的三維加性差異。

3 實驗結(jié)果與分析

本文采用race1序列0、1視點圖像，flamenco2序列0、1視點圖像以及objects2序列的0、1視點圖像在MATLAB環(huán)境下進(jìn)行測試，將本文所采用的方法分別與基于全局的直方圖校正方法[8]進(jìn)行對比。

1)race1序列

根據(jù)源圖像以及目標(biāo)圖像的直方圖可以計算出，其三通道的直方圖峰值個數(shù)均為1，所以采用三維GMM設(shè)定的聚類個數(shù)N=1，實驗結(jié)果如圖4所示。

從圖4中可以看出采用本文方法校正后的圖像相比于未校正前的圖像在顏色上更接近參考圖像，而與基于全局的直方圖校正方法結(jié)果圖相比，不僅整體顏色更接近參考圖像，在部分區(qū)域上(如后山、場地等)的校正效果也會顯得更清晰。

2)flamenco2序列

根據(jù)源圖像以及目標(biāo)圖像的直方圖可以計算出，其三通道的直方圖峰值個數(shù)均為2，利用式(1)可知，采用3DGMM所需的參數(shù)N=2×2×2=8，實驗結(jié)果如圖5所示。

圖4 race1序列對比結(jié)果圖

圖5 flamenco2序列對比結(jié)果圖

從圖5可以看出，采用本文方法校正后的圖像的整體顏色效果更接近于參考圖像，與基于全局的直方圖校正方法相比，在背景光亮以及顏色上都更加接近參考圖像，尤其是地板上的燈光，達(dá)到了預(yù)期的效果。

3)objects2序列

根據(jù)源圖像以及目標(biāo)圖像的直方圖可以計算出，其三通道的直方圖峰值個數(shù)均為2，利用式(1)可知，采用3DGMM所需的參數(shù)N=2×2×1=4，實驗結(jié)果如圖6所示。

根據(jù)圖6的實驗結(jié)果可以分析出，采用本文方法的結(jié)果圖相比于待校正圖像以及基于全局的直方圖校正方法結(jié)果圖，在人物衣著、墻壁背景以及地板等區(qū)域上的顏色校正效果都更接近于參考圖像，達(dá)到了理想的效果。

4 結(jié)論

通過race1、flamenco2、objects2這3個序列的對比結(jié)果可以看出，本文提出的校正方法相較于基于全局的直方圖校正方法取得了很好的效果，解決了視點間顏色差異大的問題。同時，通過結(jié)果分析可知，映射關(guān)系中的乘性差異決定了直方圖分布的疏密程度，而加性差異決定了直方圖的位置關(guān)系。綜合全文分析，本文提出的校正方法能夠達(dá)到很好的效果，但在構(gòu)建目標(biāo)圖像與源圖像之間的中心矢量匹配以及區(qū)域間的邊緣差異都還存在著不足，有待進(jìn)一步的改善。

圖6 objects2序列對比結(jié)果圖

[1]楊方偉.多視點視頻編碼中顏色校正技術(shù)的研究[D].天津：天津大學(xué)，2010.

[2]喻莉，熊瑋，鐘剛，等.基于尺寸可變塊匹配的多視點視頻顏色校正方法[J].計算機(jī)工程與科學(xué)，2011，33(8)：138-142.

[3]SHAO F，JIANG G，YU M，et al.A new image correction method for multiview video system[C]//Proc.2006IEEE International Conference on Multimedia and Expo.[S.l.]：IEEE Press，2006：205-208.

[4]熊瑋.多視點視頻中的顏色校正方法研究[J].武漢：華中科技大學(xué)，2011.

[5]JIANG T，NGUYEN D，KUHNERT K.Auto white balance using the coincidence of chromaticity histograms[C]//Proc.2012 IEEE 8th International Conference on Signal Image Technology and Internet Based Systems(SITIS).[S.l.]：IEEE Press，2012：201-208.

[6]SHAO F，YU M，JIANG G，et al.Colour correction pre-processing and chrominance reconstruction post-processing for multi-view video coding[J].IET Image Processing，2012，6(2)：129-138.

[7]OLIVEIRA M，SAPPA A D，SANTOS V.Color correction for on board multi-camera systems using 3D Gaussian Mixture Models[C]//Proc.2012 IEEE Intelligent Vehicles Symposium (IV).[S.l.]：IEEE Press，2012：299-303.

[8]FECKER U，BARKOWSKY M，KAUP A.Histogram-based prefiltering for luminance and chrominance compensation of multiviewvideo[J].IEEE Trans.Circuits and Systems for Video Technology，2008，18(9)：1258-1267.[9]XU W，MULLIGAN J.Performance evaluation of color correction approaches for automatic multi-view image and video stitching[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]：IEEE Press，2010：263-270.

[10]YAMAMOTO K，KITAHARA M，KIMATA H，et al.Multiview video coding using view interpolation and color correction[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17(11)：1436-1449.

[11]CHANG Y C，REID J F.RGB calibration for color image analysis in machine vision[J].IEEE Trans.Image Processing，1996，5(10)： 1414-1422.

張 倩，女，碩士生導(dǎo)師，主研方向為圖像及視頻信號處理；

崔 斌，碩士生，主研方向為視頻編碼；

王 沛，女，副教授，主研方向為數(shù)字圖像處理；

黃繼風(fēng)，教授，主研方向為模式識別與數(shù)字圖像處理。

責(zé)任編輯：時 雯

Multi-view Video Color Correction Method Based on 3DGMM

ZHANG Qian，CUI Bin，WANG Pei，HUANG Jifeng

(CollegeofInformationMechanicalandElectricalEngineering，ShangHaiNormalUniversity，Shanghai200234，China)

In the process of multi-view video capturing，the camera location and parameters setting lead to the color inconsistent between differentviewpoints.In this paper，a newmulti-view video histogram color correction algorithm based on 3D Gaussian Mixture Models (3DGMM) is proposed.Firstly，the cumulative histogram of source image and target imageare obtainedand the peak number of the histogram is calculated by the method.For theclustering analysis of source image and target image，the three-dimensional Gaussian Mixture Models is performed，while the center vector is obtained.Finally，the algorithm calculates the minimum Euclidean distance between each pixel and the center vector to segment the image，histogram matching correction is followed.Experimental results show that the proposed method avoids the excessive correction and gets a good effect comparing with the traditionalhistogram matching algorithm.

multi-view；3D Gaussian mixture models；Euclidean distance；histogram

【本文獻(xiàn)信息】張倩，崔斌，王沛,等.基于3DGMM的多視點視頻直方圖顏色校正[J].電視技術(shù),2015，39(3).

上海市教委科研創(chuàng)新項目(14ZZ125)；上海高校青年教師培養(yǎng)資助計劃項目(P200803)

TP391

A

10.16280/j.videoe.2015.03.001

2014-08-28