安徽工程大學(xué)機(jī)電學(xué)院 段 毅

?

基于直方圖匹配的多視點(diǎn)視頻亮度相關(guān)性處理算法

安徽工程大學(xué)機(jī)電學(xué)院 段 毅

【摘要】多視點(diǎn)間的亮度差異是降低編碼效率的主要原因之一。本文針對(duì)亮度差異介紹了直方圖匹配算法的亮度差異補(bǔ)償?shù)姆椒?，得到校正后的圖像。從圖像主觀(guān)視覺(jué)比較、相關(guān)系數(shù)和峰值信噪比三方面檢驗(yàn)其效果。實(shí)驗(yàn)結(jié)果表明基于直方圖匹配的亮度相關(guān)性增強(qiáng)技術(shù)能夠較好地補(bǔ)償亮度差異，且具有復(fù)雜度低的優(yōu)點(diǎn)。

【關(guān)鍵詞】多視點(diǎn)視頻；亮度補(bǔ)償；直方圖匹配；累積直方圖；直方圖相關(guān)系數(shù)

引言

多視點(diǎn)視頻是由多個(gè)攝像機(jī)對(duì)同一場(chǎng)景進(jìn)行拍攝，相鄰攝像機(jī)的視點(diǎn)畫(huà)面內(nèi)容是十分相近的，所因此相鄰視點(diǎn)間的畫(huà)面具有很強(qiáng)的相關(guān)性［1］。若分別進(jìn)行單獨(dú)的視頻編碼，將會(huì)消耗大量的存儲(chǔ)空間，在很大程度上都是冗余信息。因此，采用視點(diǎn)間預(yù)測(cè)，則能夠大幅提高編碼效率，減小存儲(chǔ)空間［2］。

實(shí)際中由于拍攝角度、攝像機(jī)參數(shù)等差異性，造成視點(diǎn)間畫(huà)面亮度值和色度值的不一致，使視點(diǎn)間的相關(guān)性減弱，補(bǔ)償相視點(diǎn)亮度差異可增強(qiáng)空間畫(huà)面相關(guān)性，提升編碼空間效率［3］。本文研究了基于直方圖匹配的亮度相關(guān)性增強(qiáng)技術(shù)。

1、圖像的亮度直方圖和累計(jì)直方圖

直方圖是對(duì)圖像數(shù)據(jù)進(jìn)行統(tǒng)計(jì)的一種方式［4］。亮度直方圖，即對(duì)一幀圖像的各像素的亮度值進(jìn)行統(tǒng)計(jì)，畫(huà)面的每一個(gè)像素亮度是按一個(gè)字節(jié)存儲(chǔ)的，共有256個(gè)亮度值即每個(gè)亮度值出現(xiàn)的概率，如圖1 （a）所示。反映了在一幀圖像中各不同亮度的像素分布狀況。

累積直方圖是亮度直方圖的累計(jì)圖，每一個(gè)亮度點(diǎn)的累計(jì)概率值便是小于等于該亮度值的所有亮度點(diǎn)的出現(xiàn)概率的累加，如圖1（b）所示。

圖1　圖像的亮度直方圖和累積直方圖

2、直方圖匹配算法

本文通過(guò)亮度直方圖匹配的方法來(lái)校正相鄰視點(diǎn)之間的圖像亮度差異［5］。

直方圖匹配的第一步是計(jì)算相鄰視點(diǎn)同一時(shí)間幀的亮度直方圖，公式（1）給出了圖像的的亮度直方圖計(jì)算公式：

其中w表示圖像的寬度，h表示圖像高度，u表示圖像的亮度等級(jí)，Hpicture（u）表示圖像中亮度值為u的像素所占的百分比。Ipicture（i，j）表示像素（i，j）處的的亮度值。

通過(guò)亮度直方圖匹配的方法來(lái)建立參考圖像和原始圖像亮度直方圖之間的映射函數(shù)需要經(jīng)過(guò)以下兩步：

（1）計(jì)算出參考圖像和原始圖像的亮度累積分布函數(shù)——亮度累積直方圖，該累積直方圖由以下公式（2）求得：

式中，Cpicture（u）為表示圖像中亮度值小于或者等于u的像素占總像素的百分比。

由于計(jì)算機(jī)的浮點(diǎn)型數(shù)總是有精度限制，累積起來(lái)最后的Cpicture（255）可能不等于一，最后還要對(duì)累積直方圖進(jìn)行簡(jiǎn)單修正。

（2）得到兩幅相鄰視點(diǎn)圖像的亮度累積直方圖后，再通過(guò)累積直方圖的對(duì)應(yīng)關(guān)系建立亮度變換的映射函數(shù)，使得校正后的圖像和參考圖像的累積直方圖在每個(gè)亮度值處具有相似的數(shù)值?？墒褂孟旅娴墓剑?）得到映射函數(shù)。

公式（3）中，Map表示亮度映射函數(shù)，Cref（u）和Corg（v）分別代表參考圖像和原始圖像的亮度分量累積直方圖，當(dāng)條件滿(mǎn)足時(shí)，表示原圖像中亮度值小于或者等于v的像素和參考圖像中亮度值小于或者等于u的像素?cái)?shù)目近似。

此時(shí)，便用這種亮度等級(jí)的累積發(fā)生概率的近似相等作為我們求亮度映射函數(shù)的標(biāo)準(zhǔn)。以此我們便得到了兩幀圖像之間的亮度映射函數(shù)，得到了兩圖像亮度之間的近似差異對(duì)應(yīng)關(guān)系。

3、直方圖匹配算法性能實(shí)驗(yàn)分析

從中3DAV特別小組提供的標(biāo)準(zhǔn)多視點(diǎn)視頻序列中選出四組進(jìn)行性能測(cè)試：Exit，Rena，Race1和Flamenco2。選出每一組序列中的兩個(gè)視角圖像進(jìn)行直方圖匹配后分析。

（1）主觀(guān)視覺(jué)感受分析比較

通過(guò)對(duì)測(cè)試序列的原始圖像和參考圖像的進(jìn)行亮度直方圖匹配，我們得到了校正后的圖像。通過(guò)肉眼可以明顯看出，相比于原始圖像來(lái)說(shuō)更加接近于參考圖像，校正后的圖像亮度明顯更加相近于參考圖像。這里從主觀(guān)視覺(jué)感受上驗(yàn)證了亮度直方圖匹配的效果，對(duì)比來(lái)看，其效果是顯著的。

（2）累積直方圖相關(guān)系數(shù)分析比較

直方圖匹配前后的圖像和參考圖像之間的亮度累積直方圖相關(guān)系數(shù)如表1所示。該表中的數(shù)據(jù)是取同一序列一對(duì)相鄰視點(diǎn)的60幀圖像匹配前后的累積直方圖相關(guān)系數(shù)的平均值。通過(guò)相關(guān)系數(shù)比較，可以明顯看出修正后的圖像的累積直方圖與參考圖像的更強(qiáng)，幾乎達(dá)到一致。

表1　亮度補(bǔ)償前后圖像和參考圖像累積直方圖相關(guān)系數(shù)和PSNR值

（3）PSNR值分析比較

對(duì)亮度補(bǔ)償前后圖像和參考圖像PSNR的比較分析結(jié)果如表1所示，同樣，該表中的數(shù)據(jù)是取同一序列一對(duì)相鄰視點(diǎn)的60幀圖像一一匹配前后的與參考圖像PSNR的平均值?？梢钥闯?，除了Flamenco2序列經(jīng)過(guò)直方圖匹配后的圖像與參考圖像的PSNR有所下降外，其他序列的都有較大提高。

4、總結(jié)

從視覺(jué)主觀(guān)效果對(duì)比、累計(jì)直方圖相關(guān)性對(duì)比和匹配前后圖像與參考圖像亮度PSNR系數(shù)對(duì)比三個(gè)方面分析了直方圖匹配算法的性能。結(jié)果均反映出亮度直方圖匹配算法在亮度補(bǔ)償方面具有十分顯著的效果。直方圖匹配增強(qiáng)了相鄰視點(diǎn)間的相關(guān)性，提高空間預(yù)測(cè)的效率，減少編碼時(shí)所需存儲(chǔ)空間，并且算法復(fù)雜度低，大大降低對(duì)硬件速度或軟件復(fù)雜度的需求。

參考文獻(xiàn)

［1］Yun He， J?rn Ostermann， Masayuki Tanimoto， et al. Introduction to the Special Section on Multiview Video Coding. IEEE Trans. Circuits and Systems for Video Technology.2007，17（11）： 1433-1435.

［2］Schwarz H，Wegner K，Rusert T.Overview of 3DV Coding Tools Proposed in the Call for Proposals［C］//Proceedings of Moving Pictures Experts Group the 98 th Meeting.Geneva：MPEG， 2011：1-6.

［3］楊旭，常義林，霍俊彥，等.一種三維視頻深度圖像快速幀內(nèi)編碼方式［J］.西安電子科技大學(xué)學(xué)報(bào)，2012，39（3）：7-13.

［4］楊海濤，常義林，霍俊彥，等.一種基于亮度直方圖的自動(dòng)曝光控制方法.光學(xué)學(xué)報(bào).2007，27（5）：841-847.

［5］汪世剛，呂東輝.基于最優(yōu)聚類(lèi)數(shù)和直方圖匹配的圖像彩色化方法［J］.計(jì)算機(jī)應(yīng)用，2010，30（2）：20-23.

作者簡(jiǎn)介：

段毅（1988-），男，安徽蕪湖人，碩士，助教，研究方向：智能信號(hào)處理。