謝小軍，孔偉偉

(1.國網(wǎng)安徽省電力公司信息通信分公司，安徽 合肥 230061；2.國網(wǎng)電科院安徽南瑞繼遠(yuǎn)軟件有限公司，安徽 合肥 230088)

基于改進(jìn)的MSR算法在軟件視頻會議系統(tǒng)上的應(yīng)用*

謝小軍1，孔偉偉2

(1.國網(wǎng)安徽省電力公司信息通信分公司，安徽 合肥 230061；2.國網(wǎng)電科院安徽南瑞繼遠(yuǎn)軟件有限公司，安徽 合肥 230088)

視頻會議是一種應(yīng)用廣泛的會議方式，由于光照、視頻采集設(shè)備品質(zhì)、網(wǎng)絡(luò)帶寬等外界復(fù)雜因素的影響，常常導(dǎo)致視頻會議視頻圖像質(zhì)量下降。在多尺度Retinex濾波(MSR)算法的基礎(chǔ)上，使用雙邊濾波獲取原始圖像的高低頻信息，然后采用顏色約束方法和增益補(bǔ)償方法增強(qiáng)經(jīng)過雙邊濾波處理后的高頻反射圖像。通過主觀體驗和客觀評價，改進(jìn)算法增強(qiáng)了視頻圖像，同時保留了邊緣細(xì)節(jié)，應(yīng)用于軟件視頻會議系統(tǒng)，提高了視頻圖像的清晰度，改善了視覺效果。

視頻會議；圖像增強(qiáng)；MSR；雙邊濾波；顏色約束；增益補(bǔ)償

1 引言

近年來，隨著網(wǎng)絡(luò)多媒體技術(shù)的飛速發(fā)展，人們期盼新一代多媒體通信技術(shù)能夠完美融合語音、文字和圖像等功能[1]。視頻會議系統(tǒng)通過視頻、聲音等方式使得在地理上分散的用戶得以實現(xiàn)即時的交流溝通[2]。

目前分組交換網(wǎng)上的視頻會議系統(tǒng)都是基于嵌入式硬件實現(xiàn)的體系結(jié)構(gòu)，各種不同的終端都需接入多點控制單元MCU(Multiple Control Unit)進(jìn)行集中交換，組成一個視頻會議網(wǎng)絡(luò)[3]，實現(xiàn)多點交互和音視頻處理以及各項會議功能，其不足之處是對帶寬要求高，部署價格昂貴，且數(shù)據(jù)處理功能不足[4]。因此，軟件視頻會議系統(tǒng)模式逐漸成為當(dāng)今視頻會議系統(tǒng)發(fā)展的大趨勢，它具有豐富的數(shù)據(jù)協(xié)作、會議管理和控制功能并且能個性化地定制；另外純軟件系統(tǒng)在硬件設(shè)備上維護(hù)量小，投資靈活[5]。但是，由于軟視頻系統(tǒng)從實際場景采集視頻圖像受現(xiàn)場環(huán)境的光照不足及攝像頭配置參數(shù)的影響，再加上本身處理音視頻能力的局限性，以及傳輸過程中造成的抖動、延時、丟包等問題[6]，使得客戶端接收的視頻質(zhì)量受損，影響視覺效果，例如，視頻圖像噪聲嚴(yán)重、亮度與對比度失衡、局部顏色失真等。本文針對這些問題，使用基于改進(jìn)的MSR(Multiple Scale Retinex)算法對軟件視頻會議中的視頻圖像進(jìn)行增強(qiáng)，實時優(yōu)化視頻圖像幀，改善圖像質(zhì)量，提高視覺效果。

2 經(jīng)典MSR算法

Retinex理論是一種自適應(yīng)圖像增強(qiáng)算法[7]，其理論基礎(chǔ)是顏色的恒常性，即物體的顏色是由物體對不同波長光線的反射能力來決定的，光照無法影響物體的色彩[8]；由此可知，Retinex理論將圖像視為由含有物體本質(zhì)信息的反射圖像與光照作用在物體上形成的干擾性的光照圖像[9]。

本文基于上述原理通過在原始圖像中檢索或降低光照圖像的影響，得到物體的反射圖像，獲得物體的本質(zhì)信息。若原圖像為彩色圖像，則將其按R、G、B三分量分為三幅圖像分別處理。

(1)

(2)

一般將光照圖像假設(shè)估計為空間平滑圖像，可由卷積項得到：

(3)

(4)

(5)

其中，c為高斯環(huán)繞函數(shù)的尺度常數(shù)，尺度c的大小決定了卷積核的作用范圍。尺度c越小，圖像的邊緣紋理等細(xì)節(jié)突出，但圖像的顏色失真嚴(yán)重；尺度c越大，圖像顏色豐富協(xié)調(diào)自然，但是細(xì)節(jié)不明顯。K為歸一化因子，滿足：

(6)

單尺度Retinex算法通過去除根據(jù)卷積獲得的低頻部分，得到原始圖像的高頻部分。但是，單個尺度不能滿足動態(tài)范圍壓縮大和色彩保真度高以及邊緣銳化等狀態(tài)。因此，需要采用多尺度Retinex算法，即MSR，它對原始圖像在多尺度下進(jìn)行SSR運(yùn)算，最后將結(jié)果加權(quán)線性疊加，獲取最佳的視覺效果，數(shù)學(xué)形式如下：

(7)

其中，N為采用的尺度個數(shù)，ωn為對應(yīng)尺度的權(quán)值，為了使各尺度對處理結(jié)果貢獻(xiàn)相同的作用，取值1/N。

MSR算法是基于對不同尺度SSR進(jìn)行加權(quán)平均處理的結(jié)果，既能很好地完成圖像的動態(tài)范圍壓縮，又可以保證圖像的顏色協(xié)調(diào)性，削弱“光暈”現(xiàn)象，增強(qiáng)圖像的處理效果。但是，傳統(tǒng)MSR算法具有如下的缺點，如放大平滑區(qū)域噪聲、在明暗對比強(qiáng)烈處容易產(chǎn)生暈環(huán)。其原因在于MSR算法獲得的光照圖像為低頻信息，而在使用高斯濾波獲取光照圖像的過程中會在明暗交界處造成暈環(huán)的產(chǎn)生。

3 改進(jìn)的MSR算法

MSR算法通過去除原圖像中低頻的光照圖像，對保留的高頻反射圖像歸一化顯示作為最后的結(jié)果。這樣一來噪聲不僅得以保留且后續(xù)的歸一化過程有進(jìn)一步增大噪聲的效果。為克服經(jīng)典MSR算法的這一不足，本文采用雙邊濾波代替高斯濾波進(jìn)行光照估計，并對反射圖像采用雙邊濾波進(jìn)行處理，雙邊濾波可以更好地控制圖像的亮度，減少噪聲和光暈效果。具體如下：

‖p-q‖)Gσr(Ip-Iq)Iq

(8)

(9)

當(dāng)分別增強(qiáng)一幅圖像的R、G、B分量時，個別像素點原始的RGB比例關(guān)系可能會改變，從而對整幅圖像的色彩構(gòu)成造成影響。為了減小這種可能造成圖像色彩失真的影響，本文引入了顏色約束方法，即通過原始圖像中RGB三個通道之間的比例關(guān)系，對反射圖像進(jìn)行處理。該約束方法通過延續(xù)圖像原有的色彩比例，對可能的色彩失真進(jìn)行調(diào)整，以增強(qiáng)色彩的協(xié)調(diào)性。顏色約束方法如下：

(10)

(11)

上述顏色約束方法通過對處理后的圖像延續(xù)原始圖像的色彩比例，可以最大程度地復(fù)原原圖像的色彩信息，克服圖像發(fā)灰情況。但是，文獻(xiàn)[10]指出MSR理論模型依賴于灰度世界假設(shè)，即僅在原圖像符合灰度世界假設(shè)時MSR可以取得較好的處理效果，當(dāng)原始圖像不符合灰度世界假設(shè)(灰度世界是假設(shè)當(dāng)一幅圖像具有足夠多的顏色變化時，任意像素三個顏色通道的平均反射分量近似相等)，即存在偏色或退化時，經(jīng)過MSR算法本來已經(jīng)校正的圖像偏色，再采用顏色約束方法延續(xù)原圖像的RGB分量比例關(guān)系將會導(dǎo)致色彩再次失真。為此，本文為顏色約束方法設(shè)立判據(jù)，當(dāng)原始圖像符合灰度世界假設(shè)時，才使用顏色約束方法，反之則不采用。

由于MSR的計算通常在對數(shù)域內(nèi)進(jìn)行，最終得到的反射圖像像素值往往較小，其像素值的動態(tài)范圍也很小，不能滿足圖像0～255的顯示范圍，為了方便觀察還需將處于對數(shù)域數(shù)值范圍內(nèi)的反射圖像進(jìn)行增益補(bǔ)償方法，使其值歸一化到0～255，滿足圖像顯示的要求。

(12)

其中，Rci為反射圖像的像素值，Rup和Rlow為增益范圍的上下限，dmax為圖像顯示范圍的上限，一般為255。

傳統(tǒng)MSR算法采用反射圖像的最值作為增益范圍的上下限，這樣一來如果R、G、B三分量中的某一分量具有較其它兩個分量更大的分布范圍時，會使增強(qiáng)后的圖像出現(xiàn)該分量上的色偏。本文將通過控制各分量的增益范圍達(dá)到消除色偏的目的，考慮到反射圖像的像素數(shù)值分布類似于正態(tài)分布，故采用其置信區(qū)間的大小作為增益范圍的大小，集合圖像中大部分像素點的置信區(qū)間作為增益范圍，可僅對各分量中數(shù)值大小較為集中的像素進(jìn)行歸一化，從而避免了漂移像素值對歸一化的影響。置信區(qū)間數(shù)學(xué)描述如下：

(13)

其中，μi和σi分別為Ri的均值和均方差，A為調(diào)節(jié)增益范圍參數(shù)，A越小則對比度越高，但如果A取值過小則參與歸一化過程的像素過少，導(dǎo)致圖像色彩不豐富，一般取2～3。

4 實驗結(jié)果分析

為了分析改進(jìn)算法的實際效果，本文采用控制變量法，在每組對比中使相對應(yīng)的處理步驟不同，而其余步驟保持相同，以展現(xiàn)出該步驟的效果。在這里，MSR算法的尺度數(shù)K=3，尺度分別為c1=20、c2=80、c3=140。

實驗圖片為安徽省電力公司軟件視頻會議視頻圖像截圖，視頻圖像的不足主要體現(xiàn)在色彩對比不明顯，昏暗，將改進(jìn)的MSR算法嵌入基于DirectShow架構(gòu)的采集軟件中，對顏色分量進(jìn)行增強(qiáng)，實現(xiàn)對視頻圖像的優(yōu)化。

Figure 1 Original video capture for contrast experiment

(1)不同濾波方法對圖像增強(qiáng)效果的分析。

Figure 2 Effect pictures of Gaussian filtering and bilateral filtering enhancement

由于MSR算法本質(zhì)是通過去除原始圖像中低頻的光照圖像，增強(qiáng)保留下來的高頻反射圖像，以獲得理想的視覺效果。對高頻反射圖像的增強(qiáng)，也就意味著其中的噪聲會同步得到增強(qiáng)，如圖2a左下方的桌板處可以看到噪聲的存在。本文算法將在增強(qiáng)反射圖像前使用在細(xì)節(jié)保持方面具有良好表現(xiàn)的雙邊濾波進(jìn)行降噪處理，如圖2b所示，經(jīng)方差為5和10的雙邊濾波后在同樣的桌板部分噪聲得到了一定程度的消除。

(2)顏色約束方法對圖像增強(qiáng)效果的分析。

使用顏色約束方法可以使增強(qiáng)后的圖像保持原始圖像的色彩比例信息，即在色彩信息上保持與原始圖像的一致性，但前提是原始圖像符合灰度世界的假設(shè)。在該幀圖像中RGB的比例關(guān)系為4.21∶4.26∶4.13，近似相等，可視為符合灰度世界假設(shè)。如圖3a所示，經(jīng)過增強(qiáng)的圖像整體發(fā)灰，影響到主觀的視覺觀感。在采用顏色約束方法的圖3b中，圖像的色彩變得更為豐富協(xié)調(diào)。

Figure 3 Effect pictures with and without color constraints

(3)增益補(bǔ)償范圍對圖像增強(qiáng)效果的分析。

Figure 4 Histogram distribution for each channel

對比兩圖，可以發(fā)現(xiàn)以最值確定增益范圍的圖像存在著明顯的色偏。圖4為各通道的直方圖分布，分析RGB各分量的直方圖分布可知，紅色的R分量分布得最為分散且加之其最小值為-0.01，在增益補(bǔ)償方法中，將過于分散的R分量置于與G、B分量相同大小的顯示區(qū)間內(nèi)，將造成R分量獲得較G、B兩個分量更大的增強(qiáng)幅度，使整幅圖像出現(xiàn)色偏，呈現(xiàn)出淡紅色，如圖5a所示。而以置信區(qū)間大小確定增益范圍的圖5b色偏現(xiàn)象基本得到了抑制，這是由于置信區(qū)間縮小了需要增強(qiáng)的空間分量通道值，使RGB三分量像素點均保留了相似的直方圖分布與相差不大的通道值區(qū)間長度，從而使各分量的增益補(bǔ)償幅度相當(dāng)，保持了原有的分量比例，沒有色偏現(xiàn)象的產(chǎn)生。其中調(diào)整增益范圍的參數(shù)A=2。

Figure 5 Effect pictures of gain compensation enhancement

(4)不同算法對視頻會議圖像幀增強(qiáng)效果的對比分析。

對比觀察如圖6所示的圖片，可以明顯感到圖6e具有最佳的視覺體驗。圖6b為直方圖均衡的結(jié)果，畫面亮度改善不明顯，細(xì)節(jié)處也不夠精細(xì)。圖6c將MSR增強(qiáng)由RGB空間轉(zhuǎn)化到HSV空間，畫面出現(xiàn)嚴(yán)重失真。圖6d為經(jīng)典MSR算法處理后的圖像，畫面色彩過于飽和，以至于人與背景間存在著明顯的白色光圈，使得過渡極不自然。

Figure 6 Comparison of the four image enhancement methods

在該組對比中，除了使用主觀視覺體驗外，還將采用客觀指標(biāo)顯示不同方法的增強(qiáng)效果。以下為各種客觀指標(biāo)的定義。

亮度反映了圖像整體的明暗效果，方差說明圖像灰度層次豐富程度。

(14)

(15)

信息熵是對圖像所包含的信息量的度量。信息熵越大，表示圖像的紋理越復(fù)雜，包含的信息越多。圖像的信息熵可以定義為：

(16)

其中，pi表示圖像的第i個灰度級出現(xiàn)的頻率。

清晰度定義為每一點像素值向其鄰域擴(kuò)散程度，擴(kuò)散程度越劇烈，清晰度的值越大，表示圖像的局部細(xì)節(jié)越清晰。圖像的清晰度可表示為：

(17)

表1為實驗原圖以及不同算法對圖像進(jìn)行處理后，采用上述定義獲得的指標(biāo)值。

Table 1 Parameters of different algorithms表1 圖像指標(biāo)值對比

由表1可知，各種增強(qiáng)算法都對客觀指標(biāo)有所改變。綜合評價，本文算法的各指標(biāo)值都處在較高的水平。在圖像的方差和信息熵這兩項指標(biāo)上要高于其它方法，說明圖6e具有更豐富的視覺展現(xiàn)，包含更多的信息量。合適的亮度與清晰度使畫面顯得明暗適中，過渡自然。這里需要注意的是如圖6c的方法雖然大多數(shù)指標(biāo)高于本文算法的指標(biāo)，但其視覺體驗明顯要遜于本文算法。所以，在圖像處理領(lǐng)域，并不能單純地以指標(biāo)的高低衡量圖像質(zhì)量的好壞，人眼的主觀視覺體驗往往占有很重要的地位。

(5)改進(jìn)算法對局部曝光圖像的處理效果。

在室內(nèi)會議中往往存在著光照分布不均的情況，使視頻圖像出現(xiàn)明暗相伴的現(xiàn)象。由于Retinex算法對暗區(qū)域有更好的恢復(fù)能力，因此對明暗相伴的情況，本算法具有良好的優(yōu)化效果，圖7為采用改進(jìn)MSR算法對局部曝光視頻圖像的處理實驗結(jié)果圖。

Figure 7 Original picture and the of image enhancement by our method

對比兩圖可以發(fā)現(xiàn)，經(jīng)過處理后的圖像暗區(qū)域的亮度有著顯著的提升，細(xì)節(jié)顯示得更加清晰。通過對客觀指標(biāo)的計算發(fā)現(xiàn)處理后圖像的均值、信息熵和清晰度三項指標(biāo)都明顯高于原圖像，如表2所示，說明了本文算法對局部曝光圖像處理的有效性。

Table 2 Comparison of image parameter values表2 圖像指標(biāo)值對比

(6)不同算法處理單幀圖像時間。

表3展示了上述經(jīng)典算法與改進(jìn)后MSR算法處理單幀圖像所需時間的對比，改進(jìn)的算法所花費(fèi)的時間要高于這些經(jīng)典算法，但是1秒鐘能處理35幀左右，而視頻會議1秒鐘僅傳輸25幀，改進(jìn)的算法依舊能滿足視頻會議圖像幀的實時處理。

Table 3 Time needed for processing a single frame image with different methods表3 處理單幀圖像所需時間

5 結(jié)束語

Retinex是一種基于人眼生理構(gòu)造的數(shù)學(xué)模型。MSR算法是利用Retinex模型進(jìn)行增強(qiáng)的經(jīng)典方法。本文根據(jù)經(jīng)典MSR算法的不足給出了改進(jìn)方法，首先使用雙邊濾波將原始圖像分為低頻和高頻圖像信息，再利用雙邊濾波對高頻圖像進(jìn)行降噪處理，最后使用顏色約束和增益補(bǔ)償方法增強(qiáng)高頻圖像，使高頻圖像可以得到優(yōu)化顯示。本文在實驗對比環(huán)節(jié)從人眼主觀視覺體驗和客觀指標(biāo)評價兩方面將本文算法和不同的增強(qiáng)算法進(jìn)行了比較，對比結(jié)果表明本文提出的算法有較好的增強(qiáng)效果。

[1] Zhou Zheng,Feng Wei-dong,Ye Lu,et al, Video conference system image evaluation and quality enhancement method is analysed[J]. Technology and Application of Network Security,2014(4):105-107.(in Chinese)

[2] Chen Xin-jun. The design and implementation of embedded video conference system[D].Chengdu: University of Electronic Science and Technology,2013.(in Chinese)

[3] Hu Min,Liu Liu-cheng,Liu Peng. The design and implementation of video conference system based on WebRTC[J]. Video Engineering,2013,37(1):141-144.(in Chinese)

[4] Li Yong-jie, Chang Ying, Wang Xin, et al. System architecture and analysis of Henan electric power video-conference[J]. TV Engineering, 2014,38(19):221-224.(in Chinese)

[5] Zheng Yan,Li Long-teng,Liu Chun-xiao,et al. Design of interactive remote video conference system based on multi-agent[J]. TV Engineering,2013,37(1):144-146.(in Chinese)

[6] Lee M.Implementation of stable video conference system[C]∥Proc of ICCE, 2013:442-445.

[7] Liu C-H,Hsu W-F.The study of video conference transmission security as an example on Windows Live[C]∥Proc of NCM, 2010:505-508.

[8] Li Ying. Image enhancement algorithm based on the theory of the Retinex research[D].Xi’an: Northwest University,2014.(in Chinese)

[9] Chen Chao. Single scale Retinex algorithm in the application of the image enhancement[J]. Computer Applications and Software,2013,30(4):55-58.(in Chinese)

[10] Lee C-H,Shih J-L.Adaptive,multiscale retinex for image contrast enhancement[C]∥Proc of SITIS,2013:43-50.

[11] Fu Xue-yang, Sun Ye.A novel retinex based approach for image enhancement with illumination adjustment[C]∥Proc of ICASSP,2014: 1190-1194.

附中文參考文獻(xiàn)：

[1] 周正,馮偉東,葉露,等.視頻會議系統(tǒng)圖像評價及質(zhì)量增強(qiáng)方法淺析[J]. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用,2014(4):105-107.

[2] 陳新軍.嵌入式視頻會議系統(tǒng)的設(shè)計與實現(xiàn)[D].成都:電子科技大學(xué),2013.

[3] 胡敏,劉六程,劉鵬.基于WebRTC的視頻會議系統(tǒng)的設(shè)計與實現(xiàn)[J].電視技術(shù),2013,37(1):141-144.

[4] 李永杰，常穎，王欣，等.河南電力視頻會議電視系統(tǒng)架構(gòu)與分析[J].電視技術(shù),2014,38(19):221-224.

[5] 鄭炎,李龍騰,劉春曉,等. 多Agent協(xié)作可交互的遠(yuǎn)程視頻會議系統(tǒng)的實現(xiàn)[J].電視技術(shù),2013, 37(1): 144-146.

[8] 李瑩.基于Retinex理論的圖像增強(qiáng)算法研究[D].西安:西北大學(xué),2014.

[9] 陳超.改進(jìn)單尺度Retinex算法在圖像增強(qiáng)中的應(yīng)用[J].計算機(jī)應(yīng)用與軟件,2013,30(4):55-58.

謝小軍(1975-),男,安徽涇縣人，碩士，高級工程師，研究方向為視頻會議系統(tǒng)的運(yùn)行管理及研究。E-mail:xiaojunxie@163.com

XIE Xiao-jun,born in 1975,MS,senior engineer,his research interests include the research and application of video conference and enterprise information.

An application of an improved MSR algorithm in software video conference system

XIE Xiao-jun1,KONG Wei-wei2

(1.State Grid Information Communication Company of Anhui Province Power Company,Hefei 230061;2.Anhui NARI Jiyuan Software CO.,LTD.,SOEPRI,Hefei 230088,China)

Video conferences, a new type of conference in the internet age, have been widely used. Due to the influence of the external factors such as light, video acquisition device quality and network bandwidth, the quality of images of video conferences may deteriorate. Based on the multiple scale Retinex (MSR) algorithm, we divide the original images into illumination images of low frequency and high frequency reflection images by the bilateral filtering technique. And then the color constraints method and the gain compensation method are adopted to enhance the high frequency reflection images. Subjective experience and objective evaluation show that the improved algorithm enhances video images and preserves edge details when applied to soft video conferences, thus providing a better visual effect.

video conference;image enhancement;MSR;bilateral filtering;color constraints;gain compensation

1007-130X(2015)09-1730-06

2014-12-08;

2015-01-31

TN391.4

A

10.3969/j.issn.1007-130X.2015.09.022

通信地址：230061 安徽省合肥市包河區(qū)黃山路9號

Address:9 Huangshan Rd,Baohe District,Hefei 230061,Anhui,P.R.China