方宏俊，施海鵬，宋 利

(1. 上海交通大學(xué) 圖像通信與網(wǎng)絡(luò)傳輸研究所，上海 200233；2. 美芯盟電子科技(上海)有限公司，上海 200000；3. 上海高清數(shù)字科技產(chǎn)業(yè)有限公司，上海 200000)

用于電視系統(tǒng)中的圖像清晰度測(cè)量算法及實(shí)現(xiàn)

方宏俊1,2，施海鵬1,3，宋 利1

(1. 上海交通大學(xué) 圖像通信與網(wǎng)絡(luò)傳輸研究所，上海 200233；2. 美芯盟電子科技(上海)有限公司，上海 200000；3. 上海高清數(shù)字科技產(chǎn)業(yè)有限公司，上海 200000)

介紹了數(shù)字電視中用于增強(qiáng)圖像畫質(zhì)的一種清晰度測(cè)量的方法，該方法使用圖像中的頻率信息、細(xì)節(jié)信息和局部圖像的動(dòng)態(tài)范圍來判斷當(dāng)前輸入的圖像是一幅真實(shí)的高清圖像，還是在信號(hào)傳輸過程中被放大成高清信號(hào)的偽高清圖像信號(hào)。從而利用得出的清晰度測(cè)量結(jié)果對(duì)真實(shí)高清圖像信號(hào)和偽高清圖像信號(hào)進(jìn)行不同的清晰度和對(duì)比度調(diào)整。該方法的設(shè)計(jì)應(yīng)用填補(bǔ)了數(shù)字電視圖像后處理中對(duì)于原始信號(hào)檢測(cè)的一個(gè)空白。介紹了該方法的基本原理和具體實(shí)現(xiàn)的算法，并討論了該算法的硬件實(shí)現(xiàn)方案和代價(jià)。

數(shù)字電視；清晰度；對(duì)比度；畫質(zhì)增強(qiáng)

圖像清晰度和對(duì)比度控制是當(dāng)今數(shù)字電視中增強(qiáng)圖像畫質(zhì)的重要手段。然而作為數(shù)字電視輸入的高清信號(hào)往往有些是在傳輸過程中被放大成高清信號(hào)的偽高清圖像信號(hào)，例如使用DVD、機(jī)頂盒等播放設(shè)備進(jìn)行格式放大的高清視頻信號(hào)等等。如果不去區(qū)分真實(shí)的高清視頻信號(hào)和偽高清視頻信號(hào)，使用相同的清晰度和對(duì)比度控制強(qiáng)度得到的圖像畫質(zhì)效果是完全不同的。

這是因?yàn)檎鎸?shí)的高清視頻信號(hào)圖像中的高頻成分和細(xì)節(jié)豐富，而在傳輸過程中被放大成高清信號(hào)的偽高清圖像信號(hào)由于經(jīng)過了畫面的放大，所包含的高頻成分和細(xì)節(jié)信息明顯下降。對(duì)于清晰度控制而言，實(shí)際上是根據(jù)圖像內(nèi)容的頻率區(qū)域進(jìn)行增強(qiáng)，真實(shí)高清信號(hào)的高頻成分多，而偽高清信號(hào)的高頻成分少，對(duì)他們使用相同的頻率范圍去增強(qiáng)無法得到相同的清晰度增強(qiáng)的效果。對(duì)于對(duì)比度增強(qiáng)而言，對(duì)比度增強(qiáng)是讓圖像中的亮度范圍向兩極拓展，即讓黑的更黑，白的更白，從而能表現(xiàn)出暗場(chǎng)或亮場(chǎng)中的細(xì)節(jié)信息。對(duì)于圖像中的亮度變化的區(qū)域來說，對(duì)比度增強(qiáng)使得這種亮度變化的過度沿變陡。因此真實(shí)的高清信號(hào)亮度變化的邊沿非常明確，在局部范圍內(nèi)找出亮度的范圍也相對(duì)確定。但是對(duì)于被放大成高清信號(hào)的偽高清信號(hào)而言，由于在縮放過程中將亮度變化的邊沿進(jìn)行了延展，因此這個(gè)亮度變化的邊沿就變得相對(duì)平緩，在局部范圍內(nèi)也很難精確地找出最亮和最暗的亮度區(qū)間。所以對(duì)比度的增強(qiáng)效果會(huì)形成明顯的差異。

正因?yàn)榇?，本文介紹了一種根據(jù)圖像內(nèi)容頻譜分析的清晰度測(cè)量方法(Sharpness Meter)。該方法的主要特點(diǎn)是可以對(duì)輸入的視頻信號(hào)的內(nèi)容進(jìn)行預(yù)先分析，從而動(dòng)態(tài)的控制清晰度處理和對(duì)比度增強(qiáng)等畫質(zhì)提升的手段。該方法著重提出一種測(cè)量手段以區(qū)分真實(shí)的高清視頻信號(hào)(true HD)和被放大產(chǎn)生的高清視頻信號(hào)(up sampled HD)。

1 基本原理及具體算法

1.1 基本原理

圖像清晰度測(cè)量方法的基本原理是依據(jù)輸入的高清視頻信號(hào)的內(nèi)容中亮度分量上的頻譜分布[1]來區(qū)分該高清視頻信號(hào)屬于真實(shí)的高清視頻信號(hào)還是經(jīng)過預(yù)放大的偽高清視頻信號(hào)。其主要手段是通過在水平和垂直兩個(gè)方向上的不同的頻率響應(yīng)濾波器來獲得該圖像上的整體的頻譜分布信息。

該方法的測(cè)量結(jié)果包括以下3項(xiàng)：圖像內(nèi)容中最高的響應(yīng)頻率(這是用于清晰度控制的主要指標(biāo)，也是分析該圖像屬于真實(shí)高清信號(hào)或者偽高清信號(hào)的重要表征之一)；圖像內(nèi)容內(nèi)部的局部動(dòng)態(tài)范圍(這是用于對(duì)比度增強(qiáng)的主要指標(biāo))，以及每幀的細(xì)節(jié)統(tǒng)計(jì)數(shù)據(jù)(這與圖像內(nèi)容中最高的響應(yīng)頻率關(guān)系緊密，它用于統(tǒng)計(jì)分析圖像中高頻細(xì)節(jié)的程度，該結(jié)果既可以用于分析該圖像屬于真實(shí)高清信號(hào)或者偽高清信號(hào)的重要表征，也可以作為其他圖像增強(qiáng)動(dòng)態(tài)控制算法的重要參考指標(biāo))。

1.2 頻率測(cè)量

由于圖像清晰度測(cè)量模塊在信號(hào)處理流程中是獨(dú)立于清晰度處理模塊之外的獨(dú)立模塊，所以其包含了幾組可以設(shè)置的濾波器組合。本文以2組可以獨(dú)立控制的濾波器為例進(jìn)行說明，其輸出的結(jié)果可以有多種組合方式可供選擇。

本文中所介紹的濾波器按照頻率響應(yīng)函數(shù)可以分為以下幾類：

一階濾波器(高通濾波)

Η1(Z)=1-Z-1

(1)

一階寬濾波器(帶通濾波)

Η1w(Z)=Z1-Z-1

(2)

以上是2個(gè)一階濾波器，它們?cè)谟布O(shè)計(jì)上屬于同一組濾波設(shè)計(jì)，二者的區(qū)別是濾波所選擇的像素點(diǎn)的寬度范圍不同，所以式(2)所述的濾波器增加了“wide”加以表征。對(duì)于下面列舉的二階濾波器也是如此。

二階濾波器(高通濾波)

Η2(Z)=-0.5×Z2+1-0.5×Z-2

(3)

二階寬濾波器(帶通濾波)

Η2w(Z)=-0.5×Z2+1-0.5×Z-2

(4)

從濾波器的系數(shù)上來看，一階普通濾波器(Order 1 filter)的濾波系數(shù)為：[-1 1]×1/2；一階寬濾波器(Order 1 filter wide)的濾波系數(shù)為：[-1 0 1]×1/2；二階普通濾波器(Order 2 filter)的濾波系數(shù)為：[-1 2 -1]×1/4；二階寬濾波器(Order 2 filter wide)的濾波系數(shù)為：[-1 0 2 0 -1]×1/4。

這4組濾波器經(jīng)過歸一化并線性縮放后，其濾波器頻率特征響應(yīng)曲線如圖1所示。

圖1 濾波器特征曲線

濾波器設(shè)計(jì)為一階濾波和二階濾波的目的是為了用一階濾波響應(yīng)去保護(hù)一些二階濾波響應(yīng)所覆蓋不到的脈沖響應(yīng)。從實(shí)際應(yīng)用的意義上說，特別是對(duì)于很多真實(shí)的高清視頻信號(hào)中，一些細(xì)節(jié)的寬度過窄，也就是說其頻率超出了二階寬濾波器的頻率響應(yīng)(Order 2 filter wide)的覆蓋范圍。這會(huì)導(dǎo)致在濾波器的輸出端出現(xiàn)雙峰特性。為了避免這種雙峰效應(yīng)的產(chǎn)生，使用一階濾波器加以限制。

因此，在設(shè)計(jì)中將濾波器的組合方式分為以下幾種

(5)

(6)

(7)

(8)

這里列舉了2組可能的組合方式，其中為了保護(hù)二階濾波，一階普通濾波器和一階寬濾波器都可以被使用。雖然從數(shù)學(xué)上看一階寬濾波器的濾波范圍并不比一階普通濾波器長(zhǎng)，但是從濾波器的系數(shù)上看，一階寬濾波器不會(huì)產(chǎn)生雙峰脈沖效應(yīng)。

從濾波器的特征曲線上來看，所有的寬濾波器(Order 1 or 2 filter wide)都在1/4采樣頻率(1/4fs)后開始下降。但這并不意味著在實(shí)際應(yīng)用中，當(dāng)圖像中的清晰度頻率大于1/4采樣頻率(1/4fs)時(shí)，將會(huì)輸出一個(gè)較小的測(cè)量結(jié)果。因?yàn)閳D像中的高頻成分已經(jīng)被普通濾波器(Order 1 and 2 filter)所測(cè)得，所以對(duì)于一幅普通的高清圖片來說寬濾波器所測(cè)量的范圍主要是從1/4采樣頻率(1/4fs)直到寬濾波器的右邊沿。

從全局視角來看這些濾波器(包含普通濾波器和寬濾波器)。對(duì)于高通濾波響應(yīng)而言，在0至1/2采樣頻率(1/2fs)之間，一階普通濾波的響應(yīng)曲線比二階普通濾波的響應(yīng)曲線測(cè)量的范圍更廣；而對(duì)于帶通濾波響應(yīng)而言，在0～1/4采樣頻率(1/4fs)，二階寬濾波器的帶通范圍比一階寬濾波響應(yīng)的帶通范圍收的更緊。因此將一階和二階濾波的響應(yīng)在0～1/4采樣頻率(1/4fs)之間取一個(gè)合適的中間值，可以在測(cè)量結(jié)果上得到更為線性的結(jié)果。

作為這些一階和二階濾波組合的一個(gè)補(bǔ)充，如式(9)所列的一個(gè)獨(dú)立的一階濾波組合也可供選擇

(9)

1.3 圖像細(xì)節(jié)統(tǒng)計(jì)

圖像清晰度測(cè)量?jī)H僅依靠頻率響應(yīng)測(cè)量得出的圖像頻譜范圍的最大值(也就是圖像中最高頻率)是不夠的，因此另外一個(gè)測(cè)量指標(biāo)也被引入其中，這就是統(tǒng)計(jì)這幅圖像中處于該最高頻率有多少像素點(diǎn)，從而來判斷這幅圖像屬于真實(shí)高清信號(hào)的程度，即可能性。這就是前面所述的圖像細(xì)節(jié)統(tǒng)計(jì)功能。它統(tǒng)計(jì)了處于圖像中最高頻率的像素點(diǎn)的差值的絕對(duì)值，并且將這些差值的絕對(duì)值累加起來作為輸出的指標(biāo)。

用于圖像細(xì)節(jié)統(tǒng)計(jì)的濾波響應(yīng)也是可以加以選擇的，但是被選擇的濾波響應(yīng)必須和頻率響應(yīng)測(cè)量所選擇的濾波器組合保持完全一致。

1.4 局部區(qū)域動(dòng)態(tài)范圍的測(cè)量

局部區(qū)域動(dòng)態(tài)范圍的測(cè)量被作為頻率測(cè)量和細(xì)節(jié)統(tǒng)計(jì)之外的又一重要輸出指標(biāo)，該指標(biāo)的主要作用是供對(duì)比度增強(qiáng)提供依據(jù)，該動(dòng)態(tài)范圍測(cè)量的主要方法是測(cè)量相鄰的9個(gè)像素點(diǎn)的最大值和最小值的差異。

該局部區(qū)域動(dòng)態(tài)范圍的測(cè)量結(jié)果是能捕捉到無論何時(shí)圖像的最高頻率發(fā)生增加，也就是說動(dòng)態(tài)范圍的測(cè)量結(jié)果和圖像中最高頻率峰值的出現(xiàn)密切相關(guān)。

2 清晰度測(cè)量算法設(shè)計(jì)

2.1 具體實(shí)現(xiàn)的算法設(shè)計(jì)框圖

上面所述的算法，以水平方向?yàn)槔?，其頻率測(cè)量和細(xì)節(jié)統(tǒng)計(jì)部分結(jié)構(gòu)框圖如圖2所示。對(duì)于垂直方向的實(shí)現(xiàn)和水平方向一致，但是基于硬件實(shí)現(xiàn)成本的考慮，僅僅存儲(chǔ)4行數(shù)據(jù)作為計(jì)算樣本。

圖2 具體實(shí)現(xiàn)的算法框圖(以水平方向?yàn)槔?

2.2 控制參數(shù)設(shè)置

2.2.1 測(cè)量窗口

頻率測(cè)量功能必須設(shè)定一個(gè)用于測(cè)量的矩形窗口，這樣做的目的是為了避免一些圖像的外框或者實(shí)際圖像以外的噪聲被混入進(jìn)圖像中一并進(jìn)行測(cè)量，而導(dǎo)致頻率測(cè)量的失誤。因此這個(gè)窗口的大小和位置是該功能的控制參數(shù)之一。

2.2.2 濾波模式選擇

該算法中包含了多種濾波模式可供選擇，如圖2中所示的變量meas_mode可以用來選擇使用一階、二階單獨(dú)或者組合濾波方式，或者使用如式(9)所示的一個(gè)獨(dú)立的一階濾波組合。具體可以參考1.2節(jié)所述。

如果該變量meas_mode等于0，按照?qǐng)D2所示，共有4中濾波模式可控選擇。對(duì)于水平和垂直方向，所有這些濾波模式都可以獨(dú)立進(jìn)行選擇。

以一個(gè)真實(shí)的高清視頻信號(hào)為例，一般僅使用一階普通濾波器和二階普通濾波器來實(shí)現(xiàn)，其輸出為一階濾波結(jié)果和受保護(hù)的二階的濾波結(jié)果的平均值(如圖3中“Av-O2ProtO1”所示)。則其中的控制參數(shù)設(shè)置為：order 1 width=0,order 2 width=0,filterselect=2。其輸出的平均濾波響應(yīng)曲線如圖3所示。

圖3 平均濾波響應(yīng)曲線(高清信號(hào))

以一個(gè)被經(jīng)過放大的偽高清視頻信號(hào)為例，一般僅使用一階寬濾波器和二階寬濾波器來實(shí)現(xiàn)，其輸出為一階濾波結(jié)果和受保護(hù)的二階的濾波結(jié)果的平均值(如圖4中“Av-O2ProtO1”所示)。則其中的控制參數(shù)設(shè)置為：order 1 width=1,order 2 width=1,filterselect=2。其輸出的平均濾波響應(yīng)曲線如圖4所示。

圖4 平均濾波響應(yīng)曲線(偽高清信號(hào))

3 實(shí)驗(yàn)驗(yàn)證

本方法通過對(duì)同一幅圖像經(jīng)過播放設(shè)備反復(fù)縮放之后，進(jìn)行了大量的仿真對(duì)比實(shí)驗(yàn)。不僅測(cè)量了信號(hào)發(fā)生器產(chǎn)生的圖像[2-3]的檢測(cè)效果，對(duì)實(shí)際電視播放的場(chǎng)景也進(jìn)行了大量的檢驗(yàn)。本文以一幅原始信號(hào)為480i的被放大為1 080i的偽高清視頻信號(hào)，和一幅原始分辨率為1 080i的高清信號(hào)為例進(jìn)行對(duì)比，原始測(cè)試圖片如圖5所示。

圖5 測(cè)試圖片

以水平方向的檢測(cè)為例，偽高清圖像和真實(shí)高清圖像的運(yùn)算結(jié)果對(duì)比如表1所示。同樣，對(duì)于垂直方向和色彩豐富的圖像而言，也達(dá)到了較為精準(zhǔn)的清晰度檢測(cè)結(jié)果。

表1 實(shí)驗(yàn)對(duì)比結(jié)果(以水平方向?yàn)槔?

輸入圖像信號(hào)格式原始圖像信號(hào)格式清晰度檢測(cè)結(jié)果最高頻率響應(yīng)最大局部動(dòng)態(tài)范圍細(xì)節(jié)統(tǒng)計(jì)數(shù)據(jù)低頻段/像素中頻段/像素高頻段/像素中高頻段占比/%測(cè)量結(jié)果1080i480i029fs1081035240054001偽高清1080i1080i046fs213932640156609234011真高清

4 結(jié)論

在上述的針對(duì)真實(shí)高清信號(hào)和經(jīng)過放大的高清視頻信號(hào)的例子中，使用平均的方法會(huì)比單純使用某一階原始的濾波器具有更好的線性特性。再次提示，這些寬濾波器(Order 1 and 2 filter wide)如圖4所示，其頻率響應(yīng)曲線都在1/4采樣頻率(1/4fs)后開始下降。但這并不意味這在實(shí)際應(yīng)用中，當(dāng)圖像中的清晰度頻率大于1/4采樣頻率(1/4fs)時(shí)，將會(huì)輸出一個(gè)較小的測(cè)量結(jié)果。因?yàn)閳D像中的高頻成分已經(jīng)被普通濾波器(Order 1 and 2 filter)測(cè)量，所以對(duì)于一幅普通的圖片來說寬濾波器所測(cè)量的范圍主要是從1/4采樣頻率(1/4fs)直到寬濾波器的右邊沿。

當(dāng)然對(duì)于普通濾波器和寬濾波器還有很多其它組合方式，就以本文中所述的濾波器來說，使用filterselect參數(shù)一共可以有至多12種組合方式。而且也可以使用軟件手段[4]交替或者任意組合濾波器也是可行的，這樣的話組合方式可以擴(kuò)展到無限多。

對(duì)于圖像局部動(dòng)態(tài)范圍的測(cè)量也是在水平和垂直方向上獨(dú)立去實(shí)現(xiàn)的，因此相應(yīng)的最終輸出的圖像局部動(dòng)態(tài)范圍的結(jié)果也被分為了水平和垂直兩個(gè)方向。

綜上所述，基于這種圖像清晰度測(cè)量的結(jié)果，可以將真實(shí)高清視頻信號(hào)和傳輸過程中縮放產(chǎn)生的偽高清視頻信號(hào)區(qū)分開來，并從測(cè)量結(jié)果中得到了圖像內(nèi)容中的頻率分布的范圍和局部動(dòng)態(tài)范圍，以此為清晰度控制和對(duì)比度增強(qiáng)等畫質(zhì)提升手段提供依據(jù)。測(cè)量結(jié)果中的細(xì)節(jié)信息，一方面可以作為判斷高清視頻信號(hào)真?zhèn)涡缘囊罁?jù)，最重要的是可以為其他圖像畫質(zhì)動(dòng)態(tài)控制手段[5]提供指標(biāo)依據(jù)。該方法的設(shè)計(jì)應(yīng)用填補(bǔ)了數(shù)字電視圖像后處理中對(duì)于原始信號(hào)檢測(cè)的一個(gè)空白，使得數(shù)字電視圖像增強(qiáng)功能模塊可以更加有的放矢的發(fā)揮作用。

[1] 宮峰勛. 彩色電視接收機(jī)圖像清晰度分析[J].電視技術(shù), 2001,25(11):69-70.

[2] 李春濤, 唐強(qiáng), 王立,等.像素比例校正及其在生成清晰度測(cè)試圖中的應(yīng)用 [J].電視技術(shù), 2003，27(12):91-93.

[3] 李桂苓, 李秀敏, 趙希. 數(shù)字電視圖像清晰度[J].電視技術(shù), 2005,29(12):80-83.

[4] 方宏俊. 一種動(dòng)態(tài)調(diào)整圖像畫質(zhì)的方法：中國(guó)，ZL200710 0732809[P]. 2007-02-08.

[5] 方宏俊. 一種基于人的視覺特性提升顯示圖像的畫質(zhì)水平的方法：中國(guó)，ZL2007100737319[P]. 2007-03-28.

責(zé)任編輯：時(shí) 雯

收稿日期：2015-01-12

Algorithm and Implementation of Sharpness Meter in Digital Video Processing of TV System

FANG Hongjun1,2，SHI Haipeng1,3，SONG Li1

(1.InstituteofImageCommunicationandNetworkEngineering,ShanghaiJiaoTongUniversity，Shanghai200233，China； 2.SigmaDesignsTechnology(Shanghai)Co.,Ltd.，Shanghai200000，China；3.ShanghaiHighDefinitionTechnologyIndustrialCo.,Ltd.，Shanghai200000，China)

A new method of picture quality enhancement in digital TV which is named Sharpness Meter is introduced. For correct handling of sharpness and contrast improvement functions according to the video content, it is essential to analyze the video content properly upfront. The image’s frequency information, detail information and local dynamic range info are used for detect the input picture is a true HD signal or an up-sampled HD signal. After briefly introducing the basic principal and algorithm of this method, the hardware implementation and simulation result also be proposed.

DTV; sharpness; contrast; picture quality enhancement

2015-01-28

國(guó)家自然科學(xué)基金項(xiàng)目(61221001)

TN949.17

A

10.16280/j.videoe.2015.17.003

【本文獻(xiàn)信息】方宏俊，施海鵬，宋利.用于電視系統(tǒng)中的圖像清晰度測(cè)量算法及實(shí)現(xiàn)[J].電視技術(shù),2015，39(17).