李火生，李國(guó)平，滕國(guó)偉，趙海武，王國(guó)中，范 濤

(上海大學(xué)通信與信息工程學(xué)院，上海200072)

隨著集成電路技術(shù)、通信技術(shù)和顯示技術(shù)的迅猛發(fā)展，以及人們對(duì)視頻畫(huà)面質(zhì)量期望的提高，隔行顯示技術(shù)逐步退出歷史的舞臺(tái)，逐行顯示成為視頻播放的主流。為了更好地利用現(xiàn)存的大量隔行掃描視頻節(jié)目資源，需要將隔行掃描的視頻通過(guò)數(shù)字化處理，轉(zhuǎn)換為逐行掃描視頻，也就是視頻去隔行。

傳統(tǒng)的模擬電視標(biāo)準(zhǔn)主要是隔行掃描方式，而逐行掃描方式則成為現(xiàn)在的數(shù)字電視標(biāo)準(zhǔn)。由于這兩種標(biāo)準(zhǔn)有一個(gè)共存期，因此現(xiàn)在的數(shù)字電視必須有能將隔行視頻轉(zhuǎn)換為逐行視頻的功能，所以去隔行技術(shù)的研究有著重要的現(xiàn)實(shí)意義［1］。

隨著視頻編解碼技術(shù)的發(fā)展，圖像質(zhì)量顯得愈發(fā)重要，傳統(tǒng)的隔行顯示技術(shù)已經(jīng)不能滿足觀眾對(duì)視頻圖像質(zhì)量的要求。因此，去隔行技術(shù)應(yīng)運(yùn)而生，它可以消除或者極大地減少隔行視頻中的掃描行、行間閃爍、鋸齒，使視頻畫(huà)面更加賞心悅目。

1 現(xiàn)有的去隔行算法

隔行視頻經(jīng)過(guò)去隔行處理后輸出逐行視頻，其過(guò)程可表示為

式中：F(x－，n) 為輸入的隔行視頻中某一場(chǎng)的信號(hào);Fi(x－，n)為插值生產(chǎn)的像素;F0(x－，n)為輸出的逐行視頻信號(hào);x-為像素的位置;n為場(chǎng)的序號(hào)?？梢?jiàn)，只有在y mod 2=n mod 2的情況下才有輸入信號(hào)，也就是由偶數(shù)場(chǎng)中的偶數(shù)行插值獲得奇數(shù)行或由奇數(shù)場(chǎng)中的奇數(shù)行插值獲得偶數(shù)行。

通過(guò)分析可知，去隔行算法的本質(zhì)是利用隔行視頻中的一部分信息得到合適的Fi(x－，n)?，F(xiàn)有的算法主要分為時(shí)域去隔行算法、空域去隔行算法和混合去隔行算法3類。

邊沿自適應(yīng)平均法(Edge-based Line Average，ELA)是現(xiàn)在用得最多的空域去隔行算法，除此之外還有直接行重復(fù)法、行平均法。直接行重復(fù)法利用行復(fù)制，把一場(chǎng)“填充”為一幀;行平均法利用缺失行相鄰的兩行做簡(jiǎn)單的平均計(jì)算來(lái)得到缺失行，然后進(jìn)行“填充”;ELA是經(jīng)典的空域去隔行算法，它根據(jù)圖像中的紋理信息來(lái)選擇用來(lái)插值的點(diǎn)，是這3種方法中最好的［2］。垂直分辨力的下降是這3種空域插值算法無(wú)法克服的缺陷。

常見(jiàn)時(shí)域去隔行方法有場(chǎng)混合法和場(chǎng)間插值法，它涉及到相鄰兩場(chǎng)的運(yùn)算。場(chǎng)混合法利用兩個(gè)相鄰場(chǎng)合并成一幀;場(chǎng)插值法則由多個(gè)相鄰近的場(chǎng)經(jīng)過(guò)線性插值運(yùn)算得到一幀。時(shí)域法的缺點(diǎn)是：運(yùn)動(dòng)劇烈的圖像經(jīng)過(guò)去隔行后，行與行之間會(huì)有“對(duì)不齊”現(xiàn)象，形成錯(cuò)位失真。

混合法把空域和時(shí)域中的信息結(jié)合起來(lái)利用，具有更好的去隔行效果，它包括運(yùn)動(dòng)自適應(yīng)去隔行算法以及復(fù)雜度最高的運(yùn)動(dòng)補(bǔ)償去隔行算法。本文提出的新的運(yùn)動(dòng)自適應(yīng)算法為混合算法中的一種。

1.1 邊沿自適應(yīng)平均法(ELA)

ELA分為兩步，第一步為檢測(cè)邊緣，第二步為利用邊緣方向的像素進(jìn)行插值。如圖1所示，圖中有5條斜線，變量k表示這些斜線的方向，設(shè)c(k)為邊緣檢測(cè)函數(shù)，其實(shí)際意義為k方向上的相關(guān)度，其值越小，表示可能性越大。D表示檢測(cè)到的邊緣，其中R為檢測(cè)的范圍［3］。插值公司如式(4)所示，設(shè)f(i，j)為像素值。本文為了算法實(shí)現(xiàn)上的方便，取R=3。

圖1 圖像中的邊緣

ELA算法能很好地消除圖像邊緣的模糊，但當(dāng)圖像的邊緣為接近水平方向時(shí)，要檢查到這種邊緣，取值須為無(wú)窮大，這種方法就無(wú)能為力了。ELA算法最大的優(yōu)點(diǎn)是保證了輸出的一幀圖像中沒(méi)有運(yùn)動(dòng)估計(jì)導(dǎo)致的不自然信號(hào)，同時(shí)運(yùn)算簡(jiǎn)單，硬件實(shí)現(xiàn)容易。

1.2 場(chǎng)間插值法

如圖2所示，為待插值的場(chǎng)，利用相鄰兩場(chǎng)的信息對(duì)中缺失的奇數(shù)或偶數(shù)行進(jìn)行插值，得到缺失像素。

圖2 利用一場(chǎng)信息獲得另一場(chǎng)信息

插值算法為

場(chǎng)間插值法能很好地減少圖像畫(huà)面的閃爍，提高圖像的垂直分辨力，計(jì)算復(fù)雜度低［2］。如果視頻中沒(méi)有運(yùn)動(dòng)場(chǎng)景，這種算法就是最優(yōu)算法，但對(duì)于運(yùn)動(dòng)劇烈的視頻則會(huì)產(chǎn)生較嚴(yán)重的運(yùn)動(dòng)模糊。

1.3 運(yùn)動(dòng)自適應(yīng)去隔行算法

將圖像中的像素點(diǎn)劃分為運(yùn)動(dòng)像素和靜止像素是運(yùn)動(dòng)自適應(yīng)去隔行算法的一個(gè)基本步驟，對(duì)運(yùn)動(dòng)像素采用時(shí)域去隔行，對(duì)靜止像素采用空域去隔行。運(yùn)動(dòng)自適應(yīng)去隔行算法根據(jù)不同的運(yùn)動(dòng)信息采用不同的去隔行算法，在時(shí)域分辨力和空域分辨力上能達(dá)到很好的平衡。運(yùn)動(dòng)補(bǔ)償去隔行算法復(fù)雜度高，并且對(duì)誤差非常敏感，實(shí)際的應(yīng)用不多。

由于視頻去隔行的實(shí)際需求，很多芯片廠商提供了自己的視頻去隔行函數(shù)，例如Intel公司推出的IPP庫(kù)。Intel IPP庫(kù)包含各種多媒體處理函數(shù)，包含視頻去隔行函數(shù)。這個(gè)函數(shù)所采用的視頻去隔行算法為DMA(De-Interlace Motion Adaptive)［4］，這個(gè)算法綜合利用時(shí)域和空域中的冗余信息，根據(jù)運(yùn)動(dòng)狀況和邊緣紋理進(jìn)行濾波，它屬于混合算法，其效果見(jiàn)第5節(jié)。

1.4 基于多幀的自適應(yīng)去隔行算法

這里提出一種基于多幀的運(yùn)動(dòng)自適應(yīng)去隔行算法，該算法充分利用了多場(chǎng)間的時(shí)間冗余信息，準(zhǔn)確地進(jìn)行運(yùn)動(dòng)檢測(cè)，同時(shí)在運(yùn)動(dòng)檢測(cè)過(guò)程中設(shè)定門(mén)限，提高運(yùn)動(dòng)檢測(cè)的效率。除此之外，充分利用場(chǎng)內(nèi)的空間冗余信息，進(jìn)行基于邊界的加權(quán)平均算法插值。實(shí)驗(yàn)結(jié)果表明，該算法獲得了較好的顯示效果。

新算法利用被檢測(cè)點(diǎn)所在場(chǎng)的臨近場(chǎng)來(lái)判斷該點(diǎn)是否運(yùn)動(dòng)，也就是利用時(shí)域信息進(jìn)行運(yùn)動(dòng)檢測(cè)，算法的流程圖如圖3所示。該算法根據(jù)被檢測(cè)點(diǎn)的運(yùn)動(dòng)情況來(lái)選擇線性插值算法或是場(chǎng)合并算法。

圖3 基于多幀的自適應(yīng)去隔行算法的流程圖

2 運(yùn)動(dòng)檢測(cè)

如圖4所示，設(shè)當(dāng)前幀為Current，其前向參考幀按時(shí)間順序分別為prev3，prev2，prev1，其中prev1是臨近幀。設(shè)l為幀的寬度，當(dāng)前像素為Current(x，t)，則Current(x，y+l)為同一幀中另一場(chǎng)的臨近像素，Current(x，y+2l)為同一場(chǎng)中的相鄰像素。設(shè)運(yùn)動(dòng)檢測(cè)閾值為T(mén)(本文中，根據(jù)經(jīng)驗(yàn)取T=30)，則運(yùn)動(dòng)檢測(cè)的流程如圖5所示。

圖4 臨近幀

圖5 運(yùn)動(dòng)檢測(cè)的流程圖

Step1：把當(dāng)前幀 Current中，Current(x，y-1)，Current(x，y)，Current(x，y+1)3 個(gè)點(diǎn)分別與 prev1 中相應(yīng)位置的亮度值做差，并取絕對(duì)值。絕對(duì)值求和與比較，如果大于，則判斷為運(yùn)動(dòng)場(chǎng)景，終止檢測(cè)。否則跳轉(zhuǎn)到Step2。

Step2：把當(dāng)前幀 Current中 Current(x，y-1)，Current(x，y)，Current(x，y+1)3 個(gè)點(diǎn)分別與 prev2 中相應(yīng)位置的亮度值做差，并取絕對(duì)值。絕對(duì)值求和與比較，如果大于，則判斷為運(yùn)動(dòng)場(chǎng)景，終止檢測(cè)。否則跳轉(zhuǎn)到Step3。

Step3：把當(dāng)前幀 Current中 Current(x，y-1)，Current(x，y)，Current(x，y+1)3 個(gè)點(diǎn)分別與 prev3 中相應(yīng)位置的亮度值做差，并取絕對(duì)值。絕對(duì)值求和與比較，如果大于，則判斷為運(yùn)動(dòng)場(chǎng)景，終止檢測(cè)。否則跳轉(zhuǎn)到Step4。

Step4：把當(dāng)前幀 Current中 Current(x+l，y-1)，Current(x+l，y)，Current(x+l，y+1)3 個(gè)點(diǎn)分別與 prev1 中相應(yīng)位置的亮度值做差，并取絕對(duì)值。絕對(duì)值求和與比較，如果大于，則判斷為運(yùn)動(dòng)場(chǎng)景，終止檢測(cè)。否則跳轉(zhuǎn)到Step5。

Step5：把當(dāng)前幀 Current中 Current(x+l，y-1)，Current(x+l，y)，Current(x+l，y+1)3 個(gè)點(diǎn)分別與prev2 中相應(yīng)位置的亮度值做差，并取絕對(duì)值。絕對(duì)值求和與比較，如果大于，則判斷為運(yùn)動(dòng)場(chǎng)景，終止檢測(cè)。否則跳轉(zhuǎn)到Step6。

Step6：把當(dāng)前幀 Current中 Current(x+l，y-1)，Current(x+l，y)，Current(x+l，y+1)3 個(gè)點(diǎn)分別與prev3 中相應(yīng)位置的亮度值做差，并取絕對(duì)值。絕對(duì)值求和與比較，如果大于，則判斷為運(yùn)動(dòng)場(chǎng)景，終止檢測(cè)。否則跳轉(zhuǎn)到Step7。

Step7：把當(dāng)前幀 Current中 Current(x+2l，y-1)，Current(x+2l，y)，Current(x+2l，y+1)3 個(gè)點(diǎn)分別與 prev1 中相應(yīng)位置的亮度值做差，并取絕對(duì)值。絕對(duì)值求和與比較，如果大于，則判斷為運(yùn)動(dòng)場(chǎng)景，終止檢測(cè)。否則跳轉(zhuǎn)到Step8。

Step8：把當(dāng)前幀 Current中 Current(x+2l，y-1)，Current(x+2l，y)，Current(x+2l，y+1)3 個(gè)點(diǎn)分別與 prev2 中相應(yīng)位置的亮度值做差，并取絕對(duì)值。絕對(duì)值求和與比較，如果大于，則判斷為運(yùn)動(dòng)場(chǎng)景，終止檢測(cè)。否則跳轉(zhuǎn)到Step9。

Step9：把當(dāng)前幀 Current中 Current(x+2l，y-1)，Current(x+2l，y)，Current(x+2l，y+1)3 個(gè)點(diǎn)分別與 prev3 中相應(yīng)位置的亮度值做差，并取絕對(duì)值。絕對(duì)值求和與比較，如果大于，則判斷為運(yùn)動(dòng)場(chǎng)景，終止檢測(cè)。否則為靜止場(chǎng)景。

3 邊緣檢測(cè)

物體的邊緣在一定程度上決定著圖像的畫(huà)面質(zhì)量，是圖像中重要的信息;由于隔行采集圖像視頻，運(yùn)動(dòng)物體的邊緣容易出現(xiàn)的鋸齒化現(xiàn)象;無(wú)論何種視頻去隔行技術(shù)都必須盡可能地去掉物體邊緣的鋸齒。為了去掉隔行視頻中邊緣的鋸齒，首先有必要檢測(cè)到邊緣。

在同一場(chǎng)內(nèi)，計(jì)算不同方向像素點(diǎn)的相關(guān)性來(lái)確定邊緣方向，相關(guān)性越大，邊緣的可能性就越大［5-6］。如圖6所示，i-1，i+1為一場(chǎng)中相鄰的兩行，圖中有斜線，表示邊緣方向，設(shè)diff(d)為邊緣檢測(cè)函數(shù)，其實(shí)際意義為d方向上的相關(guān)度，其值越小，則該方向邊緣的可能性越大。D表示檢測(cè)到的邊緣，表示使diff(d)最小情況下的d的方向。

圖6 邊緣檢測(cè)

其相關(guān)函數(shù)為

如圖6所示，該算法只能檢測(cè)到有限的運(yùn)動(dòng)方向，無(wú)法檢測(cè)到水平方向的運(yùn)動(dòng);并且沒(méi)有考慮到噪聲對(duì)檢測(cè)結(jié)果的影響。這些是該算法要改進(jìn)的地方。

4 線性插值

如果檢測(cè)到運(yùn)動(dòng)，則根據(jù)邊緣的不同選用不同的像素點(diǎn)進(jìn)行線性插值。如圖7～9所示：i為當(dāng)前行，i-2～i+3為一場(chǎng)中的相鄰行，當(dāng)檢測(cè)到的邊緣為右上45°時(shí)，則選取的點(diǎn)如圖7所示;當(dāng)檢測(cè)到的邊緣為左下45°時(shí)，則選取的點(diǎn)如圖8所示;否則選取如圖9所示的點(diǎn)。

插值公式［7］為

式中：P 為由插值獲得的像素值，A，B，C，D，E，F(xiàn) 分別為同一場(chǎng)中沿邊緣方向的6個(gè)點(diǎn)，根據(jù)與目標(biāo)像素的遠(yuǎn)近分配給不同的權(quán)值，與式(5)相比，采用多個(gè)相關(guān)點(diǎn)進(jìn)行插值能充分利用空間上的相關(guān)性，使畫(huà)面更加平滑，并且后續(xù)的視頻編碼能獲得更好的壓縮效率。如果沒(méi)有檢測(cè)到運(yùn)動(dòng)，則用行場(chǎng)合并。

5 實(shí)驗(yàn)結(jié)果

圖10a為ELA算法的去隔行效果，圖中屬于靜止場(chǎng)景的字幕出現(xiàn)了模糊;圖10b為場(chǎng)間插值法的實(shí)現(xiàn)效果，圖中屬于運(yùn)動(dòng)場(chǎng)景的賽車(chē)出現(xiàn)了嚴(yán)重的運(yùn)動(dòng)模糊;圖10c為DMA算法效果，其畫(huà)面和前兩圖相比，靜止場(chǎng)景的字幕和運(yùn)動(dòng)場(chǎng)景的賽車(chē)都沒(méi)有出現(xiàn)明顯的模糊，整體清晰度改善不少，但畫(huà)面不夠平滑，有較為明顯的顆粒。這里提出的基于多幀的運(yùn)動(dòng)自適應(yīng)去隔行算法其效果見(jiàn)圖10d，與圖10c相比，畫(huà)面平滑，運(yùn)動(dòng)場(chǎng)景和靜止場(chǎng)景沒(méi)有出現(xiàn)模糊，清晰度得到很大的改善。

圖10e為原始隔行視頻現(xiàn)實(shí)的情況，可以看出畫(huà)面模糊不清。圖10f為DMA算法處理后的效果，效果和原始視頻相比有很大改善，但圖10f中有些地方出現(xiàn)了虛影。圖10h是另一種運(yùn)動(dòng)自適應(yīng)方法［7］，其處理后的畫(huà)面出現(xiàn)了明顯的運(yùn)動(dòng)模糊。圖10g是本文提出的算法，其效果和圖10f以及10h相比，運(yùn)動(dòng)和靜止場(chǎng)景均比較清晰，畫(huà)面流暢，在整體顯示效果上有很大的改善。

圖10 幾種視頻去隔行算法實(shí)驗(yàn)結(jié)果的比較

本文提出的新算法在邊緣檢測(cè)上和其他相關(guān)算法相比，復(fù)雜度相差無(wú)幾。在運(yùn)動(dòng)檢測(cè)時(shí)，新算法采用閾值法，提前終止檢測(cè)，降低了復(fù)雜度。新算法中的插值算法通過(guò)位移的方式替代除法，降低算法復(fù)雜度。所以新算法的復(fù)雜度與其他算法相比，在整體上沒(méi)有明顯提高，并且實(shí)現(xiàn)簡(jiǎn)單。

6 小結(jié)

在總結(jié)幾種經(jīng)典去隔行算法的基礎(chǔ)上，對(duì)自適應(yīng)去隔行算法中最為關(guān)鍵的部分——運(yùn)動(dòng)檢測(cè)算法和空域場(chǎng)內(nèi)插值算法作了新的改進(jìn)，提出了較為可靠的運(yùn)動(dòng)檢測(cè)方法，這種算法充分利用了被檢測(cè)點(diǎn)附近點(diǎn)的相關(guān)性，在一定程度上能排除噪聲的干擾，提高運(yùn)動(dòng)檢測(cè)的準(zhǔn)確性。新算法中的插值算法和傳統(tǒng)插值算法相比較，它更能充分利用邊緣的特性，改善去隔行效果。此外，運(yùn)算量小、編程實(shí)現(xiàn)簡(jiǎn)單等特點(diǎn)使得新算法具有較強(qiáng)的實(shí)時(shí)性，具有一定實(shí)用價(jià)值，便于在單片機(jī)、DSP、FPGA等硬件上實(shí)現(xiàn)。

［1］俞志峰，張樂(lè)，江浩，等.一種提升電視圖像質(zhì)量的自適應(yīng)去隔行算法［J］. 電視技術(shù)，2010，34(S1)：73-75.

［2］張應(yīng)均，劉一清，余奔.一種改進(jìn)的運(yùn)動(dòng)自適應(yīng)去隔行算法［J］.電視技術(shù)，2010，34(S1)：69-72.

［3］蔡學(xué)森，戴金波.內(nèi)容自適應(yīng)與DOI的場(chǎng)內(nèi)去隔行研究［J］.計(jì)算機(jī)工程與應(yīng)用，2009，45(27)：151-153.

［4］Intel.Intel integrated performance primitives for Intel architecture reference manual，volume 2：image and video processing［EB/OL］.［2012-01-04］.http：//software.intel.com/sites/products/documentation/hpc/ipp/ipp_manual/ippi.pdf.

［5］鄭淑紅，楊任爾，勵(lì)金祥，等.一種新的運(yùn)動(dòng)自適應(yīng)去隔行算法［J］.寧波大學(xué)學(xué)報(bào)：理工版，2011，23(3)：44-47.

［6］JUNG S，KIM H，HA L，et al.A novel de-interlacing algorithmbased on adaptive polynomial interpolation ［J］.World Academy of Science，Engineering and Technology，2009，49：301-303.

［7］畢厚杰.新一代視頻壓縮編碼標(biāo)準(zhǔn)——H.264/AVC［M］.北京：人民郵電出版社，2005.