趙 威

（國家廣電總局二九一臺，甘肅 蘭州 730000）

1 最佳鄰域配準圖像修復(fù)方法

電視視頻是由圖像的連續(xù)播放形成的，當圖像連續(xù)播放的速度達到25 f/s 時，觀眾就會有流暢并且速度合適的視頻感官效果。目前，視頻圖像的修復(fù)方法可以歸為兩大類，一是楨間圖像修復(fù)，二是楨內(nèi)圖像修復(fù)[1]。楨間圖像修復(fù)要充分考慮待修復(fù)楨前的多楨圖像的數(shù)據(jù)信息，用它們在缺失區(qū)域的可查詢信息對待修復(fù)楨的對應(yīng)區(qū)域進行修復(fù)。楨內(nèi)圖像修復(fù)只考慮當前楨圖像內(nèi)的數(shù)據(jù)信息，借助待修復(fù)區(qū)域周圍鄰域的信息情況來完成修復(fù)工作。考慮馬賽克現(xiàn)象本身就是因數(shù)據(jù)量過大、電視信號通信而出現(xiàn)的問題，因此該文不采用楨間修復(fù)，而采用楨內(nèi)修復(fù)方法。

1.1 最佳鄰域配準思想

從實質(zhì)上來看，楨內(nèi)修復(fù)方法是一種典型的空間域上的差錯掩蓋技術(shù)，它是借助待修復(fù)區(qū)域周圍的其他像素信息對缺失或破損部分進行掩蓋處理的一種手段，以達到主觀對圖像質(zhì)量的要求。

差錯掩蓋技術(shù)一般都基于3 種假設(shè)：1） 在結(jié)構(gòu)、紋理以及顏色等信息上對待修復(fù)的圖像區(qū)域有一定了解。2） 將整幅圖像看作一個可以分塊的數(shù)據(jù)集合。3） 對待修復(fù)區(qū)域僅有靜態(tài)修復(fù)的要求。

從已有的這類方法來看，差錯掩蓋技術(shù)對待修復(fù)問題都有一定的限制要求，例如對待修復(fù)區(qū)域的光學(xué)特性、頻域特性以及空間特性有一定先驗了解。此外，差錯掩蓋技術(shù)在修復(fù)過程中只考慮近距離鄰域，遠距離的鄰域象素信息部作為修復(fù)過程的參考依據(jù)[2]。

為了解決上述問題，該文構(gòu)建了一種最佳鄰域配準算法，與其他差錯掩蓋技術(shù)相比，該算法具有以下2 個優(yōu)勢：1） 不需要對待修復(fù)區(qū)域的光學(xué)特性、頻域特性以及空間特性有任何先驗知識，因此適用范圍更大。2） 圖像修復(fù)過程不僅考慮近距離鄰域，而且也充分考慮遠距離鄰域的像素信息，通過挖掘圖像結(jié)構(gòu)上、光學(xué)上的變化規(guī)律，配合鄰域象素完成破損區(qū)域的圖像修復(fù)工作，最大限度地保證修復(fù)效果的視覺質(zhì)量。

當然，最佳鄰域配準算法難免會提高修復(fù)算法的復(fù)雜度、增加修復(fù)時間，但是對日益發(fā)展的圖像處理硬件水平來說，這些劣勢會被限制在一個可以接受的范圍內(nèi)。

1.2 最佳鄰域配準算法

假設(shè)1 幅圖像可以劃分為多個分塊，總塊數(shù)可以用M×M表示。同時，定義左上方角點的坐標為（i，j），那么各個分塊之間的亮度變換符合的關(guān)系如公式（1）所示。

式中：w為一維的光學(xué)譜線轉(zhuǎn)換的數(shù)學(xué)函數(shù)。

w符合的性質(zhì)如公式（2）所示。

式中：R為實數(shù)集合；p為執(zhí)行配準的階次。

用yi，j表示圖像上（i，j）位置破損的像素信息，用yni，ewj表示圖像上（i，j）位置執(zhí)行配準修復(fù)的像素信息。為了便于最佳鄰域配準算法的展開，為每個像素都配置一個相應(yīng)的標記，記作gi，j。當一個像素為破損像素時，gi，j=1；當一個像素為完好像素時，gi，j=0。

對1 幅待修復(fù)圖像進行分塊，有的分塊中既存在破損像素又存在完好像素。在設(shè)計的最佳鄰域配準修復(fù)方法中，破損區(qū)域以外的完好區(qū)域都是破損區(qū)域的鄰域。為了行成配準過程，對破損區(qū)域進行擴展，形成帶有比例完好像素鄰域的搜索圖像塊，用這個塊在圖像的非破損區(qū)域進行搜索，通過匹配算法找到與搜索塊鄰域最相似的區(qū)域，以填充破損區(qū)域。搜索配準的核心公式如公式（3）所示。

式中：（k，l）為搜索圖像塊的左上角點像素的坐標；（i，j）為其他圖像塊的左上角點像素的坐標。

由此可知，參與配準操作的像素總數(shù)如公式（4）所示。

在執(zhí)行搜索的過程中，選擇SM值最小的圖像塊作為搜索圖像塊的最佳鄰域配準圖像塊，并用塊內(nèi)對應(yīng)位置上的像素信息代替搜索圖像塊上的破損像素。這部分的替代操作步驟如公式（5）所示。

至此，可以歸納出最佳鄰域配準修復(fù)方法需要按照以下步驟執(zhí)行：1） 構(gòu)建執(zhí)行配準操作的圖像塊。這個操作主要是針對待修復(fù)區(qū)域，以全部破損區(qū)域或破損區(qū)域的部分像素為基礎(chǔ)，擴展到包括其附近鄰域的一些完好像素，從而形成搜索圖像塊。2） 以搜索圖像塊為依據(jù)，按照搜索圖像塊的大小遍歷整復(fù)待修復(fù)圖像，形成搜索圖像塊和鄰域圖像塊之間的比對。3） 按照公式（3）~公式（5）的配準方法獲得搜索圖像塊和鄰域圖像塊之間的匹配結(jié)果并且SM為最佳鄰域配準塊。4） 用最佳鄰域配準塊中的像素完成對破損區(qū)域的修復(fù)工作，形成完整的圖像。

1.3 最佳鄰域配準修復(fù)的關(guān)鍵點

在該文設(shè)計的最佳鄰域配準修復(fù)方法中，配準修復(fù)的過程涉及3 個關(guān)鍵點：1） 如何設(shè)置搜索塊、鄰域塊的尺寸。2） 在多大的搜索空間上執(zhí)行配準搜索。3） 如何設(shè)置亮度變換函數(shù)。

如果圖像塊尺寸設(shè)置的較小，那么搜索過程中絕大部分鄰域塊所包括的像素都是完好像素；如果圖像塊尺寸設(shè)置的較大，那么搜索過程中有一部分鄰域塊所包括的像素會是破損像素。從這個角度來看，圖像塊的尺寸設(shè)置的較小為宜。但是，當圖像塊尺寸過小時，鄰域內(nèi)的像素信息就不夠豐富，有可能出現(xiàn)不可靠的配準[3]。

在該文的電視視頻馬賽克故障修復(fù)過程中，將搜索圖像塊和鄰域圖像塊都設(shè)置為9px× 9px，搜索圖像塊中包括的破損像素不超過圖像塊總像素數(shù)的50%。根據(jù)這種設(shè)置，搜索圖像塊中的破損像素應(yīng)該小于40 px。

對搜索范圍來說，鄰域像素信息和破損區(qū)域像素信息的關(guān)聯(lián)性會隨著距離的增加而逐步削弱，距離破損區(qū)域過遠的像素信息對破損區(qū)域的修復(fù)意義不大。因此，在該文設(shè)定搜索范圍的過程中，從破損區(qū)域邊界開始，一直搜索到距離邊界100 個像素為止的區(qū)域。如果破損區(qū)域邊界到達圖像邊界的像素不足100 個，就一直搜索到圖像實際邊界為止。

亮度變換函數(shù)是執(zhí)行最佳鄰域配準算法的核心，最佳配準判斷依據(jù)SM正是根據(jù)λ0、λ1、……、λp這些參數(shù)設(shè)定的。該文通過計算偏導(dǎo)數(shù)對亮度變換函數(shù)進行配置，如公式（6）所示。

最終，獲得上述關(guān)鍵參數(shù)的解，如公式（7）所示。

2 電視視頻圖像馬賽克修復(fù)試驗

2.1 試驗結(jié)果

為了驗證該文提出的基于最佳鄰域配準修復(fù)方法的有效性，接下來針對電視視頻中出現(xiàn)的馬賽克現(xiàn)象進行修復(fù)。

在試驗中，選擇網(wǎng)絡(luò)電視CNTV 中CCTV-5 的一場體育賽事直播畫面電視視頻圖像。因為網(wǎng)絡(luò)的質(zhì)量問題和網(wǎng)絡(luò)觀眾人數(shù)較多，所以該幅圖像中出現(xiàn)了馬賽克現(xiàn)象。具體的試驗結(jié)果如圖1~圖3 所示。

圖1 出現(xiàn)馬賽克的電視食品圖像

圖2 修復(fù)效果對比

圖3 馬賽克故障修復(fù)后的效果

如圖1 所，在運動員手肘和臺球桌案之間的區(qū)域出現(xiàn)了馬賽克現(xiàn)象并且馬賽克比較明顯，其原因可能是當時的網(wǎng)絡(luò)通信擁堵導(dǎo)致電視視頻信號傳輸?shù)膩G包所造成的。如圖2 所示，馬賽克區(qū)域和修復(fù)效果體現(xiàn)了該文設(shè)計的最佳鄰域配準算法的有效性，通過破損區(qū)域圖像塊和鄰域圖像塊的配準，不斷地、由外向內(nèi)地對破損區(qū)域進行修復(fù)，最終修復(fù)了馬賽克區(qū)域。如圖3 所示，原有的馬賽克區(qū)域被徹底修復(fù)，雖然仍然有一定的模糊現(xiàn)象，但是在視覺效果上達到了可以接受的程度。

上述效果充分證實了經(jīng)過該文的最佳鄰域配準算法的修復(fù)，比較理想地去除了電視視頻的馬賽克故障。

2.2 修復(fù)效果評價

綜上所述，電視視頻馬賽克故障經(jīng)過該文提出的最佳鄰域配準算法修復(fù)的視覺效果，給出了該算法性能的直觀視覺表達。下面，進一步從評價參數(shù)的角度評價該文設(shè)計的方法對電視視頻馬賽克故障的修復(fù)效果。

筆者選定峰值信噪比參數(shù)（Peak Signal to Noise Ratio，PSNR），峰值信噪比就是圖像信息的最大可能功率和圖像噪聲功率之間的比率。這是用于檢測圖像質(zhì)量的常用參數(shù)，其數(shù)學(xué)表達如公式（8）所示。

式中：PSNR為峰值信噪比；N為圖像的高度；M為圖像的寬寬；xi，j為圖像像素的橫坐標；yi，j為圖像像素的縱坐標。

為了形成與該文提出的最佳鄰域配準修復(fù)方法的直觀對比，選取經(jīng)典的BNM 修復(fù)方法作為比較方法，逐步增加破損區(qū)域的尺寸，考察2 種方法修復(fù)后圖像的峰值信噪比情況，如圖4 所示。

圖4 2 種修復(fù)方法的PSNR 評價曲線對比

由圖4 可知，隨著圖像中破損區(qū)域的不斷擴大，經(jīng)典的BNM 修復(fù)方法和該文提出的方法的PSNR都有所下降。但是從對比結(jié)果可以看出，經(jīng)典的BNM 修復(fù)方法下降的速度明顯要比該文提出的方法快。

當破損區(qū)域的像素為9 px 時，BNM 修復(fù)方法修復(fù)結(jié)果的PSNR 大約為49，該文提出的最佳鄰域配準修復(fù)方法大約為50，該文提出的最佳鄰域配準修復(fù)方法比BNM 方法高1個單位。

當破損區(qū)域的像素為81 px 時，BNM 修復(fù)方法修復(fù)結(jié)果的PSNR大約為32，該文提出的最佳鄰域配準修復(fù)方法的PSNR大約為36，該文提出的最佳鄰域配準修復(fù)方法比BNM方法高4 個單位。

上述評價結(jié)果再次證明了該文提出的最佳鄰域配準方法對電視視頻圖像馬賽克故障修復(fù)的有效性。

3 結(jié)語

由于電視視頻信號的傳輸質(zhì)量問題，因此經(jīng)常會導(dǎo)致電視視頻數(shù)據(jù)出現(xiàn)丟包或者誤碼的情況，從而導(dǎo)致電視視頻圖像出現(xiàn)馬賽克故障。針對該問題，該文提出了一種基于最佳鄰域配準的圖像修復(fù)方法。首先，根據(jù)馬賽克區(qū)域生成搜索圖像塊。其次，將搜索圖像塊在預(yù)先設(shè)定的搜索區(qū)域內(nèi)進行最佳鄰域塊的選擇配準。最后，用選擇的最佳鄰域塊像素修復(fù)馬賽克區(qū)域。與以往的修復(fù)方法相比，最佳鄰域配準修復(fù)方法不僅考慮了近距離鄰域像素，而且還考慮了遠距離鄰域像素，修復(fù)效果更好。針對CCTV5 頻道中的1 幅馬賽克故障電視視頻圖像進行修復(fù)試驗，試驗結(jié)果表明，最佳鄰域配準修復(fù)比較理想地修復(fù)了馬賽克區(qū)域，從視覺效果上達到了讓觀眾滿意的程度；與經(jīng)典修復(fù)方法BNM 方法的峰值信噪比曲線相比，再次證實了最佳鄰域配準修復(fù)方法的有效性。