岳雷飛, 蔣建國,2, 齊美彬,2, 楊立賓

(1.合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院,安徽 合肥 230009;2.合肥工業(yè)大學(xué) 安全關(guān)鍵工業(yè)測控技術(shù)教育部工程研究中心,安徽合肥230009)

高質(zhì)量的去隔行是實(shí)現(xiàn)隔行到逐行掃描格式轉(zhuǎn)換的關(guān)鍵技術(shù),其目的是消除隔行掃描中的行間閃爍、行蠕動(dòng)、并行和鋸齒化等固有缺陷[1-3]。去隔行濾波大致可以分為線性濾波、運(yùn)動(dòng)自適應(yīng)和運(yùn)動(dòng)補(bǔ)償3類。線性濾波主要包括行復(fù)制、行平均及場復(fù)制等,優(yōu)點(diǎn)是結(jié)構(gòu)簡單,計(jì)算量小;缺點(diǎn)是行復(fù)制、行平均并不能增加圖像的垂直分辨率,場復(fù)制雖然可以增加圖像垂直分辨率,但在處理運(yùn)動(dòng)圖形時(shí)會(huì)帶來運(yùn)動(dòng)鋸齒、羽化等缺陷。運(yùn)動(dòng)自適應(yīng)插值算法是根據(jù)運(yùn)動(dòng)信息將圖像劃分為運(yùn)動(dòng)區(qū)域和靜止區(qū)域,對于靜止區(qū)域,采用場間線性濾波算法,對于運(yùn)動(dòng)區(qū)域,則采用場內(nèi)非線性濾波算法。這類方法的優(yōu)點(diǎn)是在靜止區(qū)域能夠增加垂直分辨率,并能消除運(yùn)動(dòng)區(qū)域的羽化現(xiàn)象;缺點(diǎn)是無法提升運(yùn)動(dòng)區(qū)域的垂直分辨率,而且對于運(yùn)動(dòng)估計(jì)的失誤會(huì)帶來差值錯(cuò)誤等。運(yùn)動(dòng)補(bǔ)償法最大限度地利用了視頻信號時(shí)間和空間上的相關(guān)信息,是3類算法中性能最好的一類。它先進(jìn)行精確的運(yùn)動(dòng)估計(jì),然后沿著運(yùn)動(dòng)軌跡進(jìn)行插值。但這類算法對于運(yùn)動(dòng)估計(jì)誤差極其敏感,錯(cuò)誤的運(yùn)動(dòng)估計(jì)會(huì)造成局部失真,而且運(yùn)算復(fù)雜度很高,電路資源的消耗很大[4,5]。

本文針對嵌入式系統(tǒng)對實(shí)時(shí)性的要求,提出一種新型的基于運(yùn)動(dòng)自適應(yīng)的去隔行算法,主要包括改進(jìn)的4場運(yùn)動(dòng)檢測、RELA插值算法2部分內(nèi)容。

1 相關(guān)工作

運(yùn)動(dòng)自適應(yīng)的方法分為2個(gè)關(guān)鍵部分：運(yùn)動(dòng)檢測和場內(nèi)插值。運(yùn)動(dòng)檢測常見的有2場檢測、3場檢測、4場檢測。場內(nèi)插值常見的有ELA、3點(diǎn)中值濾波等。

1.1 基于場的運(yùn)動(dòng)檢測

視頻信號場結(jié)構(gòu)示意圖,如圖1所示。

圖1 視頻信號場結(jié)構(gòu)示意圖

為了敘述方便,本文引入2個(gè)名詞和1個(gè)函數(shù)[5]：漏判,指運(yùn)動(dòng)區(qū)域被判為靜止;誤判,指靜止區(qū)域被判為運(yùn)動(dòng);單位階躍函數(shù)為：

(1)2場檢測是利用當(dāng)前場待插值的點(diǎn)與前一場的對應(yīng)點(diǎn)之間的像素差值作為判斷的依據(jù),如果差值大于某個(gè)固定的閾值Th,此點(diǎn)則判為運(yùn)動(dòng),否則判為靜止[6]。2場檢測的優(yōu)點(diǎn)是計(jì)算量非常小,只需要一場的緩存;缺點(diǎn)是檢測的結(jié)果非常容易受噪聲的影響,經(jīng)常出現(xiàn)漏檢和誤檢,導(dǎo)致去隔行后的圖像出現(xiàn)嚴(yán)重的瑕疵。

2場檢測的計(jì)算公式為：

其中,F(i,j;n-1)表示前一場對應(yīng)位置的點(diǎn),n表示場的序號;F′(i,j;n)表示當(dāng)前不存在的點(diǎn),為了方便運(yùn)動(dòng)檢測,用其上下兩像素的平均值代替;mf表示運(yùn)動(dòng)標(biāo)志;Th是閾值。

(2)3場檢測是利用當(dāng)前場的前一場和后一場對應(yīng)點(diǎn)的像素差值d作為判斷依據(jù),如果d大于某個(gè)設(shè)定的閾值Th,此點(diǎn)則判為運(yùn)動(dòng),否則判為靜止[6]。3場檢測計(jì)算量很小,區(qū)別是它需要2場緩存,檢測結(jié)果比2場檢測稍好,但是仍然存在漏檢和誤檢,導(dǎo)致圖像仍然存在瑕疵。

3場檢測的計(jì)算公式為：

(3)4場檢測是利用奇偶性相同的場之間的差值作為判斷依據(jù)[6],它可以看成是3場檢測的改進(jìn),將2組同極性場的檢測結(jié)果進(jìn)行疊加,使得到的檢測結(jié)果更加準(zhǔn)確,減少了漏檢和誤檢的概率,去隔行后的圖像質(zhì)量也因此得到一定的改善。4場檢測的缺點(diǎn)是復(fù)雜度和2場、3場相比稍有增加,并且需要3場緩存。鑒于圖像質(zhì)量的改善,這種時(shí)間和空間的額外開銷還是值得的。

4場檢測的計(jì)算公式為：

1.2 改進(jìn)后的4場運(yùn)動(dòng)檢測

定義差異矩陣為：

當(dāng)前點(diǎn)的坐標(biāo)為(i,j),i表示列標(biāo),j表示行標(biāo)。像素的灰度值用F(i,j;n)表示,Nth表示數(shù)目閾值,一般取5。

本文提出的運(yùn)動(dòng)檢測方法降低了噪聲的干擾,降低了漏判發(fā)生的概率,雖然誤判的概率有所增加,但是漏判對圖像質(zhì)量的影響比誤判更為嚴(yán)重,這是結(jié)合插值的方法來考慮的。對靜止區(qū)域,采用場間插值;對運(yùn)動(dòng)區(qū)域,采用場內(nèi)插值。誤判發(fā)生時(shí),原本該采用場間插值的地方采用了場內(nèi)插值,只是降低了圖像的清晰度,不會(huì)造成明顯的瑕疵;漏判發(fā)生時(shí),原本該采用場內(nèi)插值的地方采用了場間插值,這樣會(huì)造成明顯的瑕疵,因此本文提出的方法是可行的。

2 場內(nèi)插值

去隔行中常用的插值方法是ELA(Edge-Based Line Average,簡稱 ELA)[7-10],ELA的做法是求出像素插值最小的方向,取此方向2像素的平均值作為插值結(jié)果,如圖2所示。

圖2 邊沿線平均法示意圖

ELA的優(yōu)點(diǎn)是有效保護(hù)了邊緣,增加了圖像的清晰度,但是ELA本身存在一些缺陷,因?yàn)椴钪底钚〉姆较蚋渌袼夭灰欢ㄌ幱谕粎^(qū)域,此時(shí)插值后圖像會(huì)出現(xiàn)蟲洞;另外,如果待插像素的上一行和下一行分別對應(yīng)邊緣過渡區(qū)的上沿和下沿,此時(shí)插值后的圖像中的物體邊緣會(huì)出現(xiàn)虛像。針對以上缺陷,根據(jù)最相鄰點(diǎn)相關(guān)性最大這一原則[7],采用一種分級(Rank)邊緣自適應(yīng)算法,簡寫為 RELA,算法步驟如下：

(1)求出5個(gè)方向像素插值的最小值,記為Dmin。

(2)如果Dmin＞Th,轉(zhuǎn)到步驟(3),否則,轉(zhuǎn)到步驟(4)。

(3)取(c+h)/2作為插值。

(4)由近及遠(yuǎn),找到第1個(gè)插值小于閾值的方向,取此方向兩者的平均值作為插值結(jié)果。

RELA算法的流程如圖3所示,圖3中各個(gè)參數(shù)的含義見表1所列。

圖3 RELA算法流程圖

表1 圖3中各個(gè)符號的含義

3 實(shí)驗(yàn)結(jié)果

場檢測法的效果對比,如圖4所示。

圖4 場檢測法效果對比

由圖4可以看出,2場檢測出現(xiàn)較多誤檢,圖片左邊應(yīng)該是靜止的地方被判為運(yùn)動(dòng),而且人的面部出現(xiàn)漏檢,易受噪聲的干擾;3場檢測采用相同奇偶性兩場的差值做判斷,誤檢減少,漏檢仍然存在,如圖4b中人臉的面部;4場檢測得到的運(yùn)動(dòng)區(qū)域比真實(shí)區(qū)域稍大,插值的結(jié)果是運(yùn)動(dòng)目標(biāo)周圍的靜止像素細(xì)節(jié)丟失,同時(shí)這種區(qū)域的擴(kuò)展也引入了誤檢,容易受噪聲的影響。

相比之下,本文采用的檢測方法誤檢較少,人的面部漏檢相對較少,檢測結(jié)果比較接近真實(shí)的運(yùn)動(dòng)區(qū)域。

ELA和 RELA的插值效果對比,如圖5所示。由圖5a可以看出,ELA算法在亮度緩變區(qū)域、邊緣不是很清晰的地方產(chǎn)生了“蟲洞點(diǎn)”,影響了去隔行后圖像的質(zhì)量。由圖5b可見,改進(jìn)后的RELA算法則很好地克服了這個(gè)缺點(diǎn),但是也要看到,分級造成的邊緣階梯現(xiàn)象加大,這是本文算法以后有待改進(jìn)的地方。

圖5 插值效果對比

針對4種不同的序列分別采用4種不同的去隔行方法的效果對比,如圖6所示。其中,Stefan(運(yùn)動(dòng)比較復(fù)雜,前景和背景都在運(yùn)動(dòng),細(xì)節(jié)也較多,運(yùn)動(dòng)檢測的方法失效)與Flower和Mobile 4種方法差不多,這是因?yàn)镕lower序列紋理復(fù)雜,RELA插值的結(jié)果準(zhǔn)確性降低,運(yùn)動(dòng)區(qū)域少,運(yùn)動(dòng)檢測保留細(xì)節(jié)的功能未發(fā)揮出來。而Mobile則是運(yùn)動(dòng)和紋理都比較復(fù)雜,運(yùn)動(dòng)檢測保留細(xì)節(jié)的效果顯露出來。

本文方法對類似News的序列(運(yùn)動(dòng)簡單,紋理不太復(fù)雜)符合大部分的應(yīng)用情況。對于運(yùn)動(dòng)和紋理都比較復(fù)雜的序列,最好的方式是采用運(yùn)動(dòng)補(bǔ)償?shù)姆椒ā?/p>

圖6 測試序列PSN R對比

4 結(jié)束語

去隔行并沒有一個(gè)固定的好方法,應(yīng)用的場合不同,要求也不同,相應(yīng)的去隔行的算法也不同。從實(shí)驗(yàn)結(jié)果可以看出,本文提出的算法總體上取得了較好的效果,而且和傳統(tǒng)的運(yùn)動(dòng)自適應(yīng)的算法相比并沒有顯著增加運(yùn)算復(fù)雜度,非常適合應(yīng)用在對實(shí)時(shí)性要求較高的場合。

本文提出的算法基于運(yùn)動(dòng)自適應(yīng)的思想,包含2部分內(nèi)容：改進(jìn)的4場運(yùn)動(dòng)檢測和分級邊緣自適應(yīng)插值(RELA),其中每一種改進(jìn)都可以單獨(dú)提取出來和其它同類的方法結(jié)合使用,從而得到滿足不同性能和時(shí)間要求的新方法。

[1]Bellers E B,de Haan G.Deinterlacing：a key technology for scan rate conversion[M].Amsterdam,The Netherlands：Elsevier,2000：3-8.

[2]de Haan G,Bellers E B.Deinterlacing：an overview[C]//Proceedings of the IEEE,1998,86(9)：1839-1857.

[3]Fan Yucheng.Deinterlacing system and technology overview and discussion[C]//International Workshop on Imaging Systems and Techniques,2009：287-290.

[4]Shen Yanfei,Zhang Dongming,Zhang Yongdong,et al.M otion adaptive deinterlacing of video data with texture detection[J].IEEE T ransactions on Consumer Electronics,2006,52(4)：1403-1408.

[5]Yu L,Li J,Zhang Y,et al.Motion adaptive deinterlacing with accurate motion detection and anti-aliasing interpolation filter[J].IEEE T ransactions on Consumer Electronics,2006,52(2)：712-717.

[6]Koivunen T.Motion detection of an interlaced signal[J].IEEE T ransactions on Consumer Electronics,1994,40(3)：753-760.

[7]Lee D H.A new edge based Iitra-field interpolation method for deinterlacing using locally adaptive-thresholded binary image[J].IEEE T ransactions on Consumer Electronics,2008,54(1)：110-115.

[8]Chang Y L,Lin S F,Chen L G.Extended intelligent edgebased line average with its implementation and test method[C]//Proceedings of the ISCAS,2004：341-344.

[9]Yoo H,Jeong J.Direction-o riented interpolation and it's application to deinterlacing[J].IEEE Transactions on Consumer Electronics,2002,48(4)：954-962.

[10]Koo H,Lee H S,Cho N I.A new EDI-based deinterlacing algorithm[J].IEEE T ransactions on Consumer Electronics,2007,51(3)：1494-1499.