蔣　健,湯勇明

(東南大學(xué)電子科學(xué)與工程學(xué)院,南京 210096)

?

視頻幀圖像信息提取及OSD的設(shè)計(jì)與實(shí)現(xiàn)

蔣健,湯勇明*

(東南大學(xué)電子科學(xué)與工程學(xué)院,南京 210096)

摘要:實(shí)時(shí)視頻處理近年來(lái)發(fā)展迅速,大多數(shù)實(shí)時(shí)視頻信號(hào)處理算法均建立在對(duì)視頻流信息的統(tǒng)計(jì)基礎(chǔ)上?；贔PGA設(shè)計(jì)了通用視頻幀信息提取程序模塊,可實(shí)現(xiàn)實(shí)時(shí)對(duì)視頻流進(jìn)行分辨率、亮度比、灰度直方等信息提取及在屏幕上顯示(OSD)的功能。測(cè)試結(jié)果表明,視頻幀信息提取準(zhǔn)確,OSD信息實(shí)時(shí)更新,兼容性好,運(yùn)行穩(wěn)定。此設(shè)計(jì)需要消耗8 kbit的LE資源和150 kbit的存儲(chǔ)資源。

關(guān)鍵詞:FPGA;視頻信息提取;OSD顯示;實(shí)時(shí)處理

1　總體方案

本設(shè)計(jì)使用的開(kāi)發(fā)環(huán)境是QuartusⅡ,硬件描述語(yǔ)言是Verilog HDL,硬件開(kāi)發(fā)平臺(tái)是基于Altera公司FPGA芯片的DE2,它帶有視頻解碼器ADV7181B和視頻編碼器ADV7123,符合本設(shè)計(jì)需求。視頻源由DVD輸出,處理結(jié)果送顯示器呈現(xiàn),DE2作為中間處理平臺(tái),如圖1所示。

圖1　系統(tǒng)示意

本設(shè)計(jì)主要完成視頻幀信息的檢測(cè)與OSD的顯示(包括了ROM的設(shè)計(jì))功能,在DE2的演示例程TVBOX的基礎(chǔ)上開(kāi)發(fā)實(shí)現(xiàn),FPGA內(nèi)部總體系統(tǒng)構(gòu)成如圖2所示。

圖2　系統(tǒng)構(gòu)成圖

圖2中虛線框內(nèi)的ITU-R656解碼器模塊和YCrCb轉(zhuǎn)換成RGB模塊為原有模塊。ITU-R656模塊負(fù)責(zé)把視頻解碼器送進(jìn)來(lái)的數(shù)據(jù)信號(hào)進(jìn)行分離并存儲(chǔ),根據(jù)輸入的行同步信號(hào)HS,場(chǎng)同步信號(hào)VS和時(shí)鐘信號(hào)分離出Y、Cr、Cb等信號(hào)。YCrCb、HSV等顏色空間由于將亮度和色度屬性進(jìn)行了分離,在圖像處理方面有突出的優(yōu)勢(shì)[4],而顯示器是根據(jù)RGB色彩空間來(lái)進(jìn)行顯示的,因此需要YCrCb2RGB模塊負(fù)責(zé)把輸入的Y、Cr、Cb數(shù)據(jù)轉(zhuǎn)換成R、G、B數(shù)據(jù),最后由視頻編碼器接收數(shù)據(jù)。

圖中實(shí)線框內(nèi)的視頻幀信息檢測(cè)模塊、OSD控制模塊和字符ROM模塊為此次開(kāi)發(fā)模塊,實(shí)現(xiàn)所需的功能。

PAL制式和NTSC制式的視頻源都是采用的隔行掃描,而顯示器是按照逐行掃描顯示的,因此在程序內(nèi)部還有隔行轉(zhuǎn)換成逐行的小模塊[5],此處未列出。

2　系統(tǒng)模塊設(shè)計(jì)

2.1視頻幀信息提取模塊

此模塊通過(guò)對(duì)視頻幀圖像幀率、行列分辨率、亮度比和灰度信息進(jìn)行提取,為OSD顯示提供數(shù)據(jù)。作為一個(gè)可以獨(dú)立的模塊,在其他系統(tǒng)需要評(píng)估視頻幀圖像質(zhì)量時(shí),能夠方便地嵌入其他系統(tǒng)運(yùn)行。為了實(shí)現(xiàn)這一通用性,在幀率和行列分辨率上進(jìn)行了冗余設(shè)計(jì),大幅提升了針對(duì)不同系統(tǒng)的兼容性。幀率最高支持199FPS,分辨率最高支持1 999×1 999,滿足1 920×1 080的全高清顯示。

幀率是用于測(cè)量顯示幀數(shù)的量度。測(cè)量單位為每秒顯示幀數(shù)(Frame/s)。提取幀率的一種可行方法是計(jì)算兩幀畫面間所用的時(shí)間并取倒數(shù)。因此通過(guò)對(duì)兩幀畫面間的時(shí)鐘數(shù)進(jìn)行累計(jì),乘以時(shí)鐘的周期(由于時(shí)鐘頻率是27 MHz,因此周期是1/27 000 000 s)就得出總的時(shí)間,最終計(jì)算出每秒的幀數(shù),即幀率。一幀畫面開(kāi)始,場(chǎng)同步信號(hào)iTD_VS從0變成1有效,因此可以通過(guò)計(jì)算2個(gè)場(chǎng)同步信號(hào)的上升沿之間的時(shí)鐘數(shù)來(lái)計(jì)算得到幀率。

圖3　幀率提取流程圖

分辨率是屏幕圖像的精密度,是指顯示器所能顯示的像素的多少。此處的分辨率要提取行(水平)分辨率和列(垂直)分辨率。行分辨率代表水平的一行上面像素點(diǎn)的個(gè)數(shù),列分辨率代表垂直的一列上面像素點(diǎn)的個(gè)數(shù)。

解碼芯片輸出有幾個(gè)重要的信號(hào):像素時(shí)鐘LLC、場(chǎng)同步信號(hào)VS(一幀的開(kāi)始信號(hào))、行同步信號(hào)HS(一幀中一行的開(kāi)始信號(hào))、數(shù)據(jù)有效信號(hào)DE(傳送數(shù)據(jù)是有效的信號(hào))。

對(duì)于Y∶Cb∶Cr=4∶4∶4的信號(hào)而言,行分辨率即兩次行同步信號(hào)HS之間總的有效數(shù)據(jù)的時(shí)鐘計(jì)數(shù)值。而對(duì)于Y∶Cb∶Cr=4∶2∶2的信號(hào)而言,行分辨率還要在此基礎(chǔ)上除以2。以DE2上的視頻解碼芯片ADV7181B為例,1440時(shí)鐘周期中有720個(gè)Y,720個(gè)C,因此總的時(shí)鐘計(jì)數(shù)值要只有一半。

流程圖同幀率提取的流程圖,僅僅是行同步信號(hào)代替了場(chǎng)同步信號(hào)。

列分辨率提取思路同行分辨率,只需對(duì)2個(gè)場(chǎng)同步信號(hào)間的行同步信號(hào)的上升沿進(jìn)行計(jì)數(shù)。

亮度比定義的是整個(gè)屏幕每個(gè)像素點(diǎn)亮度之和與屏幕所有像素點(diǎn)全亮(全白)時(shí)總亮度的比值。一個(gè)像素點(diǎn)有R、G、B 3種顏色分量,每種分量都有256個(gè)灰度級(jí),0～255。當(dāng)R、G、B均為0的時(shí)候像素點(diǎn)最暗,為純黑,當(dāng)它們都為255的時(shí)候像素點(diǎn)最亮,為純白(全白)。而每個(gè)像素點(diǎn)的亮度是R、G、B 3個(gè)分量灰度值的平均值。

灰度直方圖是灰度級(jí)的函數(shù),它表示圖像中具有某種灰度區(qū)域的像素個(gè)數(shù)分布,反映了圖像中不同灰度區(qū)域出現(xiàn)的頻率?；叶仁褂煤谏{(diào)表示物體,即用黑色為基準(zhǔn)色,不同的飽和度的黑色來(lái)顯示圖像。每個(gè)像素點(diǎn)灰度值的范圍為0～255,表示亮度從深到淺,對(duì)應(yīng)圖像中的顏色為從黑到白。為了防止取平均帶來(lái)的誤差,需要針對(duì)每個(gè)像素的R、G、B 3種色彩分別進(jìn)行統(tǒng)計(jì)匯總。為了在屏幕上顯示出直方圖的樣式,需要把0～255的256級(jí)灰度值平均分成8段顯示,每段是32(第1段的灰度值是0～31,最后一段的灰度值是224～255)。

由于像素點(diǎn)多,數(shù)據(jù)量大,在進(jìn)行顯示的時(shí)候必須按比例縮小數(shù)值,流程圖同亮度比的提取。

圖4　亮度比提取流程圖

2.2字符ROM模塊

使用字模提取字模的16進(jìn)制大小16×16的點(diǎn)陣數(shù)據(jù),寫入mif文件存儲(chǔ)到FPGA的M4K(FPGA內(nèi)部的存儲(chǔ)空間,大小為4K)中,mif文件的內(nèi)容是ROM內(nèi)容的映射,字符圖像點(diǎn)陣數(shù)據(jù)保存在mif文件里面。使用QuartusⅡ軟件中的IP核就可以通過(guò)關(guān)聯(lián)mif文件生成對(duì)應(yīng)的Verilog文件,只需給時(shí)鐘和地址信號(hào)就能產(chǎn)生字模數(shù)據(jù)的輸出。使用方便、快捷[5]。

圖5　數(shù)字0～9的字符數(shù)據(jù)

字符ROM有3部分組成:0～9數(shù)字,視頻信息頁(yè)的字符(除數(shù)字外),作者版本頁(yè)的字符。圖5中一個(gè)格子中的4個(gè)數(shù)字是16×16字符點(diǎn)陣中的一行,16個(gè)格子是一個(gè)漢字或數(shù)字,數(shù)字一共10個(gè),因此用了160 byte(這里每個(gè)字節(jié)是16 bit)。

2.3OSD模塊

為了對(duì)各部分顯示內(nèi)容進(jìn)行有效的控制,把整個(gè)屏幕分成三層來(lái)顯示。最下面一層是視頻層,是視頻源;中間一層是背景層,用來(lái)提升顯示字符和視頻層的顏色對(duì)比度。最上面一層是字符層,用來(lái)顯示從視頻源中提取到的圖像信息。

背景層能夠幫助用戶更清楚地看清字符。為了進(jìn)一步提升用戶的視覺(jué)體驗(yàn),使用半透明的背景層,在看的更清楚的同時(shí)也可以看到視頻信息,效果好。為了實(shí)現(xiàn)半透明的效果[6],需要在輸出的時(shí)候?qū)、G、B數(shù)值進(jìn)行同比例縮小。VGA顯示是逐行從左到右掃描的,確定了當(dāng)前掃描像素點(diǎn)的行列坐標(biāo),能夠方便地對(duì)顯示位置進(jìn)行精確控制。當(dāng)2個(gè)行列坐標(biāo)的值達(dá)到設(shè)定的區(qū)間時(shí),就生成一個(gè)高有效的使能控制信號(hào).最后將2個(gè)使能控制信號(hào)進(jìn)行與運(yùn)算,就得到最后的掩膜使能控制信號(hào)[7]。

字符層主要分為:靜態(tài)字符,動(dòng)態(tài)數(shù)字,灰度直方圖。

靜態(tài)字符是字符不會(huì)隨著其他模塊的輸入而改變的字符。如字符“行分辨率”。靜態(tài)字符出現(xiàn)在2個(gè)界面中,一個(gè)是顯示視頻幀信息的主界面,另一個(gè)是作者和版本信息界面,第2個(gè)界面通過(guò)撥碼開(kāi)關(guān)向上撥動(dòng)來(lái)調(diào)出,此時(shí)主界面會(huì)被隱藏,撥碼開(kāi)關(guān)撥下來(lái)之后回到主界面。由于字符均為16×16大小,因此每次讀取16 bit,內(nèi)部維護(hù)一個(gè)計(jì)數(shù)器,從0開(kāi)始計(jì)數(shù),當(dāng)記到15的時(shí)候地址就加1,就取下一個(gè)ROM里面的16 bit的信息。

幀率、分辨率、亮度比的數(shù)值會(huì)隨著輸入信號(hào)的變化而變化,系統(tǒng)測(cè)試的時(shí)候可以看到亮度比的數(shù)值在不斷地跳動(dòng)。針對(duì)視頻幀信息提取模塊輸入的亮度比等信息,若需要實(shí)現(xiàn)實(shí)時(shí)動(dòng)態(tài)顯示,就必須對(duì)輸入進(jìn)行數(shù)值判斷。以亮度比(0～99%)為例,對(duì)亮度比進(jìn)行十位和個(gè)位數(shù)字的分離并針對(duì)2個(gè)數(shù)字分別進(jìn)行顯示。VerliogHDL中的除法都會(huì)取整,舍掉小數(shù),因此十位可以通過(guò)除以10來(lái)提取,即Brightness/10。同理,個(gè)位數(shù)字可以通過(guò)Brightness-Brightness/10*10來(lái)提取。

以直方圖的形式展示的灰度,會(huì)隨著輸入灰度值的不同而上下變化。和亮度比的數(shù)字一樣,這樣的設(shè)計(jì)會(huì)增加程序的動(dòng)態(tài)感,不呆板,減輕用戶在使用過(guò)程中產(chǎn)生的視覺(jué)疲勞。各個(gè)區(qū)間內(nèi)灰度值的相對(duì)多少是由8段區(qū)間內(nèi)直方圖的顯示高度來(lái)反映的。直方圖是高度可以變化,寬度一定的矩形條,通過(guò)一個(gè)個(gè)像素點(diǎn)來(lái)顯示。在該設(shè)計(jì)中,在屏幕上顯示位置從左到右是灰度值由小到大,即從黑色到白色。程序內(nèi)部維護(hù)2個(gè)行列計(jì)數(shù)器,目的是對(duì)行列顯示的像素點(diǎn)進(jìn)行控制,字符使能信號(hào)如果為1,就輸出白點(diǎn),否則按原圖像輸出。

3　系統(tǒng)運(yùn)行與分析

3.1測(cè)試環(huán)境的搭建

圖6和圖7分別給出了設(shè)計(jì)模塊前后的資源消耗對(duì)比,加入前總的邏輯資源使用率為6%,總的存儲(chǔ)資源使用率為5%,加入后為31%和37%。提取視頻幀信息、OSD的顯示以及字符的存儲(chǔ)等功能需要大約8 kbit的LE資源和150 kbit的存儲(chǔ)資源。

圖6　加入設(shè)計(jì)模塊前

圖7　加入設(shè)計(jì)模塊后

3.2測(cè)試過(guò)程的記錄

系統(tǒng)測(cè)試平臺(tái)實(shí)物如圖8所示。在測(cè)試過(guò)程中,顯示字符圖像穩(wěn)定,無(wú)閃爍感,和原圖像之間無(wú)干擾。背景透明度也比較適中,沒(méi)有因?yàn)镺SD界面色彩過(guò)深而遮擋圖像,也沒(méi)有因?yàn)檫^(guò)淺而降低源視頻和字符之間對(duì)比度,整體字符顯示清晰可見(jiàn)。亮度比的數(shù)值開(kāi)始隨著視頻的播放而不斷跳變,灰度直方圖開(kāi)始上下動(dòng)態(tài)改變,其他的字符并沒(méi)有改變,圖9是某一幀的測(cè)試截圖。幀率顯示是60 frame/s,符合NTSC制式輸出的幀率。根據(jù)系統(tǒng)模塊設(shè)計(jì)部分對(duì)分辨率的討論,源視頻的行分辨率確實(shí)是720,列分辨率也確實(shí)是480。圖9中顯示此刻亮度比的值是51%,而該畫面多數(shù)區(qū)域呈亮色調(diào),兩者也有良好的一致性?；叶戎狈綀D顯示畫面中取0～255中間灰度值的像素相對(duì)多些,兩邊相對(duì)少些,符合該圖片的分布情況。

程序中設(shè)計(jì)了撥碼開(kāi)關(guān)可用來(lái)切換OSD菜單界面。撥碼開(kāi)關(guān)SW17向上撥動(dòng),顯示程序作者和版本信息;撥碼開(kāi)向下?lián)軇?dòng),顯示如圖9的幀信息界面,即主界面。

圖8　實(shí)際系統(tǒng)

圖9　測(cè)試界面

4　總結(jié)與展望

本文介紹了一種視頻幀圖像信息提取及OSD程序設(shè)計(jì)的解決方案,并用DE2作為測(cè)試平臺(tái)來(lái)進(jìn)行了驗(yàn)證。實(shí)現(xiàn)了對(duì)圖像信息的準(zhǔn)確提取、屏幕上OSD菜單字符穩(wěn)定實(shí)時(shí)顯示的功能,并且對(duì)高分辨率和高幀率具有良好的兼容性。在以后進(jìn)一步的研究中還可以繼續(xù)改進(jìn)ROM存儲(chǔ)和調(diào)用接口,并在OSD的顯示方面加入手動(dòng)調(diào)節(jié)透明度的功能等。

參考文獻(xiàn):

[1]田明,王群生.實(shí)時(shí)有效的OSD系統(tǒng)結(jié)構(gòu)的建立與分析[J].電視技術(shù),2003(9):56-58.

[2]黃燕群,李利品,王爽英.基于FPGA的OSD設(shè)計(jì)[J].液晶與顯示,2010(3):429-433.

[3]劉科,張生才,史在峰,等.基于改進(jìn)型二步索引算法OSD電路的FPGA實(shí)現(xiàn)[J].電子測(cè)量技術(shù),2007(7):28.

[4]袁奮杰,周曉,丁軍,等.基于FPGA的RGB和HSV色空間轉(zhuǎn)換算法實(shí)現(xiàn)[J].電子器件,2010,33(4):493-497.

[5]沈建于,湯勇明,王保平.運(yùn)動(dòng)自適應(yīng)去隔行算法的研究[J].電子器件,2003(6):177-180.

[6]陳自龍,湯勇明.基于PLD的VGA顯示器字符顯示實(shí)驗(yàn)設(shè)計(jì)[J].電氣電子教學(xué)學(xué)報(bào),2013(1):62-65.

[7]曾德瑞,普玉偉,楊明武.數(shù)字視頻ASIC中OSD系統(tǒng)的實(shí)現(xiàn)[J].電視技術(shù),2011,35(23):36-39.

蔣健(1990-),男,漢族,江蘇省常熟市人,東南大學(xué)碩士研究生,研究方向?yàn)殡娐放c系統(tǒng),296112470@qq.com;

湯勇明(1973-),男,漢族,江蘇省江都市人,東南大學(xué)研究員,主要研究方向?yàn)殡娮与娐吩O(shè)計(jì),tym@seu.edu.cn。

視頻圖像信息常用的有:分辨率,幀率,亮度比,灰度直方圖等?；趲囊曨l圖像信息具有很強(qiáng)的通用性,大多數(shù)視頻處理都要基于這些參數(shù)信息,通過(guò)對(duì)視頻圖像信息提取的獨(dú)立模塊化設(shè)計(jì),使之能夠嵌入其他已經(jīng)設(shè)計(jì)完成的系統(tǒng),并可以使用該系統(tǒng)進(jìn)行測(cè)試。OSD是On-Screen Display的簡(jiǎn)稱,即在屏幕顯示,常用于菜單調(diào)整。一般是按Menu鍵后屏幕彈出的顯示器各項(xiàng)調(diào)節(jié)項(xiàng)目信息的矩形菜單。如電視機(jī)屏幕上所顯示的遙控器菜單字符或圖像[1]。早期的OSD字符疊加的平臺(tái)選擇主要是單片機(jī)和字符顯示芯片,但是單片機(jī)控制時(shí)序的能力較差,字符顯示芯片的靈活性不好。FPGA更適用于高分辨率視頻圖像應(yīng)用中進(jìn)行多字符和復(fù)雜圖像的疊加。早期的字符ROM設(shè)計(jì)使用的是逐字索引算法[2],后來(lái)出現(xiàn)的二步索引法[3]使得內(nèi)存的數(shù)據(jù)量得到精簡(jiǎn),而本設(shè)計(jì)使用單字緊密存儲(chǔ)提高了靈活性。

DesignoftheVideoFrameInformationDetectionandOSD

JIANGJian,TANGYongming*

(School of Electronic Science and Engineering,SoutheastUniversity,Nanjing 210096,China)

Abstract:Real-time video processing develops rapidly in recent years.Mostreal-time video signal processing algorithms are based upon the statistical information of the video stream.The design of a universal video frame information detection program module based onFPGA is presented.Specifically,it can detect information such as resolution,brightness ratio and gray histogram,and then display them on the screen(OSD).The results show that the detection of frame information is accurate and the OSD information updates real-timely.It also has good compatibility and runs stably.This design contains 8 kbit LE(Logic Element) resources and 150 kbit storage resources.

Key words:FPGA;video information detection;OSD display;real-time processing

doi:EEACC:726010.3969/j.issn.1005-9490.2014.05.008

中圖分類號(hào):TN407

文獻(xiàn)標(biāo)識(shí)碼:A

文章編號(hào):1005-9490(2014)05-0835-05

收稿日期:2013-09-10修改日期:2013-10-02