曹 超，虞禮貞，張延軍，李廣楨

(1.南昌大學(xué)信息工程學(xué)院電子系，江西南昌330031;2.北京理工大學(xué)信息與電子學(xué)院，北京100081;3.重慶四聯(lián)微電子有限公司(北京研發(fā)部)，北京100083)

當(dāng)前，數(shù)字電視機(jī)頂盒設(shè)計(jì)中，主要參考的視頻編解碼標(biāo)準(zhǔn)包括MPEG-2、H.264以及中國(guó)自主研發(fā)的AVS;MPEG-2作為廣播級(jí)的視音頻標(biāo)準(zhǔn)已使用很多年;H.264相比其他標(biāo)準(zhǔn)能夠在同等圖像質(zhì)量下有更高的壓縮相率，因此，它廣泛地應(yīng)用于電視廣播實(shí)時(shí)通信等領(lǐng)域;AVS與H.264相比雖然在性能上沒(méi)有太大的提高，但是計(jì)算復(fù)雜度有了明顯的下降［1］。國(guó)內(nèi)有線(xiàn)廣播主要是采用MPEG-2和H.264，地面廣播采用AVS，目前，我國(guó)正大力發(fā)展農(nóng)村直播衛(wèi)星項(xiàng)目，它是利用衛(wèi)星實(shí)現(xiàn)廣播電視，多媒體數(shù)據(jù)直接向用戶(hù)傳送數(shù)據(jù)(直播衛(wèi)星節(jié)目采用的編碼標(biāo)準(zhǔn)是MPEG-2，數(shù)字地面廣播采用AVS)，同時(shí)，傳統(tǒng)的有線(xiàn)、無(wú)線(xiàn)數(shù)據(jù)傳輸方式在很長(zhǎng)一段時(shí)間內(nèi)仍然是主流(高清節(jié)目主要是采用有線(xiàn)傳輸?shù)腗PEG-2和H.264編碼標(biāo)準(zhǔn))。為了滿(mǎn)足不同客戶(hù)對(duì)視頻節(jié)目質(zhì)量的不同需求，僅僅支持單一的視頻編解碼標(biāo)準(zhǔn)已難以滿(mǎn)足要求，因此，兼容多標(biāo)準(zhǔn)的視頻解碼芯片將成為高清數(shù)字電視機(jī)頂盒芯片設(shè)計(jì)的必然趨勢(shì)，這種視頻解碼芯片主要有以下3個(gè)特點(diǎn)：1)支持主流的視頻編解碼標(biāo)準(zhǔn)，包括MPEG-2，H.264，AVS(綜合考慮成本與性能，在國(guó)內(nèi)兼容這3種標(biāo)準(zhǔn)的機(jī)頂盒能夠滿(mǎn)足高清視頻解碼芯片設(shè)計(jì)要求，而不必兼容于更多的視頻編解碼標(biāo)準(zhǔn)，如：在國(guó)際上一些地區(qū)使用的用于廣播的編解碼標(biāo)準(zhǔn)VC-1);2)軟硬件配合工作，固件Firmware可更新，以便于針對(duì)市場(chǎng)變化需求進(jìn)行升級(jí);3)支持通用的接口，易于系統(tǒng)集成化。本設(shè)計(jì)主要應(yīng)用于中國(guó)直播星DTH項(xiàng)目以及高清衛(wèi)星機(jī)頂盒應(yīng)用。

在高清視頻編解碼設(shè)計(jì)中，基于硬件的實(shí)現(xiàn)技術(shù)已變的越來(lái)越重要，特別是在需要高效率執(zhí)行、低功耗要求中。運(yùn)動(dòng)補(bǔ)償(Motion Compensation)模塊是視頻解碼器設(shè)計(jì)模塊中訪(fǎng)問(wèn)存儲(chǔ)器最頻繁，且數(shù)據(jù)吞吐量最高的模塊。為了解決存儲(chǔ)器帶寬的限制，文獻(xiàn)［2］中提出了一種支持H.264的MC子系統(tǒng)，但是它不兼容于AVS;文獻(xiàn)［3］中使用了Cache機(jī)制來(lái)降低訪(fǎng)問(wèn)外部存儲(chǔ)器帶寬，但當(dāng)多種預(yù)測(cè)方式被請(qǐng)求時(shí)，就會(huì)減少Cache的命中效率。為解決這些問(wèn)題，本設(shè)計(jì)中采用數(shù)據(jù)緩存機(jī)制用于減少對(duì)外部存儲(chǔ)單元的頻繁訪(fǎng)問(wèn);另外，外部存儲(chǔ)器單元SDRAM分配6幀高清幀存儲(chǔ)空間，存儲(chǔ)用于運(yùn)動(dòng)補(bǔ)償計(jì)算的相關(guān)幀與重構(gòu)幀，幀存儲(chǔ)在SDRAM中采用頂?shù)讏?chǎng)數(shù)據(jù)分開(kāi)方式，采用這種方式能夠提高數(shù)據(jù)的存取效率。整個(gè)運(yùn)動(dòng)補(bǔ)償計(jì)算模塊采用并行多級(jí)流水線(xiàn)設(shè)計(jì)，減少了運(yùn)動(dòng)補(bǔ)償?shù)挠?jì)算周期，提高了執(zhí)行效率，使用90 nm COMS工藝庫(kù)，在135 MHz的頻率下綜合，電路規(guī)模為45 kgate，處理一宏塊數(shù)據(jù)大約需要520個(gè)時(shí)鐘周期，文中設(shè)計(jì)能夠應(yīng)用于MPEG-2 MP@HL，H.264MP@L40 以及AVS Jizhun Profile。

1 運(yùn)動(dòng)補(bǔ)償計(jì)算模塊整體架構(gòu)

在運(yùn)動(dòng)補(bǔ)償計(jì)算過(guò)程中，首先，需要接收來(lái)自于VLD(Variable Length Decoding)模塊解碼的運(yùn)動(dòng)矢量;然后根據(jù)當(dāng)前模塊的數(shù)據(jù)分割以及運(yùn)動(dòng)矢量信息，從外部的存儲(chǔ)器參考幀中讀取相應(yīng)的參考像素;再通過(guò)像素插補(bǔ)等一系列計(jì)算，最后得到重構(gòu)的像素?cái)?shù)據(jù)。對(duì)于MPEG-2，像素插補(bǔ)只是在半像素位置進(jìn)行雙線(xiàn)性差值;對(duì)于AVS，在半像素位置采用4抽頭濾波器F1(-1，5，5，-1)，在四分之一像素位置采用4抽頭的濾波器F2(1，7，7，1);而H.264/AVC在半像素位置采用6抽頭濾波器F3(1，-5，20，20，-5，1)。運(yùn)動(dòng)補(bǔ)償模塊整體結(jié)構(gòu)如圖1所示，包括用于得到重構(gòu)數(shù)據(jù)的運(yùn)動(dòng)補(bǔ)償像素插補(bǔ)模塊單元，用于取相關(guān)數(shù)據(jù)的外部存儲(chǔ)器接口單元以及一些控制計(jì)算單元(包括總線(xiàn)判決器和DMA控制器等)。外部存儲(chǔ)器接口單元處于運(yùn)動(dòng)補(bǔ)償像素插補(bǔ)模塊與總線(xiàn)判決器模塊之間，此模塊接收來(lái)自于運(yùn)動(dòng)補(bǔ)償像素插補(bǔ)單元的請(qǐng)求，用于控制運(yùn)動(dòng)補(bǔ)償像素插補(bǔ)單元取相關(guān)數(shù)據(jù);如果相關(guān)數(shù)據(jù)不存在于邏輯緩存器子模塊中，那么外部存儲(chǔ)器接口模塊將發(fā)送請(qǐng)求給總線(xiàn)判決器用于從外部的SDRAM中讀取相關(guān)數(shù)據(jù)，請(qǐng)求返回的數(shù)據(jù)將存儲(chǔ)在邏輯緩存器單元中，同時(shí)相關(guān)數(shù)據(jù)將被傳送給運(yùn)動(dòng)補(bǔ)償像素插補(bǔ)單元;若運(yùn)動(dòng)補(bǔ)償像素插補(bǔ)單元請(qǐng)求的相關(guān)數(shù)據(jù)存在于邏輯緩存器單元中，相關(guān)數(shù)據(jù)將從邏輯緩存器單元中直接傳遞給運(yùn)動(dòng)補(bǔ)償像素插補(bǔ)單元而不訪(fǎng)問(wèn)外部的SDRAM。

圖1 運(yùn)動(dòng)補(bǔ)償計(jì)算模塊整體結(jié)構(gòu)

2 數(shù)據(jù)存儲(chǔ)器優(yōu)化

本文中提出了一種插補(bǔ)像素緩存機(jī)制，用于存儲(chǔ)像素插補(bǔ)計(jì)算過(guò)程中的中間數(shù)據(jù)，對(duì)于那些反復(fù)被使用的參考像素存放在外部存儲(chǔ)器接口單元中的緩存器Buffer中，完整的參考幀則存放在外部存儲(chǔ)器SDRAM中，通過(guò)這種數(shù)據(jù)Buffer機(jī)制能夠很好地提高運(yùn)動(dòng)補(bǔ)償?shù)男阅?，減少計(jì)算周期，運(yùn)動(dòng)補(bǔ)償存儲(chǔ)器架構(gòu)如圖2所示。

圖2 運(yùn)動(dòng)補(bǔ)償存儲(chǔ)器架構(gòu)

濾波中間值緩存器用于存放運(yùn)動(dòng)補(bǔ)償計(jì)算過(guò)程中的中間值。由于這個(gè)濾波中間值緩存器只是用于存儲(chǔ)像素插補(bǔ)流水的中間值，因此，它只是與像素插補(bǔ)計(jì)算單元有數(shù)據(jù)的交換。外部存儲(chǔ)器接口單元內(nèi)部結(jié)構(gòu)框圖見(jiàn)圖3所示，主要是用于執(zhí)行3部分請(qǐng)求響應(yīng)：1)從運(yùn)動(dòng)補(bǔ)償像素插補(bǔ)模塊加載來(lái)自于相關(guān)Buffer的數(shù)據(jù);2)發(fā)送請(qǐng)求信號(hào)給總線(xiàn)判決器;3)將返回的數(shù)據(jù)存儲(chǔ)到邏輯緩存Buffer中。整個(gè)外部存儲(chǔ)器接口單元包括以下幾個(gè)子模塊：亮度數(shù)據(jù)請(qǐng)求地址模塊、色度數(shù)據(jù)請(qǐng)求地址模塊、2k亮度數(shù)據(jù)Buffer、1k色度數(shù)據(jù)Buffer、亮度數(shù)據(jù)hit模塊、色度數(shù)據(jù)hit模塊，以及存儲(chǔ)器請(qǐng)求發(fā)送FIFO、存儲(chǔ)器訪(fǎng)問(wèn)FIFO。整個(gè)模塊采用并行多級(jí)流水線(xiàn)方式，可以同時(shí)處理亮度和色度的取相關(guān)數(shù)據(jù)操作。

圖3 外部存儲(chǔ)器接口模塊單元框圖

通過(guò)這種存儲(chǔ)器結(jié)構(gòu)設(shè)計(jì)，能夠減少對(duì)外部存儲(chǔ)器頻繁的訪(fǎng)問(wèn)。這樣，雖然片內(nèi)的存儲(chǔ)器功耗略有增加，但是對(duì)于外部的存儲(chǔ)器以及I/O接口的功耗能夠大大地減少，表1是通過(guò)對(duì)20個(gè)QCIF視頻序列功耗仿真測(cè)試的結(jié)果，結(jié)果表明存儲(chǔ)器Buffer機(jī)制平均能夠減少42%的系統(tǒng)功耗。

表1 存儲(chǔ)器緩存機(jī)制優(yōu)化

3 像素插補(bǔ)計(jì)算

3.1 亮度計(jì)算

在亮度像素插補(bǔ)計(jì)算中，需要使用3種濾波器：2種4抽頭濾波器 F1(-1，5，5，-1)和 F2(1，7，7，1)，用于 AVS亮度像素插補(bǔ)計(jì)算;1個(gè)6抽頭的濾波器F3(1，-5，20，20，-5，1)，用于H.264/AVC的亮度像素插補(bǔ)計(jì)算。1個(gè)6階的濾波器直接計(jì)算需要5個(gè)加法器和4個(gè)乘法器，但是通過(guò)簡(jiǎn)單的操作數(shù)組合能夠?qū)①Y源消耗減少到2個(gè)乘法器，即out=(A+F)－5×(B+E)+20×(C+D)。6抽頭濾波器如圖4a所示，設(shè)計(jì)中使用移位器和加法器組合來(lái)實(shí)現(xiàn)乘法器功能，因此1個(gè)6抽頭濾波器需要使用7個(gè)加法器和3個(gè)移位器實(shí)現(xiàn)。對(duì)于2個(gè)4抽頭濾波器，可采用類(lèi)似6抽頭的設(shè)計(jì)方式，水平濾波為out=－(A+D)+5×(B+C);垂直濾波為out=(A+D)+7×(B+C)。這樣2個(gè)4抽頭濾波器能夠分別使用4個(gè)加法器和1個(gè)移位器實(shí)現(xiàn)，如圖4b、圖4c所示。

圖4 3種濾波器設(shè)計(jì)實(shí)現(xiàn)

以文獻(xiàn)［4］圖8-4中j點(diǎn)像素插補(bǔ)為例，對(duì)一個(gè)4×4塊進(jìn)行像素插補(bǔ)計(jì)算。圖5描述了H.264解碼流水線(xiàn)過(guò)程。在流水線(xiàn)第1周期，使用4個(gè)水平和4個(gè)垂直濾波器分別對(duì)參考像素進(jìn)行計(jì)算，輸出結(jié)果存放在濾波中間值緩存器中;在第2周期，水平和垂直濾波窗口分別向右移動(dòng)一格，對(duì)4×4塊第2列數(shù)進(jìn)行垂直插補(bǔ)，并且開(kāi)始執(zhí)行均值濾波，這樣通過(guò)6個(gè)時(shí)鐘周期，就能夠得到計(jì)算j像素點(diǎn)的6個(gè)半像素參考點(diǎn)，所以，計(jì)算一個(gè)j參考像素需要9個(gè)時(shí)鐘周期。表2總結(jié)了在H.264/AVC中插值計(jì)算一個(gè)4×4亮度像素塊不同像素位置所需時(shí)鐘周期(各像素點(diǎn)代表文獻(xiàn)［4］中圖8-4所示的位置)。

圖5 亮度計(jì)算流水線(xiàn)設(shè)計(jì)

表2 4×4亮度塊相應(yīng)像素點(diǎn)計(jì)算周期

3.2 色度計(jì)算

對(duì)于色度計(jì)算來(lái)說(shuō)，AVS與H.264/AVC可采用類(lèi)似的計(jì)算方法，相比亮度計(jì)算，色度計(jì)算相對(duì)直接。插值按照以下公式完成

因此，色度濾波器可設(shè)計(jì)為如圖6所示，與原始設(shè)計(jì)相比，該設(shè)計(jì)需要11個(gè)加法器、4個(gè)固定長(zhǎng)移位器以及3個(gè)可配置移位器就能實(shí)現(xiàn)，減少了大量的乘法器消耗。

圖6 色度濾波器

3.3 Page/Bank地址結(jié)構(gòu)

外部SDRAM采用Page/Bank存儲(chǔ)方式用于存儲(chǔ)6幀高清圖存儲(chǔ)空間(滿(mǎn)足IBBBBP編碼方式)，設(shè)計(jì)中采用頂?shù)讏?chǎng)分開(kāi)的方式將數(shù)據(jù)存儲(chǔ)在SDRAM中，如圖7所示。對(duì)于亮度數(shù)據(jù)來(lái)說(shuō)，每一頁(yè)分為4個(gè)Bank的存儲(chǔ)空間能夠存儲(chǔ)64宏塊的亮度數(shù)據(jù)，這樣，每個(gè)Bank能夠存儲(chǔ)4×4=16個(gè)宏塊的數(shù)據(jù)，讀/寫(xiě)訪(fǎng)問(wèn)每個(gè)時(shí)鐘周期能夠讀取4 pixel×2的數(shù)據(jù)，采用此種數(shù)據(jù)分割模式，能夠產(chǎn)生最優(yōu)化的數(shù)據(jù)加載能力［5］。圖7中1～5標(biāo)示了取值模塊在不同的Page/Bank中的位置，取值模塊1所耗費(fèi)的時(shí)鐘周期最短，而由于取值模塊5跨4個(gè)Bank取值，因此，所需的時(shí)鐘周期最長(zhǎng)。例如：當(dāng)考慮到一個(gè)13×13像素的取數(shù)據(jù)操作時(shí)，讀取方式如圖7所示，其中陰影部分為所需要取得的數(shù)據(jù)，黑色箭頭表示每個(gè)時(shí)鐘周期所取像素。采用這種取相關(guān)數(shù)據(jù)方式，每個(gè)時(shí)鐘周期能夠取得8像素?cái)?shù)據(jù)，這種架構(gòu)能夠有效地減少訪(fǎng)問(wèn)外部SDRAM的precharge/active的頻率(每個(gè)precharge/active需要消耗2～5個(gè)時(shí)鐘周期)，從而能夠提高運(yùn)動(dòng)補(bǔ)償計(jì)算的性能。

圖7 Page/Bank存儲(chǔ)方式以及取亮度數(shù)據(jù)示意圖

4 綜合結(jié)果比較

采用文中所提出的設(shè)計(jì)方法，用Verilog語(yǔ)言進(jìn)行RTL級(jí)描述，開(kāi)發(fā)環(huán)境為QuartusII 10.2，使用Altera公司的Stratix II系列芯片EP2S90F1020C4，在時(shí)鐘頻率為135 MHz的情況下，使用資源為：4 590個(gè)ALUT;4 017個(gè)寄存器。建立的C模型是基于AVS驗(yàn)證模型RM09.10，H.264相關(guān)軟件JM12.1以及MPEG-2相關(guān)的模型v1.2a。通過(guò)測(cè)試3種不同標(biāo)準(zhǔn)的碼流，使用Synopsys Design Compiler綜合結(jié)果顯示，該Verilog代碼能夠滿(mǎn)足MC功能。表3中描述采用文中Buffer緩存機(jī)制，AVS碼流測(cè)試所節(jié)省的帶寬，結(jié)果表明采用文中設(shè)計(jì)Buffer能夠平均節(jié)省37.47%的帶寬消耗。

表3 AVS測(cè)試Buffer性能

Synopsys Design Compiler下，使用0.09 μm CMOS 工藝庫(kù)綜合，在工作頻率為135 MHz下，除去外部的存儲(chǔ)單元SDRAM運(yùn)動(dòng)補(bǔ)償計(jì)算模塊總共消耗45.48 kgate(運(yùn)動(dòng)補(bǔ)償像素插補(bǔ)計(jì)算單元與外部存儲(chǔ)器接口單元總和)，執(zhí)行1 Mbyte的MC計(jì)算(運(yùn)動(dòng)補(bǔ)償像素插補(bǔ)計(jì)算，不包括從外部SDRAM中取相關(guān)數(shù)據(jù))，需要消耗大約520個(gè)時(shí)鐘周期，相比文獻(xiàn)［6］減少了大約15%的時(shí)鐘周期，MC計(jì)算單元資源消耗情況及與文獻(xiàn)［6-7］比較見(jiàn)表4、表5所示，結(jié)果表明，該設(shè)計(jì)滿(mǎn)足實(shí)時(shí)高清解碼要求(30 f/s)。

表4 文中設(shè)計(jì)所耗資源

表5 MC計(jì)算單元資源與文獻(xiàn)［6-7］性能比較

5 小結(jié)

本文提出了一種滿(mǎn)足多標(biāo)準(zhǔn)視頻解碼的運(yùn)動(dòng)補(bǔ)償存儲(chǔ)架構(gòu)，外部存儲(chǔ)器SDRAM存儲(chǔ)6幀HD圖，每一幀圖采用頂?shù)讏?chǎng)數(shù)據(jù)分開(kāi)的方式存儲(chǔ)在SDRAM中，整個(gè)MC單元采用并行多級(jí)流水線(xiàn)處理，實(shí)現(xiàn)了對(duì)外部幀存儲(chǔ)單元的高效存取訪(fǎng)問(wèn)以及運(yùn)動(dòng)補(bǔ)償?shù)母咝в?jì)算，處理1 Mbyte的MC操作需要大約520個(gè)時(shí)鐘周期，相比文獻(xiàn)［6］節(jié)省了15%。綜合結(jié)果表明，本設(shè)計(jì)滿(mǎn)足高清視頻解碼的要求。

［1］Document JVT-C167.Draft ITU-T recommendation H.264(a.k.a"H.26L")［S］.2002.

［2］WANG S Z，LIN T A，LIU T M，et al.A new motion compensation design for H.264/AVC decoder［C］//Proc.IEEE International Symposium on Circuits and Systems，2005.［S.l.］：IEEE Press，2005：4558-4561.

［3］KIM J H，HYUN G H，LEE H J.Cache organizations for H.264/AVC motion compensation［C］//Proc.13th IEEE International Conference on RTCSA，2007.［S.l.］：IEEE Press，2007：534-541.

［4］ITU-T H.264建議書(shū)［S］.2005.

［5］LIN C F，CHUNG C C，TSAI Y C，et al.Bandwidth-efficient architecture design for motion compensation in H.264/AVC decoder［C］//Proc.10th IEEE International Conference on Solid-State and Integrated Circuit Technology，2010.［S.l.］：IEEE Press，2010：445-447.

［6］ZHENG Junhao，GAO Wen，WU D，et al.A novel VLSI architecture of motion compensation for multiple standards［J］.IEEE Trans.Consumer Electronics，2008，54(2)：687-694.

［7］TSAI C Y，CHEN T C，CHEN T W，et al.Bandwidth optimized motion compensation hardware design for H.264 HDTV decoder［C］//Proc.48th Midwest Symposium on Circuits and Systems，2005.［S.l.］：IEEE Press，2005，2：1199-1202.