摘 要：相對(duì)于以前其他的標(biāo)準(zhǔn)，H.264標(biāo)準(zhǔn)在分層編碼、幀內(nèi)/幀間預(yù)測(cè)編碼、多幀參考、預(yù)測(cè)精度等技術(shù)方面做了巨大的改進(jìn)。因此，在TMS320DM642平臺(tái)上實(shí)現(xiàn)H.264基檔次編碼器的移植與優(yōu)化顯得格外實(shí)用和必要。基于對(duì)DSP平臺(tái)的結(jié)構(gòu)特性和H.264的計(jì)算復(fù)雜度分析，主要從以下3個(gè)方面對(duì)H.264編碼器進(jìn)行了優(yōu)化：核心算法、數(shù)據(jù)傳輸和存儲(chǔ)器/Cache使用。實(shí)驗(yàn)結(jié)果表明，對(duì)于CIF格式的視頻序列，最優(yōu)化后的H.264編碼器能夠達(dá)到每秒高于24幀的編碼速度，滿足了視頻處理對(duì)于實(shí)時(shí)性的要求。

關(guān)鍵詞：預(yù)測(cè)精度;H.264編碼器;最優(yōu)化;TMS320DM642

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：B文章編號(hào)：1004373X(2008)1912605

Implementation and Optimization of H.264 Encoder Based on DSP Platform

ZHANG Shi，JIAO Tianguang，LIU Xiaozhi

(Northeastern University，Shenyang，110004，China)

Abstract：Compared with other previous standards，H.264 standard has great improvement in aspects of hierarchical encoding，intra/inter prediction coding，multi-frame reference and prediction accuracy.It′s practical and necessary that the optimization and implementation of H.264 baseline profile encoder on the platform of TMS320DM642.Based on the architectural features of DSP and the computational complexity analysis of H.264 encoder，the H.264 encoder is optimized from the following three aspects:core algorithms，data transfer and memory/Cache use.The experimental results demonstrate that the optimized H.264 encoder can achieve the encoding speed of more than 24 frames/s for the video sequences with CIF format，which can meet the real-time requirements of the applications.

Keywords：prediction accuracy;H.264 encoder;optimization;TMS320DM642

1 引 言

H.264/AVC是ITU-T和ISO/IEC共同成立的聯(lián)合視頻工作組JVT開(kāi)發(fā)的新一代視頻壓縮編碼標(biāo)準(zhǔn)。2002年5月，JVT形成委員會(huì)草案，7月形成最終委員會(huì)草案，12月形成最終國(guó)際標(biāo)準(zhǔn)草案。2003年5月， H.264/AVC標(biāo)準(zhǔn)正式推出，正式名稱為H.264 MPEG-4 part 10 AVC (Advanced Video Coding)，以下簡(jiǎn)稱為H.264標(biāo)準(zhǔn)^［4］。

H.264標(biāo)準(zhǔn)的提出是為了滿足日益增長(zhǎng)的視頻應(yīng)用對(duì)運(yùn)動(dòng)圖像更高的壓縮性能的需要，如視頻會(huì)議、電視廣播、流媒體等。H.264極大地降低了發(fā)送視頻圖像所需要的帶寬，能使編碼的視頻顯示以靈活的方式應(yīng)用于多樣化的網(wǎng)絡(luò)環(huán)境。目前，已經(jīng)有幾種手段可以實(shí)現(xiàn)H.264標(biāo)準(zhǔn)，例如PC，DSP，ASIC，F(xiàn)PGA，在它們當(dāng)中，通用DSP以其高性能和低功耗的特點(diǎn)成為一種較好的解決方案。

與以前的編碼標(biāo)準(zhǔn)相比，H.264標(biāo)準(zhǔn)主要有以下幾個(gè)方面特點(diǎn)：高壓縮編碼效率，高質(zhì)量視頻圖像，錯(cuò)誤恢復(fù)功能，網(wǎng)絡(luò)友好性等。H.264定義了4種檔次：基本檔次，主要檔次，擴(kuò)展檔次和高端檔次^［1］。每一種檔次支持一類特定的編碼工具集?；緳n次支持幀內(nèi)和幀間編碼，上下文自適應(yīng)變長(zhǎng)編碼?；谝曨l傳輸應(yīng)用方向的考慮，進(jìn)而實(shí)現(xiàn)了H.264基本檔次的標(biāo)準(zhǔn)。

TMS320DM642 DSP是TI 推出的一款最新的適合于多媒體應(yīng)用的可編程定點(diǎn) DSP，其結(jié)構(gòu)如圖1所示^［2］。它以 TMS320C64x 為核，該器件具有超長(zhǎng)指令(Very Long Instruction Word，VLIW)架構(gòu)、256 kB的SRAM和32 MB的外部存儲(chǔ)器、2 級(jí)存儲(chǔ)器/高速緩存層次結(jié)構(gòu)以及 EDMA 引擎等關(guān)鍵特性。DM642通過(guò)增強(qiáng)的直接存儲(chǔ)器訪問(wèn)(EDMA)控制器控制內(nèi)部存儲(chǔ)器，外部存儲(chǔ)器和外圍設(shè)備之間數(shù)據(jù)傳輸。因此，通過(guò)EDMA技術(shù)的使用使得DSP的速度能夠得到合理的改善。與通用C6000指令相比，DM642格外擴(kuò)展了88條指令，并能依據(jù)不同的條件靈活地選擇最佳指令，以便于芯片能夠獲得更好的性能，并且更易實(shí)現(xiàn)圖像處理算法，從而使其成為計(jì)算強(qiáng)度較大的視頻/影像應(yīng)用(如視頻編碼)的最佳選擇之一。

圖1C64x DSP結(jié)構(gòu)

2 H.264編碼器算法復(fù)雜度分析

H.264編碼器框架^［3］如圖2所示，它依然沿用了先前H.263等標(biāo)準(zhǔn)的混合編碼框架。盡管如此，H.264也采用了一些先進(jìn)壓縮技術(shù)，包括幀內(nèi)預(yù)測(cè)，多模式運(yùn)動(dòng)估計(jì)，整數(shù)余弦變換，去塊濾波器和熵編碼，這些技術(shù)的應(yīng)用在很大程度上提高了壓縮效率。

圖2 H.264編碼器框架

在H.264的基本檔次中，當(dāng)對(duì)4幅參考幀操作時(shí)，運(yùn)動(dòng)估計(jì)部分占用了全部計(jì)算時(shí)間的70%，而基于上下文的可變長(zhǎng)編碼和整數(shù)變換兩個(gè)部分分別約占用了12%。另外需要注意的是，在運(yùn)動(dòng)補(bǔ)償時(shí)，不是分塊越小越好，分塊的減小會(huì)必然會(huì)造成搜索算法復(fù)雜度的上升，傳輸?shù)倪\(yùn)動(dòng)矢量數(shù)目增多，隨之而來(lái)的是，傳輸這些矢量帶來(lái)的額外比特消耗可能會(huì)高于降低殘差圖像能量而帶來(lái)的比特?cái)?shù)，造成得不償失的情況。因此，運(yùn)動(dòng)估計(jì)操作是H.264編碼器中最集中，最耗時(shí)的部分，理應(yīng)成為主要的優(yōu)化對(duì)象。

H.264支持7種幀間編碼模式并且每一種模式都有不同的塊大小，這有助于提高壓縮性能。然而，支持7種不同的塊大小在很大程度上也會(huì)增加計(jì)算復(fù)雜度。文中對(duì)Forman視頻序列分別用了4種編碼方式進(jìn)行編碼。前三種方式分別使用了16×16，8×8，4×4的塊大小，最后一種使用了所有的模式。測(cè)試結(jié)果表明小的幀間宏塊大小對(duì)壓縮效率貢獻(xiàn)很小，也就是說(shuō)，4×4的塊大小對(duì)最小化峰值信噪比增益貢獻(xiàn)極小。這一實(shí)驗(yàn)結(jié)果是采用多模式運(yùn)動(dòng)估計(jì)優(yōu)化來(lái)表示的。

3 H.264編碼器優(yōu)化

從多方面來(lái)看，PC和DSP是兩種截然不同的結(jié)構(gòu)。如果H.264編碼器未經(jīng)優(yōu)化直接移植到DSP平臺(tái)，編碼速度不足以滿足實(shí)時(shí)處理的要求。因此，依據(jù)DSP的結(jié)構(gòu)特點(diǎn)進(jìn)行適當(dāng)優(yōu)化顯得非常必要，實(shí)現(xiàn)流程一般分三個(gè)階段：第一階段產(chǎn)生和評(píng)估C代碼；第二階段優(yōu)化和評(píng)估C代碼；第三階段編寫(xiě)和評(píng)估線性匯編。文中主要從以下3個(gè)方面進(jìn)行了優(yōu)化：核心算法，數(shù)據(jù)傳輸，存儲(chǔ)器/Cache的使用。實(shí)驗(yàn)結(jié)果表明，對(duì)于CIF格式的視頻序列，優(yōu)化后的H.264編碼器能夠達(dá)對(duì)實(shí)時(shí)性的要求。

3.1 算法優(yōu)化

如上所述，運(yùn)動(dòng)估計(jì)，整數(shù)余弦變換/反整數(shù)余弦變換，量化是H.264編碼器中最耗時(shí)的部分。因此，這3項(xiàng)是優(yōu)化的主要對(duì)象。

3.1.1 運(yùn)動(dòng)估計(jì)

視頻序列圖像在時(shí)間上存在很強(qiáng)的相關(guān)性，采用運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償技術(shù)可以消除時(shí)間冗余以提高編碼效率。運(yùn)動(dòng)估計(jì)粗略分為全局運(yùn)動(dòng)估計(jì)、基于像素點(diǎn)運(yùn)動(dòng)估計(jì)、基于塊運(yùn)動(dòng)估計(jì)和基于區(qū)域地運(yùn)動(dòng)估計(jì)。H.264標(biāo)準(zhǔn)采用塊運(yùn)動(dòng)估計(jì)匹配算法，它包含匹配原則(主要有MAD、MSE和NCCF三類)，搜索范圍，搜索方案等。但是搜索算法是影響塊匹配算法性能的主要因素。在整像素的運(yùn)動(dòng)估計(jì)中，采用了基于菱形搜索算法，如圖3所示。和絕對(duì)差值和(SAD)匹配原則，如下式：

SAD(i，j)=∑Mm=0∑Nn=0fk(m，n)-fk-1(m+i，n+j)

圖3 菱形搜索算法

如圖1所示，DM642有8個(gè)獨(dú)立的功能單元，它們能夠同時(shí)運(yùn)行，同時(shí)它也提供了7個(gè)特殊指令用來(lái)降低絕對(duì)差值和的耗時(shí)。它還有3個(gè)可配置的雙通道視頻端口，最多可處理6路視頻采集數(shù)據(jù); 具有64個(gè)獨(dú)立通道的EDMA(擴(kuò)展的直接存儲(chǔ)器訪問(wèn))控制器，負(fù)責(zé)片內(nèi)L₂與其他外設(shè)之間的數(shù)據(jù)傳輸。LDNDW/LDNW，SUBABS4和DOTPU4三條特殊指令非常有助于代碼的運(yùn)行并行度，同時(shí)使得絕對(duì)差值和函數(shù)運(yùn)行的更加高效。

為了提高編碼器的速度，采用快速算法預(yù)測(cè)最可能的模式，通過(guò)計(jì)算絕對(duì)差值和，最終確定最佳模式。如前所述，小塊模式對(duì)編碼性能貢獻(xiàn)微弱，因此，把快速算法幀間模式分為3種類型，分別為大塊模式、小塊模式和幀內(nèi)模式，它們的選擇是依據(jù)預(yù)設(shè)閾值。在大、小模式中，使用相鄰宏塊相關(guān)性對(duì)編碼模式進(jìn)行預(yù)測(cè)會(huì)減少計(jì)算復(fù)雜度。基于DSP的結(jié)構(gòu)特點(diǎn)，采用如圖4所示的快速算法^［5］。

圖4 P幀預(yù)測(cè)模式

為了保證編碼效率盡可能的不被影響，在整數(shù)像素運(yùn)動(dòng)補(bǔ)償部分僅僅使用了快速算法，并且使用了線性匯編語(yǔ)言作為子像素運(yùn)動(dòng)估計(jì)的編碼，這些匯編指令充分地發(fā)揮了DSP的性能優(yōu)勢(shì)。

3.1.2 ICT/反ICT和量化

原始的ICT/IICT和量化算法不能夠充分發(fā)揮DSP的并行優(yōu)勢(shì)，以至于8個(gè)功能單元在編碼的過(guò)程中都處于閑置狀態(tài)，存儲(chǔ)器中的數(shù)據(jù)被頻繁重復(fù)的訪問(wèn)也導(dǎo)致了DSP運(yùn)行效率的降低。為了提高H.264編碼器的運(yùn)行速度，原始的編碼速度理應(yīng)得到提高。在圖5所示中，提出對(duì)于ICT/IICT和量化部分的算法圖例，一個(gè)宏塊中所有基于4×4塊的ICT/IICT變換都能夠同時(shí)執(zhí)行，這充分利用了DSP的8個(gè)功能單元。此外，量化/反量化和Z掃描在一個(gè)模塊中被組合在一起，也能夠有效的降低存儲(chǔ)器的訪問(wèn)次數(shù)。實(shí)驗(yàn)結(jié)果表明，經(jīng)量化后，計(jì)算一個(gè)ICT/IICT的4×4塊僅僅需要14個(gè)平均周期。這一優(yōu)化不但提高了算法的速度又顯著地降低了碼流大小。

圖5 ICT/反ICT和量化流程圖

3.2 數(shù)據(jù)傳輸

在編碼過(guò)程中，CPU需要頻繁地處理大量待傳輸?shù)臄?shù)據(jù)。增強(qiáng)直接存儲(chǔ)器訪問(wèn)(EDMA)技術(shù)是一種高效的數(shù)據(jù)傳輸手段，它能夠在沒(méi)有CPU干預(yù)的情況下獨(dú)立地完成與外設(shè)之間的數(shù)據(jù)傳輸。與DMA控制器相比，EDMA提供了16個(gè)增強(qiáng)通道，可以在可設(shè)置優(yōu)先級(jí)的情況下實(shí)現(xiàn)數(shù)據(jù)傳輸?shù)倪B接。同時(shí)，EDMA和CPU能夠同時(shí)運(yùn)行，這在很大程度上提升了DSP的處理速度。圖6給出了EDMA的數(shù)據(jù)傳輸方案^［5］。

圖6 EDMA數(shù)據(jù)傳輸方案

所有的數(shù)據(jù)都可以由EDMA來(lái)傳輸，包括宏塊數(shù)據(jù)，參考幀，重建宏塊和輸出比特流。數(shù)據(jù)傳輸?shù)倪^(guò)程中用到了乒乓緩存模式，例如，當(dāng)CPU正在處理A緩存中的數(shù)據(jù)時(shí)，B緩存中的數(shù)據(jù)可以傳輸。進(jìn)而，CPU不在訪問(wèn)外部存儲(chǔ)器，僅僅訪問(wèn)內(nèi)部存儲(chǔ)器。這一方案有效地解決了CPU訪問(wèn)外部存儲(chǔ)器時(shí)的延時(shí)問(wèn)題。

3.3 存儲(chǔ)器和Cache使用

Cache是一種存在于存儲(chǔ)器和CPU之間的高速小型化的存儲(chǔ)器設(shè)備，它能從存儲(chǔ)器有效地讀取程序和數(shù)據(jù)。為了滿足視頻編碼器實(shí)時(shí)編碼的要求，我們必須最大限度地提高代碼的性能，除了進(jìn)行相應(yīng)的優(yōu)化外，還可以通過(guò)減少由于數(shù)據(jù)和代碼的讀取導(dǎo)致的延時(shí)，最大效率地提高Cache的性能，從而提高編碼器性能。

DM642有一個(gè)兩級(jí)(Level 2)高性能Cache結(jié)構(gòu)，一級(jí)程序Cache和一級(jí)數(shù)據(jù)Cache，它們都有16 kB的獨(dú)立存儲(chǔ)器，并且均可以被存入兩級(jí)Cache中。兩級(jí)Cache可以被設(shè)置為Cache，SRAM或者Cache，SRAM的一部分。因?yàn)橐恍㏒RAM通常用于存儲(chǔ)數(shù)據(jù)(例如宏塊，參考幀，全局?jǐn)?shù)組)，所以可以將Cache設(shè)為64 kB。CPU與Cache之間的數(shù)據(jù)讀取過(guò)程如圖7所示。

圖7 CPU讀取數(shù)據(jù)過(guò)程

基于EDMA的數(shù)據(jù)傳輸使得CPU可以單一訪問(wèn)內(nèi)部存儲(chǔ)器，并有效地減少訪問(wèn)外部存儲(chǔ)器的延遲。以前的視頻編碼器單獨(dú)地處理每一個(gè)宏塊，編碼量比兩級(jí)Cache的64 kB還要大，在整個(gè)編碼的進(jìn)程中，需要在外部存儲(chǔ)器和兩級(jí)Cache之間頻繁地傳送數(shù)據(jù)，這極有可能使得大量Cache數(shù)據(jù)丟失，降低DSP的執(zhí)行效率。

為了充分發(fā)揮兩級(jí) Cache的性能優(yōu)勢(shì)，出于從處理數(shù)據(jù)長(zhǎng)度、數(shù)組和代碼的重新組織等方面的考慮，進(jìn)而修改了H.264編碼器的框架。修訂后的框架如圖8所示，它包含3個(gè)回路，即編碼回路、基于上下文的變長(zhǎng)編碼( CAVLC )回路、去塊回路。在單一的回路中，幾個(gè)宏塊可以分別單獨(dú)處理。在一個(gè)宏塊的條帶被編碼之后，編碼器將傳輸下一個(gè)回路模塊。修訂的新框架有效減少兩級(jí)Cache的損耗，并在很大程度上提高了CPU訪問(wèn)外部存儲(chǔ)器的速度。

圖8 修訂框架

4 實(shí)驗(yàn)結(jié)果

在600 MHz的TMS320DM642平臺(tái)上，對(duì)CIF格式的5個(gè)視頻序列(Akiyo，News，F(xiàn)oreman，F(xiàn)ootball，Mobile)進(jìn)行了相關(guān)實(shí)驗(yàn)。在這5個(gè)視頻序列中，Akiyo和News序列有較低的運(yùn)動(dòng)級(jí)別，背景變化畫(huà)面人物運(yùn)動(dòng)幅度不大，而Foreman和Football有高的運(yùn)動(dòng)級(jí)別，運(yùn)動(dòng)劇烈有場(chǎng)景切換，最后一種Mobile序列則有復(fù)雜的背景。每一種序列均以IPPP…模式進(jìn)行編碼，30幀組成一個(gè)圖像組(GOP)。表1 列出了在量化步長(zhǎng)(QP)為25的情況下，原始H.264編碼器和優(yōu)化后的H.264編碼器之間的對(duì)比結(jié)果。從中可以看出，原始的編碼器的編碼速度是2~3 f/s，而優(yōu)化后的編碼速度是前者的10倍多。表2示出了編碼性能方面的比較結(jié)果。

表1 試驗(yàn)結(jié)果(QP=25)

AkiyoNewsForemanFootballMobile

優(yōu)化前幀率 /f/s3.783.582.862.693.11

峰值信噪比 /dB42.1141.2839.2340.2235.88

比特率 /kb/s198.6415.6939.51 548.33 055.6

優(yōu)化后幀率 /f/s54.2248.5333.3626.8828.65

峰值信噪比 /dB42.7941.7239.6841.7136.06

比特率 /kb/s249.6499.91187.31 901.33 242.5

表2 編碼性能的比較結(jié)果

AkiyoNewsForemanFootballMobile

ΔPSNR /dB-0.68-0.54-0.45-1.49-0.18

圖9是峰值信噪比(PSNR)的比較結(jié)果。從圖中分析得知，優(yōu)化后的H.264編碼器在性能方面會(huì)有某種程度的下降。

圖9 PSNR對(duì)比結(jié)果

對(duì)于Football序列，峰值信噪比平均下降了1.49 dB，Mobile序列是0.18 dB。這是因?yàn)樵贔ootball序列存在劇烈的運(yùn)動(dòng)，運(yùn)動(dòng)估計(jì)主要用于減少?gòu)?fù)雜度從而導(dǎo)致了運(yùn)動(dòng)估計(jì)精確度下降。然而，優(yōu)化后的H.264編碼器的編碼速度可以達(dá)到24 f/s，滿足了視頻處理中對(duì)于實(shí)時(shí)性的要求。

文中的所有優(yōu)化手段都起到了優(yōu)化的作用，當(dāng)然，在整個(gè)優(yōu)化過(guò)程中核心算法優(yōu)化是最重要的部分，它直接決定了編碼器的編碼性能。這一部分主要從以下3個(gè)方面考慮：一是通過(guò)調(diào)整整體代碼的流程和使用快速算法以及通過(guò)對(duì)CCS提供的不同編譯選項(xiàng)設(shè)置來(lái)實(shí)現(xiàn)的; 二是基于C代碼的整體優(yōu)化方案，包括使用volatile，restrict關(guān)鍵字、定義函數(shù)為內(nèi)聯(lián)、減少函數(shù)的調(diào)用等; 三是對(duì)那些反復(fù)調(diào)用的，對(duì)程序性能影響很大的函數(shù)用匯編語(yǔ)言來(lái)改寫(xiě)。另外，基于EDMA的數(shù)據(jù)傳輸優(yōu)化是非常有效的，它有效地降低了訪問(wèn)外部存儲(chǔ)器的時(shí)間。

5 結(jié) 語(yǔ)

基于DM642的結(jié)構(gòu)特性和H.264編碼器的編碼構(gòu)架，主要從3個(gè)方面進(jìn)行了優(yōu)化：核心算法，數(shù)據(jù)傳輸和存儲(chǔ)器/Cache的使用。實(shí)驗(yàn)結(jié)果表明經(jīng)優(yōu)化后的H.264編碼器能夠達(dá)到24 f/s的編碼速率，滿足了視頻處理對(duì)于實(shí)時(shí)性的要求。

參考文獻(xiàn)

［1］ISO/IEC 14496-10.Information Technology-Coding of Audio-Visual Objects-Part 10:Advanced Video Coding ［S］.Hong Kong:ISO/IEC JTC 1/SC 29，2005.

［2］江思敏，劉暢.TMS320C6000 DSP應(yīng)用開(kāi)發(fā)教程［M］.北京:機(jī)械工業(yè)出版社，2005.

［3］Iain E G Richardson.H.264和MPEG-4視頻壓縮新一代多媒體的視頻編碼技術(shù)［M］.歐陽(yáng)合，韓軍，譯.湖南:國(guó)防科技大學(xué)出版社，2004.

［4］侯艷艷.基于DM642的H.264編碼器的優(yōu)化與設(shè)計(jì)［D］.山東:山東大學(xué)，2007.

［5］David Dagan，Wang Qiang.Optimization and Implementation of H.264 Encoder on DSP Platform［J］.ICME，2007，36(12):232-235.

作者簡(jiǎn)介

張 石 1963年出生，遼寧沈陽(yáng)人，教授，現(xiàn)任東北大學(xué)電子信息工程研究所所長(zhǎng)，遼寧省高等學(xué)校電工學(xué)研究會(huì)理事長(zhǎng)。多年來(lái)，承擔(dān)多項(xiàng)科研課題，科研項(xiàng)目涉及PLC應(yīng)用、嵌入式技術(shù)的應(yīng)用、管理信息系統(tǒng)等。

矯田廣 1983年出生，遼寧大連人，碩士研究生，現(xiàn)就讀于遼寧省沈陽(yáng)市東北大學(xué)電子工程研究所，信號(hào)與信息處理專業(yè)。主要研究方向?yàn)榍度胧较到y(tǒng)及多媒體信息處理，研究課題為基于TMS320DM642平臺(tái)的H.264編碼器實(shí)現(xiàn)與優(yōu)化。

劉曉志 1968年出生，遼寧沈陽(yáng)人，副教授。主要學(xué)術(shù)方向?yàn)閺?fù)雜系統(tǒng)魯棒分散控制、組合時(shí)滯系統(tǒng)分散控制等。

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文