黃學(xué)超,張衛(wèi)寧

(山東大學(xué)信息科學(xué)與工程學(xué)院 ,山東濟南 250100）

AVS編碼變換量化和掃描硬件設(shè)計與實現(xiàn)

黃學(xué)超,張衛(wèi)寧

(山東大學(xué)信息科學(xué)與工程學(xué)院 ,山東濟南 250100）

本文提出了滿足AVS實時高清視頻編碼的變換、量化、反量化、反變換和掃描的硬件設(shè)計方案。該設(shè)計方案以宏塊為單位進(jìn)行操作,通過采用乒乓操作和流水線技術(shù),提供了高性能的并行數(shù)據(jù)處理能力。本文根據(jù)AVS變換和反變換的特點,設(shè)計了RAM行列存儲器,實現(xiàn)高速并行轉(zhuǎn)置,同時,提出了利用RAM實現(xiàn)并行掃描的方法及其結(jié)構(gòu),提供高數(shù)據(jù)吞吐速率.用FPGA驗證結(jié)果表明,該設(shè)計滿足高清序列1080i 30H z實時編碼要求。

AVS;實時高清視頻編碼;RAM行列存儲器;并行掃描

0 引言

AVS(Audio Video coding Standard)是我國自主制定的、具有自主知識產(chǎn)權(quán)的音視頻信源編碼標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)技術(shù)方案簡潔,芯片實現(xiàn)復(fù)雜度低,編碼效率比第一代標(biāo)準(zhǔn)(M PEG-2)高 2-3倍,在和H.264標(biāo)準(zhǔn)編碼效率相當(dāng)?shù)耐瑫r具有較低的編碼復(fù)雜度。目前視頻部分已正式成為國家標(biāo)準(zhǔn)[1-2]。

火災(zāi)自動報警系統(tǒng)工程的發(fā)展非常迅速，新技術(shù)、新工藝、新材料、新設(shè)備不斷涌現(xiàn)，設(shè)備的更新?lián)Q代速度快，在工程設(shè)計中必須考慮現(xiàn)代水利建筑智能防火方面發(fā)展的要求，要有一定的前瞻性，因此在設(shè)計階段各項設(shè)計內(nèi)容的質(zhì)量控制顯得尤為重要。

變換、量化、反量化、反變換和掃描是AVS編碼中數(shù)據(jù)處理流程的中間部分,既將殘差經(jīng)過變換、量化、反量化和反變換后返回給幀內(nèi)和幀間部分,又將掃描后生成的(run,level)對傳送至熵編碼部分,因此其實現(xiàn)結(jié)構(gòu)的優(yōu)劣直接影響到編碼器的性能。

本文基于 AVS編解碼標(biāo)準(zhǔn),以實現(xiàn) 1080i 30H z格式視頻實時高清編碼為目標(biāo),設(shè)計了一種高速并行處理結(jié)構(gòu)。變換和反變換處理一個8x8塊的時間僅需14個時鐘。本文并設(shè)計了RAM行列存儲器而不是轉(zhuǎn)置寄存器實現(xiàn)了轉(zhuǎn)置,轉(zhuǎn)置操作僅需8個時鐘,節(jié)省了大量的寄存器和選擇器資源。同時,筆者利用RAM 實現(xiàn)并行掃描,加快整個模塊的數(shù)據(jù)吞吐速率。

1 整數(shù)DCT、掃描

1)整數(shù)變換和反變換

3.要立足于互聯(lián)網(wǎng)的經(jīng)濟特點，形成相匹配的包裝思路。在互聯(lián)網(wǎng)電商日益成熟的今天，運輸物流尤其是跨境電商模式在逐漸成熟。在這一背景下，探索包裝設(shè)計活動的新方向，同時對大眾消費者自身的興趣與關(guān)注度進(jìn)行分析，這是當(dāng)前整個包裝設(shè)計活動實施進(jìn)程中的重要內(nèi)容。要想做好商品的包裝設(shè)計，企業(yè)必須從包裝圖案、文字使用和色彩選擇、色彩搭配這三個重要角度出發(fā)，通過合理搭配和巧妙應(yīng)用，從而在詮釋其設(shè)計活動文化特性的基礎(chǔ)上，實現(xiàn)其藝術(shù)性的詮釋與觀賞性的表達(dá)。

AVS采用基于88塊大小的類DCT整數(shù)變換,避免了變換和反變換過程中產(chǎn)生的誤差,使編解碼端數(shù)據(jù)相匹配。AVS變換和反變換的公式如下:

式中,TT8為 T8的轉(zhuǎn)置,有

為了減少變換和量化過程中取整帶來的誤差,H.264中將正向縮放和量化結(jié)合在一起操作,反向縮放和反量化一起操作。而在AVS-P2中,則采用帶PIT(預(yù)縮放整數(shù)變換)的8x8整數(shù)余弦變換技術(shù),把所有的縮放都放在編碼端完成,極大地簡化了解碼器的計算量。

每個時鐘依據(jù)掃描次序得到兩個像素地址,分別由輸入緩存RAM的雙口讀出兩個掃描數(shù)據(jù),32個時鐘掃描完成一個子塊。

...I am in no humour at present to give consequence to young ladieswhoareslighted by other men[4].

2 AVS編碼器結(jié)構(gòu)

圖1為AVS編碼系統(tǒng)框圖。在硬件上編碼系統(tǒng)主要由幀內(nèi)預(yù)測、幀間預(yù)測、變換量化反變換反量化掃描、環(huán)路濾波和熵編碼等五部分組成。由編碼框圖可知,AVS編碼路徑非常長,若采用順序處理方式,會降低硬件的利用率和吞吐率,而且不能滿足時序要求。

為了加快處理速度,通常采用宏塊級流水線處理,如圖2所示。在幀內(nèi)預(yù)測時,子塊預(yù)測需用到同一宏塊內(nèi)相鄰子塊的重建像素,幀內(nèi)預(yù)測、變換、量化、反量化、反變換和重構(gòu)構(gòu)成了一個編碼環(huán)路。因此,將變換、量化、反量化和反變換集成到一起進(jìn)行優(yōu)化,采用合理的流水線成為必然。在幀間預(yù)測時,有可能同時獲得多個殘差塊,需要連續(xù)處理。若是掃描模塊處理速度不夠快,則將影響整個系統(tǒng)的數(shù)據(jù)吞吐速率,所以,掃描模塊也必須進(jìn)行優(yōu)化。

圖1 AVS編碼系統(tǒng)框圖

圖2 AVS編碼器流水線流程

3 硬件結(jié)構(gòu)

本文的設(shè)計目標(biāo)是支持19201088,30fps格式視頻的 AVS實時高清編碼,系統(tǒng)工作頻率為100MHz。可以計算得到一個宏塊的處理時間為256/(1920108830)=4085ns,即不超過408個時鐘周期,否則就不能滿足編碼要求。

王婆什么觀察力也失去了！不自覺地退縮在趙三的背后，就連那永久帶著笑臉，常來王婆家搜查的日本官長，她也不認(rèn)識了。臨走時那人向王婆說“再見”，她直直遲疑著而不回答一聲。

圖3為本設(shè)計的硬件頂層結(jié)構(gòu)框圖。系統(tǒng)通過FIFO與幀內(nèi)預(yù)測和幀間預(yù)測部分接口,接口寬度為144bit?？刂颇K依據(jù)掃描模塊乒乓緩存RAM的狀態(tài)產(chǎn)生讀 FIFO命令,收到讀 FIFO命令后,FIFO發(fā)送殘差塊數(shù)據(jù),每個周期輸出兩列數(shù)據(jù)。殘差數(shù)據(jù)經(jīng)過變換后從查找表LUT單元得到量化和反量化參數(shù)進(jìn)行量化反量化[3],量化數(shù)據(jù)保存至乒乓緩存RAM,由掃描模塊控制并行掃描,掃描模塊輸出逆序后的(run,level)對。反量化數(shù)據(jù)經(jīng)過反變換后輸出,反變換模塊每個時鐘輸出兩列數(shù)據(jù)。量化反量化單元的處理周期固定為3個時鐘。

業(yè)內(nèi)人士估算，整個共享單車領(lǐng)域這幾年已經(jīng)燒掉了超過百億美元，但是，也有數(shù)億用戶形成了使用共享單車的習(xí)慣。但這一切，只是棋至中局。

圖3 硬件頂層結(jié)構(gòu)框圖

1)變換和反變換模塊

傳統(tǒng)的行列分解法是AVS變換和反變換最常用并行處理方法,即將變換和反變換用8次水平變換和8次垂直變換實現(xiàn)。在本設(shè)計中,變換和反變換模塊采用改進(jìn)的行列分解法每次單步運算處理兩行或兩列的數(shù)據(jù)。變換模塊先列變換后行變換,反變換模塊先行變換后列變換。

一般,殘差經(jīng)過變換量化后會產(chǎn)生很多零系數(shù),為了更有效的去除編碼冗余,在熵編碼之前要進(jìn)行Zig-Zag掃描和游程編碼。AVS規(guī)定了兩種掃描模式,幀掃描模式和場掃描模式,其選擇決定于當(dāng)前圖像的編碼方式[2]。根據(jù)兩種掃描模式可以得到掃描次序和像素點坐標(biāo)的對應(yīng)關(guān)系。

與傳統(tǒng)方法相比,本設(shè)計將變換和反變換的時間縮短一半,而僅僅增加了一個一維變換模塊和一維反變換模塊。而一維變換和一維反變換模塊,可以只用加法和移位實現(xiàn),因此,只增加了很少的硬件開銷。變換、反變換的結(jié)構(gòu)框圖如圖4所示。本設(shè)計中,單步變換或反變換為3級流水結(jié)構(gòu)。

圖4 變換或反變換結(jié)構(gòu)框圖

PFD最常見的癥狀是POP、SUI，對女性正常生活影響最大。POP是盆底支持組織(肌肉和筋膜)松弛導(dǎo)致盆腔組織器官移位而出現(xiàn)的盆腔功能異常，子宮脫垂發(fā)生率較高，其次是陰道前壁膨出、陰道后壁膨出。我國中老年婦女POP患病率為30%，美國老年女性POP患病率為50%[10]。71%POP患者伴有SUI，59%SUI患者伴有POP[11]。PFD病因尚不十分清楚，流行病學(xué)研究[12]顯示，年齡、雌激素水平下降、妊娠和陰道分娩、便秘、肥胖、盆腔手術(shù)史等是PFD的主要致病因素,其中年齡、經(jīng)陰道分娩、多產(chǎn)是PFD獨立危險因素，肥胖、便秘、雌激素分泌減少、慢性咳嗽是非獨立危險因素。

全國有200多種常用藥材已開展人工種植[21]。規(guī)范中藥材的種植，建立健全的中藥材種植質(zhì)量控制標(biāo)準(zhǔn)可確保從源頭控制質(zhì)量。盡可能固定藥材基原、產(chǎn)地、種植條件、采收期等影響藥材質(zhì)量的各種因素，可在一定程度上保證中藥材質(zhì)量均一穩(wěn)定[22]。

變換反變換單元都需對中間結(jié)果進(jìn)行轉(zhuǎn)置,該轉(zhuǎn)置要能存儲一個塊的數(shù)據(jù),且能按照兩行或兩列的方式并行輸入輸出數(shù)據(jù)。若采用文獻(xiàn)[4]結(jié)構(gòu)實現(xiàn),將耗費大量的寄存器。若采用文獻(xiàn)[5]所用的RAM實現(xiàn),僅反變換就需要40個時鐘,變換和反變換需要80個時鐘,一個宏塊就需要480個時鐘周期,不滿足編碼要求。

本文設(shè)計了 RAM行列存儲器實現(xiàn)轉(zhuǎn)置,該存儲器不僅能按照兩行或兩列的方式并行輸入輸出數(shù)據(jù),且能同時進(jìn)行兩次轉(zhuǎn)置操作,實現(xiàn)乒乓轉(zhuǎn)置。該轉(zhuǎn)置存儲器由8個大小為832bit的RAM 組成,每個RAM都由XilinxISE10.1 03綜合工具IPCORE Generators生成為雙端口RAM,寫寬度為32,深度為8,讀寬度為128,深度為2。其結(jié)構(gòu)如圖5所示。

圖5 RAM行列存儲器

變換模塊轉(zhuǎn)置時,每塊RAM的A端口輸入數(shù)據(jù),每個時鐘輸入兩個像素值,按時鐘分別寫入0,1,2,3單元,共輸入一列數(shù)據(jù)。輸出時第一個時鐘輸出0,1塊0單元數(shù)據(jù),第二個時鐘輸出2,3塊0單元數(shù)據(jù),直到第四個時鐘輸出6,7塊0地址數(shù)據(jù)。反變換模塊轉(zhuǎn)置時,B端口輸入數(shù)據(jù),寫入4,5,6,7單元,輸出時輸出地址為1。轉(zhuǎn)置操作共需要8個時鐘,88像素塊完成變換或反變換只需14個時鐘。

3)掃描模塊

方勛梅沒有主動出擊，程曉也懶得理她，只是每天，方勛梅剛剛鉆出尼桑車，他的凱迪拉克也悄然駛?cè)霃S區(qū)；每天下班后，方勛梅的車剛一駛上公路，程曉的凱迪拉克就如一尾快魚從她身邊穿過，在暮色中倏地?zé)o影無蹤。

傳統(tǒng)的Zig-Zag掃描處理方法,掃描模塊每個時鐘掃描一個數(shù)據(jù),掃描一個塊需要64個時鐘,在加上存儲所需的4個時鐘,處理一個宏塊至少需要408個時鐘。而編碼一個宏塊最多要408個時鐘,顯然不滿足編碼要求。又因I幀宏塊內(nèi)子塊間隔時間不均勻,亮度子塊的時間間隔一般較長,與上文所提的編碼環(huán)路周期有關(guān),色度子塊和幀間子塊間隔一般較小。這樣很難保證子塊的流水處理,系統(tǒng)難以滿實時處理要求。本文通過并行掃描和乒乓操作技術(shù),大大減少掃描所需的時鐘,其結(jié)構(gòu)如圖6所示。

圖6 掃描模塊結(jié)構(gòu)框圖

當(dāng)有輸入緩存RAM處于空狀態(tài)時,掃描控制向系統(tǒng)發(fā)出請求數(shù)據(jù)信號,系統(tǒng)發(fā)送殘差塊,經(jīng)變換量化后存入輸入緩存,輸入緩存是大小為896bit的雙口RAM,寫寬度為 96,深度為8,讀寬度為12,深度為64?？刂颇K判斷有輸出緩存為空時,便可開始掃描。

2)RAM行列存儲器

2)掃描

由于AVS編碼是從高頻系數(shù)開始,與掃描的順序相反,所以輸出緩存需要逆序輸出(run,level)對。并行掃描有可能同時獲得兩個(run,level)對,所以輸出緩存由雙口RAM組成,大小為6518bit。掃描結(jié)束后,輸出緩存開始從當(dāng)前地址讀取數(shù)據(jù),一直讀到零地址數(shù)據(jù)(存儲0),即EOB碼,輸出一個子塊最多需要65個時鐘(所有量化系數(shù)都不為零時)。由于乒乓掃描操作,掃描模塊處理一個宏塊最多需要390個時鐘。

4 結(jié)果分析與仿真綜合結(jié)果

1)結(jié)果分析

1996年我國開始啟動超級稻研究。近20年來，我國水稻單產(chǎn)有了大幅度提高。雙季超級稻總產(chǎn)優(yōu)勢明顯高于一季超級稻，雙季超級稻開始進(jìn)入了推廣階段。隨后，袁隆平開始大膽設(shè)想“種三產(chǎn)四”的雜交水稻工程，即用“3畝（1畝≈667 m2）地生產(chǎn)出4畝地的糧食”[2]。在南方地區(qū)大力推廣雙季超級稻種植，大幅度提高單產(chǎn)，滿足了我國日益增長的糧食需求。

文獻(xiàn)[4]和[5]在反變換模塊的設(shè)計上都采用傳統(tǒng)的行列分解法。在轉(zhuǎn)置操作的實現(xiàn)上,文獻(xiàn)[4]采用64個寄存器實現(xiàn),文獻(xiàn)[5]采用 RAM 實現(xiàn),兩種設(shè)計反變換所需時間分別為24和40個時鐘。

本設(shè)計中,設(shè)計了RAM行列存儲器存儲變換和反變換的中間結(jié)果并在在8個時鐘內(nèi)實現(xiàn)了轉(zhuǎn)置,將變換、量化、反量化、反變換合成到同一流水線。變換和反變換都僅需14個時鐘,一個子塊完成變換、量化、反量化和反變換只需30個時鐘,大大減少了幀內(nèi)預(yù)測時編碼環(huán)路所用時間,給幀內(nèi)預(yù)測預(yù)留了充足的時鐘。同時,系統(tǒng)根據(jù)掃描模塊輸入和緩存的狀態(tài),發(fā)送數(shù)據(jù)請求信號,根據(jù)輸出緩存狀態(tài),進(jìn)行掃描。而掃描模塊掃描子塊最少需要32個時鐘,輸出子塊(run,level)最多需要65個時鐘。因此,系統(tǒng)處理一個宏塊的時間取決于掃描模塊,最高為390個時鐘(所有量化系數(shù)不為零時),滿足編碼要求。

2)仿真綜合結(jié)果

本設(shè)計使用Verilog HDL硬件描述語言進(jìn)行實現(xiàn)。Modelsim 6.2i進(jìn)行仿真,并采用 Xilinx-ISE10.103綜合工具,選擇XC5VFX100t-1FF1136器件。綜合占用資源如表1所示,綜合布局布線后的結(jié)果表明該結(jié)構(gòu)最高工作頻率高于150MH z。

表1 硬件綜合結(jié)果

利用ChipScope下載驗證,與AVS參考軟件RM 52G生成的測試向量進(jìn)行對比,下載驗證結(jié)果正確,該結(jié)構(gòu)完全滿足高清編碼需要。

下載驗證結(jié)果表明,該結(jié)構(gòu)可以滿足AVS實時高清編碼需要。

[1] Iain E.G.Richardson著,歐陽合,韓軍譯.H.264和MPEG-4視頻壓縮[M].長沙:國防科技大學(xué)出版社,2004

[2] 中國音視頻標(biāo)準(zhǔn)工作組.信息技術(shù)先進(jìn)音視頻編碼第二部分:視頻(Information technology-Advance coding of audio and video-part2:video(報批稿),2005

[3] Sheng Bin,Gao W en,W u Di.A n Im plem ented VLSI A rchitectu re of Inverse Quantizer for AVS HDTV V ideo Decoder[C].The 6th IEEE International Conference On ASIC(ASICON),Oct 24-27,2005(1):306-309

[4] 趙策,劉佩林.AVS游程解碼、反掃描、反量化和反變換優(yōu)化設(shè)計[J].哈爾濱:信息技術(shù),2007(2):54-57

[5] 黃友文,陳詠恩.AVS反掃描、反量化和反變換的一種優(yōu)化設(shè)計[J].北京:計算機工程與應(yīng)用,2008,44(19):93-95

Hardware Design and Implem entation of Transform Quantization and Scan in AVSCoding

HUANG Xue-chao,ZHANGWei-ning

(Co llegeo f In formation Science and Engineer ing,Shan Dong University,Jinan 250100,China)

A hardware architecture of transform,quantization,inverse quantization,inverse transform and scan for AVS real-time HD video coding is p roposed.The design operates on macroblock leveland p rovides high parallelization,in w hich ping-pong technique and pipelining technique are used.According to the specialty of transform and inverse transform,a row-line RAM m emorizer which can realize fast parallel transpose is designed.A parallel scan method using RAM and its hardware architectureare proposed to provide high data throughput.The FPGA verification show s that the design supports 1080i 30Hz real-time HD video coding.

AVS;real-time high definition video coding;row-line RAM memorizer;parallel scan

TN 919.81

A

1008-0686(2011)02-0034-04

2010-08-08;

2010-11-08

黃學(xué)超(1985-),男,碩士研究生,研究方向為數(shù)字視頻處理,E-mail:hxc.421@126.com

張衛(wèi)寧(1953-),女,教授,主要從事數(shù)字信號處理與分析,嵌入式應(yīng)用系統(tǒng)設(shè)計技術(shù)等研究工作,E-mail:zw ning@sdu.edu.cn