袁三男, 杜小敏

(上海電力學(xué)院 電子與信息工程學(xué)院, 上海 200090)

?

多路AVS+視頻解碼系統(tǒng)的設(shè)計(jì)

袁三男, 杜小敏

(上海電力學(xué)院 電子與信息工程學(xué)院, 上海 200090)

為更有效地保障數(shù)字電視系統(tǒng)的兼容性,數(shù)字電視監(jiān)測系統(tǒng)需要能夠解碼國內(nèi)市場上出現(xiàn)的各種標(biāo)準(zhǔn)的數(shù)字視頻流.設(shè)計(jì)了基于海思Hi3716MV310的多路AVS+(Audio and decoding standard+)視頻解碼系統(tǒng).分析了各種市場應(yīng)用領(lǐng)域中存在的主流標(biāo)準(zhǔn),選擇了海思Hi3716mv310為解碼芯片進(jìn)行硬件和軟件的設(shè)計(jì);并在數(shù)字電視監(jiān)測系統(tǒng)中進(jìn)行多標(biāo)準(zhǔn)的視頻流的解碼.實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)可成功解出多種標(biāo)準(zhǔn)的音視頻碼流,尤其是AVS+標(biāo)準(zhǔn)的碼流,具有較高的應(yīng)用價(jià)值.

數(shù)字音視頻編解碼標(biāo)準(zhǔn); AVS/AVS+音視頻標(biāo)準(zhǔn); H.264視頻標(biāo)準(zhǔn); 海思Hi3716MV310芯片

隨著數(shù)字化時(shí)代的到來,信源編碼在數(shù)字音視頻產(chǎn)業(yè)中的地位逐日提升.數(shù)字電視的音視頻編解碼技術(shù)標(biāo)準(zhǔn)在國內(nèi)外也發(fā)生了一系列的變化,國際標(biāo)準(zhǔn)化組織ISO/IEC 推出的MPEG-X系列壓縮標(biāo)準(zhǔn)從MPEG-1,MPEG-2到MPEG-4和ITU-T推出的H.26X系列壓縮標(biāo)準(zhǔn) H.261,2,3,3+,3++,以及二者聯(lián)合提出的H.264(AVC);國內(nèi)壓縮標(biāo)準(zhǔn)從國外引進(jìn)轉(zhuǎn)向自主研發(fā)的AVS(Audio and decoding standard),AVS+到AVS2,均是為了用最少的數(shù)據(jù)獲得最佳的圖像質(zhì)量以提供更優(yōu)質(zhì)的服務(wù),達(dá)到最優(yōu)化設(shè)置.目前,根據(jù)市場上新出現(xiàn)的各種標(biāo)準(zhǔn),開發(fā)人員對新的標(biāo)準(zhǔn)流進(jìn)行了相應(yīng)的解碼.基于OMAP3530開發(fā)平臺的AVS視頻解碼系統(tǒng),實(shí)現(xiàn)了ARM處理器接收網(wǎng)絡(luò)數(shù)據(jù)和顯示圖像,DSP處理器解碼AVS碼流[1],雙核的DSP高速處理器來完成H.264標(biāo)準(zhǔn)視頻解碼的優(yōu)化[2],以方便用戶使用.

本文在分析對比國內(nèi)外先進(jìn)數(shù)字音視頻標(biāo)準(zhǔn)的基礎(chǔ)上,定位國內(nèi)的AVS+標(biāo)準(zhǔn),以海思Hi3716MV310為解碼芯片,進(jìn)行了外圍硬件電路設(shè)計(jì)和軟件構(gòu)建,成功開發(fā)了一款多路AVS+視頻解碼系統(tǒng),并進(jìn)行了實(shí)驗(yàn)驗(yàn)證.

1 音視頻編碼標(biāo)準(zhǔn)

最早的音視頻標(biāo)準(zhǔn)是由國外制定的.為滿足用戶的需求,編碼標(biāo)準(zhǔn)和編碼技術(shù)需要不斷更新,20世紀(jì)90年代初開始出現(xiàn)了MPEG-1和MPEG-2,2000年,MPEG-4是新一代全球多媒體標(biāo)準(zhǔn),可以在很窄的帶寬下傳輸,通過幀重建技術(shù)進(jìn)行數(shù)據(jù)壓縮,盡可能用最小的數(shù)據(jù)量獲得最佳的圖像質(zhì)量,非常適用于交互AV服務(wù)以及遠(yuǎn)程監(jiān)控,能夠在各種帶寬范圍內(nèi)提供專業(yè)質(zhì)量的音頻和視頻流服務(wù)[3].鑒于對標(biāo)準(zhǔn)的更高追求,經(jīng)過ISO/IEC動態(tài)圖像專家組聯(lián)合ITU-T視頻編碼專家組組成的視頻組共同制定的H.264是高度壓縮數(shù)字視頻編解碼器標(biāo)準(zhǔn)[4],吸取了以往視頻壓縮技術(shù)的精華——混合編碼的框架,主要模塊保留不變,有變換、量化、幀內(nèi)預(yù)測、幀間預(yù)測、環(huán)路濾波、熵編碼等[5],可實(shí)現(xiàn)較高的編碼率,且語法精簡,網(wǎng)絡(luò)交互性好.

國內(nèi)音視頻編碼標(biāo)準(zhǔn)的發(fā)展,始于高昂的H.264技術(shù)專利費(fèi)及后續(xù)附加費(fèi)用嚴(yán)峻的背景下,我國AVS工作組致力于編碼效率和專利算法之間尋找平衡點(diǎn),制定屬于自己的第二代數(shù)字音視頻信源標(biāo)準(zhǔn)AVS,該標(biāo)準(zhǔn)于2006年3月被批準(zhǔn)為國家標(biāo)準(zhǔn)[6].AVS視頻中的關(guān)鍵技術(shù)主要包括:可實(shí)現(xiàn)無失配的8×8整數(shù)變換,適應(yīng)不同的應(yīng)用、業(yè)務(wù)對碼率和質(zhì)量的64級量化,種類少而高效的幀內(nèi)預(yù)測,可以高效地半像素插值和1/4像素插值的4抽頭濾波器;特殊的幀間預(yù)測運(yùn)動補(bǔ)償,采用指數(shù)哥倫布碼的形式映射成二進(jìn)制比特流的自適應(yīng)變長編碼技術(shù)熵編碼,去塊效應(yīng)環(huán)內(nèi)濾波等.雖然我國的AVS起步晚,處于發(fā)展階段,還不是很成熟,但起點(diǎn)高,上升空間很大,重要的是我國有自主控制知識產(chǎn)權(quán),可以不用受制于人,其編碼效率可達(dá)國際級水平,可與MPEG-4 AVC/H.264競爭,并且兼容MPEG-4和H.264國際標(biāo)準(zhǔn)基本層,更重要的是大大節(jié)省了帶寬和存儲資源,還可節(jié)省50%以上的無線頻譜和有線信道資源,而且AVS芯片的實(shí)現(xiàn)復(fù)雜度低,技術(shù)方案簡潔.

高質(zhì)量的音視頻服務(wù)往往源于縝密完善的技術(shù)支持.AVS處于剛起步階段,還有很大的發(fā)展空間,工業(yè)和信息化部、國家廣電總局、AVS產(chǎn)業(yè)聯(lián)盟、AVS工作組等很多部門、單位和同仁抓住機(jī)遇,開發(fā)更好的壓縮技術(shù),節(jié)約存儲資源與帶寬,不斷地嘗試新的方式方法,努力尋找高效率編碼和編碼復(fù)雜度之間的平衡點(diǎn),開發(fā)設(shè)計(jì)了AVS+標(biāo)準(zhǔn).“+”是完全按照AVS工作組的既有流程,遵循AVS知識產(chǎn)權(quán)政策,基于并兼容AVS標(biāo)準(zhǔn),在預(yù)測、運(yùn)動補(bǔ)償、變換、熵編碼等關(guān)鍵技術(shù)上更勝一籌.

2 多路AVS+視頻解碼系統(tǒng)

多路AVS+解碼系統(tǒng)的設(shè)計(jì)框圖如圖1所示.其基本原理為:數(shù)字電視監(jiān)測系統(tǒng)選用復(fù)雜可編程邏輯器件(Complex Programmable Logic Device,CPLD),根據(jù)硬件電路設(shè)計(jì)對TS流(該流是解密過的,是清流)進(jìn)行地址分配,輸入到各自的解碼系統(tǒng)中.圖1中的8組解碼系統(tǒng)均是利用海思Hi3716MV310作為解碼主控芯片,進(jìn)行外圍硬件電路設(shè)計(jì)和軟件編程,對AVS,AVS+,MPEG-2,MPEG-4,H.264標(biāo)準(zhǔn)下的TS流進(jìn)行高效率解碼,得到A/V模擬信號,并分為兩路:一路由千兆交換機(jī)傳入網(wǎng)絡(luò),進(jìn)行軟件播放或TV播放;另一路為解碼獲得的信號,通過RS485驅(qū)動選定解碼系統(tǒng)地址接收編碼板命令,對A/V模擬信號進(jìn)行編碼存儲.一套監(jiān)測系統(tǒng)中一次可完成8路數(shù)字電視信號的解碼,使用8組解碼芯片,每組輸入信號為1路串行TS,1路100 M網(wǎng)絡(luò)接口,每組輸出信號為1路CVBS信號,1路模擬音頻信號,系統(tǒng)主板電源輸入為5 V和3.3 V,耗電量較低.此外,解碼部分是獨(dú)立系統(tǒng),可以降低成本,還可以獨(dú)立生產(chǎn)、調(diào)試、運(yùn)行、維護(hù).

圖1 多路視頻解碼系統(tǒng)設(shè)計(jì)示意

2.1 Hi3716mv310和CPLD

Hi3716MV310 芯片集成高性能 Cortex A9 處理器,功能強(qiáng)大,應(yīng)用范圍廣.芯片功能框圖如圖2所示.

其內(nèi)部設(shè)置了HD Decoder模塊支持 MPEG1/MPEG2/MPEG4/H.264/AVS/AVS+/VC-1/VP6/VP8 等多種格式的高清視頻解碼,實(shí)時(shí)解碼能力可達(dá)到1 080 p;音頻解碼范圍也比較廣泛,支持DRA,MPEG L1,MPEG L2,Dolby Digital,DTS Core等標(biāo)準(zhǔn)的解碼;可支持重采樣、兩路混音、智能音量控制,內(nèi)置豐富的外圍接口功能,提供靈活的連接方案,信號輸入接口有TS in,IF in,2xUSB 2.0 Host等,輸出接口有Audio DAC,HDMI高清/CVBS標(biāo)清視頻接口等.

該芯片不僅可以滿足各種差異化的業(yè)務(wù)需求,還可滿足多媒體播放的要求,已在高清機(jī)頂盒、高清多媒體播放、家庭娛樂中心等領(lǐng)域得到了應(yīng)用.

圖2 Hi3716M V310芯片的功能示意

CPLD是一種用戶根據(jù)各自需要而自行構(gòu)造邏輯功能的數(shù)字集成電路.其基本設(shè)計(jì)方法是借助集成開發(fā)軟件平臺,采用原理圖、硬件描述語言等方法,生成相應(yīng)的目標(biāo)文件,通過下載電纜將代碼傳送到目標(biāo)芯片中,實(shí)現(xiàn)設(shè)計(jì)的數(shù)字系統(tǒng)[6].CPLD編程具有集成度高、設(shè)計(jì)開發(fā)周期短、適用范圍寬、開發(fā)工具先進(jìn)、設(shè)計(jì)制造成本低、對設(shè)計(jì)者的硬件經(jīng)驗(yàn)要求低、標(biāo)準(zhǔn)產(chǎn)品無需測試、保密性強(qiáng)、價(jià)格大眾化等特點(diǎn),可實(shí)現(xiàn)較大規(guī)模的電路設(shè)計(jì).在該系統(tǒng)中的應(yīng)用,主要是將1路TS流復(fù)制成8路,輸入到8個解碼板,解碼芯片根據(jù)該路TS流中8套節(jié)目的PID號進(jìn)行解碼,輸出相應(yīng)節(jié)目的A/V信號.CPLD不僅實(shí)現(xiàn)了1路到8路的拷貝,而且能提高系統(tǒng)的驅(qū)動能力.

2.2 解碼系統(tǒng)

本系統(tǒng)的功能是完成TS流的解碼,將“數(shù)字形式”的電視信號轉(zhuǎn)換成模擬的A/V信號輸出.解碼系統(tǒng)設(shè)計(jì)框圖如圖3所示.

系統(tǒng)以Hi3716MV310芯片為主,根據(jù)其功能特點(diǎn)設(shè)計(jì)了外部硬件電路,輸入接口有將有線傳輸?shù)腞F信號經(jīng)高頻頭和CA解密系統(tǒng)輸出的“清”TS流的接入接口、接入網(wǎng)絡(luò)傳輸?shù)膲嚎s數(shù)據(jù)流的I2C接口,還有供電的電源接口.輸出接口主要有CVBS接口、網(wǎng)絡(luò)接口、音頻接口、UART接口等.輸入信號經(jīng)過Hi3716MV310芯片解碼成A/V模擬信號,可以直接接入電視機(jī)中播放,支持HDMI接口高清視頻輸出和CVBS接口標(biāo)清視頻輸出,同時(shí)可以將A/V信號編碼并通過網(wǎng)絡(luò)上傳;并且在輸入端和輸出端分別配置了DDR3和Nand Flash存儲設(shè)備,方便信號的存儲.其中 PHY主要用于網(wǎng)絡(luò)接口,建立網(wǎng)絡(luò)通道,方便信號的上傳.

圖3 解碼系統(tǒng)示意

解碼系統(tǒng)的關(guān)鍵在于解不同標(biāo)準(zhǔn)的TS碼流,其總體思想是從比特流中解出頭信息,產(chǎn)生預(yù)測塊,熵解碼得到的量化系數(shù)經(jīng)反量化、反變換 得到殘差塊,預(yù)測塊和殘差塊相加后,經(jīng)過濾波器即可得到重建的圖像[7].下面在只考慮幀圖像,不考慮場圖像的前提下,以H.264和AVS-M解碼的不同為例,來闡述解碼過程.

(1) 比特流信息 兩種標(biāo)準(zhǔn)中的比特流都是以Network Abstract Layer Unit(NALU)為單位,每個NALU單元包含一個RBSP,NALU的頭信息定義了RBSP所屬類型.兩種標(biāo)準(zhǔn)采用參數(shù)集機(jī)制將一些重要的序列、圖像參數(shù)(解碼圖像尺寸、片組數(shù)、參考幀數(shù)、量化和濾波參數(shù)標(biāo)記等)與其他參數(shù)分離,通過解碼器先解碼出來.讀取NALU過程中,每個NALU起始碼0x000001的讀取中,解碼器需要將H.264編碼器在最后一字節(jié)前插入的一個新字節(jié)——0x03刪掉,而AVS-M只需識別出起始碼0x000001;在比特流信息中讀取宏塊類型(mb type)時(shí),兩種標(biāo)準(zhǔn)的幀內(nèi)、幀間預(yù)測時(shí)宏塊的劃分中I_slice亮度塊是有區(qū)別的,而二者的P_slice宏塊劃分一致.此外,兩種標(biāo)準(zhǔn)的宏塊編碼模板cbp值計(jì)算也不相同.

(2) 幀內(nèi)預(yù)測 在對給定的宏塊進(jìn)行編碼時(shí),首先根據(jù)周圍相關(guān)的宏塊,采用代表空間域紋理的多種預(yù)測模式進(jìn)行預(yù)測,然后對預(yù)測值和實(shí)際值之差進(jìn)行編碼.H.264和AVS在幀內(nèi)預(yù)測方面的主要差別在于亮度預(yù)測和色度預(yù)測的方法不同.在亮度預(yù)測方面,H.264采用4×4塊和16×16塊預(yù)測方式,AVS采用8×8塊預(yù)測方式;在色度預(yù)測方面,H.264和AVS均有4種預(yù)測模式的8×8塊預(yù)測方式[9].因此在解碼時(shí),需要根據(jù)二者的不同,分別進(jìn)行預(yù)測模式的讀取.H.264中的Intra_16×16和色度預(yù)測模式及AVS-M的色度預(yù)測模式均從碼流中讀取.

(3) 幀間預(yù)測 兩種標(biāo)準(zhǔn)下亮度塊的運(yùn)動矢量等于預(yù)測運(yùn)動矢量(MVPred)加上比特流中讀取到的運(yùn)動矢量差(MVD).由于亮度MV精度為1/4像素,而色度精度為1/8像素,因此色度塊的運(yùn)動矢量是亮度塊的兩倍.在不需要對所有解碼器都傳送一個I幀降低效率的情況下,而達(dá)到使解碼端與其他解碼器正在產(chǎn)生的視頻流精確同步,H.264設(shè)計(jì)了新的流間傳送幀——SP/SI幀.該幀可以在播放數(shù)據(jù)傳輸速率不同的情況下,解碼器在各種視頻內(nèi)容間切換,以抵抗數(shù)據(jù)丟失和數(shù)據(jù)錯誤,還能夠?qū)崿F(xiàn)快進(jìn).

(4) 熵解碼 二者解碼方式的不同主要是由于兩種標(biāo)準(zhǔn)熵編碼過程的不同,H.264和AVS熵編碼采用的都是自適應(yīng)變長編碼技術(shù).在AVS熵編碼過程中,以指數(shù)哥倫布碼的形式將所有的語法元素和殘差數(shù)據(jù)映射成二進(jìn)制比特流;而H.264基于上下內(nèi)容的自適應(yīng)二進(jìn)制算術(shù)編碼CABAC,可以大大減少塊編碼的相關(guān)性冗余.

(5) 環(huán)路濾波 兩種標(biāo)準(zhǔn)都采用基于塊的殘差系數(shù)反變換、反量化,量化過程相對粗糙,運(yùn)動補(bǔ)償塊可能來自不同幀位置的內(nèi)插樣本塊,反量化恢復(fù)的變換系數(shù)必定帶來誤差,將導(dǎo)致邊界不連續(xù),因此采用環(huán)路濾波消除塊預(yù)測誤差造成的失真是必要的.相對H.264而言,AVS-M濾波器像素少,強(qiáng)度弱,但在消除方塊效應(yīng)的同時(shí)能大大減少濾波時(shí)間.H.264根據(jù)相鄰塊模式、參考索引、運(yùn)動矢量和解碼塊來確定濾波強(qiáng)度,濾波強(qiáng)度參數(shù)Bs值為0～4,當(dāng)Bs為1～3時(shí)采用4抽頭濾波器;當(dāng)Bs為4時(shí)采用6抽頭濾波器.H.264中的濾波器能適應(yīng)片級、邊界級和樣點(diǎn)級的需要.

與基于Hi3716MV300的解碼系統(tǒng)相比,本系統(tǒng)的突出優(yōu)勢就是可解碼AVS+格式的碼流.AVS+是在AVS的基礎(chǔ)上進(jìn)行了技術(shù)改進(jìn),主要是針對AVS的腳本不支持隔行掃描的不足,對運(yùn)動補(bǔ)償預(yù)測進(jìn)行了擴(kuò)展,修改了底場默認(rèn)的skip/direct模式參考圖像及其運(yùn)動矢量的推導(dǎo)方式,增加了運(yùn)動場景的場編碼,從而支持隔行掃描,提高了清晰度[8];采用圖像級自適應(yīng)加權(quán)量化AWQ 對DCT變化后的系數(shù)進(jìn)行量化;通過圖像層的選擇標(biāo)志,修改了頂場與底場的默認(rèn)參考圖像,由最近場修改為同極性場跳過模式編碼;在編碼的最后一個流程——“熵編碼”中,在CAVLC算法的基礎(chǔ)上添加了復(fù)雜程度較小的上下文算術(shù)編碼CABCA以提高編碼效率[9].

3 實(shí)驗(yàn)結(jié)果

目前,包括湖南衛(wèi)視高清、央視2/7/10/12/14等多條高清頻道都采用了我國自主研發(fā)的AVS+格式進(jìn)行廣播,屆時(shí)所有的電視機(jī)、機(jī)頂盒、電腦,或者說播放設(shè)備都要支持AVS+才能在市面上銷售,而目前不支持的設(shè)備將被逐步淘汰.已知CCTV-12套《社會與法》和CCTV-10套《科教》頻道采用的是AVS+標(biāo)準(zhǔn)編碼,基于Hi3716MV310的解碼系統(tǒng)解碼出的視頻畫面如圖4和圖5所示.

圖4 CCTV-12《社會與法》的視頻畫面

圖5 CCTV-10《科教》頻道的視頻畫面

4 結(jié) 語

數(shù)字音視頻標(biāo)準(zhǔn)是電子信息產(chǎn)業(yè)的“風(fēng)向標(biāo)”,用戶和監(jiān)測單位要及時(shí)開發(fā)設(shè)計(jì)新的解碼系統(tǒng),才能滿足客戶需求.本文設(shè)計(jì)的基于海思Hi3716MV310的多路音視頻解碼系統(tǒng),在CPLD和RS485驅(qū)動模塊的配合下,可以高效地完成不同標(biāo)準(zhǔn)TS流的解碼工作,尤其是AVS+,可以滿足視頻的清晰度、流暢度、實(shí)時(shí)性等的要求,提高了數(shù)字電視監(jiān)測系統(tǒng)的多功能性,應(yīng)用價(jià)值較高.

[1] 展鵬飛,張杰飛,張剛.在 OMAP3530 平臺實(shí)現(xiàn) AVS 解碼器[J].電視技術(shù),2014,38(1):58-60.

[2] 李杰,蔡燦輝.基于 DSP的 H.264 解碼器的優(yōu)化[J].信號處理,2005 (1):312-315.

[3] 陳亮.AVS 先進(jìn)編碼技術(shù)研究[D].武漢:華中科技大學(xué),2006.

[4] 王昆,李曉峰,王洪祥.IPTV 技術(shù)淺議[J].電腦知識與技術(shù),2008,18(2):20-23.

[5] 邢磊.基于 CPLD的 DDS 信號發(fā)生器設(shè)計(jì)[J].科技創(chuàng)新與生產(chǎn)力,2013(8):89-92.

[6] 魏于濤.基于 H.264和 AVS的流媒體傳輸技術(shù)研究[D].濟(jì)南:山東大學(xué),2008.

[7] 劉琦.AVS-M與H.264(Baseline)視頻解碼器結(jié)構(gòu)的分析[J].今日電子,2008(3):42-44.

[8] 黃鐵軍.面向高清和 3D 電視的視頻編解碼標(biāo)準(zhǔn) AVS+[J].電視技術(shù),2013,37(2):11-14.

[9] 尹芝,潘華.AVS+視頻壓縮技術(shù)及其應(yīng)用[J].軟件導(dǎo)刊,2013,12(12):161-163.

(編輯 胡小萍)

Design of Multi-channel Decoding AVS+’s Video System

YUAN Sannan, DU Xiaomin

(SchoolofElectronicsandInformationEngineering,ShanghaiUniversityofElectricPower,Shanghai200090,China)

To enhance the compatibility of digital television systems,it’s necessary for the digital TV monitoring system to decode various standards’ digital video streams at home.Based on Hass Hi3716MV310 chip,a multi-channel decoding AVS+′s video system is designed.The populate standards in the practical applications is introduced mainly focusing on AVS+.Then,based on the chip Hass Hi3716mv310,the hardware circuit and software for decoding system are designed.In digital TV monitoring systems,the system in the application of digital video surveillance is employed to make experiments of decoding many standards’ video stream.The results show that the system could decode a variety of standards’ video streams successfully,especially AVS +streams.This system has a high value of application.

digital video codec standard; AVS/AVS+′s standard; H.264 video standard; Hass Hi3716MV310 chip

10.3969/j.issn.1006-4729.2017.01.019

2016-03-16

袁三男(1967-),男,博士,副教授,江蘇蘇州人.主要研究方向?yàn)橥ㄐ排c信息系統(tǒng),流媒體網(wǎng)絡(luò),數(shù)字電視,嵌入式系統(tǒng)等.E-mail:samuel yuan@shiep163.com.

TN949.197;TN948.7

A

1006-4729(2017)01-0086-05