李毅航 張寬 尹雅君 唐俊龍 唐立軍

關(guān)鍵詞： 超高清視頻; 4K視頻流; HEVC編解碼傳輸; 異構(gòu)多核; 視頻分辨率; 編碼速率

中圖分類號： TN919.3?34; TP302.1 ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）06?0121?05

Abstract： The HEVC video codec standard is commonly used to compress and decompress high?definition video data， but for the ultra?high definition video data of 4K and above， the traditional video stream codec transmission method is difficult to achieve high?efficient video compression ratio and compression speed. Therefore， a heterogeneous multi?core video stream transmission method based on ARM+FPGA is proposed in this paper for the HEVC codec of ultra?high definition video stream. The Linux system is built by using the ARM， so as to realize multi?tasking processing and real?time monitoring. The FPGA is used to realize hardware acceleration， so as to receive， convert， process， encode， decode， output and display video streams. The HEVC codec transmission test was conducted on the Zynq UltraScale+MPSOC all programmable platform for the 4K video with a resolution of 3 840×2 160， frame rate of 30 f/s， pixel format of YUV420， color depth of 8 bits， and time duration of 120 s. The test results show that the time duration of the encoding is only 71s， and the compression rate of video data is as high as 6.19%， which can satisfy the codec transmission requirement of the 4K video.

Keywords： ultra?high definition video; 4K video stream; HEVC codec transmission; heterogeneous multi?core; video resolution; encoding rate

0 ?引 ?言

隨著4K超高清視頻（分辨率3 840×2 160）不斷的推廣和應(yīng)用，由于圖像清晰度的大幅提高，導(dǎo)致視頻流數(shù)據(jù)量的劇增，因此，迫切需要使用HEVC/H.265高效的視頻編解碼標準，以解決海量的視頻圖像傳輸以及儲存的問題[1]。而HEVC的編碼復(fù)雜度高，傳統(tǒng)的嵌入式方案很難滿足4K視頻流穩(wěn)定快速的傳輸，保障HEVC編解碼高效壓縮以及提高編解碼速率[2]。

本文采用Zynq UltraScale+MPSOC全可編程平臺，利用軟硬件協(xié)同的機制，構(gòu)建異構(gòu)多核的軟硬件系統(tǒng)構(gòu)架，探索一種高效的視頻流編解碼傳輸方法。針對4K視頻流龐大的數(shù)據(jù)量傳輸問題，對視頻直接內(nèi)存存取進行研究，以減少數(shù)據(jù)搬運過程中資源的占用;對視頻流數(shù)據(jù)類型分析，對不同的視頻數(shù)據(jù)進行轉(zhuǎn)換處理研究，來適配編解碼器需求的格式。根據(jù)編解碼器對數(shù)據(jù)的吞吐量，研究視頻流傳輸通路的帶寬、時鐘以及延遲等，來保證編解碼高效運行[3]。

1 ?視頻流編解碼傳輸方案

通常采用PC機進行4K視頻HEVC編解碼，但由于自身體積較大，不便集成和小型化，而ARM往往受限于自身的性能不足，難以進行HEVC編解碼運算，單純的FPGA因為開發(fā)周期過長，且應(yīng)用形式單一，不能快速適應(yīng)視頻分辨率改變和視頻流格式變化。本文主要探討異構(gòu)多核的視頻流傳輸方法，利用FPGA硬件加速的特性來設(shè)計視頻流編解碼傳輸通路，利用ARM多任務(wù)處理與實時監(jiān)控的特點來改變傳輸通路性能參數(shù)，高效靈活的方式保證4K視頻流從接收、轉(zhuǎn)移、處理、編解碼和輸出過程中穩(wěn)定傳輸。傳輸通路總體結(jié)構(gòu)如圖1所示。

1.1 傳輸通路構(gòu)架與速率要求

若以4K圖像30 f/s，YUV420像素格式，顏色深度為8位的視頻流接收，接收的數(shù)據(jù)帶寬[4]將達到約5.0 Gb/s。為了更好地傳輸4K視頻流，要求傳輸速率[5]最好能達到接收速率的4倍，即20.0 Gb/s左右。

視頻流接收，采用DisplayPort 1.2高清數(shù)字顯示接口標準，通過4路數(shù)據(jù)傳輸達到21.6 Gb/s，單路傳輸為5.4 Gb/s，能夠支持4K視頻流傳輸。

視頻流轉(zhuǎn)移，使用VDMA高速數(shù)據(jù)傳輸將視頻流存儲到內(nèi)存中進行下一步處理，最高數(shù)據(jù)帶寬能達到1 024 bit，選擇以128 bit帶寬，200 MHz的頻率運行，傳輸速率約為23.8 Gb/s。

視頻流處理，對采集的視頻流數(shù)據(jù)類型進行分析，通過像素格式轉(zhuǎn)換、像素位數(shù)改變、像素數(shù)據(jù)轉(zhuǎn)移等方式來得到HEVC編解碼能支持的視頻流格式。

視頻編解碼，搭建多路高帶寬的數(shù)據(jù)線，并盡可能提高時鐘頻率來保證視頻的傳輸與提高編解碼器效率。視頻流輸出，對于解碼完成的數(shù)據(jù)，采用2?4路HDMI1.4高清數(shù)字顯示接口標準輸出分屏顯示，每路HDMI數(shù)據(jù)傳輸速率最高達到10.2 Gb/s，2路以上即可滿足性能需求。

1.2 傳輸通路控制方案

ARM與FPGA的數(shù)據(jù)交互。ARM與FPGA相結(jié)合的異構(gòu)多核構(gòu)架，有利于優(yōu)勢互補，ARM使FPGA處理數(shù)據(jù)以及修改配置更加靈活，F(xiàn)PGA使ARM數(shù)據(jù)運算以及數(shù)據(jù)存儲更加迅速，ARM與FPGA通過AXI總線實現(xiàn)數(shù)據(jù)交互[6]。FPGA中每個IP核擁有自己的基地址，ARM通過AXI總線讀/寫基地址偏移的寄存器數(shù)據(jù)，來檢測與控制IP核數(shù)據(jù)與參數(shù)。

FPGA與ARM內(nèi)存共享。在ARM端進行PetaLinux操作系統(tǒng)移植，進行編解碼頂層設(shè)計，使FPGA與ARM協(xié)同工作。通過FSBL（一級引導(dǎo)程序）對ARM進行初始化配置，加載FPGA邏輯電路固件，生成U?boot引導(dǎo)Linux內(nèi)核啟動，讀取設(shè)備樹文件來加載底層硬件驅(qū)動，使ARM可以控制驅(qū)動程序，分配內(nèi)存地址空間，運行Linux系統(tǒng)，實現(xiàn)FPGA與ARM內(nèi)存共享。從而達到與FPGA數(shù)據(jù)交互的目的。

編解碼的優(yōu)化。ARM通過操作系統(tǒng)來控制FPGA中的視頻流編解碼，來實現(xiàn)編解碼優(yōu)化與應(yīng)用。把Linux用戶空間分為三層：底層為編解碼控制軟件，包括定制內(nèi)核模塊、定制用戶空間庫、實現(xiàn)編解碼基本控制;中層為OpenMAX綜合層，使用開源的多媒體組件標準接口，實現(xiàn)編解碼軟硬件交互;頂層為Gstreamer應(yīng)用層，利用開源的跨平臺多媒體構(gòu)架，提供編解碼，以及視頻傳輸通道基本操作。

2 ?視頻流編解碼傳輸實現(xiàn)

2.1 ?視頻流高速數(shù)據(jù)傳輸

FPGA內(nèi)部的數(shù)據(jù)傳輸往往采用DMA的方式，但普通DMA的傳輸速度[7]大約為750 Mb/s，遠不能達到4K視頻流的傳輸需求，因此，使用視頻流專用的DMA來搬運龐大的視頻數(shù)據(jù)。VDMA能支持數(shù)據(jù)帶寬為8的倍數(shù)，最高支持1 024 bit，時鐘頻率能達到200 MHz左右。在視頻流數(shù)據(jù)映射到內(nèi)存地址之前建立一個異步行緩沖區(qū)來處理幀速率變化，最多緩存32幀數(shù)據(jù)，設(shè)計控制和狀態(tài)寄存器與AXI總線連接，便可直接在ARM端配置異步行緩沖區(qū)臨時保存像素數(shù)據(jù)。同時ARM也能修改VDMA的數(shù)據(jù)帶寬與時鐘頻率等參數(shù)，實現(xiàn)VDMA實時改變傳輸速率來存儲數(shù)據(jù)。建立相互獨立的寫入與讀取線路，對內(nèi)存地址映射，訪問未對齊內(nèi)存地址數(shù)據(jù)，允許幀緩存區(qū)從內(nèi)存中任何地址開始讀寫，保障數(shù)據(jù)不會丟失。視頻流輸入/輸出與外部時鐘信號同步，使VDMA成為異步全雙工通信模式。VDMA結(jié)構(gòu)框圖如圖2所示。

2.3 ?視頻流編解碼傳輸分析

2.3.1 ?編解碼傳輸線路與時鐘實現(xiàn)

在相同質(zhì)量的視頻流下，HEVC/H.265編碼率比AVC/H.264提高大約50%，所以HEVC編解碼器需要更高的數(shù)據(jù)吞吐量[9]。設(shè)計雙路的編解碼數(shù)據(jù)流，數(shù)據(jù)流帶寬達到128 bit，實現(xiàn)編解碼同時進行并提高編解碼數(shù)據(jù)流的傳輸速度。

由于整個傳輸通路的速率瓶頸在于編碼器的編碼速度，故建立編碼器緩存器來保障編碼器更流暢的編碼。編解碼器都設(shè)計有一個32位MCU來實現(xiàn)與硬件的交互，MCU接收到來自ARM的命令，把它分解為多個slice或者tile級命令，盡可能地降低編解碼解析命令所花費的時間。

編解碼在超高的工作頻率下運行，必須保證時鐘頻率的穩(wěn)定。鎖相環(huán)是閉環(huán)的控制系統(tǒng)，可以鎖定輸入信號的相位，能輸出精確穩(wěn)定的時鐘[10]。鎖相環(huán)參考時鐘頻率高達667 MHz，實現(xiàn)編解碼高速運算，通過分頻出4路時鐘，并提供給編碼器、編碼器的MCU、解碼器與解碼器的MCU，異步的時鐘能使編解碼器運行時互不干擾，大幅度降低編解碼出錯概率。同時編解碼器的時鐘并不是固定的，在ARM端的控制下，實現(xiàn)系統(tǒng)時鐘的動態(tài)調(diào)節(jié)，以便編解碼器對不同類型的視頻流都能進行最優(yōu)化的編解碼。編解碼設(shè)計框圖如圖4所示。

2.3.2 ?傳輸通路延遲性分析

傳輸通路的延遲是研究編解碼傳輸通路一個很重要的參數(shù)屬性，即指視頻流從接收。經(jīng)過一系列過程，再到視頻數(shù)據(jù)顯示所需要的時間，延遲是層層疊加的，主要包括圖像采集延遲，來源幀在DMA緩沖延遲、編碼器延遲、傳輸比特流緩沖延遲、網(wǎng)絡(luò)傳輸或者存儲延遲。對于解碼來說，存在緩沖編碼圖像延遲、解碼器延遲、顯示幀緩沖延遲以及顯示器顯示延遲。編解碼器的延遲基本是穩(wěn)定的，為輸入延遲、硬件延遲與輸出延遲的總和。編碼器主要延遲在于對圖像重新排序時緩存一幀圖像所花費的時間。解碼器主要延遲在于熵解碼等待的時間和像素解碼等待的時間。經(jīng)過FPGA硬件邏輯分析儀測試所得傳輸通路各段延遲時間如圖5所示。

3 ?4K視頻流編解碼傳輸測試及結(jié)果分析

Xilinx公司的Zynq UltraScale+MPSOC ZCU106開發(fā)板包含集成FPGA與ARM的XCZU7EV異構(gòu)芯片，使用該開發(fā)板對4K視頻流編解碼傳輸方法進行測試與驗證。

3.1 視頻流編解碼傳輸通路測試

通過超清攝像頭采集RGB視頻數(shù)據(jù)，經(jīng)過VDMA把視頻流映射到內(nèi)存地址，同時把RGB像素格式轉(zhuǎn)換為YUV420像素格式，對視頻流進行HEVC編碼，再對視頻流進行HEVC解碼，把解碼后的視頻流通過Displayport 1.2高清數(shù)字顯示接口在顯示屏上顯示。任意采集視頻，視頻圖像播放正常，沒有出現(xiàn)卡頓、失幀、錯位等情況，顯示成像效果如圖6所示，表明視頻流傳輸通路正常運行。

3.2 編解碼壓縮效果

為了證明傳輸路通能夠保證4K視頻經(jīng)HEVC編解碼后能穩(wěn)定輸出顯示，對傳輸通路中耗時最長，也是傳輸瓶頸所在的編碼部分進行測試。對視頻分辨率為3 840×2 160，幀率為30 f/s，時長120 s，像素格式為YUV420，顏色深度為8位的視頻進行H.265編碼。測試結(jié)果表明，編碼所用時長為71 s，遠小于視頻時長120 s，能滿足對4K視頻播放需求。為了測試在傳輸通路中編解碼的壓縮率，對以上的編碼視頻進行HEVC解碼，測試結(jié)果表明，解碼后的視頻原始文件大小為1 307 MB，經(jīng)過HEVC編碼后的文件大小為81 MB，壓縮率達到6.19%。

4 ?結(jié) ?語

本文采用異構(gòu)多核體系構(gòu)架，利用FPGA實現(xiàn)4K視頻流編解碼傳輸硬件加速，ARM對其進行多任務(wù)處理和實時監(jiān)控，搭建VDMA對采集的視頻流進行搬運，提高了視頻流傳輸速度，保證了視頻傳輸?shù)姆€(wěn)定性。同時對視頻流格式進行處理，轉(zhuǎn)換為編解碼支持的視頻流，采用多通道、高帶寬的數(shù)據(jù)通道大幅提高了編解碼傳輸率，搭載Linux系統(tǒng)也使編解碼更具靈活性。這種視頻流編解碼傳輸方法，比傳統(tǒng)處理器在編解碼速率上有著明顯的優(yōu)勢，其壓縮率和壓縮速率能很好地滿足4K超高清視頻流的傳輸要求。

參考文獻

[1] SUZUKI K， TAJIRI T， TAKABA N， et al， Method of downsizing the 4K uncompressed video signal generator [C]// Proceedings of IEEE 6th Global Conference on Consumer Electronics. Nagoya： IEEE， 2017： 1?3.

[2] OH J G， WON Y J， LEE J S S， et al. A convergence broadcasting transmission of fixed 4K UHD and mobile HD services through a single terrestrial channel by employing FEF multiplexing technique in DVB?T2 [J]. Electrical engineering， 2017， 99（3）： 1021?1042.

[3] KIM Y， CHOI J S， KIM M. A real?time convolutional neural network for super?resolution on FPGA with applications to 4K UHD 60 fps video services [J]. IEEE transactions on circuits and systems for video technology， 2018， 8： 1.

[4] PETRIN?AK L， GRBI? R， KAPROCKI Z， et al. Challenges in 4K UHD multimedia device testing [C]// Proceedings of International Conference on Zooming Innovation in Consumer Electronics. Novi Sad： IEEE， 2017： 5?8.

[5] HWANG S， SONG J， LEE Y， et al， A 1.62～5.4 Gb/s receiver for display port version 1.2a with adaptive equalization and referenceless frequency acquisition techniques [J]. IEEE transactions on circuits and systems I： regular papers， 2017， 64（10）： 2691?2702.

[6] 黃超，魯湛，賀健，等.基于ZYNQ的微型光譜儀高速數(shù)據(jù)采集系統(tǒng)設(shè)計[J].現(xiàn)代電子技術(shù)，2016，39（3）：109?111.

HUANG Chao， LU Zhan， HE Jian， et al. Design of ZYNQ?based high?speed data acquisition system for micro?spectrometer [J]. Modern electronics technique， 2016， 39（3）： 109?111.

[7] KAVIANIPOUR H， MUSCHTER S， BOHM C. High performance FPGA?based DMA interface for PCIe [J]. IEEE transactions on nuclear science， 2014， 61（2）： 745?749.

[8] SON T N， HOANG T M， DZUNG N T， et al. Fast FPGA implementation of YUV?based fractal image compression [C]// Proceedings of IEEE 5th International Conference on Communications and Electronics. Danang： IEEE， 2014： 440?445.

[9] ARAYACHEEPPREECHA P， PUMRIN S， SUPMONCHAI B. Flexible input transform architecture for HEVC encoder on FPGA [C]// Proceedings of 12th International Conference on Electrical Engineering/Electronics， Computer， Telecommunications and Information Technology. Hua Hin： IEEE， 2015： 2?5.

[10] XIE Changying， ZHANG Maosong， LI Guoli， et al， Design of PLL based On FPGA under unbalanced conditions [C]// Proceedings of IEEE 11th Conference on Industrial Electronics and Applications. Hefei： IEEE， 2016： 315?320.