褚亭強(qiáng)

(南京郵電大學(xué) 電子科學(xué)與工程學(xué)院，江蘇 南京 210003)

基于ZYNQ的HDMI顯示端設(shè)計(jì)與實(shí)現(xiàn)

褚亭強(qiáng)

(南京郵電大學(xué) 電子科學(xué)與工程學(xué)院，江蘇 南京 210003)

高清晰度多媒體接口(High-Definition Multimedia Interface，HDMI)顯示接口是嵌入式實(shí)現(xiàn)的視頻采集及處理系統(tǒng)的重要組成部分，并有逐漸成為此類系統(tǒng)的顯示端標(biāo)準(zhǔn)接口的趨勢(shì)。然而在ZYNQ平臺(tái)中由于沒有在芯片中集成HDMI控制器，所以普遍采用模擬視頻信號(hào)顯示，限制了處理效果的展示和人機(jī)之間的交互。采用ADI的開源HDMI IP核以及Xilinx提供的相關(guān)IP核結(jié)合ADI HDMI發(fā)送器ADV7511，在ZYNQ平臺(tái)上以軟硬件協(xié)同的工作方式設(shè)計(jì)實(shí)現(xiàn)了HDMI顯示端。方案分別基于無(wú)操作系統(tǒng)和Linux操作系統(tǒng)環(huán)境實(shí)現(xiàn)，其中無(wú)操作系統(tǒng)實(shí)現(xiàn)可以被移植用于一些特定場(chǎng)合或供硬件系統(tǒng)測(cè)試使用；而在Linux操作系統(tǒng)下，通過結(jié)合直接渲染管理器(Direct Rendering Manager，DRM)，本方案可以方便Linux系統(tǒng)下該顯示系統(tǒng)的移植與集成。關(guān)鍵詞: ZYNQ；高清晰度多媒體接口；直接渲染管理器；ADV7511芯片

隨著生活水平的提高，人們對(duì)高清視頻的需求越來越強(qiáng)烈，這促進(jìn)了視頻顯示技術(shù)的蓬勃發(fā)展，集中體現(xiàn)在視頻信號(hào)帶寬的提升，以及視頻信號(hào)與音頻信號(hào)的集成。為了滿足這些需求，通用視頻信號(hào)接口從最初的復(fù)合視頻接口、S-Video接口、色差分量接口、數(shù)字視頻接口(Digital Visual Interface，DVI)[1]，一直到高清晰度多媒體接口(High-Definition Multimedia Interface，HDMI)，不僅適應(yīng)了不斷提高的視頻信號(hào)清晰度的要求，也滿足了數(shù)字信號(hào)高速傳輸?shù)男枨?。ADV7511是ADI的一款最高支持1 080p高清視頻且符合HDMI 1.4標(biāo)準(zhǔn)的低功耗HDMI發(fā)送器，支持?jǐn)?shù)字視頻、數(shù)字音頻、I2C控制接口。在基于ZYNQ-7000的HDMI顯示系統(tǒng)中使用ADV7511 HDMI發(fā)送器將視頻信號(hào)轉(zhuǎn)換為HDMI顯示器可以接收的信號(hào)，即可靈活地實(shí)現(xiàn)HDMI顯示。

在高清視頻顯示中，大尺寸、高分辨率、高刷新率的顯示器成為標(biāo)配，與此同時(shí)配套的顯示系統(tǒng)也朝著綜合化、信息化、智能化方向發(fā)展。隨著這種趨勢(shì)，顯示的信息量也迅速增大。這對(duì)顯示控制核心的互聯(lián)性能和帶寬提出了很高的要求，同時(shí)在一些視頻監(jiān)視領(lǐng)域，畫面特征變化極為迅速，圖形更新速度也必須很快，這樣才能避免畫面的斷續(xù)。現(xiàn)有的方案基本采用DSP+FPGA或者是專用GPU實(shí)現(xiàn)，但是隨之而來的問題便是功耗和成本的大幅升高。為此，本方案采用基于Xilinx高性能ZYNQ-7000全可編程處理器平臺(tái)，采用軟硬件協(xié)同設(shè)計(jì)的方法，完成了一種高可用性高性能的顯示系統(tǒng)。

本文詳細(xì)闡述了基于ZYNQ的HDMI顯示系統(tǒng)的硬件和軟件設(shè)計(jì)方法和步驟，并且設(shè)計(jì)了無(wú)操作系統(tǒng)下的HDMI顯示系統(tǒng)，以滿足實(shí)時(shí)性要求高的場(chǎng)合；同時(shí)為了兼顧實(shí)用性和易用性，本文說明了Linux操作系統(tǒng)下該HDMI顯示系統(tǒng)驅(qū)動(dòng)的原理及移植步驟，為ZYNQ-7000在實(shí)際運(yùn)用中實(shí)現(xiàn)人機(jī)交互提供了技術(shù)支撐。

1 系統(tǒng)硬件組成

1.1 ZYNQ-7000簡(jiǎn)介

ZYNQ-7000平臺(tái)為整個(gè)顯示系統(tǒng)的核心，采用ARM+FPGA架構(gòu)，以ARM處理器為中心，F(xiàn)PGA可編程邏輯部分為擴(kuò)展子系統(tǒng)[2]，兩部分以AXI(Advanced eXtensible Interface)總線進(jìn)行連接，通過AXI-Lite傳輸控制信號(hào)，AXI-Stream傳輸數(shù)據(jù)信號(hào)，成功地將ARM處理器的軟件可編程能力和FPGA的硬件可編程能力有機(jī)地結(jié)合起來[3]。其中ARM部分采用Cortex-A9雙核處理器，在系統(tǒng)中稱為PS(Processing System)，頻率可以達(dá)到1 GHz，完全適合運(yùn)行Linux操作系統(tǒng)。FPGA(XC7Z020)部分擁有85k邏輯單元、53k查找表、150個(gè)36 kbit的RAM塊等資源，適合做較為復(fù)雜的邏輯設(shè)計(jì)[4-5]。

1.2 系統(tǒng)硬件框架設(shè)計(jì)

基于ZYNQ的HDMI顯示系統(tǒng)框架如圖1所示，其中實(shí)線表示數(shù)據(jù)流，虛線表示控制流。

整個(gè)硬件系統(tǒng)宏觀上包括ZYNQ-7000全可編程處理器平臺(tái)、ADV7511 HDMI發(fā)送器和顯示器等組成。在ZYNQ內(nèi)部由PS作為控制中心，通過AXI4-GP(General Purpose)接口與AXI-Lite對(duì)接實(shí)現(xiàn)對(duì)各個(gè)硬件模塊的控制。同時(shí)通過利用AXI-Stream總線將PS的AXI-HP(High Performance)接口對(duì)接，傳輸高速視頻流，該系統(tǒng)平臺(tái)主要實(shí)現(xiàn)視頻流的讀取與顯示。

圖1 硬件框架

2 系統(tǒng)軟件設(shè)計(jì)

2.1 無(wú)操作系統(tǒng)HDMI顯示軟件設(shè)計(jì)

軟件是系統(tǒng)的中樞系統(tǒng)，對(duì)硬件起著初始化、控制的作用[6]。在不同的應(yīng)用場(chǎng)合，對(duì)系統(tǒng)有著不同的需求。為了適應(yīng)對(duì)系統(tǒng)實(shí)時(shí)性要求高的場(chǎng)合，通常對(duì)硬件系統(tǒng)直接控制，無(wú)需使用操作系統(tǒng)進(jìn)行調(diào)度。為了方便描述，在軟件層次，將系統(tǒng)劃分為HDMI芯片ADV7511配置和HDMI視頻數(shù)據(jù)流傳輸兩個(gè)部分。圖2為無(wú)操作系統(tǒng)情況下的軟件框架圖。為了方便演示，本設(shè)計(jì)首先將一幅1 280×720的圖像數(shù)據(jù)寫到DDR中，再回讀視頻數(shù)據(jù)到HDMI顯示器上以檢測(cè)結(jié)果是否正確[7]。

圖2 系統(tǒng)軟件框架

2.1.1 HDMI 芯片ADV7511配置部分

本設(shè)計(jì)采用ADV7511 HDMI發(fā)送器，軟件流程如圖3所示。由于ADV7511的控制寄存器是I2C接口，所以采用I2C IP核對(duì)其寄存器進(jìn)行讀寫操作[8]。根據(jù)ADV7511的官方參考設(shè)計(jì)將輸出格式設(shè)置為兼容HDMI1.4和DVI1.0的16 bit YCrCb4∶2∶2格式，初始分辨率采用1 280×720， 幀率為60 f/s(幀/秒)，對(duì)應(yīng)的水平時(shí)序和垂直時(shí)序中的幀長(zhǎng)分別為1 650和750，經(jīng)簡(jiǎn)單的計(jì)算可知像素時(shí)鐘為74.250 MHz。

圖3 軟件實(shí)現(xiàn)流程

2.1.2 HDMI視頻數(shù)據(jù)流傳輸部分

視頻數(shù)據(jù)流傳輸部分，為了方便演示，簡(jiǎn)化演示原理如圖4所示。本設(shè)計(jì)先將一幅分辨率為1 280×720的圖片存入DDR中，再通過VDMA反復(fù)回讀到顯示屏上顯示。配置流程如圖4所示。其中內(nèi)存圖像行跨度(image stride)是指當(dāng)視頻圖像存儲(chǔ)在內(nèi)存時(shí)，圖像的每一行末尾也許包含一些擴(kuò)展的內(nèi)容，這些擴(kuò)展的內(nèi)容只影響圖像如何存儲(chǔ)在內(nèi)存中，并不影響圖像如何顯示出來。

圖4 視頻數(shù)據(jù)通道配置流程圖

2.2 PetaLinux操作系統(tǒng)下HDMI顯示驅(qū)動(dòng)移植

嵌入式操作系統(tǒng)是嵌入式系統(tǒng)的重要內(nèi)容之一[9-10]。Linux系統(tǒng)自20世紀(jì)90年代以來逐漸趨于成熟，經(jīng)過大批程序員的努力，嵌入式Linux逐漸得到了廣泛運(yùn)用，成為嵌入式操作系統(tǒng)市場(chǎng)的主流[11]。隨著Xilinx公司收購(gòu)嵌入式Linux解決方案提供商Petalogix及其PetaLinux技術(shù)，PetaLinux成為ZYNQ系列芯片在嵌入式應(yīng)用中的必備之選。經(jīng)過Petalogix工程師的不懈開發(fā)，Petalinux嵌入式Linux SDK包含了構(gòu)建、開發(fā)、測(cè)試和部署針對(duì)ZYNQ-7000 全可編程SoC的嵌入式Linux項(xiàng)目所需的工具，可以滿足大多數(shù)開發(fā)人員的需求。但是在現(xiàn)有的PetaLinux軟件開發(fā)包內(nèi)核中并沒有集成ADI開源IP核驅(qū)動(dòng)，本方案在硬件設(shè)計(jì)中ADI開源IP核的基礎(chǔ)上將ADI開源Linux驅(qū)動(dòng)移植到PetaLinux系統(tǒng)中，以滿足在PetaLinux系統(tǒng)中使用HDMI的工程實(shí)踐需要[12]。

2.2.1 HDMI顯示系統(tǒng)驅(qū)動(dòng)架構(gòu)

基于PetaLinux，本設(shè)計(jì)構(gòu)建了ZYNQ-7000的顯示系統(tǒng)驅(qū)動(dòng)框架，并通過運(yùn)行Qt，以觀察HDMI顯示器顯示輸出結(jié)果。在這個(gè)過程中PetaLinux系統(tǒng)通過調(diào)用Xilinx I2C驅(qū)動(dòng)來使用AXI-I2C IP核讀寫ADV7511寄存器達(dá)到配置ADV7511的目的，其中顯示系統(tǒng)驅(qū)動(dòng)負(fù)責(zé)對(duì)視頻流處理，整個(gè)處理框架建立在Linux的DRM(Direct Rendering Manager)之上，而ADI-DRM驅(qū)動(dòng)在Linux系統(tǒng)中作為一個(gè)DRM從設(shè)備存在。軟件框圖如圖5所示。

圖5 軟件框圖

用戶空間軟件部分：

1)用戶空間庫(kù)函數(shù)包括Qt GUI預(yù)編譯庫(kù)和DRM預(yù)編譯庫(kù)。

2)系統(tǒng)控制臺(tái)和Qt應(yīng)用包括顯示基于命令行的系統(tǒng)控制臺(tái)和Qt GUI界面。

內(nèi)核空間軟件部分：

1)ASoC包括Linux內(nèi)核中通用ASoC框架以及驅(qū)動(dòng)AXI-SPDIF IP核的ADI-ASoC驅(qū)動(dòng)。

2)DRM包括Linux內(nèi)核中通用DRM框架與驅(qū)動(dòng)ADI-HDMI IP核處理視頻流的ADI-DRM驅(qū)動(dòng)[13]。

3)AXI-I2C包括Linux內(nèi)核中Xilinx AXI-I2C驅(qū)動(dòng)，提供I2C讀/寫函數(shù)用來操作ADV7511。

4)AXI-VDMA包括Linux內(nèi)核中Xilinx AXI-VDMA驅(qū)動(dòng)，兼容Linux DMA框架，用來加速視頻數(shù)據(jù)傳輸。

2.2.2 DRM系統(tǒng)架構(gòu)及ADI DRM驅(qū)動(dòng)

DRM是Linux內(nèi)核中負(fù)責(zé)顯卡GPU接口的一個(gè)管理機(jī)制。但是隨著顯示技術(shù)的發(fā)展，普遍采用GPU對(duì)3D顯示以及多種特效顯示進(jìn)行加速，這通常需要多個(gè)應(yīng)用同時(shí)發(fā)送指令給內(nèi)核，這時(shí)采用內(nèi)核中沿用已久的fbdev機(jī)制處理這些指令顯得越來越力不從心；同時(shí)這些應(yīng)用需要使用大量的內(nèi)存，最初由應(yīng)用程序直接管理這些系統(tǒng)資源，但是多個(gè)應(yīng)用程序?qū)@些資源進(jìn)行訪問便會(huì)引起訪問沖突。于是DRM便被提出并發(fā)展為現(xiàn)代主流顯示控制機(jī)制，且目前也被引進(jìn)到嵌入式領(lǐng)域，甚至最新的安卓系統(tǒng)也提供API支持。

DRM提供一組API給用戶空間，使用戶空間的程序通過發(fā)送簡(jiǎn)單的指令和數(shù)據(jù)來控制GPU、內(nèi)存以及顯示器等系統(tǒng)資源，例如顯示模式設(shè)置、framebuffer管理、視頻解碼硬件加速等工作。用戶空間的程序可以方便地采用發(fā)送指令的方式讓內(nèi)核完成3D渲染硬件加速或者視頻解碼。

DRM系統(tǒng)架構(gòu)如圖6所示，可以看出DRM 服務(wù)存在于內(nèi)核中，應(yīng)用程序想要使用它必須通過內(nèi)核的系統(tǒng)調(diào)用把請(qǐng)求提交給內(nèi)核。用戶程序想要控制某個(gè)GPU則需要控制相關(guān)的設(shè)備節(jié)點(diǎn)并使用ioctl進(jìn)行DRM API的調(diào)用。處于安全以及方便移植的考慮，應(yīng)用層程序一般采用通過C語(yǔ)言封裝過的libdrm庫(kù)來操作DRM系統(tǒng)。

圖6 DRM系統(tǒng)架構(gòu)

DRM系統(tǒng)包含兩部分，一部分是通用的DRM核心，另一部分是DRM驅(qū)動(dòng)。其中DRM核心為DRM驅(qū)動(dòng)提供基礎(chǔ)框架以及通用ioctl指令，DRM驅(qū)動(dòng)由GPU廠家編寫并統(tǒng)一注冊(cè)到DRM核心中。DRM驅(qū)動(dòng)的工作是完成硬件控制部分的API并指明其驅(qū)動(dòng)支持的GPU類型；同時(shí)DRM驅(qū)動(dòng)通常包含有一些硬件廠商為支持某種GPU的附加功能所獨(dú)有的API，這些API可以通過ioctl調(diào)用。

在基于ZYNQ的嵌入式Linux操作系統(tǒng)中，ADV7511作為一個(gè)DRM編碼器從設(shè)備存在于顯示系統(tǒng)中。對(duì)于ZYNQ-7000顯示系統(tǒng)而言，常用的方案是將ADV7511與其他IP核組件組合起來形成系統(tǒng)顯示核心。通過在PL端將HDMI IP核與TPG，CFA，Image Enhance等其他一些圖像處理IP核集成在一起構(gòu)成硬件加速IP核，并被內(nèi)核作為GPU來控制。要移植ADV7511驅(qū)動(dòng)首先要移植ADI DRM驅(qū)動(dòng)，ADI DRM驅(qū)動(dòng)目錄在內(nèi)核目錄的drivers/gpu/drm/adi_axi_hdmi/下，主要的功能由3個(gè)文件完成：axi_hdmi_crtc.c，axi_hdmi_drv.c，axi_hdmi_encoder.c。axi_hdmi_crtc.c主要負(fù)責(zé)從Framebuffer里面讀取數(shù)據(jù)并且產(chǎn)生視頻所需時(shí)序；axi_hdmi_encoder.c主要負(fù)責(zé)將經(jīng)過CRTC處理的比特流通過ADV7511內(nèi)部編解碼器轉(zhuǎn)換為適合顯示器顯示的視頻格式；最后axi_hdmi_drv.c負(fù)責(zé) ADV7511的掛載并且將ADI DRM注冊(cè)到系統(tǒng)的DRM框架內(nèi)。

ADV7511寄存器讀寫控制，需要使用AXI I2C接口。相關(guān)驅(qū)動(dòng)代碼在drivers/gpu/drm/i2c/下，其中adv7511_core.c用來初始化芯片并控制視頻通道同時(shí)使用設(shè)備樹統(tǒng)一將I2C控制寄存器注冊(cè)到系統(tǒng)中。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)階段，采用基于XILINX官方ZYNQ開發(fā)板平臺(tái)、ZYNQ(ZC7020CLG484)異構(gòu)系統(tǒng)芯片對(duì)軟硬件設(shè)計(jì)進(jìn)行了驗(yàn)證。

本HDMI顯示方案在有無(wú)操作系統(tǒng)情況下均采用相同硬件底層架構(gòu)，僅在軟件層采用了不同的設(shè)計(jì)。相比于Linux操作系統(tǒng)，控制無(wú)操作系統(tǒng)HDMI顯示在軟件上需要做更多的工作，編寫應(yīng)用程序的時(shí)候需要更多地考慮硬件結(jié)構(gòu)，開發(fā)難度較大，產(chǎn)品周期較長(zhǎng)，但是可以從底層有針對(duì)性地對(duì)代碼進(jìn)行優(yōu)化，提高性能，以適應(yīng)各種不同的專業(yè)性強(qiáng)的應(yīng)用場(chǎng)合。而在Linux系統(tǒng)中，通過對(duì)HDMI控制器的層層抽象與封裝，開發(fā)人員可以方便地移植現(xiàn)有的通用程序到新的ZYNQ平臺(tái)上，并可以集中精力研究用戶層程序的開發(fā)，但是與無(wú)操作系統(tǒng)相比性能必然會(huì)有所損失。所以在具體產(chǎn)品開發(fā)時(shí)，要根據(jù)實(shí)際需要靈活選擇實(shí)現(xiàn)方案。

4 結(jié)論

本文基于ZYNQ平臺(tái)采用ADI開源IP核在FPGA底層進(jìn)行設(shè)計(jì)與優(yōu)化的同時(shí)對(duì)相關(guān)軟件控制代碼在有無(wú)操作系統(tǒng)的情況下進(jìn)行了設(shè)計(jì)與開發(fā)[14]，提供了對(duì)HDMI顯示控制的一系列有效的解決辦法，充分展示了在設(shè)計(jì)HDMI顯示系統(tǒng)過程中視頻和圖像的存儲(chǔ)、傳輸和顯示等各個(gè)功能特性，并比較了有無(wú)操作系統(tǒng)下HDMI顯示端的設(shè)計(jì)與實(shí)現(xiàn)的結(jié)果，同時(shí)還對(duì)ZYNQ 內(nèi)部資源進(jìn)行深入挖掘，充分展示了ZYNQ的軟硬件協(xié)同合作的優(yōu)越性。本設(shè)計(jì)可以移植到任何需要高清顯示的ZYNQ系統(tǒng)中，為ZYNQ系統(tǒng)設(shè)計(jì)人員提供便利。

[1] 閆志紅.基于ARM9的HDMI接口設(shè)計(jì)[D].濟(jì)南：山東大學(xué)，2012.

[2] 佚名.Zynq-7000可擴(kuò)展處理平臺(tái)[J].世界電子元器件，2011(6)：43-46.

[3] 徐鵬，王瑜，丁煒.一種全新的網(wǎng)絡(luò)處理器[J].現(xiàn)代電信科技，2001(8)：16-19.

[4] Xilinx Corporation.Zynq-7000 all programmable SoC technical reference manual[EB/OL].[2016-06-01].http：//china.xilinx.com/ .

[5] Xilinx Corporation.Zynq-7000 all programmable SoC ZC702 base targeted reference design manual[EB/OL].[2016-06-01].http：//china.xilinx.com/.

[6] 琚贇.SoC系統(tǒng)級(jí)設(shè)計(jì)中對(duì)操作系統(tǒng)的支持技術(shù)的研究[D].北京：華北電力大學(xué)，2006.

[7] Analog Devices Corporation.ADV7511 WIKI[EB/OL].[2016-06-01]. https：//wiki.analog.com/.

[8] 賀貝，龔向東，曾振興.NiosII的I2C控制IP及其在成像系統(tǒng)中的應(yīng)用[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2010(5)：59-61.

[9] 徐士強(qiáng).基于ARM9的嵌入式Linux系統(tǒng)的研究與應(yīng)用[D].南京：南京郵電大學(xué)，2012.

[10] 殷榮慶.嵌入式Linux系統(tǒng)的探索與設(shè)想[J].合肥師范學(xué)院學(xué)報(bào)，2009(6)：41-44.

[11] Xilinx Corporation.PetaLinux tools documentation： reference guide[EB/OL].[2016-06-01].http：//china.xilinx.com/.

[12] 莊俊杰.基于DM365的網(wǎng)絡(luò)視頻傳輸系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].杭州：浙江工業(yè)大學(xué)，2013.

[13] 孟繁星.基于ZYNQ-7000的視頻圖像處理系統(tǒng)設(shè)計(jì)[J].信息通信，2015(8)：60-62.

[14] 殷榮慶.嵌入式Linux系統(tǒng)的探索與設(shè)想[J].合肥師范學(xué)院學(xué)報(bào)，2009(6)：41-44.

責(zé)任編輯：許 盈

Implementation of HDMI display terminal based on ZYNQ video processing system

CHU Tingqiang

(SchoolofElectronicScience&Engineering,NanjingUniversityofPostsandTelecommunications,Nanjing210003,China)

HDMI (High-Definition Multimedia Interface) display interface is an important component of embedded video capture and processing field and it also gradually becomes standard display interface in such systems. However, since ZYNQ (a high performance video processing platform with heterogeneous CPU) has no original support to HDMI hardware controller, the representation of processing results and hum-machine interaction are always mitigated due to analog video signal based display scheme. To address this problem, a HDMI video display scheme is introduced by synergy between software and hardware on ZYNQ. The scheme exploits the ADI HDMI transmitter ADV7511, combining it with ADI HDMI open source IP core as well as XILINX official IP cores. This design in the environment of with and without operating system respectively. In the case of no OS, this design can be transplanted for hardware system test or for specific usage. In contrast, the implementation of this design in Linux can also be transplanted and integrated within DRM framework for various applications.

ZYNQ; high-definition multimedia interface; direct rendering manager; ADV7511 chip

褚亭強(qiáng).基于ZYNQ的HDMI顯示端設(shè)計(jì)與實(shí)現(xiàn)[J].電視技術(shù)，2017，41(2)：23-27. CHU T Q.Implementation of HDMI display terminal based on ZYNQ video processing system[J].Video engineering，2017，41(2)：23-27.

TN948.57

A

10.6280/j.videoe.2017.02.006

2016-07-19