董　青，朱洪翔，祁曉鵬

(中國飛行試驗(yàn)研究院，西安　710089)

?

基于FPGA視頻合成系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

董青，朱洪翔，祁曉鵬

(中國飛行試驗(yàn)研究院，西安710089)

為實(shí)現(xiàn)將輸入的六路BT656視頻無失真地合并成一路BT1120視頻輸出，采用將FPGA技術(shù)和視頻合成系統(tǒng)相結(jié)合的設(shè)計(jì)方法，用verilog語言設(shè)計(jì)完成有效視頻數(shù)據(jù)的抽取、SRAM乒乓操作以及FPGA對于視頻的拼接處理方法；該系統(tǒng)由視頻輸入解碼模塊、存儲(chǔ)模塊、輸出解碼模塊、I2C模塊以及時(shí)鐘管理模塊組成;經(jīng)算法仿真和邏輯綜合，該設(shè)計(jì)可以實(shí)現(xiàn)視頻合成的基本功能，滿足視頻監(jiān)控系統(tǒng)的實(shí)時(shí)性要求.綜合結(jié)果表明該設(shè)計(jì)占用FPGA片上邏輯資源少，系統(tǒng)運(yùn)行頻率高。

FPGA；視頻合成；Verilog；實(shí)時(shí)性

0　引言

隨著社會(huì)文明的不斷進(jìn)步，現(xiàn)代電子技術(shù)、計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)以及通信技術(shù)的不斷發(fā)展，數(shù)字視頻監(jiān)控系統(tǒng)已經(jīng)逐步發(fā)展成為主導(dǎo)現(xiàn)代安全防范系統(tǒng)的核心技術(shù)[1]。其中視頻合成系統(tǒng)是安全監(jiān)控領(lǐng)域的核心。然而數(shù)字視頻監(jiān)控系統(tǒng)在經(jīng)歷了幾年的突飛猛進(jìn)般的發(fā)展之后，逐漸顯示出了其自身的一個(gè)非常嚴(yán)重的弊端，那就是處理速度慢，很難滿足視頻監(jiān)控圖像的實(shí)時(shí)性要求，該現(xiàn)象在處理分辨率較大的視頻圖像時(shí)表現(xiàn)得尤為突出。通過分析數(shù)字視頻監(jiān)控系統(tǒng)的組成原理可知，影響數(shù)字視頻監(jiān)控系統(tǒng)運(yùn)行速度的一個(gè)關(guān)鍵因素就是視頻合成系統(tǒng)?，F(xiàn)有的視頻合成系統(tǒng)不是在處理速度上滿足不了實(shí)時(shí)性要求，就是在具體實(shí)現(xiàn)上和資源花費(fèi)上有很嚴(yán)重的弊端。FPGA(field programmable gate array，現(xiàn)場可編程門陣列)器件具有并行處理速度高、集成度高、設(shè)計(jì)靈活等特點(diǎn)[2]，本文提出了一種將FPGA技術(shù)和視頻合成系統(tǒng)相結(jié)合的設(shè)計(jì)方法。

本文采用FPGA實(shí)現(xiàn)一個(gè)最多將輸入的六路BT656視頻無失真地合并成一路BT1120視頻輸出的視頻合成系統(tǒng)。整個(gè)系統(tǒng)劃分為視頻輸入解碼模塊、存儲(chǔ)模塊、輸出解碼模塊、I2C模塊以及時(shí)鐘管理模塊，使用verilog語言完成各個(gè)模塊的設(shè)計(jì)，并對整個(gè)設(shè)計(jì)進(jìn)行了算法仿真和邏輯綜合。

1　總體設(shè)計(jì)方案

本設(shè)計(jì)是將最多六路視頻輸入合并成一路視頻輸出，整體架構(gòu)如圖1所示。

圖1　視頻合成系統(tǒng)整體架構(gòu)

本設(shè)計(jì)中使用了一塊tvp5154和兩塊tvp5150視頻解碼芯片分別將輸入的4路和2個(gè)1路模擬視頻信號轉(zhuǎn)換成標(biāo)準(zhǔn)的BT656視頻數(shù)字信號。

輸入解碼模塊主要是對輸入的BT656視頻信號按照BT656視頻圖像幀的結(jié)構(gòu)進(jìn)行解碼，得出其中的有效數(shù)據(jù)，并將這些數(shù)據(jù)以每路視頻為單位輸出；數(shù)據(jù)進(jìn)入存儲(chǔ)模塊，該模塊將輸入解碼模塊輸入的視頻數(shù)據(jù)按照一定的格式存入DDR2 SDRAM存儲(chǔ)器，之后根據(jù)輸出編碼模塊的讀操作請求控制信號將相應(yīng)的數(shù)據(jù)從DDR2 SDRAM存儲(chǔ)器中取出并輸出，在輸出編碼模塊中按照BT1120視頻圖像的格式對合成后的圖像進(jìn)行編碼，添加同步信號等數(shù)據(jù)后輸出，完成視頻的合成[3]。

本設(shè)計(jì)選用Xilinx公司出產(chǎn)的Spartan6系列XC6SLX75T型號FPGA，主要完成結(jié)構(gòu)中的輸入解碼模塊、存儲(chǔ)模塊、輸出編碼模塊、時(shí)鐘管理模塊和I2C模塊。

系統(tǒng)組成分別是信號調(diào)理及濾波放大單元、電壓交直流變換單元、實(shí)時(shí)記錄單元、采集編碼單元、射頻調(diào)制及遙測發(fā)射單元。

2　視頻合成系統(tǒng)子模塊設(shè)計(jì)

在本設(shè)計(jì)中輸入解碼模塊、存儲(chǔ)模塊、輸出解碼模塊、I2C模塊以及時(shí)鐘管理模塊是由FPGA完成的，其中存儲(chǔ)模塊是整個(gè)設(shè)計(jì)的核心部分。

2.1時(shí)鐘管理模塊

時(shí)鐘管理模塊是整個(gè)設(shè)計(jì)的效率核心，其主要是通過分析整個(gè)設(shè)計(jì)的帶寬資源、外部晶振時(shí)鐘、輸入視頻格式、輸出視頻格式等因素，確定本設(shè)計(jì)中所有模塊所需要的時(shí)鐘信號，如圖2所示。

圖2　時(shí)鐘管理模塊

其中外部晶振時(shí)鐘是由FPGA片外晶振提供的基準(zhǔn)時(shí)鐘，clk_in為輸入解碼模塊中處理

2.2視頻輸入解碼模塊

如圖3所示，輸入解碼模塊主要包含有有效數(shù)據(jù)解碼模塊、輸入緩存模塊以及輸入仲裁模塊。

圖3　輸入解碼模塊原理框圖

有效數(shù)據(jù)解碼模塊主要是從tvp5154和tvp5150輸入的BT656視頻信號中取出有效的視頻圖像數(shù)據(jù)，也就是從輸入的858*525的數(shù)據(jù)中取出有效的720*480個(gè)數(shù)據(jù)[4]。

輸入緩存模塊主要是對每路輸入的視頻進(jìn)行一次深度較大的緩存，保證DDR2 SDRAM存儲(chǔ)器在處于忙狀態(tài)(正在進(jìn)行讀操作或者寫操作)時(shí)，每路視頻輸入的有效數(shù)據(jù)都不會(huì)丟失[5]。輸出仲裁模塊主要是合理地為六路視頻分配訪問DDR2 SDRAM存儲(chǔ)器的時(shí)間，保證所有路輸入視頻對DDR2 SDRAM存儲(chǔ)器的訪問機(jī)率和時(shí)間長度基本相同。

2.3存儲(chǔ)模塊

如圖4所示，存儲(chǔ)模塊主要包含有拼接模塊、寫數(shù)據(jù)存儲(chǔ)緩存模塊、寫數(shù)據(jù)地址計(jì)算模塊、讀數(shù)據(jù)存儲(chǔ)緩存模塊、拆分模塊、讀數(shù)據(jù)地址計(jì)算模塊以及控制模塊等。

圖4　存儲(chǔ)模塊原理圖

拼接模塊主要是為了能夠滿足DDR2 SDRAM的存儲(chǔ)需求，以及DDR2 SDRAM存儲(chǔ)控制器的類型，對輸入的數(shù)據(jù)進(jìn)行拼接處理。

寫數(shù)據(jù)存儲(chǔ)緩存模塊主要是將拼接后產(chǎn)生的數(shù)據(jù)進(jìn)行一次緩存，以便DDR2 SDRAM可以進(jìn)行burst操作，連續(xù)將多個(gè)數(shù)據(jù)寫入到DDR2 SDRAM中。

寫數(shù)據(jù)地址計(jì)算模塊主要是產(chǎn)生DDR2 SDRAM存儲(chǔ)器寫操作需要的所有地址信號。

讀數(shù)據(jù)存儲(chǔ)緩存模塊主要是用來緩存連續(xù)從DDR2 SDRAM中讀出的有效數(shù)據(jù)。

拆分模塊主要是將從DDR2 SDRAM存儲(chǔ)器中讀出的數(shù)據(jù)進(jìn)行一次拆分，以便輸出的數(shù)據(jù)可以滿足輸出編碼模塊的需要。

讀數(shù)據(jù)地址計(jì)算模塊主要是產(chǎn)生DDR2 SDRAM存儲(chǔ)器讀操作需要的所有地址信號。

控制模塊主要是對讀操作和寫操作進(jìn)行仲裁控制，以保證讀寫操作可以協(xié)調(diào)進(jìn)行，既不會(huì)丟失輸入的數(shù)據(jù)，又不會(huì)拖延輸出的數(shù)據(jù)，并將數(shù)據(jù)結(jié)合正確的地址輸出給DDR2 SDRAM存儲(chǔ)控制器。

2.4視頻輸出編碼模塊

輸出模塊是整個(gè)視頻拼接項(xiàng)目的最后一個(gè)部分。整體來看，輸出模塊所需要完成的任務(wù)是按照輸出視頻圖像標(biāo)準(zhǔn)輸出圖像數(shù)據(jù)，并且是輸出的視頻圖像數(shù)據(jù)是輸入的六副圖像數(shù)據(jù)按照固定的位置排列拼接成的，這也就是“視頻拼接”的體現(xiàn)。整體輸出模塊的框架如圖5所示。

圖5　輸出模塊框架圖

2.5I2C模塊

I2C模塊主要是產(chǎn)生一個(gè)I2C總線的從設(shè)備，以便外部處理器對本設(shè)計(jì)進(jìn)行外部的控制。其基本原理如圖6所示。

圖6　I2C模塊原理圖

圖6中，rst_sys信號為系統(tǒng)復(fù)位信號，clk_out為74.25MHz時(shí)鐘，sda為外部處理器與I2C模塊之間進(jìn)行交互的數(shù)據(jù)線，scl為外部處理器輸出給I2C模塊的時(shí)鐘信號，read_data[7:0]為處理器讀內(nèi)部寄存器的值，write_flag為處理器寫內(nèi)部寄存器的標(biāo)志信號，write_data[7:0]為處理器寫內(nèi)部寄存器的值，sub_addr[7:0]為處理器寫內(nèi)部寄存器的地址信號，read_flag信號為處理器讀內(nèi)部寄存器的標(biāo)志信號。

3　系統(tǒng)仿真與分析

對本設(shè)計(jì)的仿真主要是將外部六路T656格式的視頻源作為設(shè)計(jì)的輸入，通過FPGA的處理之后在外部的ddr2 model中進(jìn)行存儲(chǔ)，之后再由FPGA部分將ddr2 model中的數(shù)據(jù)讀出，并在經(jīng)過處理之后輸出BT1120格式的視頻。下面是系統(tǒng)中各模塊的仿真結(jié)果。

對輸入仲裁模塊的仿真如圖7所示，將輸入的六路視頻數(shù)據(jù)都可以正常存入DDR2 SDRAM存儲(chǔ)器中。

圖7　輸入仲裁模塊仿真時(shí)序

對拼接模塊的仿真如圖8所示，實(shí)現(xiàn)將4個(gè)8位的數(shù)據(jù)拼接成一個(gè)32位的數(shù)據(jù)。

圖8　拼接模塊仿真時(shí)序

對控制模塊讀操作的仿真如圖9所示，接收輸入解碼模塊和輸出編碼模塊傳輸?shù)淖x寫控制信號，進(jìn)而正確地控制整個(gè)系統(tǒng)的讀寫操作。

圖9　控制模塊讀操作仿真時(shí)序

對輸出緩存模塊的仿真如圖10所示，仿真說明該模塊的設(shè)計(jì)中將存儲(chǔ)模塊輸出的數(shù)據(jù)進(jìn)行一次深度較大的緩存的同時(shí)，將輸出的數(shù)據(jù)由clk_sys時(shí)鐘域轉(zhuǎn)換到clk_out時(shí)鐘域。

圖10　輸出緩存模塊仿真時(shí)序

另外，對本設(shè)計(jì)進(jìn)行仿真的時(shí)候，還將外部輸入的六路視頻數(shù)據(jù)按照順序存儲(chǔ)到6個(gè)外部文件中，等到將一幀圖像輸出完畢之后，將這幾個(gè)外部文件通過文件比較工具進(jìn)行比較，要保證這些文件相互之間在一定的規(guī)律下是相同。并且對最終的合成視頻采用yuv工具進(jìn)行播放，可以很直觀地看到輸入視頻和經(jīng)過合成產(chǎn)生的輸出視頻之間的關(guān)系。輸入的一路BT656視頻如圖11所示。經(jīng)本設(shè)計(jì)后輸出視頻如圖12所示。

圖11　輸入的bt656視頻圖像

圖12　仿真產(chǎn)生的bt1120視頻圖像

4　結(jié)論

視頻合成處理過程涉及到大量的數(shù)據(jù)交換，F(xiàn)PGA依賴其強(qiáng)大而靈活的邏輯控制功能和內(nèi)部先進(jìn)的快速通道互連，使其以超小的端端延時(shí)而在數(shù)據(jù)處理方面處于優(yōu)勢。系統(tǒng)在modelsim、QUARTUS II環(huán)境下進(jìn)行仿真綜合驗(yàn)證，實(shí)現(xiàn)了將六路BT656視頻合成一路BT1120視頻。對整個(gè)系統(tǒng)的邏輯綜合后，該系統(tǒng)邏輯占用的片上資源小，運(yùn)行頻率可以達(dá)到233.809 MHz，滿足設(shè)計(jì)的需要，保證對視頻合成處理的實(shí)時(shí)性。

[1] 汪光華．智能安防—視頻監(jiān)控全面解析與實(shí)例分析[M].北京：機(jī)械工業(yè)出版社,2012.

[2] 胡瑤榮．基于FPGA的實(shí)時(shí)視頻采集系統(tǒng)[J]電視技術(shù)，2005(2):81-83.

[3] 程治國．劉允才．多畫面遠(yuǎn)程監(jiān)控系統(tǒng)中關(guān)鍵技術(shù)的實(shí)現(xiàn)[J]．微型電腦應(yīng)用,2003，(19)：14-16.

[4] 覃永新．陳文輝．章帆．實(shí)時(shí)視頻數(shù)據(jù)采集的FPGA實(shí)現(xiàn)[J]．電子技術(shù)應(yīng)用,2009，31(9)：46-48.

[5] 林輝．吳黎明．基于FPGA的實(shí)時(shí)視頻處理平臺(tái)設(shè)計(jì)[J]．計(jì)算機(jī)測量與控制,2012，20(1)： 196-201.

Design and Implementation of Video Synthesis System Based on FPGA

Dong Qing，Zhu Hongxiang,Qi Xiaopeng

(Chinese Flight Test Establishment，Xi′an710089，China)

The paper presents a design of compositing 6 channels of BT656 input video to one BT1120 output video undistorted by combining FPGA and video compositing system. Achieve the video data extraction,SRAM ping-pong operation and video splicing method by Verilog language. The video compositing system consists of video input decoding module,memory module,the output decoding module,I2C module and clock management module. After algorithm simulation and logic synthesis,the design can achieve the basic functions of video composition; meet the requirement of real-time video surveillance system. By the combined results we can know that this design occupied considerably less logic resources in the FPGA chip,and the entire design can run with very high frequency.

FPGA; video synthesis system; Verilog; real time

1671-4598(2016)04-0247-03DOI：10.16526/j.cnki.11-4762/tp.2016.04.071

TB114.3

A

2015-10-27；

2015-11-27。

董青(1988-)，女，陜西西安人，碩士，工程師，主要從事飛行試驗(yàn)、測試系統(tǒng)方向的研究。

朱洪翔(1989-)，男，江蘇鎮(zhèn)江人，碩士，工程師，主要從事飛行試驗(yàn)、測試系統(tǒng)方向的研究。