陳文輝，覃永新，黃慶南

（廣西工學(xué)院 電子信息與控制工程系，柳州 545006）

0 引言

多路視頻處理技術(shù)是視頻監(jiān)控領(lǐng)域的重要組成部分，其中多路視頻合成系統(tǒng)在安防、指揮、航空等監(jiān)控系統(tǒng)中獲得廣泛應(yīng)用。多路視頻合成系統(tǒng)就是將多路視頻的每一個(gè)全畫面按照一定比例縮小后合成為一路視頻信號(hào)，然后在高分辨率的顯示設(shè)備上以全屏或多窗口模式顯示[1]。視頻信號(hào)處理系統(tǒng)對(duì)信號(hào)處理速度的要求甚嚴(yán)，以往常使用的專用DSP芯片雖然滿足了速度要求，但開發(fā)周期較長(zhǎng)，產(chǎn)品的調(diào)試、修改及升級(jí)比較困難，成本較高。FPGA（Field Programmable Gate Array，現(xiàn)場(chǎng)可編程門陣列）器件具有并行處理速度高、集成度高、功耗低、設(shè)計(jì)靈活等特點(diǎn)，且有快速高效的開發(fā)平臺(tái)，可加快開發(fā)周期等優(yōu)勢(shì)，使之成為設(shè)計(jì)高速視頻信號(hào)處理器件的首選。

文中介紹了一種基于FPGA的多路視頻合成系統(tǒng)，該系統(tǒng)接收16路由CCD攝像頭采集的模擬視頻信號(hào)，通過(guò)視頻解碼芯片轉(zhuǎn)換為PAL制式的數(shù)字視頻信號(hào)，F(xiàn)PGA對(duì)其進(jìn)行抽取和幀合成等數(shù)據(jù)格式轉(zhuǎn)換，再通過(guò)視頻編碼芯片的數(shù)模轉(zhuǎn)換送入VGA顯示器，可顯示1、4、9、16路分割畫面，并通過(guò)按鍵輪流切換視頻畫面。

1 多路視頻合成系統(tǒng)的組成結(jié)構(gòu)

系統(tǒng)以FPGA為核心，與視頻解碼模塊、視頻編碼芯片和SRAM等外圍器件一起構(gòu)成整個(gè)多路視頻合成處理系統(tǒng)[2]。FPGA芯片選用ALTERA公司的EP2C15AF484C8；視頻解碼芯片選用SAA7113H作為視頻模數(shù)轉(zhuǎn)換器件；視頻編碼芯片選用SAA7121作為數(shù)模轉(zhuǎn)換器件；片外存儲(chǔ)器SRAM采用IS61LV51216。系統(tǒng)的組成框圖如圖1所示，其中FPGA內(nèi)部的設(shè)計(jì)主要包括按鍵控制單元、數(shù)據(jù)采集及提取單元、幀合成處理單元和幀存控制單元。

圖1 多路視頻合成系統(tǒng)組成框圖

圖1中的視頻輸入0～15是來(lái)自16路CCD攝像頭的模擬視頻輸入信號(hào)，每路經(jīng)由SAA7113H轉(zhuǎn)換成PAL制式ITU656 YUV 4:2:2格式的8位VPO數(shù)據(jù)。上電后，F(xiàn)PGA首先通過(guò)IIC總線對(duì)視頻解碼器SAA7113H進(jìn)行配置，接收16路VPO信號(hào)進(jìn)行混合處理，根據(jù)最終顯示窗口與原始圖像大小的比例將其進(jìn)行有效數(shù)據(jù)的抽取，并按照幀合成原理寫入片外存儲(chǔ)器中，組成一幀圖像的數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)地址與屏幕中的像素地址一一對(duì)應(yīng)，寫滿一幀后讀出，格式再生后送入視頻編碼器SAA7121還原成模擬信號(hào)送顯示器輸出。

2 基于FPGA的多路視頻合成系統(tǒng)的設(shè)計(jì)

圖2給出了多路視頻合成系統(tǒng)的內(nèi)部結(jié)構(gòu)圖。

圖2 視頻合成系統(tǒng)的內(nèi)部結(jié)構(gòu)圖

2.1 按鍵控制單元KEYS_CTL

按鍵控制單元用以控制畫面分割數(shù)目的選擇和視頻通道的輪切。其中按鍵N1～N4分別選擇畫面分割數(shù)為1、4、9、16，按鍵NEXT是下一視頻通道的切換鍵。START鍵按下后，默認(rèn)全屏顯示通道0的畫面，輸出Y[15..0]為0001H，之后每次按下NEXT鍵時(shí)Y[15..0]循環(huán)左移，切換到下一路視頻數(shù)據(jù)；N2、N3、N4鍵按下時(shí)，處理過(guò)程與此類似。

2.2 數(shù)據(jù)采集及提取單元ACQ

數(shù)據(jù)采集及提取單元接收16路視頻解碼芯片SAA7113H輸出的VPO信號(hào)并提取其中有效像素?cái)?shù)據(jù)。SAA7113H除了輸出數(shù)字視頻信號(hào)VPO[7..0]，還有相應(yīng)的同步信號(hào)：行有效信號(hào)RTS0、奇偶場(chǎng)標(biāo)識(shí)信號(hào)RTS1等。其中RTS0的上升沿表示有效行到來(lái)，RTS1的高電平表示奇場(chǎng)，低電平表示偶場(chǎng)[2]。

SAA7113H輸出PAL制式的ITU656標(biāo)準(zhǔn)YUV（4:2:2）格式數(shù)據(jù)[2]，其中Y表示亮度信號(hào)，而UV表示色差信號(hào)，像素時(shí)鐘為27MHz。信號(hào)掃描方式為隔行掃描，幀率為25幀/秒，每幀圖像分為奇偶兩場(chǎng)，每幀像素為864×625，其中有效像素為720×576。SAA7113H輸出的一行視頻數(shù)據(jù)格式如圖3所示，每行有1728字節(jié)，其中有效數(shù)據(jù)1440字節(jié)，對(duì)應(yīng)720個(gè)有效像素，可以看成每一個(gè)像素由兩個(gè)連續(xù)的字節(jié)表示。

數(shù)據(jù)采集及提取單元由16個(gè)數(shù)據(jù)采集通道構(gòu)成，每一通道接收一片SAA7113H的行有效信號(hào)RTS0、像素時(shí)鐘信號(hào)SYS_CLK和8位視頻數(shù)據(jù)VPO[7..0]，根據(jù)每一路的輸出允許信號(hào)Y[15..0]和畫面數(shù)目按鍵N1～N4，輸出16路經(jīng)過(guò)了抽取的有效數(shù)據(jù)VPO_OUT，共128位；以及表示16路視頻通道的有效數(shù)據(jù)信號(hào)L[15..0]。

數(shù)據(jù)采集過(guò)程：根據(jù)視頻數(shù)據(jù)流的時(shí)間參考代碼SAV來(lái)獲取有效數(shù)據(jù)的起始時(shí)刻。在一幀完整的視頻數(shù)據(jù)中，第一場(chǎng)有效數(shù)據(jù)階段的SAV為“8XH”，而消隱階段的時(shí)間參考代碼中的SAV為”AXH”。通過(guò)判斷行有效信號(hào)RTS0為1時(shí)，分析出數(shù)據(jù)流中的“80 10 FF 00 00 SAV”定時(shí)參考代碼后，啟動(dòng)計(jì)數(shù)模為1440的計(jì)數(shù)器，當(dāng)計(jì)數(shù)值為40時(shí)置信號(hào)L為 1 ，標(biāo)志一行有效數(shù)據(jù)的開始，同時(shí)為之后的數(shù)據(jù)處理提供同步信號(hào)；當(dāng)計(jì)數(shù)值為1320時(shí)置L為0，從而結(jié)束一行有效數(shù)據(jù)的采集，在這個(gè)時(shí)間段內(nèi)就可以截取行中1280個(gè)字節(jié)的有效像素?cái)?shù)據(jù)[2]。

數(shù)據(jù)提取過(guò)程：當(dāng)按鍵N1有效時(shí)不抽取數(shù)據(jù)，按照系統(tǒng)時(shí)鐘將1280個(gè)字節(jié)的數(shù)據(jù)全部送入幀合成單元；當(dāng)按鍵N2、N3、N4有效時(shí)，每個(gè)通道的數(shù)據(jù)進(jìn)行1/2、1/3、1/4的抽取，即在每行的L信號(hào)為 1的狀態(tài)下分別產(chǎn)生占空比為1/2、1/3和1/4的脈沖作為輸出的選通信號(hào)，就有對(duì)應(yīng)的視頻數(shù)據(jù)流輸出，然后在幀合成單元的控制下寫入緩存。視頻數(shù)據(jù)進(jìn)行抽取的示意圖如圖4所示，經(jīng)過(guò)抽取后每個(gè)視頻通道的數(shù)據(jù)每行640B；類似地，9畫面對(duì)應(yīng)每行數(shù)據(jù)426B，16畫面對(duì)應(yīng)每行320B。

圖3 ITU一行視頻數(shù)據(jù)格式

圖4 數(shù)據(jù)進(jìn)行1/2、1/3、1/4、抽取示意圖

2.3 幀合成單元

系統(tǒng)將視頻畫面分為i的2次冪個(gè)子塊，每個(gè)子塊按4:3的比例顯示一個(gè)視頻畫面。幀合成就是將各個(gè)視頻畫面抽取后的數(shù)據(jù)按照幀格式重新合成一幀視頻數(shù)據(jù)。由于每一通道的視頻數(shù)據(jù)流以及行場(chǎng)同步信號(hào)各自獨(dú)立，幀合成單元必須控制各個(gè)通道的壓縮視頻數(shù)據(jù)在數(shù)據(jù)緩存中的讀寫時(shí)間，以解決數(shù)據(jù)的同步問(wèn)題；同時(shí)將各路數(shù)據(jù)順序?qū)懭霂鎯?chǔ)器中對(duì)應(yīng)的分區(qū)中，從而合并為一幀完整的視頻圖像數(shù)據(jù)。根據(jù)視頻合成的要求，4畫面的每個(gè)圖像大小為320×240像素，9畫面為213×160像素，16畫面為160×120像素。

使用的幀合成技術(shù)時(shí)涉及到行內(nèi)數(shù)據(jù)的時(shí)分復(fù)用過(guò)程，即利用每一行經(jīng)過(guò)抽取后的數(shù)據(jù)之間的空隙來(lái)“加入”另一視頻通道的數(shù)據(jù)，從而將2、3或4路信號(hào)合為一路視頻數(shù)據(jù)流。圖5中是四畫面幀合成示意圖，通道0和通道1的數(shù)據(jù)流經(jīng)過(guò)有效抽取后，分別得到占空比為1/2的數(shù)據(jù)流，控制兩個(gè)視頻通道的數(shù)據(jù)的讀取時(shí)間，使得通道1的數(shù)據(jù)滯后于通道0的數(shù)據(jù)4個(gè)時(shí)鐘周期輸出，則通道1的數(shù)據(jù)正好處于通道0的無(wú)效數(shù)據(jù)期，這兩個(gè)通道的數(shù)據(jù)相互交錯(cuò)，就可以得到一行復(fù)合視頻數(shù)據(jù)流U0Y0V0Y1U0Y0V0Y1U4Y4V4Y5U4Y4V4Y5…，此復(fù)合視頻行包含2個(gè)視頻通道的320個(gè)雙字節(jié)，共為640個(gè)雙字節(jié)。完成行內(nèi)數(shù)據(jù)的時(shí)分復(fù)用后，選擇合適的復(fù)合視頻行存儲(chǔ)在片外SRAM中就可以構(gòu)成完整的一幀數(shù)據(jù)。為了均勻地抽取每個(gè)畫面的視頻行，須考慮奇偶場(chǎng)的因素，利用奇偶場(chǎng)標(biāo)識(shí)端RTS1。在每個(gè)視頻通道選擇進(jìn)行復(fù)合的視頻行的行序號(hào)符合以下規(guī)則：

圖5 四畫面幀合成示意圖

設(shè)畫面分割數(shù)為i2，在每一場(chǎng)進(jìn)行i分之一行的抽?。寒?dāng)i為奇數(shù)時(shí)，在RTS1=1時(shí)從行0開始抽取，RTS1=0時(shí)從行1開始抽??；當(dāng)i為偶數(shù)時(shí)，每個(gè)視頻畫面只需要在RTS1=1時(shí)（奇場(chǎng)）抽取視頻行，4畫面時(shí)全取，為240行；16畫面時(shí)1/2抽取，為120行。則在視頻編碼芯片輸出一幀數(shù)據(jù)的期間，就可以得到合成畫面的全部視頻通道數(shù)據(jù)。根據(jù)以上原理設(shè)計(jì)幀合成單元，其內(nèi)部結(jié)構(gòu)圖如圖6所示，主要由緩沖存儲(chǔ)單元STR_FIFO、讀允許單元FIFO_RD、寫地址產(chǎn)生單元WR_ADD和數(shù)據(jù)選擇器SELECTOR組成。

圖6 幀合成單元內(nèi)部結(jié)構(gòu)圖

2.3.1 緩沖存儲(chǔ)單元STR_FIFO

緩沖存儲(chǔ)單元由16個(gè)雙端口先進(jìn)先出器件LPM_FIFO_DP并聯(lián)構(gòu)成，用于緩存每個(gè)視頻通道經(jīng)過(guò)有效抽取的視頻數(shù)據(jù)。LPM_FIFO_DP的參數(shù)定制為：寫數(shù)據(jù)位寬＝8；讀數(shù)據(jù)位寬＝16；數(shù)據(jù)深度＝2048；寫時(shí)鐘采用系統(tǒng)像素時(shí)鐘SYS_CLK，讀時(shí)鐘采用像素時(shí)鐘的二分頻信號(hào)CLK2；寫允許信號(hào)端連接數(shù)據(jù)采集單元輸出的數(shù)據(jù)有效信號(hào)L[15..0]，讀允許信號(hào)端連接讀FIFO單元輸出的信號(hào)RD[15..0]。

2.3.2 讀FIFO單元FIFO_RD

讀FIFO單元負(fù)責(zé)在每一視頻通道的一行的有效視頻數(shù)據(jù)寫入各自的緩沖FIFO后，通過(guò)判斷數(shù)據(jù)有效信號(hào)L[15..0]和通道選通端Y[15..0]，輸出對(duì)16個(gè)FIFO的讀允許信號(hào)RDOUT[15..0]，從而實(shí)現(xiàn)一行數(shù)據(jù)的時(shí)分復(fù)用。工作過(guò)程是：通過(guò)判斷數(shù)組Y[15..0]中的高電平位，將輸出的端口分為i組，每組輸出i個(gè)高電平選通脈沖組合，每個(gè)脈沖相隔2個(gè)時(shí)鐘信號(hào)CLK2，持續(xù)時(shí)間為640個(gè)CLK2，然后下一組端口依次輸出這樣的脈沖組合，作為每個(gè)FIFO的讀允許信號(hào)。如：當(dāng)四畫面分割時(shí)，若Y=000FH，L=000FH，則選中通道3～0，表示是這四個(gè)視頻通道的畫面進(jìn)行幀合成，且其數(shù)據(jù)已經(jīng)開始寫入這一組的4個(gè)緩存FIFO，則可以在RDOUT的最低4位RDOUT[3..0]順序輸出脈沖信號(hào)去讀取這4個(gè)FIFO。

2.3.3 WR_ADD單元

寫地址單元的任務(wù)是依據(jù)緩沖FIFO輸出的有效數(shù)據(jù)，產(chǎn)生對(duì)應(yīng)的存儲(chǔ)地址，從而保證數(shù)據(jù)能夠正確寫入與顯示屏上的位置相對(duì)應(yīng)的片外SRAM中的存儲(chǔ)單元。按照分割畫面的分區(qū)規(guī)則，將SRAM的存儲(chǔ)空間也劃分為i的2次冪個(gè)分區(qū)，其存儲(chǔ)地址由高位的列地址和低位的行地址組成。行地址10位，表示一行中前640個(gè)單元用于暫存視頻數(shù)據(jù)；列地址9位，表示可以暫存480行的數(shù)據(jù)；剩余的單元空閑。寫地址單元WR_ADD根據(jù)畫面分割信號(hào)EN[3..0]，在16個(gè)通道的行有效信號(hào)L[15..0]有效后，輸出對(duì)應(yīng)于不同分割要求的寫SRAM地址。根據(jù)顯示器顯示界面的空間位置來(lái)產(chǎn)生寫地址。當(dāng)畫面分割數(shù)i為偶數(shù)時(shí)，設(shè)通道序號(hào)為j，則寫地址的行地址=M+P*j(M=(0,1,……,640/i-1))，而列地址則是逐一增加。

2.3.4 數(shù)據(jù)選擇器SELECTOR

數(shù)據(jù)選擇器的作用是選擇進(jìn)行幀合成的i個(gè)視頻通道的數(shù)據(jù)，同時(shí)也調(diào)整時(shí)鐘，與寫SRAM的地址同步送入幀存控制單元，從而保證幀合成的準(zhǔn)確性。

2.4 幀存控制單元STORAGE_CTL

幀存控制單元是FPGA芯片與外設(shè)SRAM的接口，從片外SRAM中讀取一幀數(shù)據(jù)，將每行數(shù)據(jù)都再生插入：有效視頻行，插入SAV，EAV和行消隱數(shù)據(jù)。再生的數(shù)據(jù)和存儲(chǔ)器中的有效數(shù)據(jù)分時(shí)地輸出到視頻編碼芯片，然后輸出到顯示器。為了實(shí)現(xiàn)數(shù)據(jù)的連續(xù)處理，設(shè)計(jì)中采用了兩片SRAM交替工作，一片SRAM寫入一幀視頻數(shù)據(jù)時(shí)，另一片SRAM讀出已經(jīng)完成幀合成的數(shù)據(jù)，寫滿或讀空后，交換處理下一幀數(shù)據(jù)。

3 結(jié)論

圖7 四畫面分割的部分仿真波形

圖7給出了四畫面分割時(shí)的部分仿真波形，EN2=1，VPO0～VPO3表示4個(gè)視頻通道的輸入，DOUT1～DOUT4是表示經(jīng)過(guò)幀合成以后的數(shù)據(jù)，WRADD表示對(duì)應(yīng)這些數(shù)據(jù)的寫入SRAM的地址信號(hào)，DD表示將經(jīng)過(guò)幀合成后的數(shù)據(jù)流?？梢钥闯觯紫韧ǖ?和通道1的數(shù)據(jù)經(jīng)過(guò)緩沖FIFO組，延時(shí)幾個(gè)字節(jié)后，以四個(gè)CLK為間隔的時(shí)差輸出，合成為數(shù)據(jù)DD：D9D8、DBDA、DBDA、DDDC、E1E0……，同時(shí)系統(tǒng)輸出了寫入SRAM的地址（十進(jìn)制表示）：0，1，320，321，2，3……。從仿真波形得出對(duì)數(shù)據(jù)流的幀合成處理是正確的。

任意畫面的分割器，只是要改變視頻信號(hào)的路數(shù)，硬件上增減攝像頭、視頻解碼芯片，軟件方面，就要根據(jù)畫面分割要求對(duì)每一路視頻信號(hào)進(jìn)行適當(dāng)抽取，然后合成為一幀數(shù)據(jù)，再經(jīng)過(guò)視頻編碼芯片輸出[3]。

視頻信號(hào)的處理過(guò)程涉及到大量的數(shù)據(jù)交換，F(xiàn)PGA依賴其強(qiáng)大而靈活的邏輯控制功能和內(nèi)部先進(jìn)的快速通道互連，使其以超小的端端延時(shí)而在數(shù)據(jù)處理方面處于優(yōu)勢(shì)。系統(tǒng)在QUARTUSⅡ環(huán)境下進(jìn)行綜合驗(yàn)證，共使用了1200個(gè)LE。將程序下載到FPGA芯片進(jìn)行仿真驗(yàn)證，實(shí)現(xiàn)了系統(tǒng)的功能。

[1] 胡瑤榮.基于FPGA的實(shí)時(shí)視頻采集系統(tǒng)[J].電視技術(shù).2005(2).81-83.

[2] 覃永新,陳文輝,章帆.實(shí)時(shí)視頻數(shù)據(jù)采集的FPGA實(shí)現(xiàn)[J].電子技術(shù)應(yīng)用.2009,31(9):46-48.

[3] 程治國(guó).劉允才.多畫面遠(yuǎn)程監(jiān)控系統(tǒng)中關(guān)鍵技術(shù)的實(shí)現(xiàn)[J]. 微型電腦應(yīng)用.2003,(19):14-16.