韓紅霞，孫 航，張海波

（中國科學(xué)院長春光學(xué)精密機械與物理研究所，吉林長春130033）

基于FPGA的視頻與通訊數(shù)據(jù)融合設(shè)計

韓紅霞?，孫 航，張海波

（中國科學(xué)院長春光學(xué)精密機械與物理研究所，吉林長春130033）

為實現(xiàn)將時間值、方位值等串口通訊信息疊加進數(shù)字視頻圖像信號的某一固定行中，設(shè)計了基于FPGA的通訊數(shù)據(jù)與數(shù)字視頻數(shù)據(jù)的融合系統(tǒng).采用FPGA程序設(shè)計實現(xiàn)串行數(shù)據(jù)接收與內(nèi)置FIFO處理，并提取視頻數(shù)據(jù)的某一固定行，進行數(shù)據(jù)融合，使得通訊數(shù)據(jù)和視頻數(shù)據(jù)在場信號有效下組合輸出.基于FPGA的通訊數(shù)據(jù)與數(shù)字視頻數(shù)據(jù)的融合系統(tǒng)實現(xiàn)了通訊數(shù)據(jù)與視頻數(shù)據(jù)的融合，試驗中通訊數(shù)據(jù)波特率為230.4 kbit/s，視頻信號幀頻50 Hz，視頻數(shù)據(jù)與通訊數(shù)據(jù)幀頻相同，圖像像素為1 024×1 024，通訊數(shù)據(jù)正確的融合入一場圖像的最后一行中，系統(tǒng)工作穩(wěn)定，工作狀態(tài)良好.基于FPGA的通訊數(shù)據(jù)與數(shù)字視頻數(shù)據(jù)的融合系統(tǒng)以最簡硬件系統(tǒng)實現(xiàn)了通訊數(shù)據(jù)與數(shù)字視頻數(shù)據(jù)的組合輸出，滿足圖像處理及顯示系統(tǒng)的要求，具有廣泛的工程意義.

視頻數(shù)據(jù)；通訊數(shù)據(jù)；融合；FPGA

1　引 言

針對圖像處理及圖像顯示等系統(tǒng)的要求，需要將通訊數(shù)據(jù)疊加進數(shù)字視頻信息的某一固定行中，設(shè)計基于FPGA的通訊數(shù)據(jù)與視頻數(shù)據(jù)融合系統(tǒng).采用FPGA編程實現(xiàn)時間、角度值等通訊信息到視頻信息的疊加，疊加信息可以在一場圖像中指定的任意一行輸出，提供給后續(xù)的圖像處理、圖像顯示等系統(tǒng).對通訊數(shù)據(jù)的接收以及通訊數(shù)據(jù)到視頻數(shù)據(jù)的融合完全采用基于FPGA的Verilog語言編程結(jié)合圖形編程實現(xiàn)，在FPGA內(nèi)部構(gòu)建通訊數(shù)據(jù)波特率匹配模塊、串行數(shù)據(jù)的接收模塊、行同步信號提取模塊以及通訊數(shù)據(jù)與視頻數(shù)據(jù)組合模塊等，實現(xiàn)通訊數(shù)據(jù)到視頻數(shù)據(jù)的融合功能.通訊數(shù)據(jù)到視頻數(shù)據(jù)的融合系統(tǒng)設(shè)計實現(xiàn)了需要的通訊信息到視頻數(shù)據(jù)的疊加顯示等功能，試驗證明:系統(tǒng)工作穩(wěn)定，狀態(tài)良好［1-3］.

2　硬件設(shè)計

基于FPGA的通訊數(shù)據(jù)與視頻數(shù)據(jù)融合設(shè)計在硬件設(shè)計中包括:串行數(shù)據(jù)輸入、數(shù)字視頻數(shù)據(jù)輸入、FPGA及外圍電路、通訊與視頻數(shù)據(jù)融合輸出等部分，如圖1所示.

圖1　通訊數(shù)據(jù)與視頻數(shù)據(jù)融合硬件結(jié)構(gòu)示意圖Fig.1　Hardware structure diagram of communication data and video data composition system

串行輸入數(shù)據(jù)是RS422格式，經(jīng)差分轉(zhuǎn)TTL芯片MAX3071得到LVTTL格式信號，數(shù)字視頻輸入信號為Camera_Link格式，經(jīng)Camera_ Link接收芯片DS90CR288得到并行的LVTTL信號，經(jīng)轉(zhuǎn)換的通訊數(shù)據(jù)和視頻數(shù)據(jù)分別輸入FPGA，F(xiàn)PGA接收串行數(shù)據(jù)并將其融合入數(shù)字視頻信號的某一指定行中，實現(xiàn)通訊數(shù)據(jù)與視頻數(shù)據(jù)的融合，融合數(shù)據(jù)經(jīng)Camera_Link發(fā)送芯片DS90CR287轉(zhuǎn)換為Camera_Link標準數(shù)據(jù)，進行輸出.

通訊數(shù)據(jù)與視頻數(shù)據(jù)融合設(shè)計的核心是FPGA，F(xiàn)PGA進行邏輯控制和時序配置，同時采用Verilog語言編程結(jié)合內(nèi)嵌功能模塊以及Signal-Tap工具，可以實現(xiàn)各種邏輯及時序功能設(shè)計. FPGA通過為每個功能建立單獨的硬件來實現(xiàn)整個應(yīng)用程序所需要的邏輯功能，因此具有并行處理的內(nèi)在特點，程序速度快、運行靈活，并且FPGA內(nèi)部采用流水結(jié)構(gòu)，因此非常適合進行圖像及邏輯方面的相關(guān)設(shè)計.

通過對FPGA的編程實現(xiàn)了串行數(shù)據(jù)的接收、串行數(shù)據(jù)與視頻數(shù)據(jù)的融合以及所有外圍芯片的邏輯控制.FPGA內(nèi)部主要包括4個功能模塊，分別是波特率產(chǎn)生模塊、串行數(shù)據(jù)接收模塊、行同步信號處理模塊和數(shù)據(jù)處理及融合模塊，其中波特率產(chǎn)生模塊，是根據(jù)已知的接收數(shù)據(jù)波特率，處理外部時鐘信號，產(chǎn)生與波特率相對應(yīng)的數(shù)據(jù)接收時鐘信號［4-5］；串行數(shù)據(jù)接收模塊負責(zé)按位接收串行通訊數(shù)據(jù)，并將有效位數(shù)據(jù)并行化；行同步信號處理模塊負責(zé)根據(jù)需要提取需要擬合通訊數(shù)據(jù)的行，或者在行消隱期做出可以擬合通訊數(shù)據(jù)的行信號，這部分根據(jù)工程設(shè)計的實際需要，本設(shè)計中根據(jù)要求將通訊數(shù)據(jù)擬合進一場數(shù)據(jù)中的最后一行；數(shù)據(jù)處理及融合模塊負責(zé)將視頻數(shù)據(jù)和通訊數(shù)據(jù)進行組合輸出，按時序要求提供給后續(xù)圖像處理、存儲等系統(tǒng).

3　FPGA程序設(shè)計

對FPGA編程主要采用Verilog語言結(jié)合內(nèi)嵌功能模塊以及內(nèi)部集成的Signal Tap測量工具實現(xiàn)，主要包括波特率產(chǎn)生模塊、串行數(shù)據(jù)接收模塊、行信號處理模塊以及通訊數(shù)據(jù)與視頻數(shù)據(jù)融合模塊等.圖2給出基于FPGA的通訊數(shù)據(jù)與視頻數(shù)據(jù)融合程序設(shè)計框圖.

如圖2所示，串行數(shù)據(jù)輸入后，F(xiàn)PGA首先要根據(jù)串行數(shù)據(jù)的波特率產(chǎn)生與輸入數(shù)據(jù)相匹配的接收時鐘，即由波特率產(chǎn)生模塊產(chǎn)生能夠采到每一位數(shù)據(jù)的有效時鐘信號.接著串行數(shù)據(jù)接收模塊根據(jù)波特率產(chǎn)生模塊提供的有效時鐘信號按位接收數(shù)據(jù)，將串行數(shù)據(jù)轉(zhuǎn)換為并行數(shù)據(jù)，并產(chǎn)生與每一個字節(jié)對應(yīng)的數(shù)據(jù)有效信號［6-8］.FIFO寫邏輯產(chǎn)生模塊根據(jù)串行數(shù)據(jù)接收模塊提供的數(shù)據(jù)有效信號以及時鐘預(yù)處理模塊提供的時鐘信號產(chǎn)生FIFO的寫時鐘信號WR_CLK和FIFO的寫有效信號WR_VALID.以上模塊均是對串行接收數(shù)據(jù)進行處理，接下來對數(shù)字視頻信號進行處理，以達到通訊數(shù)據(jù)與視頻數(shù)據(jù)融合的目的.視頻數(shù)據(jù)的行信號處理模塊負責(zé)從場信號包含的若干行信號中提取要發(fā)送通訊數(shù)據(jù)的行信號，并將這個行信號提供給FIFO讀邏輯產(chǎn)生模塊.讀邏輯產(chǎn)生模塊根據(jù)視頻信號的像素時鐘和行信號處理模塊提供的讀請求信號產(chǎn)生FIFO的讀時鐘信號RD_CLK和讀有效信號RD_VALID.FIFO根據(jù)讀寫邏輯，對并行化的串口接收數(shù)據(jù)進行緩存后輸出，得到與視頻數(shù)據(jù)時序相同的信號.最后通訊數(shù)據(jù)與視頻數(shù)據(jù)融合模塊在Video_Valid有效時輸出視頻信號，在Com_Valid有效時輸出通訊信號，并將兩者進行時序和數(shù)據(jù)的整合，得到一場既包含視頻信號又包含通訊信號的融合數(shù)據(jù)輸出［9-10］.

圖2　FPGA實現(xiàn)通訊數(shù)據(jù)與視頻數(shù)據(jù)融合框圖Fig.2　FPGA design diagram of communication data and video data composition system

4　實 驗

基于FPGA的通訊數(shù)據(jù)與視頻數(shù)據(jù)融合設(shè)計實驗中，采用1M30數(shù)字相機作為數(shù)字視頻輸出信號源，數(shù)據(jù)通訊板作為通訊數(shù)據(jù)的輸出信號源，圖3給出實驗結(jié)構(gòu)圖.

如圖3所示，實驗中，1M30相機作為視頻數(shù)據(jù)源為通訊數(shù)據(jù)與視頻數(shù)據(jù)融合設(shè)計板卡提供CameraLink格式的數(shù)字視頻信號，數(shù)據(jù)通訊板作為通訊數(shù)據(jù)源為通訊數(shù)據(jù)與視頻數(shù)據(jù)融合設(shè)計板卡提供RS422格式的通訊數(shù)據(jù).基于FPGA的通訊數(shù)據(jù)與視頻數(shù)據(jù)融合設(shè)計板卡將輸入的視頻數(shù)據(jù)與通訊數(shù)據(jù)進行融合，得到將通訊數(shù)據(jù)擬合入視頻數(shù)據(jù)某一固定行中的融合輸出數(shù)據(jù)，分別輸出給圖像采集系統(tǒng)和圖像傳輸系統(tǒng).實驗中視頻數(shù)據(jù)像素幀頻為50 Hz，像素時鐘為40 MHz，像元尺寸1 024×1 024，每個像素時鐘對應(yīng)兩個12位的數(shù)據(jù)，將通訊數(shù)據(jù)擬合入視頻數(shù)據(jù)的最后一行，時序如圖4所示.

圖3　基于FPGA的通訊數(shù)據(jù)與視頻數(shù)據(jù)融合設(shè)計實驗結(jié)構(gòu)圖Fig.3　Experiment diagram of the communication data and video data composition system

圖4　視頻數(shù)據(jù)時序簡圖Fig.4　Time sequence diagram of the video data

如圖4所示，視頻輸出信號的時序測量顯示場同步信號FVAL有效電平下包括1 024個行信號LVAL，行信號有效包括512個時鐘信號，而每個時鐘信號對應(yīng)24位的數(shù)據(jù)輸出，表示兩個12位的像素值，因此一場圖像為1 024×1 024×12 bit，按照要求需要將通訊系統(tǒng)發(fā)送的數(shù)據(jù)擬合進一場圖像的最后一行中，基于FPGA的通訊數(shù)據(jù)與視頻數(shù)據(jù)融合設(shè)計實現(xiàn)了這一功能，圖5給出采用FPGA內(nèi)嵌的Signal Tap工具進行測量，得到的數(shù)據(jù)擬合觀測圖.

如圖5所示，Signal Tap觀測圖顯示，輸出的場同步信號和行同步信號與原視頻輸入的場同步信號和行同步信號一致.在融合數(shù)據(jù)的最后一行，是通訊板發(fā)送的通訊數(shù)據(jù)，已知通訊板發(fā)送來的數(shù)據(jù)是以7E開頭E7結(jié)尾的一幀數(shù)據(jù)，波特率為230.4 kbit/s，圖5中顯示最后一行數(shù)據(jù)是融合的通訊數(shù)據(jù)，由于每個時鐘對應(yīng)的視頻數(shù)據(jù)為24位，為與其保持一致，將通訊數(shù)據(jù)擴展為24位數(shù)據(jù)，可以看出融合的通訊數(shù)據(jù)與原通訊數(shù)據(jù)一致.圖像采集系統(tǒng)對融合數(shù)據(jù)進行了數(shù)據(jù)采集并顯示，圖6給出采集圖像顯示圖.

圖5　擬合數(shù)據(jù)Signal Tap觀測圖Fig.5　Composition data collected by the SignalTap tool

圖6　圖像采集及像素顯示示意圖Fig.6　Collected image and pixel value display diagram

圖6給出圖像采集示意圖，用PIXELVIEW工具可以看到指定區(qū)域的像素值，從圖中可以看出一場圖像的最后一行即圖中顯示的第1 023行的像素值是7E開頭E7結(jié)尾的通訊擬合數(shù)據(jù).圖中對像素值的顯示說明:基于FPGA的通訊數(shù)據(jù)與視頻數(shù)據(jù)融合系統(tǒng)設(shè)計實現(xiàn)了視頻數(shù)據(jù)與通訊數(shù)據(jù)的融合，擬合的數(shù)據(jù)正確，系統(tǒng)工作穩(wěn)定.

5　結(jié) 論

基于FPGA的通訊數(shù)據(jù)與視頻數(shù)據(jù)融合系統(tǒng)設(shè)計實現(xiàn)了將通訊數(shù)據(jù)擬合進視頻數(shù)據(jù)某一固定行中的功能，實驗中視頻數(shù)據(jù)為像素時鐘40 MHz，像元尺寸1 024×1 024，數(shù)據(jù)位12 bit的Camera_Link格式數(shù)據(jù)，通訊數(shù)據(jù)為7E開頭E7結(jié)尾的隨機數(shù)，實驗證明板卡實現(xiàn)了通訊數(shù)據(jù)到視頻數(shù)據(jù)的融合，融合進視頻數(shù)據(jù)最后一行的通訊數(shù)據(jù)完整、正確，滿足圖像采集系統(tǒng)、圖像顯示系統(tǒng)等后續(xù)系統(tǒng)的需求.目前板卡已應(yīng)用于具體的工作項目中，工作穩(wěn)定，性能良好.基于FPGA的通訊數(shù)據(jù)與視頻數(shù)據(jù)融合系統(tǒng)設(shè)計成功的將角度信息、時間信息等通訊數(shù)據(jù)擬合進視頻數(shù)據(jù)中，方便的數(shù)據(jù)的處理和顯示，具有廣泛的工程應(yīng)用意義.

［1］ 熊文彬，蔣泉，曲建軍，等.基于FPGA實現(xiàn)的視頻顯示系統(tǒng)［J］.液晶與顯示，2011，26（1）:92-93.

Xiong W B，Jiang Q，Qu J J，et al.Video display system based on FPGA［J］.Chinese Journal of Liquid Crystals and Displays，2011，26（1）:92-93.（in Chinese）

［2］ Levine P A，Saucer D J，Shallcross F V.High frame rata multi-port CCD image and camera［J］.SPIE，1992，1952:257-267.

［3］ Li X Z，Yu Z Y，Shang F.Multifunction image target generator［J］.Experimental Technology and Management，2002，19（4）:36-37.

［4］ 王明富，楊世洪，吳欽章.大面陣CCD圖像實時顯示系統(tǒng)的設(shè)計［J］.光學(xué)精密工程，2010，18（9）:2053-2059.

Wang M F，Yang S H，Wu Q Z.Design of large-array CCD real time display system［J］.Optics and Precision Engineering，2010，18（9）:2053-2059.（in Chinese）

［5］ 穆欣，胡君，宋啟昌，等.空間相機集成測試系統(tǒng)的時鐘同步［J］.光學(xué)精密工程，2010，18（6）:1436-1443.

Mu X，Hu J，Song Q C，et，al.Time synchronization of integrated testing system of space camera［J］.Optics and Precision Engineering，2010，18（6）:1436-1443.（in Chinese）

［6］ 郭敬明，魏仲慧，何昕，等.CCD星圖模擬器的設(shè)計及驗證［J］.中國光學(xué)與應(yīng)用光學(xué)，2010，10（3）:486-493.

Guo J M，Wei Z H，He X，et al.Design of CCD starmap simulator and its validation［J］.Chinese Journal of Optics and Applied Optics，2010.10（3）:486-493.（in Chinese）

［7］ 劉妍妍，張新，張建萍.超分辨重建技術(shù)及其研究進展［J］.中國光學(xué)與應(yīng)用光學(xué)，2009，4（2）:102-111.Liu Y Y，Zhang X，Zhang J P.Super resolved reconstruction technologies and recent evolution［J］.Chinese Journal of Optics and Applied Optics，2009，4（2）:102-111.（in Chinese）

［8］ 陳娟，陳乾輝，師路歡，等.圖像跟蹤中的邊緣檢測技術(shù)［J］.中國光學(xué)與應(yīng)用光學(xué)，2009，2（2）:46-53.

Chen J，Chen Q H，Shi L H，et al.Edge detection technology in imaging tracking［J］.Chinese Journal of Optics and Applied Optics，2009，2（2）:46-53.（in Chinese）

［9］ 胡君，王棟，孫天宇.現(xiàn)代航天光學(xué)成像遙感器的應(yīng)用與發(fā)展［J］.中國光學(xué)與應(yīng)用光學(xué)，2010，12（3）:519-533.

Hu J，Wang D，Sun T Y.Application and development of recent space optical imaging remote sensors［J］.Chinese Journal of Optics and Applied Optics，2010.12（3）:519-533.（in Chinese）

［10］ 楊為錦，孫強.中波紅外連續(xù)變焦系統(tǒng)設(shè)計［J］.中國光學(xué)與應(yīng)用光學(xué)，2010，4（3）:164-169.

Yang W J，Sun Q.Design of middle infrared continuous zoom system［J］.Chinese Journal of Optics and Applied Optics，2010，4（3）:164-169.（in Chinese）

Composition design of communication data and video data based on FPGA

HAN Hong-xia?，SUN Hang，ZHANG Hai-bo

（Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Acadeny of Sciences，Changchun 130033，China）

To realize the composition of the serial port information such as time and azimuth value on the fixed line of the digital video signal，the communication data and digital video signal composition system has been designed.Based on FPGA，the serial port data is received and processed by the FIFO module，and a fixed line signal is extracted.The communication data and video signal composition is realized，and the composition data is output under the frame valid signal.The communication data and digital video signal composition system based on FPGA realized the data composition function.In the experiment，the baud rate of the communication data is 230.4 kbit/s，frame rate of the video signal is 50 Hz，pixel size is 1 024×1 024，the communication data is composed in the last line of one frame video signal correctly，the system works stably and the work status is good.The communication data and digital video signal composition system based on FPGA realizes the data composition in the simplest hardware system，meets the requirements of the image processing and display system，has broad engineer meaning.

video data；communication data；composition；FPGA

TP331

A doi:10.3788/YJYXS20153006.0987

1007-2780（2015）06-0987-05

韓紅霞（1979-），女，河北宣化人，博士，副研究員，主要從事光纖通信及FPGA設(shè)計等作.E-mail:71828@sina.com

2015-02-23；

2015-06-08.

?通信聯(lián)系人，E-mail:mail:71828@sina.com