鞏稼民, 陳 博, 曾祥忠

(1.西安郵電大學 電子工程學院， 陜西 西安 710121； 2.西安中川光電科技有限公司， 陜西 西安 710075)

基于Camera Link數字相機的實時小型化系統(tǒng)

鞏稼民1, 陳 博1, 曾祥忠2

(1.西安郵電大學 電子工程學院， 陜西 西安 710121； 2.西安中川光電科技有限公司， 陜西 西安 710075)

設計一套基于Camera Link數字相機的實時小型化系統(tǒng)。根據Camera Link協(xié)議以及Bayer變換算法，采用Cyclone III 系列FPGA EP3C40F484芯片，通過采集輸入的Camera Link信號，異步FIFO與單片SDRAM方式進行數據緩存，利用ADV7123芯片實現(xiàn)8位數模轉換，輸出1024×768 ×60Hz的VGA信號。實驗結果表明，該系統(tǒng)可以不通過攜帶Camera Link圖像采集卡的計算機,完成對Camera Link 信號的轉換并直接顯示圖像,并實現(xiàn)彩色與黑白模式切換。

實時小型化；Camera Link；FPGA；SDRAM 控制器；Bayer

Camera Link數字相機逐漸成為機器視覺方面的熱點，相比于千兆網、USB2.0以及IEEE 1394接口，Camera Link具有高傳輸速度、高分辨率、強穩(wěn)定性、通信協(xié)議靈活簡單等特點，可應用于軍事偵查、光學遙感和飛船預警等領域[1-2]。而基于Camera Link數字相機的實時顯示系統(tǒng)主要是通過載有Camera Link圖像采集卡的計算機進行間接顯示。目前Camera Link圖像采集卡是基于PCI總線或者PCI Express總線進行數據的控制與傳輸[3-5]，雖然系統(tǒng)的高速實時性得到滿足,但體積較為龐大，使用攜帶不方便，對于空間要求嚴格的地點并不適合，其靈活性較低，具有一定的局限性[6-7]。

為了實現(xiàn)一種基于Camera Link數字相機高速實時小型化系統(tǒng)，就需要基于Camera Link信號采集原理、Bayer算法以及FPGA編程技術，在不通過計算機的情況下完成對Camera Link數據及控制信號進行圖像采集、圖像緩存、信號轉換并顯示等一系列數據處理。圖像緩存模塊可以通過雙SDRAM[8]或者雙SRAM[9]乒乓操作進行高速大容量數據的處理，本系統(tǒng)則采用單片SDRAM加異步FIFO的方法實現(xiàn)，另外在圖像的顯示方面增加了彩色/黑白模式的變換。

本文采用STC-CLC83A型號彩色Camera Link數字相機，根據DS90CR288解碼芯片采集Camera Link信號，基于EP3C40F484芯片完成控制器的設計，將輸入的有效像素1 024×768×30 fps的Camera Link信號緩存到單片SDRAM，并通過數模轉換芯片ADV7123進行轉換，輸出1 024×768×60 Hz的標準VGA信號，外置撥碼開關進行輸出圖像模式選擇。

1 Camera Link協(xié)議與Bayer算法

1.1 Camera Link協(xié)議

Camera Link協(xié)議是基于低壓差分信號(Low Voltage Differential Signaling，LVDS)數據傳輸信號之上的，LVDS信號在傳輸過程中產生一對電壓值大小不同信號，在接收時對這對差異信號進行相應的信號解碼成TTL信號，從而得到原始數據信息。

STC-CLC83A數字相機采用Camera Link配置下的Base型結構，因此選用單片DS90CR288解碼芯片作為Camera Link信號接收器。從MDR26接口發(fā)送包含圖像信息的4路LVDS串行數據流和1路作為高速數據同步的LVDS時鐘流。5路LVDS信號在標準Camera Link電纜中傳輸并在DS90CR288接收到信號時將其串并轉換，解碼恢復成28位的并行數據進行后續(xù)圖像處理[10]，如圖1所示。

圖1 Camera Link傳輸協(xié)議

1.2 Bayer算法

還原彩色圖像通常是在CCD傳感器的表面按一定順序排列的鍍含有紅綠藍三色的馬克膜，對接收的數據進行一定的算法來獲取彩色圖像。Bayer CFA模板是目前廣泛采用的彩色圖像還原模板，它交替使用一組紅綠濾鏡和一組綠藍濾鏡，其中綠色像素占據總像素的50%，紅色像素占據25%，藍色像素占據25%，如圖2所示。

經過Bayer CFA模板采集的圖像數據因為綠色像素分量占了全部像素的一半，所以不經過算法處理，圖像在整體的顯示效果上會呈現(xiàn)綠色。在算法上使用占用邏輯資源最少的2×2塊的Bayer模板。

圖2 Bayer CFA模板

在2×2塊的Bayer模板基本單元如圖3所示。內對缺失的R、B分量完全使用相同顏色的分量，而對缺失的G分量使用均值方法，通過顏色分量輔助實現(xiàn)色彩還原。程序基本設計思路為在2×2單位塊內的4個像素單元具有相同的R值和B值，第1列和第2列的兩個像元的G值為兩像素的平均值[11-13]。

圖3 2×2塊的拜爾模板基本單元

2 實時小型化設計

系統(tǒng)的總體設計由信號采集、圖像緩存、Bayer變換以及VGA信號模塊4個部分組成，如圖4所示。

圖4 總體設計框圖

2.1 信號采集模塊

相機通過MDR26輸出的5路LVDS串行差分信號經DS90CR288A芯片恢復相機圖像信號,由芯片解碼輸出1路時鐘信號和28路數據信號，其數據信號包括24bit圖像有效數據信號和包含幀有效信號FVAL、行有效信號LVAL、數據有效信號DVAL、預留信號SPARE的4路控制信號。當控制器檢測到行/場同步信號同時有效的情況下，以相機的輸入頻率作為信號采集模塊的像素時鐘,進行接收圖像數據的采集工作。

2.2 實時Bayer轉換

相機的輸出數據按2×2 Bayer模板設4個變量，分別為mDATA_0，mDATA_1，mDATAd_0和mDATAd_1。4個變量組成了一個空間模板，mDATAd_0位于模板左上方，如表1所示。

表1 2×2 Bayer空間模板

模板中4個變量必然包含GRBG 4個色彩分量，根據2×2的Bayer變換模板的色彩變換原理，在模板中任意像素取鄰域的紅色像素值、藍色像素值和兩個綠色像素的平均值。在程序設計中，不同的位置采取不同的取值方法，其中mCCD_G的值在程序處理時再進行均值，部分程序設計為

if ({iY_Cont[0],iX_Cont[0]} == 2'b00)

begin

mCCD_R <= mDATAd_0;

mCCD_G <= mDATA0+mDATAd_1;

mCCD_B <= mDATA_1;

end

else if…..

為了實現(xiàn)彩色Camera Link數字相機靈活的優(yōu)勢特點，并符合特定場所的要求，設計了通過撥碼開關調節(jié)CM信號實現(xiàn)黑白及彩色信號切換，部分程序為

采用SPSS 25.0統(tǒng)計學軟件對該次研究數據進行統(tǒng)計處理，其中計量資料為血糖水平控制情況，用（±s）表示，進行t檢驗，治療效果為計數資料，用[n（%）]表示，進行χ2檢驗。P<0.05為差異有統(tǒng)計學意義。

assign oRed = CM?rRed : iDATA ;

assign oGreen = CM?rGreen[10:1] : iDATA ;

assign oBlue = CM?rBlue : iDATA ;

2.3 高速SDRAM緩存控制

采用單片MT48LC8M32B2(8M×32)型號、容量為256Mb、工作電壓為3.3V的SDRAM芯片，系統(tǒng)時鐘同步運行的接口方式。其包括32bit Data Bus, 4banks (BA0～BA1)，每Bank的64Mb的存儲架構是4096行×512列×32bit，每個Bank存儲單元通過行和列尋址，最終完成存儲單元的尋址工作。其SDRAM芯片引腳有DQ0～DQ31(數據輸入輸出引腳)、A0～A11(地址輸入引腳)、CLK、CKE、CS(芯片選擇)、RAS(行地址選擇)、CAS(列地址選擇)、WE(寫使能)、BA0～BA1(Bank地址輸入信號引腳)、DQM、VSS、VDD等引腳。設計程序通過初始化、預充電、行激活、讀/寫操作、自動刷新等操作控制SDRAM工作。在模式寄存器操作命令下進行主要工作參數設置，其中包括Burst Length、Burst Type、CAS Latency以及OP Code。

因為Camera Link數字相機輸入的圖像數據量大，速率快,所以采用異步FIFO實現(xiàn)乒乓緩存的機制進行數據緩存，如圖5所示。

圖5 SDRAM模塊設計

為避免Camera Link信號(30fps)與VGA標準(60Hz)在幀頻上的干擾，首先將相機采集的圖像數據緩存到FIFO1中，當FIFO1寫滿數據后，SDRAM開始存儲FIFO1的數據,在FIFO1讀操作的同時FIFO2進行相機數據的寫操作，當FIFO1讀空時等待FIFO2的寫滿信號，當FIFO2的寫滿信號有效時進行FIFO1的寫操作。在寫FIFO2的同時對FIFO1進行讀操作，當讀操作讀空時等待FIFO2的寫滿信號，當寫滿信號有效時再對FIFO1進行寫操作，同時對FIFO2進行讀操作。讀寫切換可以由FIFO的寫滿和讀空信號來控制，將圖像緩存到單片的SDRAM中,便于后續(xù)的圖像顯示處理。而在讀取圖像有效時同樣利用異步FIFO的乒乓操作，進行緩存RGB信號提取并結合VGA模塊產生的行/場同步信號輸出信號。

接收的Camera Link相機時鐘信號為60MHz，而標準XGA信號的時鐘頻率為65MHz，利用50MHz晶振倍頻，將SDRAM的工作時鐘控制到166MHz，將有效圖像信號在SDRAM中進行緩存，最大限度地保證在寫入以及讀取圖像信號時保證數據無失真。

2.4 VGA模塊輸出

選用ADV7123芯片作為視頻D/A轉換器，由于相機采用8位數據流，所以只用到ADV7123高8位端口。經過ADV7123轉換后的3路模擬數據結合行、場同步信號，傳輸給VGA接口顯示器進行顯示[14-16]。

根據VESA 1024×768×60Hz的時序標準，其行頻要求為48.363kHz，場頻要求為60Hz，像素時鐘為65MHz，有效行像素周期數為1024，有效場像素周期數為768，而FPGA核心板的晶振為50 MHz的時鐘信號，所以對其進行PLL鎖相環(huán)產生像素時鐘。

行周期數= 65MHz÷48.363kHz = 1344，

幀周期數= 48.363kHz÷60Hz=806，

行消隱周期數=1344-1024=320，

場消隱周期數=806 -768=38。

在顯示信號消隱期間不進行SDRAM中緩存圖像信息的讀取，只有在輸出1024×768有效像素時讀取信號。

構建hsync行像素計數器,當hsync=1344時清零，而當行脈沖計數≥h_blank(=320)時，行同步信號輸出高電平1有效，其余在h_blank消隱期內輸出低電平0，從而以行計數器hsync信號為單位構建場像素計數器vsync。當場計數值≥v_blank(= 38)時輸出有效信號高電平1,在v_blank消隱期內的輸出低電平0，當vsync (=806) 場同步信號時，場計數器清零以此作為場同步信號vsync。

3 系統(tǒng)測試及結果

在防靜電實驗臺上，將STC-CLC83A數字相機和顯示器連接于系統(tǒng)(如圖6)，輸入5V+電壓，進行測試。

圖6 系統(tǒng)實現(xiàn)效果

在顯示器上顯示1024×768×60Hz 實時圖像，并對目標區(qū)域進行彩色/黑白圖像信號的相互切換，如圖7所示。

(a) 黑白 (b) 彩色

圖7 圖像切換效果

測試結果表明，該系統(tǒng)已經實現(xiàn)了基于Camera Link數字相機的小型化要求，支持Camera Link的高速穩(wěn)定信號的傳輸，滿足特定場所需求，替代Camera Link圖像采集卡進行圖像直接顯示。

4 結束語

該小型化實時顯示系統(tǒng)針對于特定場所對空間以及實時性的要求，實現(xiàn)了摒棄在計算機工作環(huán)境下的Camera Link數字相機的直接顯示。通過Camera Link圖像高速采集在FPGA系統(tǒng)中進行SDRAM數據緩存模塊和VGA信號產生與輸出，采用撥碼開關實現(xiàn)彩色與黑白信號的切換控制，不僅保證Camera Link實時系統(tǒng)的高速穩(wěn)定的特點，而且縮小體積，提高了系統(tǒng)的靈活性。

[1] 沈鴿，王美嬌，嵇曉強.基于Camera Link 的視頻圖像采集與傳輸系統(tǒng)[J]. 嵌入式與SOC,2011(8):99-100.

[2] 陳炎斌，金剛.基于Camera Link標準的DSP_FPGA高速實時數字圖像處理系統(tǒng)設計[J]. 現(xiàn)代科學儀器，2010, 12(6):61-63.

[3] 王雪松.基于PCI9054的Camera Link圖像采集卡設計[J].儀器儀表用戶,2009(16):64-67.

[4] 鐘文峰. 基于 Camera Link 圖像采集卡的設計與實現(xiàn)[D]. 成都：電子科技大學, 2011：9-12.

[5] 黃影. 基于 PCIe 總線的 Camera Link 圖像采集卡設計[D]. 大連：大連理工大學, 2013：9-12.

[6] Zhao Wenge, He Huiming. FPGA-based video image processing system research [C]//Chengdu:Computer Science and Information Technology,2010：680-682.

[7] Benkrid K, Crookes D, Smith J, et al. High Level Programming for FPGA Based Image and Video Processing using Hardware Skeletons[C]//Rohnert Park:FCCM01, 2001：219-226.

[8] 孫春鳳, 袁峰，丁振良.基于FPGA 的多通道高速CMOS 圖像采集系統(tǒng)[J]. 計算機工程與應用,2008, 44(21):46-49.

[9] 董亞則,王順.高速數字圖像采集顯示系統(tǒng)的設計與研究[J].吉林大學學報,2011,29(6):543-547.

[10] 于建軍，吳志勇. Camera Link在視頻控制系統(tǒng)中的應用[J]. 光機電信息,2011,28(5):42-45.

[11] 王淵博.基于FPGA的Bayer格式實時彩色恢復系統(tǒng)研究[D].北京：中國科學院大學，2013:15-28.

[12] 孫輝，柏旭光，孫麗娜,等.Bayer圖像色彩還原線性插值方法[J]. 液晶與顯示，2013,28(3):418-424.

[13] 莫迪涵, 杜慧敏, 沈緒榜. 基于線性插值法圖像縮放的設計與 FPGA 實現(xiàn)[J]. 西安郵電大學學報, 2013,18(3): 52-55.

[14] 王鳴浩，陳濤，吳小霞.基于Camera Link接口的高幀頻數字圖像采集顯示系統(tǒng)[J].微電子學與計算機,2011, 28(3):149-152.

[15] 劉慧，朱勇.基于FPGA 的VGA 彩色圖片的顯示[J]. 科技向導，2011(20):84-85.

[16] 楊小勇，葛彥麟，毛瑞娟. 基于FPGA+A/D的數據采集設計及驗證[J]. 西安郵電學院學報, 2011,16(1): 98-102.

[責任編輯:祝劍]

《西安郵電大學學報》版權聲明

為適應我國信息化建設的需要，擴大刊物影響，拓寬信息交流渠道，本刊已加入“中國知網CNKI系列期刊數據庫”、“中國核心期刊(遴選)數據庫”(萬方數據——數字化期刊群)、“中國期刊網”等數據庫。本刊已許可以上數據庫以數字化方式復制、匯編、發(fā)行、信息網絡傳播本刊所載文章的全文信息。稿件一經刊登，將在本刊稿酬中一次性支付著作權使用報酬(包括印刷版、光盤版和網絡版等各種使用方式的報酬)。作者向本刊提交文章的行為即視為同意我刊上述聲明。

西安郵電大學學報編輯部

A real-time miniaturization system based on Camera Link CCD camera

GONG Jiamin1, CHEN Bo1, ZENG Xiangzhong2

(1．School of Electronics Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121,China；2．Xi’an Mid-River Photoelectric technology Co.,Ltd, Xi’an 710075,China)

A design of the real-time miniaturization system is designed in this paper. In this system, Cyclone III (series FPGA EP3C40F484) is used to design a real-time display system and asynchronous FIFO and SDRAM are adopted to frame buffer and then transform Camera Link signal input to a 1024×768×60Hz format output. At the meantime, ADV7123 chip is used to transform the signal into an 8 digits format model and the output signals are displayed on a monitor through VGA port. Experiment result shows that this system can transfer and display images through Camera Link without the help of images capture cards. Thus, it allows the images to be switched from black and white to colour.

real-time miniaturization system, Camera Link, FPGA, SDRAM, Bayer

2015-01-16

西安郵電大學研究生創(chuàng)新基金資助項目(ZL2013-22)

鞏稼民(1962-)，男，博士，教授，博導，從事光電技術研究。E-mail：gjm@xupt.edu.cn 陳博(1989-)，男，碩士研究生，研究方向為光電圖像處理。E-mail：tooth_of_dark@sina.com

10.13682/j.issn.2095-6533.2015.03.018

TN27

A

2095-6533(2015)03-0100-05