周敬東， 程　釵， 周明剛， 黃云朋， 李敏慧

(湖北工業(yè)大學(xué)農(nóng)機(jī)工程研究設(shè)計(jì)院， 湖北 武漢 430068)

?

基于Camera Link的數(shù)據(jù)采集與處理系統(tǒng)設(shè)計(jì)

周敬東， 程釵， 周明剛， 黃云朋， 李敏慧

(湖北工業(yè)大學(xué)農(nóng)機(jī)工程研究設(shè)計(jì)院， 湖北 武漢 430068)

[摘要]在色選領(lǐng)域中，針對(duì)高頻相機(jī)要傳輸和處理的數(shù)據(jù)量大的特點(diǎn)，采用FPGA作為處理芯片，設(shè)計(jì)基于Camera Link標(biāo)準(zhǔn)的高頻線陣CCD數(shù)據(jù)采集與處理系統(tǒng)。該系統(tǒng)運(yùn)用FPGA芯片完成數(shù)據(jù)采集和時(shí)序控制，高性能DSP完成復(fù)雜的算法運(yùn)算。闡述系統(tǒng)的整體設(shè)計(jì)思路、硬件結(jié)構(gòu)和工作流程，包括Camera Link接口技術(shù)、高速緩存，F(xiàn)IFO接口技術(shù)以及圖像輸出控制等。該系統(tǒng)經(jīng)過試驗(yàn)驗(yàn)證，能夠穩(wěn)定地實(shí)現(xiàn)圖像數(shù)據(jù)的傳輸、存儲(chǔ)與處理。

[關(guān)鍵詞]圖像采集； 圖像處理； FPGA； FIFO； Camera Link

廣泛應(yīng)用于農(nóng)產(chǎn)品色選、微電子、工業(yè)檢測等領(lǐng)域的機(jī)器視覺技術(shù)，其大部分處理系統(tǒng)主要是基于PCI、USB數(shù)據(jù)采集系統(tǒng)[1]。這些數(shù)據(jù)采集系統(tǒng)通過上位機(jī)實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)處理和動(dòng)態(tài)顯示，成本高，體積大，難以適應(yīng)一些特定的工作場合。隨著圖像處理數(shù)據(jù)量的增大，圖像實(shí)時(shí)顯示占用了大量的資源。而在FPGA的控制下,可通過串并轉(zhuǎn)換和乒乓存儲(chǔ)完成圖像數(shù)據(jù)的采集，充分利用FPGA和DSP的內(nèi)部資源優(yōu)勢(shì)，最終將數(shù)據(jù)傳輸給DSP處理[2]。

1Camera Link接口協(xié)議

Camera Link[3-4]是在Channel Link技術(shù)基礎(chǔ)上發(fā)展而來的。使用一個(gè)并轉(zhuǎn)串驅(qū)動(dòng)器和一個(gè)串轉(zhuǎn)并接收傳輸數(shù)據(jù)，數(shù)據(jù)通過Cameralink電纜傳輸，接收器接收4 組 LVDS數(shù)據(jù)信號(hào)和1組LVDS時(shí)鐘信號(hào)，將數(shù)據(jù)流轉(zhuǎn)換回28位的COMS/TTL并行數(shù)據(jù)信號(hào)和1路時(shí)鐘信號(hào)。由此可見，Channel Link使用5對(duì)線纜完成了28位數(shù)據(jù)信號(hào)和1路時(shí)鐘信號(hào)的傳輸，減少了線纜的使用數(shù)量。

圖1顯示了Camera Link原理。

圖 1　Camera Link原理圖

2系統(tǒng)整體設(shè)計(jì)

高速圖像采集與處理系統(tǒng)的硬件結(jié)構(gòu)如圖2所示。在該系統(tǒng)中，首先由Camera Link接收器DS90CR288A[5]將相機(jī)輸出的5對(duì)LVDS 信號(hào)轉(zhuǎn)換成LVTTL信號(hào)，并通過Camera Link電纜將圖像數(shù)據(jù)送入到FPGA中,FPGA對(duì)接收到的圖像數(shù)據(jù)做預(yù)處理，然后把數(shù)據(jù)存入FIFO。圖像數(shù)據(jù)在存入FIFO的過程中采用乒乓存儲(chǔ)方式[6]循環(huán)存儲(chǔ)兩組FIFO，即當(dāng)FIFO1寫完一幀圖像數(shù)據(jù)后，F(xiàn)PGA產(chǎn)生中斷標(biāo)識(shí)flag1，且DSP開始讀FIFO1中的數(shù)據(jù)，寫FIFO1時(shí)讀FIFO2，寫FIFO2時(shí)讀FIFO1……此過程由FIFO控制器對(duì)其切換操作。根據(jù)設(shè)計(jì)，由于是寫完數(shù)據(jù)后再由DSP讀取數(shù)據(jù)，所以不會(huì)造成數(shù)據(jù)丟失。DSP讀取FIFO中的24位數(shù)據(jù)并存入內(nèi)存中以便后續(xù)復(fù)雜的算法處理。DSP處理完一組數(shù)據(jù)之后產(chǎn)生一個(gè)標(biāo)識(shí)位，控制后面的執(zhí)行機(jī)構(gòu)動(dòng)作。整個(gè)高速圖像實(shí)時(shí)處理系統(tǒng)包括以下幾個(gè)單元模塊：Camera Link接口模塊、FIFO控制器產(chǎn)生模塊、DSP讀取FIFO模塊。

圖 2　系統(tǒng)硬件框圖

3系統(tǒng)關(guān)鍵模塊設(shè)計(jì)

3.1Camera Link接口模塊設(shè)計(jì)

Camera Link采用LVDS信號(hào)傳輸，根據(jù)Camera Link協(xié)議標(biāo)準(zhǔn)，硬件電路接口要實(shí)現(xiàn)的功能包括5路LVDS信號(hào)轉(zhuǎn)化為COMS/LVTTL信號(hào)、相機(jī)的控制、采集卡和相機(jī)的通訊，分別采用DS90CR288A、DS90LV047、DS90LV019來實(shí)現(xiàn)[7]。Camera Link信號(hào)分為圖像數(shù)據(jù)信號(hào)、相機(jī)控制信號(hào)、異步串行通信信號(hào)，其中數(shù)據(jù)信號(hào)為28位，其中包括24位數(shù)據(jù)信號(hào)和4位使能信號(hào)。4位使能信號(hào)分別定義為：幀有效信號(hào)(FVAL)，高有效，反向?yàn)閹叫盘?hào)；行有效信號(hào)(LVAL)，高有效，其反向?yàn)樾型叫盘?hào)；數(shù)據(jù)有效信號(hào)(DVAL)，只有在數(shù)據(jù)信號(hào)高時(shí)，輸出的數(shù)據(jù)才是有效數(shù)據(jù)；保留信號(hào)(SPACE)。相機(jī)控制信號(hào)分別為外部同步信號(hào)(CC1)、像素重置信號(hào)(CC2)、向前信號(hào)(CC3)和保留信號(hào)(CC4)；用于采集卡與相機(jī)之間的異步串行通信信號(hào)SerTC,用于相機(jī)和圖像采集卡之間的異步串行通信SerTFG,根據(jù)工程需要和CCD線陣相機(jī)的具體設(shè)置(內(nèi)觸發(fā)等)，本系統(tǒng)采用的是科億公司的L1000線陣相機(jī)，設(shè)計(jì)只考慮數(shù)據(jù)傳輸?shù)耐叫盘?hào)以及相機(jī)控制信號(hào)。圖3為相機(jī)輸出時(shí)序圖。Strobe是像素輸出同步時(shí)鐘，Line_valid為行有效信號(hào)，DATA為數(shù)據(jù)信號(hào)，只有當(dāng)行有效為高時(shí)，在像素輸出同步時(shí)鐘的上升沿采集到的數(shù)據(jù)才是有效數(shù)據(jù)。

圖 3　相機(jī)輸出圖

3.2FIFO控制器設(shè)計(jì)

FIFO(First In Fist Out))是一種常用于數(shù)據(jù)緩存的電子器件,可應(yīng)用于不同時(shí)鐘域的高速數(shù)據(jù)采集、多處理器接口和視頻信號(hào)的時(shí)序控制等領(lǐng)域。由于FIFO不需通過地址的操作，而是通過讀寫和其他的控制信號(hào)線，先進(jìn)先出的方式讀取數(shù)據(jù)，設(shè)計(jì)上相對(duì)簡單，綜合考慮存儲(chǔ)時(shí)間和DSP讀取時(shí)間等因素，本設(shè)計(jì)選用TI公司的SN74V245[8]，該芯片容量為4096×18bit，最大隨機(jī)存儲(chǔ)時(shí)間為5 ns。因?yàn)镕IFO要接收FPGA傳來的24位數(shù)據(jù)，故對(duì)FIFO進(jìn)行寬度擴(kuò)展。擴(kuò)展接口示意圖如圖4所示。

圖 4　FIFO寬度擴(kuò)展連接圖

圖 5　FIFO控制器原理框圖

由于CCD線陣相機(jī)實(shí)時(shí)輸出的數(shù)據(jù)量比較大，速度快，且實(shí)時(shí)性要求較高，因此系統(tǒng)采用兩組FIFO交替存儲(chǔ)。首先FPGA檢測相機(jī)輸出數(shù)據(jù)行有效信號(hào)Line_valid的上升沿，隨后將接收到的圖像數(shù)據(jù)緩存到FIFO1中。當(dāng)緩存數(shù)據(jù)計(jì)數(shù)器NUM=2670時(shí)， FPGA將中斷標(biāo)識(shí)符Flag1置高一個(gè)時(shí)鐘周期，DSP檢測Flag1上升沿并開始讀取,直至讀空；同理，在讀FIFO1的同時(shí)寫FIFO2，而在讀FIFO2時(shí)對(duì)FIFO1進(jìn)行寫操作。圖5為FIFO控制器的設(shè)計(jì)框圖。FPGA采集到的并行數(shù)據(jù)Data_in以及時(shí)鐘信號(hào)CLK分別輸入到兩個(gè)FIFO中，F(xiàn)VAL、DVAL、NUM等信號(hào)輸入到寫控制器中，讀寫的切換由計(jì)數(shù)器num和狀態(tài)標(biāo)志信號(hào)state來控制，首先控制器寫FIFO1，當(dāng)num計(jì)數(shù)達(dá)到2670個(gè)像素點(diǎn)時(shí)，讀切換標(biāo)志寄存器Flag1置高一個(gè)時(shí)鐘周期，寫狀態(tài)寄存器state通過檢測Line_valid的上升沿取反，state=0時(shí)寫fifo1，state=1時(shí)寫fifo2，DSP檢測到Flag1上升沿，開始讀FIFO1；同時(shí)FPGA寫FIFO2，檢測到Flag2上升沿，開始讀FIFO2，同時(shí)FPGA寫FIFO1。數(shù)據(jù)就通過控制器無縫不間斷地存儲(chǔ)和傳輸(圖5)。

3.3DSP數(shù)據(jù)接收與圖像處理模塊

本設(shè)計(jì)的系統(tǒng)硬件平臺(tái)選用以TI公司的高性能DSP芯片TMS320F28335(簡稱28335)為核心芯片器件。28335是一款高性能 32 位 CPU，單精度浮點(diǎn)運(yùn)算單元，采用哈佛流水線結(jié)構(gòu)，能夠快速執(zhí)行中斷響應(yīng)，其主頻高達(dá)150 MHz(6.67 ns 周期時(shí)間)，16位或32位外部接口，多達(dá)2個(gè)控制器局域網(wǎng)(CAN)模塊等。

系統(tǒng)上電后首先對(duì)變量進(jìn)行初始化，再進(jìn)行系統(tǒng)初始化，開啟外部中斷。當(dāng)DSP接收到FPGA 的外部中斷信號(hào)后，DSP調(diào)用色選函數(shù)DataReceive()，開始通過DMA方式讀取FIFO中圖像數(shù)據(jù)并存入DSP的內(nèi)存中[9-10]。當(dāng)達(dá)到處理行數(shù)時(shí)，DSP調(diào)用色選函數(shù)Colorsort();對(duì)每一個(gè)通道內(nèi)R、G、B三個(gè)分量值均小于預(yù)定值的像素點(diǎn)歸為背景，剩下的即為待處理像素點(diǎn)，將待處理像素點(diǎn)與上位機(jī)設(shè)定的R、G、B閾值比較，滿足閾值的即為有效像素點(diǎn)。 所有通道待處理像素點(diǎn)完成比較后，計(jì)算出有效像素點(diǎn)數(shù)P與待處理像素點(diǎn)數(shù)q的比值m。其中所有待處理像素點(diǎn)表示通道內(nèi)物料面積的大小，所有有效像素點(diǎn)表示通道內(nèi)物料特征面積的大小。計(jì)算后n為通道內(nèi)的物料特征面積占總面積的比值。將m與基準(zhǔn)值n進(jìn)行比較，判定是否輸出控制信號(hào)驅(qū)動(dòng)執(zhí)行機(jī)構(gòu)去除物料。

4仿真與測試

為了驗(yàn)證該圖像數(shù)據(jù)采集與傳輸系統(tǒng)功能的實(shí)現(xiàn)，圖像數(shù)據(jù)源來自KEY公司的L1000系列CCD線陣相機(jī)，設(shè)置其行頻為3500 Hz，圖像深度為24位。在FPGA內(nèi)部例化兩組FIFO,寬度為24，深度取較小為100，來模擬外部FIFO，以便查看FIFO的讀寫周期是否正確。同時(shí)利用Quartus中Signal Tap工具結(jié)合FPGA編程可以精確采集到FIFO輸出數(shù)據(jù)(圖6、圖7)。測試結(jié)果表明：當(dāng)LVAL有效時(shí)，兩片F(xiàn)IFO交替存儲(chǔ)和讀取數(shù)據(jù)，相機(jī)輸入FPGA數(shù)據(jù)與FIFO的讀出數(shù)據(jù)完全一樣。

圖 6　采集數(shù)據(jù)周期圖

圖 7　采集數(shù)據(jù)周期細(xì)節(jié)圖

5結(jié)束語

本文設(shè)計(jì)的基于數(shù)據(jù)采集與傳輸系統(tǒng)，相機(jī)數(shù)據(jù)采集模塊、乒乓存儲(chǔ)模塊、相機(jī)控制模塊在FPGA的控制下實(shí)現(xiàn)了Camera Link接口的CCD相機(jī)數(shù)據(jù)采集、緩存、與傳輸，后續(xù)采用DSP做復(fù)雜的色選算法。本設(shè)計(jì)可以替代基于計(jì)算機(jī)的高速實(shí)時(shí)圖像數(shù)據(jù)傳輸與處理系統(tǒng)，實(shí)現(xiàn)了體積小、實(shí)時(shí)性高、處理數(shù)據(jù)量大的特點(diǎn)，該系統(tǒng)成功應(yīng)用在CCD色選機(jī)分選系統(tǒng)中。

[參考文獻(xiàn)]

[1]何中翔，楊世洪. 基于Camera Link的實(shí)時(shí)顯示技術(shù)研究[J]. 現(xiàn)代顯示，2008,93(8) :31-35.

[2]賈建祿，王建立. 基于Camera Link的高速圖像采集處理器[J]. 液晶與顯示, 2010,25(6) :914-918

[3]趙德偉，王永超. 基于多DSP與FPGA的視頻處理平臺(tái)硬件設(shè)計(jì)[J]. 電視技術(shù)，2013,38(7) :75-81.

[4]楊柯，范海震. Camera Link接口的高速電子存儲(chǔ)系統(tǒng)設(shè)計(jì)[J].艦船電子工程，2012,215(5) :110-113.

[5]陳欣波. Altera FPGA 工程師成長手冊(cè)[M].北京:清華大學(xué)出版社,2012.

[6]黃成茂. 基干Camera Link和USB2.0的圖像采集技術(shù)研究[D].成都:電子科技大學(xué), 2012,5.

[7]潘松，黃繼業(yè). EDA技術(shù)與VHDL[M].北京:清華大學(xué)出版社,2007.

[8]梁義濤，唐垚，史衛(wèi)亞，等. 基于Cyclone IV的Camera Link-HDMI高清視頻轉(zhuǎn)換器設(shè)計(jì)[J]. 電子技術(shù)，2013(5)：12-14.

[9]National Semiconductor Corporation.DS90CR287/DS90CR288A datasheet[Z].National Semiconductor Corporation，2004.

[10] Texas Instruments Corporation.SN74V215/SN74V225/SN74V235/SN74 V245 datasheet[Z].Texas Instruments Corporation，2006.

[責(zé)任編校： 張眾]

Design of Image Collection and Processing System Based on CameraLink

ZHOU Jingdong, CHENG Chai, ZHOU Minggang, HUANG Yunpeng , LI Minhui

(ResearchandDesignInstituteofAgriculturalMechanicalEngin.,HubeiUniv.ofTech.，Wuhan430068,China)

Abstract：In the field of color recognition, aiming at characteristics that mass data of image should be transferred and processed out from high-frame camera, this article designed a high frequency linear CCD data image acquisition and processing system using FPGA as a process chip based on Camera Link. High performance DSP complete the complex algorithm calculation. The design idea, hardware architecture，and functionality of the system were introduced including Camera Link interface technology, cache memory, FIFO interface technology, and image output control, et al. The system finally achieved stable data transmission, storage and processing after the system had been debugged.

Keywords：image acquisition; image process; FPGA; FIFO; Camera Link

[中圖分類號(hào)]TP274

[文獻(xiàn)標(biāo)識(shí)碼]：A

[文章編號(hào)]1003-4684(2016)01-0004-04

[通訊作者]程釵(1987-),男,湖北黃石人,湖北工業(yè)大學(xué)碩士研究生,研究方向?yàn)闄C(jī)電一體化技術(shù)

[作者簡介]周敬東(1973-)， 男，湖北黃石人,工學(xué)博士,湖北工業(yè)大學(xué)副教授,研究方向?yàn)闄C(jī)電一體化技術(shù)

[基金項(xiàng)目]國家自然科學(xué)基金(51174084)

[收稿日期]2015-09-14