韓紅霞,孫 航,曹立華
(中國科學(xué)院 長春光學(xué)精密機械與物理研究所,吉林 長春 130033)
光電跟蹤測量設(shè)備是能夠跟蹤空中飛行目標(biāo),并給出目標(biāo)方位值和俯仰值的設(shè)備。紅外相機是根據(jù)物體的熱輻射成像的相機,目前在軍事、醫(yī)療、航天等很多領(lǐng)域都廣泛應(yīng)用。光電跟蹤測量設(shè)備采用紅外相機跟蹤目標(biāo),可以在目標(biāo)與背景亮度差值不大的情況下仍然穩(wěn)定跟蹤,然而紅外相機的使用壽命是有限的,大型紅外相機的使用壽命一般是2 000~5 000h,如果頻繁地開啟相機,必然會縮短設(shè)備的使用年限,同時大靶面紅外相機基本依賴進(jìn)口而且價格昂貴,更換相機不僅會增加成本而且會耗費很長的訂貨時間。為減少紅外相機的開機時間,節(jié)省項目開發(fā)成本,設(shè)計了紅外相機時序構(gòu)造系統(tǒng),在進(jìn)行項目調(diào)試和實驗時,采用構(gòu)造的紅外相機輸出信號,提供給后續(xù)圖像處理等系統(tǒng)作為數(shù)據(jù)源,在進(jìn)行實際的跟蹤任務(wù)時再開啟紅外相機。設(shè)計的基于FPGA的紅外相機時序構(gòu)造系統(tǒng)輸出的信號時序與真實的紅外相機輸出時序保持一致,輸出的像素值數(shù)據(jù)采用漸變數(shù),可以作為圖像傳輸系統(tǒng)、圖像處理等后續(xù)系統(tǒng)的數(shù)據(jù)源,以供其進(jìn)行編程和調(diào)試,調(diào)試成功之后直接將程序應(yīng)用到紅外相機信號的傳輸、處理等操作,這樣就省去了程序開發(fā)、調(diào)試和驗證時頻繁的啟動紅外相機的過程,節(jié)省了相機的開機時間,同時也延長了設(shè)備的使用年限,節(jié)約了項目的開發(fā)成本,因此基于FPGA的紅外相機時序構(gòu)造系統(tǒng)設(shè)計具有很強的工程實踐意義。
基于FPGA的紅外相機時序構(gòu)造系統(tǒng)硬件平臺主要包括電平轉(zhuǎn)換單元、FPGA邏輯設(shè)計單元、時鐘處理單元以及串口數(shù)據(jù)收發(fā)單元等,其中FPGA邏輯設(shè)計單元是設(shè)計的核心,實現(xiàn)系統(tǒng)的時序配置和邏輯控制,圖1給出系統(tǒng)硬件平臺設(shè)計框圖。
圖1 紅外相機時序構(gòu)造系統(tǒng)硬件平臺設(shè)計框圖Fig.1 Hardware structure diagram of the IR camera sequence construction design
如圖1所示,晶振時鐘OS_CLK為系統(tǒng)提供輸入時鐘信號,由FPGA內(nèi)嵌的PLL對其進(jìn)行處理,產(chǎn)生系統(tǒng)的工作時鐘信號。串行數(shù)據(jù)輸入電平轉(zhuǎn)換芯片采用MAX3071,將RS422電平格式信號轉(zhuǎn)為LVTTL電平格式信號,提供給FPGA。相機信號接收芯片采用DS90CR288,將相機輸出的CameraLink電平格式信號轉(zhuǎn)換為LVTTL電平格式信號,提供給FPGA進(jìn)行時序測量,時序測量完成之后FPGA編程構(gòu)造紅外相機信號,代替紅外相機作為數(shù)據(jù)源,提供給后續(xù)圖像處理等系統(tǒng),這樣在調(diào)試過程中就可以不再啟動紅外相機了。FPGA邏輯設(shè)計單元是整個系統(tǒng)設(shè)計的核心,實現(xiàn)所有的時序配置和邏輯控制,通過FPGA編程可以實現(xiàn)紅外相機時序的詳細(xì)測量和記錄、時序構(gòu)造信號的輸出以及所有外圍芯片的邏輯控制等,F(xiàn)PGA芯片采用EP2C5-T144I8。相機構(gòu)造信號發(fā)送芯片采用DS90-CR287,將FPGA輸出的LVTTL電平格式信號轉(zhuǎn)換為CameraLink電平格式信號,提供給圖像處理等后續(xù)單元。串行數(shù)據(jù)輸入電平轉(zhuǎn)換芯片采用MAX3071,將LVTTL電平格式信號轉(zhuǎn)為RS422電平格式信號,提供給后續(xù)系統(tǒng)。
基于FPGA的相機時序構(gòu)造設(shè)計中,F(xiàn)PGA是整個設(shè)計的核心器件,如圖1所示,F(xiàn)PGA邏輯設(shè)計中包括PLL模塊、時序測量/記錄模塊、場同步信號FVAL產(chǎn)生模塊、行同步信號LVAL產(chǎn)生模塊、數(shù)據(jù)有效信號DVAL產(chǎn)生模塊以及漸變數(shù)據(jù)信號DATA產(chǎn)生模塊。
PLL模塊對輸入的晶振時鐘OS_CLK進(jìn)行倍頻/分頻等處理,得到構(gòu)造的像素時鐘信號CLK。時序測量/記錄模塊接收真實紅外相機的輸出信號,采用FPGA編程和SignalTap工具相結(jié)合的方法對相機的時序進(jìn)行詳細(xì)測量,并記錄形成相機時序文件,作為模擬時序產(chǎn)生的依據(jù)。場同步信號產(chǎn)生模塊(FVAL_M(jìn)AKE MODULE)以時序記錄文件為依據(jù),編程實現(xiàn)場同步信號輸出。行同步信號產(chǎn)生模塊(LVAL_M(jìn)AKE MODULE)以時序記錄文件為依據(jù),編程實現(xiàn)行同步信號的輸出。數(shù)據(jù)有效信號產(chǎn)生模塊(DVAL_M(jìn)AKE MODULE)以時序記錄文件為依據(jù),編程實現(xiàn)數(shù)據(jù)有效信號的輸出。像素值信號即漸變數(shù)據(jù)產(chǎn)生模塊(DATA_M(jìn)AKE_M(jìn)ODULE)通過編程實現(xiàn)在行有效的情況下輸出漸變數(shù)據(jù),代替真實的像素值。
基于FPGA的紅外相機時序構(gòu)造系統(tǒng)的軟件設(shè)計主要實現(xiàn)了真實紅外相機時序的詳細(xì)測量及記錄,時鐘信號的處理以及根據(jù)測量得到的時序構(gòu)造與真實相機時序一致的時序信號。
真實相機時序的測量是進(jìn)行基于FPGA的紅外相機時序構(gòu)造的前提,測量產(chǎn)生的時序記錄文件是進(jìn)行后續(xù)時序構(gòu)造程序的基礎(chǔ)。圖2以某紅外相機的時序測量為例,給出經(jīng)過時序測量后得到的時序記錄文件示意圖。
圖2 某紅外相機時序記錄文件Fig.2 Sequence record file of an IR camera
如圖2所示,相機的時序記錄文件包括了像素時鐘信號CLK、場同步信號FVAL、行同步信號LVAL以及數(shù)據(jù)有效信號DVAL的相關(guān)信息。像素時鐘信號CLK由示波器測量得到,圖中相機像素時鐘為頻率40MHz,占空比1∶1的連續(xù)信號。場同步信號FVAL包括場周期FT和場有效時間FV,場周期信號可以由示波器測得,圖中場周期時間FT=20ms,場有效時間FV=10.30ms。行同步信號LVAL的測量需要采用FPGA編程和SignalTap工具結(jié)合測得,需要給出的行同步信息包括一場圖像中包含的有效行數(shù)、行有效時間LV、行消隱時間LN、起始行信號距離場起始信號的時間P1以及結(jié)束行信號距離場結(jié)束信號的時間P2,圖2中可見一場包含512行有效數(shù)據(jù),LV=640×CLK,LN=160×CLK,P1=P2=100×CLK。數(shù)據(jù)有效信號DVAL的測量也需要采用FPGA編程和SignalTap工具結(jié)合測得,DVAL時序一般與LVAL信號時序相同。
相機的時序構(gòu)造是在已知相機時序文件的基礎(chǔ)上,構(gòu)造與其時序一致的輸出信號,在進(jìn)行調(diào)試等工作時,作為數(shù)據(jù)源提供給圖像傳輸、圖像處理等后續(xù)系統(tǒng),以節(jié)省紅外相機的實際開機時間。
圖3 基于FPGA的時序構(gòu)造流程圖Fig.3 Flow chart of the sequence conformation based on FPGA
時序構(gòu)造軟件設(shè)計中,首先采用FPGA內(nèi)嵌的鎖相環(huán)模塊PLL對輸入的晶振時鐘OS_CLK進(jìn)行處理,得到構(gòu)造的像素時鐘信號CLK;接著根據(jù)時序記錄文件中場同步周期FT及場有效時間FV,對時鐘信號進(jìn)行計數(shù)處理,得到模擬的場同步信號FVAL;之后根據(jù)記錄文件中P1/P2/LV/LN的計數(shù)值以及一行中包含的有效行數(shù),以FVAL為基準(zhǔn),編程實現(xiàn)模擬的行同步信號LVAL的輸出;之后根據(jù)數(shù)據(jù)記錄文件構(gòu)造數(shù)據(jù)有效信號DVAL,一般情況下,DVAL信號與LVAL信號是相同的;最后在LVAL信號有效的情況下輸出漸變數(shù),代替相機輸出的像素值。圖3給出基于FPGA的時序構(gòu)造軟件流程圖。
在時序構(gòu)造程序設(shè)計中,所有的測量值都以參數(shù)的形式在FPGA程序中體現(xiàn),這樣對于不同的相機只要根據(jù)時序記錄文件修改相應(yīng)的參數(shù)值即可,不用修改程序段,因此程序具有很強的可移植性。
根據(jù)圖3所示的時序構(gòu)造軟件流程圖,程序設(shè)計主要包括時鐘信號CLK產(chǎn)生模塊、場同步信號FVAL產(chǎn)生模塊、行同步信號LVAL產(chǎn)生模塊、數(shù)據(jù)有效信號DVAL產(chǎn)生模塊、漸變數(shù)據(jù)DATA產(chǎn)生模塊以及SignalTap時序驗證模塊等。由于篇幅原因,這里以場同步信號FVAL產(chǎn)生模塊為例,給出程序的具體設(shè)計。
首先根據(jù)輸入時鐘信號產(chǎn)生像素時鐘信號,外部的輸入時鐘OS_CLK頻率為50MHz,圖2所示時序文件中相機像素時鐘為40M,采用內(nèi)部鎖相環(huán)模塊PLL對OS_CLK進(jìn)行除5乘4處理,產(chǎn)生40M的像素時鐘。圖2所示,場同步信號FVAL周期為20ms,場同步有效時間約10.3 ms,根據(jù)公式(1)和公式(2)可以得到FT包括的時鐘周期數(shù)K1和FV包括的時鐘周期數(shù)K2。
式中:K1為場同步周期FT包括的時鐘周期數(shù),F(xiàn)T為場同步周期,TCLK為時鐘周期;K2為場同步有效FV包括的時鐘周期數(shù),LV為行同步有效長度(及包括的時鐘個數(shù)),LN為行消隱長度,Lnum為一場包括的行數(shù),P1為行起始距離場起始的長度,P2為行結(jié)束距離場結(jié)束的長度。這樣計算得到場信號FT包括(20×106)/25=800000個時鐘周期,場同步有效FV包括(640+160)×511+640+1000+1 000=411 440個時鐘周期。根據(jù)如上計算,可以通過編程對時鐘信號進(jìn)行精確計數(shù),使得場同步信號持續(xù)800000個時鐘周期,場同步有效持續(xù)411 440個時鐘周期,場同步無效持續(xù)388 560個時鐘周期。以場同步FVAL構(gòu)造為例,給出如下程序段設(shè)計。
以上程序通過計數(shù)的方式實現(xiàn)了場同步信號FVAL的構(gòu)造,行同步LVAL、數(shù)據(jù)有效信號DVAL等信號的構(gòu)造程序與場同步信號FVAL的構(gòu)造程序結(jié)構(gòu)基本相同。
按圖3所示的流程圖進(jìn)行時序構(gòu)造程序設(shè)計,輸出模擬的相機時序信號,之后,要進(jìn)行時序驗證,若構(gòu)造的時序信號與時序文件一致,則證明輸出的信號時序正確,可以提供給后續(xù)的圖像傳輸、圖像處理等系統(tǒng)作為數(shù)據(jù)源。時序驗證的方法是對輸出的信號進(jìn)行實際測量,與時序文件進(jìn)行比較,場同步信號FVAL采用示波器測量,其他信號采用SignalTap工具回采的方法進(jìn)行測量。圖4給出采用SignalTap工具對構(gòu)造的時序信號進(jìn)行驗證的視頻截圖。
圖4 采用SignalTap工具驗證時序構(gòu)造信號Fig.4 Using SignalTap tool to validate the sequence construction signal
圖4給出采用SignalTap工具驗證時序構(gòu)造信號的效果圖,SignalTap文件以輸出的時鐘信號CLK為全局采樣時鐘,對輸出的場同步信號FVAL、行同步信號LVAL以及數(shù)據(jù)有效信號DVAL進(jìn)行測試。圖4(a)顯示出輸出的行同步信號起始位置距離場同步信號起始位置參數(shù)P1為1 000個時鐘周期;圖4(b)顯示出行同步信號有效參數(shù)LV為640個時鐘周期,行同步消隱參數(shù)LN為160個時鐘周期;圖4(c)顯示出行同步結(jié)束位置距離場同步信號結(jié)束位置參數(shù)P2為1 000個時鐘周期。由圖4可知,輸出的構(gòu)造信號時序與圖2的時序記錄文件完全一致,時序構(gòu)造程序設(shè)計正確。
在驗證了時序構(gòu)造程序正確的基礎(chǔ)上,對輸出的構(gòu)造相機信號進(jìn)行采集實驗,實驗組成框圖如圖5所示。如圖5所示,試驗中,相機信號輸入時序構(gòu)造板,進(jìn)行時序測量,根據(jù)紅外相機的真實時序構(gòu)造與其時序一致的信號,輸出給圖像采集卡,圖像采集卡對構(gòu)造的時序信號進(jìn)行采集,將圖像顯示在顯示器上。
圖5 構(gòu)造信號采集實驗結(jié)構(gòu)框圖Fig.5 Experiment structure map of the construction signal collection
圖6給出采集得到的顯示圖像。
時序構(gòu)造板卡輸出的場同步FVAL、行同步LVAL、數(shù)據(jù)有效DVAL及像素時鐘CLK信號與相機的時序完全一致,像素值用漸變數(shù)代替。
圖6(a)可以看出圖像穩(wěn)定顯示,由于像素值是漸變數(shù)據(jù),因此圖像亮度也是漸變的,圖像幀頻顯示為50Hz,靶面尺寸顯示640×512;圖6(b)采用Pixel Viewer工具顯示虛線框區(qū)域的像素值,可以看出像素值為穩(wěn)定的漸變數(shù)值。實驗證明:基于FPGA的時序構(gòu)造板卡輸出時序與相機時序完全一致,可以作為數(shù)據(jù)源提供給后續(xù)系統(tǒng),在調(diào)試時代替紅外相機,以減少其開機時間。
圖6 時序構(gòu)造板圖像輸出采集效果圖Fig.6 Collected image of the sequence construction board
基于FPGA的相機時序構(gòu)造設(shè)計按照測量所得的紅外相機時序文件,構(gòu)造與相機時序信號完全一致的信號,為圖像傳輸、圖像處理等后續(xù)系統(tǒng)提供數(shù)據(jù)源,以進(jìn)行調(diào)試和實驗工作。實驗以某紅外相機為例,構(gòu)造幀頻為50Hz,像素時鐘為40M,靶面尺寸為640×512,像素值為漸變數(shù)的輸出信號,并進(jìn)行圖像采集。實驗表明:采用構(gòu)造的相機信號作為信號源可以滿足圖像傳輸、圖像處理等系統(tǒng)的調(diào)試和實驗要求,效果良好。在調(diào)試實驗中采用構(gòu)造的信號源代替實際的紅外相機,大量減少了紅外相機的開機時間,為項目節(jié)約成本,因此設(shè)計具有實際的工程應(yīng)用價值。
[1] 熊文彬,蔣泉,曲建軍,等.基于FPGA實現(xiàn)的視頻顯示系統(tǒng)[J].液晶與顯示,2011,26(1):92-95.Xiong W B,Jiang Q,Qu J J,et al.Video display system based on FPGA [J].Chinese Journal of Liquid Crystals and Displays,2011,26(1):92-95.(in Chinese)
[2] 孫航,馮強,韓紅霞.基于FPGA的紅外序列圖像動態(tài)壓縮顯示[J].液晶與顯示,2011,26(8):551-554.Sun H,F(xiàn)eng Q,Han H X.Infrared sequence image dynamic compression display based on FPGA [J].Chinese Journal of Liquid Crystals and Displays,2011,26(8):551-554.(in Chinese)
[3] 宋振豐,李巖,于洋.數(shù)字圖像注入式紅外目標(biāo)捕獲跟蹤訓(xùn)練仿真[J].中國光學(xué)與應(yīng)用光學(xué),2010,13(2):194-200.Song Z F,Li Y,Yu Y.Simulation for IR capturing and tracking train based on digital image injection[J].Chinese Journal of Optics and Applied Optics,2010,13(2):194-200.(in Chinese)
[4] 李滿良,吳欽章.光電經(jīng)緯儀CCD曝光中心測量系統(tǒng)的設(shè)計[J].光學(xué)精密工程,2013,21(5):1304-1310.Li M L,Wu Q Z.CCD exposure center measuring system for photoelectric theodolite[J].Opics and Precision Engineering,2013,21(5):1304-1310.(in Chinese)
[5] 許文海,吳厚德.超高分辨率CCD成像系統(tǒng)的設(shè)計[J].光學(xué)精密工程,2012,20(7):1603-1610.Xu W H,Wu H D.Design of ultra-h(huán)igh resolution CCD imaging systems[J].Opics and Precision Engineering,2012,20(7):1603-1610.(in Chinese)
[6] 冉峰,楊輝,黃舒平.面陣CCD彩色視頻圖像實時采集系統(tǒng)的設(shè)計[J].光學(xué)精密工程,2010,18(1):273-280.Ran F,Yang H,Huang S P.Design of real-time color video capture system for area array CCD [J].Opics and Precision Engineering,2010,18(1):273-280.(in Chinese)
[7] Levine P A,Saucer D J,Shallcross F V.High frame rata multi-port CCD Image and camera[J].SPIE,1992,1952:257-267.
[8] LIX Z,YU Z Y,SHANG F.Multifunction image target generator[J].Experimental Technology and Management,2002,19(4):36-37.