孫海波，王曉斌，吳瑞斌，肖 健

?

高速攝像技術(shù)在火箭橇頭罩分離試驗中的應(yīng)用

孫海波，王曉斌，吳瑞斌，肖 健

（北京強度環(huán)境研究所，北京 100076）

火箭橇頭罩分離試驗中，需要采集頭罩分離前后的高速圖像。由于火工品爆炸時間短，振動與沖擊環(huán)境惡劣，普通攝像設(shè)備難以滿足要求。文章介紹了一種小型化、低功耗、能夠適應(yīng)強振動與沖擊環(huán)境的高速攝像系統(tǒng)，該系統(tǒng)由具有Camera Link接口的工業(yè)相機、圖像采編單元和數(shù)據(jù)存儲單元組成，圖像采編單元對工業(yè)相機圖像數(shù)據(jù)進行編碼，并通過LVDS接口傳輸至數(shù)據(jù)存儲單元；數(shù)據(jù)存儲單元使用FPGA控制SATA接口固態(tài)硬盤實現(xiàn)無損圖像數(shù)據(jù)的實時存儲。通過減振和自動調(diào)光設(shè)計，此系統(tǒng)能夠適應(yīng)強振動與沖擊環(huán)境，并能自動快速適應(yīng)各種光照環(huán)境，已成功應(yīng)用在某火箭橇頭罩分離試驗中，實現(xiàn)了分辨率為800×600、幀率為

120幀/s的連續(xù)圖像存儲，存儲時間不低于30min，存儲的圖像數(shù)據(jù)完整可靠。

高速攝像；圖像采集；圖像存儲；Camera Link接口

0 引言

高速攝像相對于傳統(tǒng)試驗測量手段，可以更直觀地觀察試驗的全過程。在某火箭橇頭罩分離試驗中，需要對頭罩附近圖像進行高速、長時間的采集與存儲，同時要求攝像系統(tǒng)小型化、低功耗，并能夠適應(yīng)強振動與沖擊環(huán)境。K. Mochiki等人在中子透射光譜成像試驗中采用大容量緩存和固態(tài)硬盤實現(xiàn)了105幀/s的超高速圖像存儲，但是該系統(tǒng)基于PC機，體積很大[1]。美國Vision Research公司和德國Optronis公司均推出了高分辨率、高幀率的小型化圖像采集存儲產(chǎn)品，但是價格昂貴。國內(nèi)對小型化的高速圖像采集存儲技術(shù)有一定的研究，但是目前還沒有形成成熟的產(chǎn)品。中國科學(xué)院長春光學(xué)精密機械與物理研究所通過FPGA控制2塊IDE 固態(tài)硬盤實現(xiàn)了Camera Link相機的640×480、100幀/s 的圖像存儲[2]。王仕明博士采用PowerPC+FPGA+SSD架構(gòu)，實現(xiàn)了100MByte/s的實時數(shù)據(jù)存儲，并采用JPEG2000編碼技術(shù)實現(xiàn)圖像壓縮，可達到1000MByte/s的圖像數(shù)據(jù)帶寬，但是有損壓縮會使圖像部分細節(jié)丟失[3]。

本文研制了一種高速無損壓縮的圖像實時采編攝像系統(tǒng)，即采用基于FPGA的LVDS（Low- Voltage Differential Signaling）接口來控制具有Camera Link接口的工業(yè)相機的圖像數(shù)據(jù)采集，對采集的圖像數(shù)據(jù)進行編碼，并通過LVDS接口發(fā)送至數(shù)據(jù)存儲單元。數(shù)據(jù)存儲單元采用基于SATA接口的固態(tài)硬盤，最高存儲速度可以達到90MByte/s[5]。該單元還增加了相機參數(shù)設(shè)置功能，以實現(xiàn)分辨率、幀率、曝光時間等參數(shù)的設(shè)置，而且可以兼容任何廠家的Camera Link接口相機；增加了時統(tǒng)信號輸入接口，以方便后期數(shù)據(jù)處理時辨識開始采集時刻；進行了減振和自動調(diào)光設(shè)計，使得系統(tǒng)能夠適應(yīng)較強的振動與沖擊，以及低照度和強光照的環(huán)境。與國內(nèi)外其他系統(tǒng)相比，本系統(tǒng)可對高速圖像進行無損壓縮、實時、長時間采編與存儲，且體積小、功耗低。

1 系統(tǒng)組成

高速攝像系統(tǒng)的組成如圖1所示，由Camera Link接口工業(yè)相機、圖像采編單元和數(shù)據(jù)存儲單元組成。Camera Link是一種標(biāo)準(zhǔn)接口，多數(shù)高速相機均采用該接口方式[6]。圖像采編單元通過RS422接口接收來自數(shù)據(jù)存儲單元轉(zhuǎn)發(fā)的相機參數(shù)指令，通過Camera Link接口實現(xiàn)相機的參數(shù)設(shè)置和圖像的采集、編碼功能，最后利用LVDS接口將數(shù)據(jù)發(fā)送至數(shù)據(jù)存儲單元。數(shù)據(jù)存儲單元采用基于SATA固態(tài)硬盤的高速數(shù)據(jù)存儲模塊[5]接收、解碼LVDS數(shù)據(jù)，將數(shù)據(jù)存儲至SATA接口固態(tài)硬盤中，并將來自上位機的相機參數(shù)指令轉(zhuǎn)發(fā)至圖像采編單元。數(shù)據(jù)存儲單元通過千兆以太網(wǎng)接口完成相機參數(shù)傳輸、存儲、控制和數(shù)據(jù)上傳等功能。

圖1 高速攝像系統(tǒng)的組成

2 圖像采編單元

2.1 圖像采編單元組成

圖像采編單元由Camera Link接口、圖像編碼和LVDS數(shù)據(jù)發(fā)送3個模塊組成，如圖2所示。

圖2 圖像采編單元組成

Camera Link接口模塊實現(xiàn)Camera Link接口的LVDS串行數(shù)據(jù)轉(zhuǎn)換為并行數(shù)據(jù)。利用FPGA內(nèi)部豐富的解串器（ISERDES）、鎖相環(huán)（phase locked loop, PLL）和延時（IODELAY）資源，可實現(xiàn)2∶1～16∶1的數(shù)據(jù)解串[7]。通過RS422接口接收數(shù)據(jù)存儲單元轉(zhuǎn)發(fā)的相機參數(shù)指令經(jīng)Camera Link接口發(fā)送至相機，可設(shè)置相機的分辨率、幀率、曝光時間等參數(shù)。

圖像編碼模塊完成圖像數(shù)據(jù)的采集和圖像幀、數(shù)據(jù)幀的編碼功能。時統(tǒng)信號用于和其他測量系統(tǒng)保持時間同步。

LVDS數(shù)據(jù)發(fā)送模塊將編碼后的數(shù)據(jù)幀通過LVDS接口發(fā)送至數(shù)據(jù)存儲單元。

下面僅介紹圖像編碼模塊，其他部分見文獻[4]。

2.2 圖像編碼模塊

圖像編碼模塊負責(zé)圖像數(shù)據(jù)（圖像幀和數(shù)據(jù)幀）采集與編碼。圖像幀編碼用來標(biāo)記每一幀圖像，以便后期圖像數(shù)據(jù)的恢復(fù)和丟失檢驗；數(shù)據(jù)幀編碼用于和數(shù)據(jù)存儲單元的數(shù)據(jù)格式相匹配，方便數(shù)據(jù)存儲單元的數(shù)據(jù)判讀、接收以及丟失檢驗。

圖像編碼模塊的組成如圖3所示。虛線左側(cè)為Camera Link接口模塊的LVDS_clk時鐘域，實現(xiàn)圖像采集和圖像幀編碼功能；虛線右側(cè)為LVDS數(shù)據(jù)發(fā)送模塊的tx_clk時鐘域，執(zhí)行數(shù)據(jù)幀編碼和數(shù)據(jù)發(fā)送功能。兩時鐘域之間采用FIFO傳遞數(shù)據(jù)。

其中，LVDS_clk速率為80MHz，tx_clk速率為75MHz，由于FIFO的寫入速度大于讀取速度，需要設(shè)計足夠容量的FIFO保證數(shù)據(jù)不丟失。以120幀/s、分辨率為800×600的圖像為例，使用LVDS_clk傳輸1幀圖像需要6ms，在該時間內(nèi)，F(xiàn)IFO的寫入數(shù)據(jù)量為80MByte/s×6ms=480kByte，讀取數(shù)據(jù)量為75MByte/s×6ms=450kByte，二者相差30kByte，為留有一定的余量，選擇深度為65535的FIFO。

圖3 圖像編碼模塊組成

Camera Link接口模塊輸出的圖像信號時序如圖4所示。FVAL信號上升沿，表示1幀圖像數(shù)據(jù)有效；當(dāng)DVAL信號有效時，在每個LVDS_clk的上升沿，輸出1次有效的圖像數(shù)據(jù)。

圖4 圖像信號時序

圖像編碼模塊從Camera Link接口模塊采集1幀完整的圖像數(shù)據(jù)后，再添加幀頭、幀計數(shù)、幀長等內(nèi)容，組成1圖像幀（見表1），并將圖像幀數(shù)據(jù)發(fā)送至FIFO緩存。當(dāng)時統(tǒng)信號到來時，圖像幀計數(shù)清零，用于標(biāo)識關(guān)鍵時刻。當(dāng)FIFO的深度達到4096（數(shù)據(jù)存儲單元要求的數(shù)據(jù)幀的長度）時，讀取FIFO中的數(shù)據(jù)，并添加幀頭、幀計數(shù)、幀長、幀尾等內(nèi)容，組成1數(shù)據(jù)幀（見表2）。最后將數(shù)據(jù)發(fā)送至LVDS數(shù)據(jù)發(fā)送模塊。在圖像幀格式中，以分辨率為800×600的圖像為例，1幀圖像的數(shù)據(jù)量為240000字，用1字表示幀長，這里采用總數(shù)據(jù)量除以16，即0x3A98。圖像幀的幀計數(shù)為16位累加數(shù)據(jù)，當(dāng)時統(tǒng)信號有效時，幀計數(shù)清零，以方便后期數(shù)據(jù)處理時區(qū)分時統(tǒng)有效時刻。后期將存儲的數(shù)據(jù)上傳至計算機，通過幀頭、幀長和幀尾等信息完成數(shù)據(jù)的解析，最終還原成BMP格式的圖像。即使圖像數(shù)據(jù)中含有0xEB90、0xEB91等數(shù)據(jù)，但是通過結(jié)合幀長、幀尾等信息，可以保證上位機軟件不會造成誤判。

表1 圖像幀格式

3 數(shù)據(jù)存儲單元

對于分辨率為800×600，幀率為120幀/s的無壓縮圖像，數(shù)據(jù)存儲量為55MByte，普通的存儲方法難以滿足要求。這里采用基于SATA接口的固態(tài)硬盤作為數(shù)據(jù)存儲單元[5]，其組成如圖5所示。

圖5 基于SATA接口固態(tài)硬盤的數(shù)據(jù)存儲單元組成

數(shù)據(jù)存儲單元的工作原理為：存儲數(shù)據(jù)時，F(xiàn)PGA內(nèi)部的LVDS接收模塊接收LVDS數(shù)據(jù)流并轉(zhuǎn)換為并行數(shù)據(jù)，數(shù)據(jù)通過大容量FIFO1和FIFO2交替輸入IDE接口模塊，最后通過JMH330S芯片控制固態(tài)硬盤進行高速存儲。讀取數(shù)據(jù)時，IDE接口模塊將讀出的硬盤數(shù)據(jù)存入CPU_FIFO中，MicroBlaze軟核通過DMA方式再將數(shù)據(jù)讀入DDR3內(nèi)存，并通過千兆以太網(wǎng)發(fā)送至上位機。用戶可通過千兆以太網(wǎng)設(shè)置相機參數(shù)，并經(jīng)過RS422接口將參數(shù)轉(zhuǎn)發(fā)至圖像采編單元。在LVDS接收模塊和IDE接口模塊之間的2個大容量FIFO，深度均為2M，利用DDR3 SDRAM使2個FIFO交替向IDE接口模塊寫數(shù)據(jù)，能實現(xiàn)數(shù)據(jù)緩沖，提高數(shù)據(jù)存儲效率。

FPGA通過Ultra DMA5（uDMA5）方式讀寫硬盤。下面以該方式為例，描述寫硬盤的過程，其流程見圖6。根據(jù)ATA-6協(xié)議[8]，初始化時，F(xiàn)PGA通過命令將IDE傳輸方式設(shè)置為uDMA5。每次Ultra DMA進行寫操作時，首先設(shè)置48位起始邏輯地址和將要寫入的扇區(qū)數(shù)，然后通過向狀態(tài)控制寄存器的寫命令0x35啟動1次Write DMA操作。硬盤接收到該控制命令后，會向FPGA發(fā)送DMA 請求（DMARQ）信號，F(xiàn)PGA收到DMARQ 有效信號后，使能DMACK#進行應(yīng)答并撤銷STOP信號，在硬盤的DMA就緒信號（DMARDY#）有效后，F(xiàn)PGA開始讀取FIFO中數(shù)據(jù)并驅(qū)動數(shù)據(jù)同步信號HSTROBE以及16位并行數(shù)據(jù)。寫完數(shù)據(jù)后，進入空閑狀態(tài)，繼續(xù)等待上層的指令。

圖6 uDMA5方式寫硬盤流程圖

經(jīng)測試，數(shù)據(jù)存儲單元的最高連續(xù)存儲速度為90MByte/s，無丟包或誤碼現(xiàn)象。

4 減振設(shè)計

火箭橇頭罩分離瞬間產(chǎn)生的振動和沖擊較大，電路板上的元器件和工業(yè)像機的光學(xué)組件耐振動與沖擊能力較差，需要進行加固和減振設(shè)計：采用數(shù)據(jù)采編存儲器和相機模塊分離的結(jié)構(gòu)，在數(shù)據(jù)采編存儲器內(nèi)部使用硅膠灌封；在工業(yè)相機和殼體之間使用橡膠隔離（如使用硅膠，則液體可能會進入工業(yè)相機的光學(xué)鏡頭內(nèi)部影響相機使用）。圖像采編存儲器和相機模塊之間使用專用的Camera Link線纜連接。加固后的圖像采編存儲器和工業(yè)相機實物見圖7。

圖7 加固后的圖像采編存儲器（左）和工業(yè)

相機（右）實物圖Fig. 7 The image acquisition and coding unit(left) and industry camera(right) after being reinforced5 自動調(diào)光

火箭橇頭罩分離前后光照度的變化范圍很大：頭罩分離之前，火箭內(nèi)光線非常暗；而頭罩打開后，相機會暴露在外界較強光照下，這就需要圖像亮度的自動調(diào)節(jié)功能。通常用調(diào)節(jié)光圈或曝光時間[9-10]

來調(diào)節(jié)圖像亮度。調(diào)節(jié)光圈需要使用電機，而電機調(diào)節(jié)速度較慢，并且振動和沖擊的環(huán)境適應(yīng)性較差。

本文采用動態(tài)步長曝光時間調(diào)整技術(shù)[9]，原理如下：設(shè)置圖像的目標(biāo)亮度值0（本文取150），根據(jù)當(dāng)前圖像的平均亮度與目標(biāo)亮度之間的差Δ來確定曝光時間的調(diào)整步長Δ。具體調(diào)整方式如式(1)所示：

計算圖像的平均亮度時，先使用32位寄存器緩存1幀圖像的亮度和，再使用除法器計算平均值。式(1)中，Δ的符號和Δ的符號相反，即Δ＞0時，表示當(dāng)前圖像過亮，Δ為負數(shù)，即應(yīng)減小曝光時間。在Δ較大時，說明曝光時間遠不能達到目標(biāo)亮度要求，因此Δ也應(yīng)加大，以便提高算法收斂速度。

實際測試中，在非常暗的光線下，即使將曝光時間調(diào)整至最大值，也難以看清圖像。故本文增加了LED補光燈，當(dāng)光照度低于10lx時，自動開啟補光燈。通過自動曝光技術(shù)和LED補光相結(jié)合的方法，可以適應(yīng)大多數(shù)光照環(huán)境。

6 試驗結(jié)果和分析

本文的高速攝像系統(tǒng)采用Baumer公司HXC40高速工業(yè)相機，分辨率設(shè)置為800×600，幀率設(shè)置為120幀/s。高速攝像系統(tǒng)通過高低溫試驗、三軸隨機振動試驗、峰值為100持續(xù)時間為11ms的半正弦三軸沖擊試驗、過載試驗（3個方向，35）以及低氣壓試驗（1Pa）等地面環(huán)境試驗充分驗證了其環(huán)境適應(yīng)性。

在某次火箭橇頭罩分離試驗中，該高速攝像系統(tǒng)成功拍攝到整個頭罩分離過程。頭罩分離瞬間的連續(xù)圖像如圖8所示，其中第2、3、4幅圖像能夠看到火工品爆炸，從第4幅開始，頭罩已經(jīng)開始分離。由于幀率為120幀/s，兩幀圖像間隔8.3ms，由此估計火工品爆炸時間約為30ms，和實際吻合。經(jīng)過其他數(shù)據(jù)采集設(shè)備測量，頭罩分離時產(chǎn)生的沖擊為186，并具有持續(xù)的高量級振動和過載，普通的攝像設(shè)備難以經(jīng)受如此嚴(yán)酷的環(huán)境。經(jīng)過時統(tǒng)信號分析，沖擊峰值時刻和圖像拍攝的爆炸時刻吻合。按照要求，本高速攝像系統(tǒng)主要作為后期故障分析手段，本次試驗共拍攝了試驗前后30min的圖像，拍攝到的圖像完整可靠。試驗結(jié)果充分驗證了本文設(shè)計的高速攝像系統(tǒng)的可靠性。

(a) 第1幅（分離前）

(b) 第2幅（火工品爆炸瞬間）

(c) 第3幅

(d) 第4幅

(e) 第5幅（開始分離）

(f) 第6幅

圖8 火箭橇頭罩分離的圖像

Fig. 8 Image of rocket shell separation7 結(jié)論與展望

本文的高速攝像系統(tǒng)首次在火箭內(nèi)部成功拍攝了火箭橇頭罩分離的全過程，獲取了以往試驗無法獲取的信息，對豐富試驗手段、提升試驗?zāi)芰哂兄匾饬x，尤其對試驗事故后的故障診斷具有很大幫助。該系統(tǒng)可以實現(xiàn)高速、長時間、高可靠性的無損圖像采集與存儲，并且結(jié)構(gòu)簡單、體積小、功耗低、高振動與沖擊環(huán)境適應(yīng)性強，能夠自動快速適應(yīng)各種光照環(huán)境，在航空、航天等高速圖像采集記錄和圖像分析領(lǐng)域具有廣闊的應(yīng)用前景。

該系統(tǒng)最高存儲速度為90MByte/s，最高可實現(xiàn)幀率為196幀/s、分辨率為800×600的圖像采集。為了進一步觀察頭罩分離的細節(jié)，需要提高圖像的幀率，下一次試驗擬將圖像幀率提升至190幀/s。

（References）

[1] Mochiki K, Ishizuka K, Morikawa K, etal. Development of a new high-frame-rate camera for pulsed neutron transmission spectroscopic radiography[C]//Proceedings of the 10thWorld Conference on Neutron Radiography, 2015(69): 143-151

[2] 呂耀文, 王建立, 曹景太. Base型Camera Link 脫機存儲系統(tǒng)設(shè)計[J]. 光電子技術(shù), 2012, 32(4): 242-245

Lü Yaowen, Wang Jianli, Cao Jingtai. Design of base camera link video storage system independent of computer[J]. Optoelectronic Technology, 2012, 32(4): 242-245

[3] 王仕明. 基于PowerPC的高速圖像存儲系統(tǒng)技術(shù)研究[D].

成都: 中國科學(xué)院光電技術(shù)研究所, 2015

[4] 孫海波, 吳瑞斌, 王曉斌, 等. 一種高速圖像實時采編存儲系統(tǒng)設(shè)計[J]. 遙測遙控, 2015, 36(3): 41-45

Sun Haibo, Wu Ruibin, Wang Xiaobin, et al. Design of high-speed real-time image acquisition-coding and storage system[J]. Journal of Telemetry, Tracking and Command, 2015, 36(3): 41-45

[5] 孫海波, 王曉斌, 李雅梅. 基于SATA接口固態(tài)硬盤的高速存儲系統(tǒng)設(shè)計[J]. 遙測遙控, 2014, 35(2): 48-52

Sun Haibo, Wang Xiaobin, Li Yamei. Design of high-speed storage system based on sata interface solid state hard disk[J]. Journal of Telemetry, Tracking and Command, 2014, 35(2): 48-52

[6] Specifications of the camera link interface standard for digital cameras and frame grabbers: V2.0[G/OL], 2012. [2016-05-24]. http://www.docin.com/p-819308579.html

[7] Sawyer N. Source-synchronous serialization and deserialization[R]. Xilinx Corporation: Application Note XAPP1064 (v1.1), 2010

[8] T13/1410 Dr2a. American national standard for information technology atattachment with packet interface-6(ATA/ATAPI-6)[S], 2002

[9] 周榮政. 數(shù)碼相機處理器設(shè)計及系統(tǒng)集成研究[D]. 上海: 復(fù)旦大學(xué), 2004: 48-53

[10] 陳參寧, 鄧華秋, 王健華. 基于光圈控制的自動曝光算法研究[J]. 傳感器與微系統(tǒng), 2011, 30(11): 46-48

Chen Canning, Deng Huaqiu, Wang Jianhua. Research on auto-exposure algorithm based on iris control[J]. Transducer and Microsystem Technologies, 2011, 30(11): 46-48

（編輯：馮 妍）

Application of high-speed image acquisition technology in rocket sledge head cover separation experiment

Sun Haibo, Wang Xiaobin, Wu Ruibin, Xiao Jian

(Beijing Institute of Structure and Environment Engineering, Beijing 100076, China)

High-speed images near separation are required in the rocket sledge head cover separation experiment. Due to the short time of explosion, the harsh environment of vibration and shock, common cameras cannot work properly. A small and low power high-speed image acquisition system is proposed, which is applicable in the vibration and shock environment. This system consists of a Camera Link interfaced camera, an image acquisition coding unit, and a data storage unit. The image acquisition and coding unit acquires images from the Camera Link interfaced camera and codes the image, and transmits the image to the data storage unit by the LVDS interface. A SATA interface solid-state hard disk is used in the data storage unit. By vibration absorption design and automatic light compensation, the system can work properly in a high shock environment, and can adapt to any light environment. The high-speed image acquisition system has been applied successfully in the rocket sledge head cover separation experiment. The resolution of 800×600, with 120 frame/s mono chrome camera is achieved. The saving time is no less than 30 minutes, and the image data is integral and reliable.

high-speed video; image acquisition; image storage; Camera Link interface

TN919

A

1673-1379(2016)03-0327-06

10.3969/j.issn.1673-1379.2016.03.017

孫海波（1987—），男，碩士學(xué)位，主要研究方向為計算機測量與控制。E-mail: haibo2806@163.com。

2015-10-12；

2016-05-24

http://www.bisee.ac.cn E-mail: htqhjgc@126.com Tel: (010)68116407, 68116408, 68116544