龐高峰，王志云，趙志剛，陳超民，金紹勛，黃建衡，雷耀虎，屈軍樂(lè)

(1.深圳大學(xué)光電工程學(xué)院，廣東深圳 518060；2.深圳技術(shù)大學(xué)(籌)新材料與新能源學(xué)院，廣東深圳 518118)

0 引言

高光譜成像技術(shù)能夠同時(shí)獲取被測(cè)物的光譜與圖像信息，不僅可以對(duì)待測(cè)物體進(jìn)行定性與定量分析，還可以定位分析，是光譜成像技術(shù)發(fā)展的一個(gè)重要方向[1-3]。但高光譜圖像信息的獲取意味著數(shù)據(jù)傳輸量的大幅增加，這必然要對(duì)成像系統(tǒng)數(shù)據(jù)帶寬提出更高的要求。對(duì)于當(dāng)前迅速發(fā)展的微型高光譜成像系統(tǒng)而言，受結(jié)構(gòu)尺寸、性價(jià)比等因素限制，其數(shù)據(jù)采集與處理能力相對(duì)較弱，難以在結(jié)構(gòu)緊湊的微型高光譜儀中實(shí)現(xiàn)實(shí)時(shí)調(diào)焦與視頻預(yù)覽等對(duì)數(shù)據(jù)帶寬要求較高的功能[4-7]。

為了在多旋翼無(wú)人機(jī)載高光譜成像、現(xiàn)場(chǎng)高速機(jī)器視覺(jué)等對(duì)微型高光譜儀尺寸及重量有嚴(yán)格要求的場(chǎng)合獲取高光譜圖像，本文基于新型快照馬賽克高光譜傳感器(hyperspectral mosaic snapshot imager)，設(shè)計(jì)并實(shí)現(xiàn)了一套嵌入式微型高光譜儀。該傳感器通過(guò)在標(biāo)準(zhǔn)CMOS芯片感光面的每個(gè)像素上沉積特殊設(shè)計(jì)的馬賽克塊狀濾光膜，形成25通道的光譜帶，有望在極其緊湊的幾何結(jié)構(gòu)內(nèi)以視頻流的速度形成高光譜圖像[8-11]，從而克服傳統(tǒng)光譜儀采集系統(tǒng)采用濾光片、線掃描等方式記錄光譜信息時(shí)，需要龐大體積和很長(zhǎng)采集時(shí)間的問(wèn)題。目前，這一光譜成像技術(shù)已開(kāi)始應(yīng)用于多個(gè)領(lǐng)域，如農(nóng)業(yè)、軍事、遙感、環(huán)境檢測(cè)、智能控制等[12-13]。

針對(duì)視頻流及高光譜圖像數(shù)據(jù)帶寬要求高的問(wèn)題，本文通過(guò)在嵌入式可擴(kuò)展處理平臺(tái)進(jìn)行本地高光譜數(shù)據(jù)分離的方法，將25通道光譜數(shù)據(jù)進(jìn)行分離，從而可在調(diào)焦與預(yù)覽環(huán)節(jié)僅將容量為1/25的高光譜圖像數(shù)據(jù)經(jīng)千兆以太網(wǎng)接口傳輸至上位機(jī)，從而大幅降低了調(diào)焦與預(yù)覽環(huán)節(jié)對(duì)傳輸帶寬的要求。

1 系統(tǒng)方案及硬件結(jié)構(gòu)設(shè)計(jì)

所設(shè)計(jì)的高光譜圖像采集系統(tǒng)由微型高光譜儀、千兆以太網(wǎng)、上位機(jī)組成。其中高光譜微型光譜儀主要由高光譜圖像傳感器、可擴(kuò)展處理平臺(tái)Zynq、DDR3 SDRAM、千兆網(wǎng)接口組成。已設(shè)計(jì)完成的高光譜微型光譜儀實(shí)物圖如圖1所示。

圖1 高光譜微型光譜儀實(shí)物圖

微型高光譜儀的主控芯片為XC7Z020，屬于可擴(kuò)展平臺(tái)Zynq系列。Zynq分為PL(programmable logic)和PS(processing system)2個(gè)部分，PL部分為大面陣FPGA，PS部分為2個(gè)ARM Cortex-A9核，性能十分強(qiáng)大。Zynq集成了ARM處理器的軟件可編程性與FPGA的硬件可編程性，可實(shí)現(xiàn)硬件加速，同時(shí)還在單個(gè)器件上集成了CPU、DSP、ASSP以及混合信號(hào)功能。

本系統(tǒng)內(nèi)存芯片采用2片型號(hào)為IS43TR16256AL-125KBLI的DDR3 SDRAM，容量為1 GB，能夠提供足夠的緩存空間，為高光譜大量數(shù)據(jù)采集與嵌入式本地光譜數(shù)據(jù)分離提供了可能性。DDR3相較于DDR2，功耗和發(fā)熱量小，工作頻率更高，通用性強(qiáng)。千兆以太網(wǎng)接口采用JFM3811F-FL01-4F接口，連接在Zynq的ENET0上。

系統(tǒng)采用的高光譜傳感器在普通CMOS芯片感光面上鍍有不同的光譜通帶濾光膜如圖2所示，芯片總像素大小為 2 048×1 088，每5×5個(gè)像素為1個(gè)單元，形成馬賽克塊狀結(jié)構(gòu)。單元中每個(gè)像素可通過(guò)的光譜波段各不相同，各單元之間完全相同，感光面共有25個(gè)光譜波段通道。

圖2 芯片感光面示意圖

快照馬賽克高光譜傳感器的數(shù)據(jù)輸出采用的是LVDS(low voltage differential signaling,低電壓差分信號(hào))接口，LVDS可以很好地屏蔽干擾，提高信號(hào)傳輸時(shí)的穩(wěn)定性和可靠性，LVDS要求在PCB布線時(shí)，信號(hào)線等長(zhǎng)等距，如圖3所示。

圖3 LVDS布線

硬件電路采用12層高器件密度硬-軟-硬PCB設(shè)計(jì)，連接2塊硬板的軟板彎折后可以節(jié)省很大空間，如圖4所示。微型光譜儀外形尺寸為11 mm×6 mm×7 mm，小巧便攜，增加了光譜儀的應(yīng)用場(chǎng)景和適用范圍。

圖4 軟硬板連接實(shí)物圖

2 基于Zynq的高光譜數(shù)據(jù)采集

高光譜數(shù)據(jù)采集流程如圖5所示。

圖5 高光譜數(shù)據(jù)采集流程

Zynq需要為快照馬賽克高光譜傳感器提供驅(qū)動(dòng)時(shí)序，配置正確的參數(shù)，然后從芯片圖像數(shù)據(jù)輸出通道接收數(shù)據(jù)。數(shù)據(jù)串并轉(zhuǎn)換后通過(guò)DMA將其保存到DDR3 SDRAM中。

快照馬賽克高光譜傳感器輸出16路數(shù)據(jù)信號(hào)，1路控制信號(hào)和1路時(shí)鐘信號(hào)。Zynq給快照馬賽克高光譜傳感器提供時(shí)鐘、電源、使能、幀請(qǐng)求、參數(shù)設(shè)置等信號(hào)。幀請(qǐng)求信號(hào)發(fā)出后，數(shù)據(jù)信號(hào)就會(huì)輸出。FPGA中對(duì)數(shù)據(jù)傳輸、處理一般以單邊沿時(shí)鐘信號(hào)進(jìn)行，Zynq接收到數(shù)據(jù)信號(hào)后先要將數(shù)據(jù)轉(zhuǎn)換為單邊沿?cái)?shù)據(jù)。

像素采樣深度為10 bit，以串行的方式從16路數(shù)據(jù)信號(hào)端口輸出。Zynq需要對(duì)數(shù)據(jù)進(jìn)行串并轉(zhuǎn)換，將每個(gè)像素?cái)?shù)據(jù)轉(zhuǎn)換為并行數(shù)據(jù)便于后續(xù)處理和保存。由于數(shù)據(jù)是不斷連續(xù)輸出的，要根據(jù)控制通道的數(shù)據(jù)來(lái)判斷哪一個(gè)bit是這個(gè)像素?cái)?shù)據(jù)的第一個(gè)bit位。當(dāng)快照馬賽克高光譜傳感器處于空閑狀態(tài)時(shí)，16路數(shù)通道會(huì)輸出固定校準(zhǔn)數(shù)據(jù)，通過(guò)采集校準(zhǔn)數(shù)據(jù)來(lái)校正每個(gè)通道。

16路數(shù)據(jù)通道默認(rèn)校準(zhǔn)數(shù)值為0x055，控制通道默認(rèn)數(shù)值為0x200，需要用一個(gè)10位寬的寄存器變量存儲(chǔ)串行輸出數(shù)據(jù)，當(dāng)接收夠10 bit數(shù)時(shí)判斷是否為校準(zhǔn)數(shù)據(jù)，若不是則變量在采集下一個(gè)10 bit數(shù)時(shí)向后錯(cuò)開(kāi)一位采集，這樣依次錯(cuò)位采集直到采集的數(shù)值正好為校準(zhǔn)數(shù)據(jù)，如圖6所示。

圖6 信號(hào)校準(zhǔn)示意圖

數(shù)據(jù)通道校準(zhǔn)后，Zynq發(fā)出幀請(qǐng)求，16路數(shù)據(jù)通道開(kāi)始輸出數(shù)據(jù)?？煺振R賽克高光譜傳感器像素為2 048×1 088，每個(gè)通道取連續(xù)的128個(gè)像素，16個(gè)通道同時(shí)工作，128個(gè)主時(shí)鐘周期取完1行 2 048個(gè)像素。1個(gè)主時(shí)鐘周期16個(gè)通道取16個(gè)像素，每個(gè)像素10 bit，共160 bit。DMA或DDR3 SDRAM傳輸數(shù)據(jù)是以32 bit為單位的，必須將160 bit數(shù)據(jù)切分為5個(gè)32 bit進(jìn)行傳輸、存儲(chǔ)。ARM通過(guò)對(duì)DMA IP核的控制將數(shù)據(jù)存儲(chǔ)到DDR3 SDRAM中?？煺振R賽克高光譜傳感器16通道工作示意圖如圖7所示。

圖7 16通道工作示意圖

3 光譜分離算法與實(shí)現(xiàn)

每一幀光譜圖像數(shù)據(jù)大小為2.6 MB，若數(shù)據(jù)全部傳輸出去勢(shì)必造成巨大的傳輸壓力，導(dǎo)致上位機(jī)顯示時(shí)就會(huì)出現(xiàn)卡頓不流暢的現(xiàn)象，無(wú)法完成實(shí)時(shí)調(diào)焦。在調(diào)焦或圖像預(yù)覽過(guò)程中，只需傳輸某一個(gè)光譜波段數(shù)據(jù)，不必獲取全部波段光譜數(shù)據(jù)，可在嵌入式本地將各個(gè)波段的光譜數(shù)據(jù)進(jìn)行分離后，傳輸單個(gè)通道的高光譜數(shù)據(jù)。Zynq的PL部分為PFGA，可實(shí)時(shí)處理光譜圖像數(shù)據(jù)，處理速度完全可以滿足本地光譜數(shù)據(jù)分離的需求。

首先需要將存儲(chǔ)在DDR3 SDRAM中的完整光譜數(shù)據(jù)通過(guò)DMA取出來(lái)，然后通過(guò)一個(gè)32位寬的FIFO將數(shù)據(jù)傳輸給光譜分離模塊，光譜分離模塊將數(shù)據(jù)分離后又通過(guò)DMA將數(shù)據(jù)存儲(chǔ)到DDR3 SDRAM中。用戶需要查看某一個(gè)通道時(shí)，就連續(xù)實(shí)時(shí)取某一個(gè)波段光譜圖像，需要查看全部波段光譜時(shí)，將完整的高光譜圖像傳輸?shù)缴衔粰C(jī)上。高光譜分離流程圖如圖8所示。

圖8 高光譜分離流程圖

以5×5型號(hào)的快照馬賽克高光譜傳感器為例，有25個(gè)波段，如圖9所示，假設(shè)需要取第7個(gè)波段的光譜圖像，根據(jù)掩膜板中通道的位置，計(jì)算出橫縱坐標(biāo)掩碼值(mask_x、mask_y)。

圖9 25通道掩膜板示意圖

假想將掩膜板放置在圖像上，原點(diǎn)開(kāi)始，從左往右，從上至下依次移動(dòng)掩膜板，每移動(dòng)一次從掩膜板分離出陰影部分的數(shù)據(jù)，直至掩膜板遍歷整幅圖像。如圖10所示，只分離出陰影部分的數(shù)據(jù)，然后形成一副新的圖像，就是我們想要得到的第7個(gè)波段通道的光譜圖像。

圖10 高光譜分離原理示意圖

高光譜分離模塊的實(shí)現(xiàn)可分為3步，采用三級(jí)流水線技術(shù)，同步并行快速處理。

(1)等待FIFO不為空，數(shù)據(jù)準(zhǔn)備完畢后高光譜分離模塊從FIFO中取出5個(gè)32 bit數(shù)據(jù)，拼接為160 bit的數(shù)，就得到了快照馬賽克高光譜傳感器輸出的16個(gè)原始像素?cái)?shù)據(jù)。每取5個(gè)數(shù)，列標(biāo)記(tag_x)加1，指向下一組數(shù)。列標(biāo)記達(dá)到最大值后說(shuō)明本行處理完畢，列標(biāo)記歸零同時(shí)行標(biāo)記(tag_y)加1指向下一行。每行處理完畢后根據(jù)mask_y來(lái)判斷，如果當(dāng)前行包含有要分離的高光譜圖像數(shù)據(jù)則令DMA使能標(biāo)志位有效，DMA開(kāi)始將處理后的數(shù)據(jù)回傳至DDR中保存。核心代碼如下：

if(s_tvalid&&s_tready)begin //準(zhǔn)備完畢

if(cnt_five=4)begin //5個(gè)32 bit取完畢

cnt_five<=0；

if(tag_x==(px-1)) //一行數(shù)據(jù)分離完畢

tag_x<=0；

tag_y<=tag_y+1’b1； //針指向下一行。

if(tag_y%type==mask_y) //判斷行有效

start<=1’bl： //使能

end

else

tag_x<=tag_x+1’bl；

end

else

cnt_five<=cnt_five+1’bl；

data_a=data_a>>32; //拼接5個(gè)32 bit

data_a[159∶128]=s_tdata；

end

(2)根據(jù)高光譜分離控制信號(hào)、橫縱坐標(biāo)掩碼值，遍歷取出的各個(gè)像素并分離出指定光譜波段數(shù)據(jù)并存儲(chǔ)于存儲(chǔ)器(band_data)中。核心代碼如下：

//遍歷160 bit中的16個(gè)像素

for(i=0；i<16;i=i+1)

//判斷是否是指定光譜諧波段數(shù)據(jù)

if(((tag_x+px*i)%type)=mask_x)

//分離指定光譜波段數(shù)據(jù)

band_data[(tag_x+px*i)/type]<=data_a[(10*i+2)+：8]：

(3)將分離出來(lái)的數(shù)據(jù)通過(guò)DMA傳輸至DDR3 SDRAM中存儲(chǔ)。由于行與行之間互相沒(méi)有關(guān)聯(lián)，且是按照順序來(lái)的，當(dāng)每行轉(zhuǎn)換完畢后便將存儲(chǔ)器中的數(shù)據(jù)送到DMA中。這樣也可以減小PFGA中的存儲(chǔ)器，節(jié)省大量的資源。首先判斷DMA使能，然后每傳輸1個(gè)數(shù)，計(jì)數(shù)器(cnt_d2f)加1，當(dāng)計(jì)數(shù)器達(dá)到最大值后表明此次傳輸完畢DMA使能信號(hào)置無(wú)效。因?yàn)镈MA位寬為32 bit，所以需要將高光譜分離出來(lái)的數(shù)據(jù)拼接為32 bit。核心代碼如下：

if(start)begin //DMA使能

if(cnt_d2f==(img_x/type/4-1)) //傳輸完畢

start <=0；

else begin

cnt_d2f<=cnt_d2f+1’bl；//計(jì)數(shù)器加一

//數(shù)據(jù)位寬整合為32 bit

m_tdata <= {band_data[cnt_d2f*4+3]，

band_data[cnt_d2f*4+2],

band_data[cnt_d2f*4+1]，

band_data[cnt_d2f*4]}；

end

end

4 測(cè)試與分析

本系統(tǒng)Zynq中安裝了linux操作系統(tǒng)，便于后續(xù)開(kāi)發(fā)和維護(hù)。在linux系統(tǒng)中實(shí)現(xiàn)了BOA網(wǎng)絡(luò)服務(wù)器(BOA webserver)，用戶可以通過(guò)任何安裝有瀏覽器的終端訪問(wèn)光譜儀，并在瀏覽器中查看單通道光譜視頻數(shù)據(jù)，或讀取全波段高光譜圖像。

在上位機(jī)的瀏覽器地址欄中輸入微型高光譜儀的IP地址即可打開(kāi)工作界面，如圖11所示。右側(cè)有2個(gè)按鈕，用戶通過(guò)單擊第一個(gè)按鈕來(lái)實(shí)時(shí)查看單波段光譜圖像視頻，單擊第二個(gè)按鈕獲取一幀全波段光譜圖像。

圖11 瀏覽器查看光譜圖像界面

圖12、圖13分別為對(duì)一個(gè)魔方所成的單通道光譜圖像與全部波段光譜圖像。

圖12 魔方的單通道光譜圖像

圖13 魔方的全波段光譜圖像

圖14 高光譜分離前請(qǐng)求時(shí)間

利用Chrome瀏覽器上自帶的調(diào)試工具可以查看每次請(qǐng)求1幀數(shù)據(jù)所需時(shí)間。上位機(jī)每次請(qǐng)求高光譜圖像數(shù)據(jù)的時(shí)間間隔應(yīng)大于光譜儀生成1幀高光譜圖像數(shù)據(jù)實(shí)際使用時(shí)間，否則會(huì)出現(xiàn)錯(cuò)誤，導(dǎo)致上位機(jī)出現(xiàn)圖像顯示不全等問(wèn)題。

高光譜分離前上位機(jī)每次請(qǐng)求1幀數(shù)據(jù)所需時(shí)間為545 ms左右，如圖14所示。為了保證請(qǐng)求過(guò)程中不出現(xiàn)錯(cuò)誤，設(shè)置請(qǐng)求時(shí)間間隔為600 ms，幀率為1.67 FPS。

高光譜分離后上位機(jī)每次請(qǐng)求一幀數(shù)據(jù)所需時(shí)間為16 ms左右，如圖15所示。為了保證請(qǐng)求過(guò)程中不出現(xiàn)錯(cuò)誤，設(shè)置請(qǐng)求時(shí)間間隔為20 ms，幀率為50 FPS。

圖15 高光譜分離后請(qǐng)求時(shí)間

通過(guò)高光譜分離前后幀率對(duì)比，可見(jiàn)高光譜分離后的幀率是分離前的大約30倍，幀率提升效果十分顯著。在實(shí)測(cè)過(guò)程中，反復(fù)調(diào)節(jié)鏡頭焦距，瀏覽器中可實(shí)時(shí)觀測(cè)到不同焦面的清晰圖像，實(shí)現(xiàn)了動(dòng)態(tài)調(diào)焦與視頻預(yù)覽。

5 結(jié)論

本文通過(guò)對(duì)嵌入式微型高光譜儀高光譜數(shù)據(jù)進(jìn)行本地分離，獲取單通道光譜圖像，可實(shí)現(xiàn)動(dòng)態(tài)調(diào)焦與實(shí)時(shí)光譜視頻預(yù)覽。高光譜數(shù)據(jù)分離由FPGA實(shí)現(xiàn)，相較于常用的軟件處理方式效率更高，并減輕了系統(tǒng)處理器的負(fù)擔(dān)。本文所實(shí)現(xiàn)的微型高光譜儀增強(qiáng)了高光譜圖像實(shí)時(shí)顯示效果，擴(kuò)大了微型高光譜儀的適用場(chǎng)合，能夠?yàn)槠胀ㄏM(fèi)者提供隨時(shí)隨地采集高光譜圖像數(shù)據(jù)。