王之潤,何鵬,趙文靜,翟愛平,王東,2?

(1太原理工大學(xué)物理與光電工程學(xué)院,山西 太原 030024;2太原理工大學(xué)新型傳感器與智能控制教育部重點(diǎn)實驗室,山西 太原 030024)

0 引言

區(qū)別于傳統(tǒng)陣列探測器成像方式,單像素成像使用單像素探測器作為主要探測設(shè)備采集不同基底圖案對應(yīng)的光強(qiáng)信號,最終從采集光強(qiáng)信號中反演計算獲得目標(biāo)物體圖像。由于單像素探測器在特定波段的低成本優(yōu)勢,其已被應(yīng)用于紅外成像[1]、太赫茲成像[2]、光譜成像[3]等領(lǐng)域,并且單像素探測器只采集單點(diǎn)信息,因此只需要少量光子即可產(chǎn)生響應(yīng),拓寬了其在弱光成像[4]、顯微成像[5,6]與散射成像[7]等領(lǐng)域的應(yīng)用。然而受限于單像素成像機(jī)理,目標(biāo)物體圖像的重建需進(jìn)行多次基底圖案投射及單像素探測器采集,導(dǎo)致單像素成像體系成像速度較慢,限制了其進(jìn)一步應(yīng)用,因此提高單像素成像的速度對其實際運(yùn)用和工業(yè)化具有重要意義。

現(xiàn)有研究表明,可從硬件和算法兩方面提升單像素成像速度。算法提升單像素成像速度的研究主要集中于在保證圖像質(zhì)量的前提下減少成像所需掩膜圖案的數(shù)量,因此研究人員提出各類單像素降采樣算法。人為規(guī)劃采樣順序[8?12]通過對基底圖案進(jìn)行排序,優(yōu)先投射對重建作用更大的基底圖案,舍棄對重建圖像質(zhì)量提升較小的基底圖案。人為規(guī)劃方案雖然是一種有效的單像素降采樣方式,但是其采樣順序的規(guī)劃受限于當(dāng)前的正交變換,并且無法保證對不同目標(biāo)物體規(guī)劃采樣順序的最優(yōu)。深度學(xué)習(xí)引入單像素成像,通過卷積神經(jīng)網(wǎng)絡(luò)獲得最優(yōu)化基底圖案[13],或者獲得部分重建目標(biāo)到優(yōu)質(zhì)重建目標(biāo)之間的對應(yīng)關(guān)系[14],從而解決了如上問題。然而,深度學(xué)習(xí)需要大算力和優(yōu)質(zhì)數(shù)據(jù)集,并且其訓(xùn)練過程較為復(fù)雜,限制了其進(jìn)一步應(yīng)用。結(jié)合以上思路,深度Q網(wǎng)絡(luò)(DQN)單像素成像[15,16]將強(qiáng)化學(xué)習(xí)中的DQN算法引入單像素成像,獲得適用不同正交變換、對應(yīng)不同目標(biāo)物體的最優(yōu)采樣順序,成為單像素降采樣的另一種方案。但是目前DQN單像素成像僅在實驗平臺得到驗證,沒有集成的搭載DQN單像素成像算法的系統(tǒng)研究。

硬件提升單像素成像速度聚焦于使用高速空間光調(diào)制器提升掩膜圖案投射速度[17]。早期的空間光調(diào)制器(如旋轉(zhuǎn)的磨砂玻璃[18]和定制散射板[19])采用機(jī)械裝置實現(xiàn)掩膜圖案切換,速度較慢,并且無法實現(xiàn)任意掩膜圖案投射。液晶空間光調(diào)制器(LC-SLM)雖然可以實現(xiàn)程控的掩膜圖案投射,但是同樣面臨成像速度較慢的問題,無法實現(xiàn)實時成像[20]。數(shù)字微鏡器件(DMD)憑借其結(jié)構(gòu)可以實現(xiàn)最高22 kHz的基底圖案切換速度[21],但是DMD成本較高,削弱了單像素成像低成本的優(yōu)勢。憑借LED低成本、高響應(yīng)速度的優(yōu)勢,LED陣列可作為更高速、經(jīng)濟(jì)的空間光調(diào)制器方案[22]。LED陣列高效的調(diào)制效率依賴于FPGA的高速并行特性,可實現(xiàn)1000 frame/s的高速動態(tài)成像。目前LED陣列僅作為一種基底圖案硬件加速方案,沒有單像素加速算法的搭載研究。

本文結(jié)合DQN單像素成像的降采樣算法和LED陣列的高速基底圖案投射方案,實現(xiàn)了軟硬件協(xié)同的單像素成像提速?；贚ED陣列的二值調(diào)制特性,選擇DQN-Hadamard單像素成像作為實現(xiàn)特例;為實現(xiàn)DQN-Hadamard單像素成像算法的移植,選擇ARM和FPGA結(jié)合的ZYNQ 7020作為系統(tǒng)主控。ARM實現(xiàn)DQN-Hadamard單像素成像算法,FPGA實現(xiàn)單像素成像的主體功能,最終ARM與FPGA協(xié)同實現(xiàn)DQN-Hadamard單像素成像。

1 原理與系統(tǒng)搭建

1.1 Hadamard單像素成像的基本概念

單像素成像使用基底圖案照明目標(biāo)物體,通過單像素探測器采集對應(yīng)光強(qiáng),并從中重建目標(biāo)物體圖像,可表示為

式中:(x,y)為空間坐標(biāo)對,O為成像目標(biāo)物體,Pk為第k個基底照明圖案,二者寫為空間坐標(biāo)形式,單像素探測器采集的光強(qiáng)Ik即為二者的空間內(nèi)積。Hadamard單像素成像通過Hadamard變換形式生成基底照明圖案,通過單像素成像形式獲得目標(biāo)物體圖像的Hadamard譜。Hadamard變換的形式為

式中:(u,v)為變換域坐標(biāo)對,bi(z)(z=x,y,u,v)是z的二進(jìn)制第i位。對比單像素成像與Hadamard變換,發(fā)現(xiàn)二者均符合空間內(nèi)積形式,因此以P(u,v,x,y)形式生成基底照明圖案,單像素探測器即可測得目標(biāo)物體的Hadamard譜。對其進(jìn)行Hadamard反變換即可重建目標(biāo)物體圖像,這也提供了一種新的目標(biāo)物體重建形式,Hadamard反變換的形式為

1.2 DQN單像素成像

根據(jù)(2)式,越多的基底圖案數(shù)量可重建越精確的目標(biāo)物體,然而所需投射基底圖案越多,單像素成像的時間消耗越大。在保證重建圖像質(zhì)量的前提下提高成像速度,可以優(yōu)先投射對重建圖像質(zhì)量提升更大的基底圖案。由于Hadamard變換頻譜的低頻聚集特性,可按照規(guī)劃順序優(yōu)先投射低頻對應(yīng)的基底圖案,取得在相同采樣率下最優(yōu)的成像效果。然而不同的目標(biāo)物體對應(yīng)的最優(yōu)采樣順序不同,此種人為規(guī)劃的采樣方式無法保證對特定目標(biāo)物體規(guī)劃的最優(yōu)性。

本課題組提出的DQN單像素成像通過引入強(qiáng)化學(xué)習(xí)中的DQN算法,可以獲得適用于不同目標(biāo)物體的最優(yōu)化采樣順序[15]。作為一種基于價值的強(qiáng)化學(xué)習(xí)算法,DQN通過Q值實現(xiàn)動作的選擇,選擇當(dāng)前狀態(tài)下Q值最大的動作執(zhí)行,即

式中:s和a分別為當(dāng)前的狀態(tài)和動作,π為當(dāng)前決策。DQN的Q值分配由神經(jīng)網(wǎng)絡(luò)給出,通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練獲得最優(yōu)Q值分配,從而實現(xiàn)最優(yōu)決策。神經(jīng)網(wǎng)絡(luò)的輸入則為當(dāng)前狀態(tài),這樣就很好地建立了狀態(tài)到Q值再到動作的對應(yīng)關(guān)系。Q值的更新對應(yīng)于網(wǎng)絡(luò)更新,訓(xùn)練網(wǎng)絡(luò)優(yōu)化網(wǎng)絡(luò)參數(shù),最終按照網(wǎng)絡(luò)輸出Q值進(jìn)行決策,即可實現(xiàn)最優(yōu)決策。神經(jīng)網(wǎng)絡(luò)的損失函數(shù)可表示為

式中:L為損失函數(shù);r為動作執(zhí)行的獎勵,評估動作的優(yōu)劣;γ為折扣系數(shù);M為歷史經(jīng)驗內(nèi)存,存儲智能體走過的先前經(jīng)驗,每一次與環(huán)境的交互都將四元組(s,a,r,s+1)存入M中作為訓(xùn)練數(shù)據(jù);θ?和θ為兩個不同網(wǎng)絡(luò)的參數(shù),θ?用于保存先前的網(wǎng)絡(luò)參數(shù),θ用于保存當(dāng)前的網(wǎng)絡(luò)參數(shù),因此DQN可以追逐滯后的參數(shù),從而加速網(wǎng)絡(luò)訓(xùn)練。DQN可根據(jù)損失函數(shù)優(yōu)化網(wǎng)絡(luò)參數(shù)。

DQN-Hadamard單像素成像即通過DQN方式進(jìn)行Hadamard單像素成像采樣順序的優(yōu)化。對于Hadamard單像素成像,其變換域呈現(xiàn)頻譜分布,因此單像素采樣過程可以視為Hadamard頻譜的逐漸補(bǔ)足過程。設(shè)置一個與頻譜相同大小的二值矩陣作為狀態(tài)矩陣s,已采樣區(qū)域為1,未采樣區(qū)域為0;動作a即為采樣過程,對應(yīng)將s中的元素由0置1的過程。

獲得最優(yōu)采樣的過程如下:對目標(biāo)物體全采樣,獲得其Hadamard頻譜。DQN的每一步執(zhí)行即根據(jù)當(dāng)前的狀態(tài)矩陣s執(zhí)行當(dāng)前動作a,狀態(tài)跳轉(zhuǎn)至下一步狀態(tài)s+1,狀態(tài)矩陣s+1與Hadamard頻譜做對應(yīng)位置乘積,獲得當(dāng)前的部分頻譜;根據(jù)部分頻譜重建降采樣目標(biāo)圖像,并計算本次重建圖像的結(jié)構(gòu)相似度(SSIM),根據(jù)SSIM值的提升計算獎勵函數(shù)r并反饋給DQN,從而指導(dǎo)后續(xù)訓(xùn)練。經(jīng)過訓(xùn)練,DQN最終可以預(yù)測一組狀態(tài)矩陣序列,對應(yīng)最優(yōu)的掩膜圖案投射順序。

1.3 ARM與FPGA協(xié)同單像素成像系統(tǒng)

憑借LED的高速開關(guān)特性,LED陣列可以用作高速空間光調(diào)制器,并且其二值調(diào)制的特性更適用于Hadamard單像素成像的基底圖案形式。LED陣列由陣列擺放的LED依照共陰或共陽的連接方式集成。對于分辨率為M×N的LED陣列,共有M個行選通端口、N個列選通端口。由于LED陣列的共陰共陽連接關(guān)系,LED陣列不同行之間的點(diǎn)亮邏輯存在制約關(guān)系,不能完成任意圖案的顯示。解決行間制約的常規(guī)控制方式為掃描方式,對于每一行進(jìn)行分時選通,通過視覺暫留效果實現(xiàn)特定圖案的投射。但是掃描方案點(diǎn)亮LED陣列共需M個點(diǎn)亮周期,投射效率較慢,不適用于高速的單像素體系。

對共M+N個端口進(jìn)行并行控制可以實現(xiàn)高速的基底圖案投射,但是此時需要將部分具有行間制約關(guān)系的基底圖案進(jìn)行分解。如圖1(a)所示的基底圖案可分解為圖1(b)、(c)所示的兩個不受行間制約關(guān)系的基底圖案,將其分時投射,此時僅需兩個點(diǎn)亮周期即可完成一幅基底圖案的投射。

圖1 LED陣列基底圖案分解過程。(a)原始基底圖案;(b),(c)分解后的圖案Fig.1 Decomposition of basic patterns on LED array.(a)Original pattern;(b)and(c)Decomposed pattern

現(xiàn)有方案使用FPGA作為主控對LED陣列進(jìn)行并行控制,可實現(xiàn)每秒5×105個基底圖案的投射,對應(yīng)32 pixel×32 pixel的分辨率,25%采樣率下1000 frame/s的成像速度。然而此方案為實現(xiàn)DQN-Hadamard單像素成像的部署存在兩個問題:1)此方案下基底圖案在FPGA內(nèi)部產(chǎn)生,在不涉及采樣順序的情況下,是一種行之有效的方案。但由于FPGA內(nèi)部不具備指令系統(tǒng),大規(guī)模算法的實現(xiàn)消耗資源較大?；讏D案的生成算法本身實現(xiàn)較為復(fù)雜,而降采樣算法的移植需要重新規(guī)劃基底圖案的生成順序,這就增加了DQN-Hadamard單像素成像算法在FPGA部署的成本和復(fù)雜度。2)由于LED陣列的高速切換,對應(yīng)單像素探測器的采集速度成為制約成像速度的主要因素,為突破采集速度的制約,需使用分立的超高速采集卡等高性能采集設(shè)備,增加了單像素成像的總體裝置成本。

因此,本工作提出了基于ARM和FPGA協(xié)同實現(xiàn)DQN-Hadamard單像素成像的方案。在主控系統(tǒng)方面,選用Xilinx公司的ZYNQ 7020(XC7Z020-2CLGI)作為主控,其由ARM核心與FPGA外部邏輯資源構(gòu)成,二者之間通過AXI總線連接,結(jié)合二者優(yōu)點(diǎn),更加適配單像素成像系統(tǒng)的需求。FPGA資源部分稱為可編程邏輯(PL),基于其并行處理能力可實現(xiàn)LED陣列的高速控制;ARM核稱為處理系統(tǒng)(PS),基于其處理系統(tǒng)可實現(xiàn)基底圖案生成和排序功能。ZYNQ 7020的使用將復(fù)雜的基底圖案生成和排序步驟獨(dú)立出來,使用處理系統(tǒng)實現(xiàn),節(jié)約了FPGA內(nèi)部邏輯資源。在單像素采集方面,使用集成的AD采集模塊(AN9238),犧牲了一定的成像速度,降低了裝置成本。此時,AD采集、LED陣列控制、圖像重建和顯示均可通過ZYNQ 7020實現(xiàn),從而實現(xiàn)了單像素成像系統(tǒng)的集成化。

根據(jù)上述方案,搭建如圖2所示的單像素成像系統(tǒng),用ZYNQ 7020作為主控實現(xiàn)LED陣列(1099BS,16 pixel×16 pixel)的高速控制和AN9238模塊的高速采集,并通過采集數(shù)值實現(xiàn)實時圖像重建。ZYNQ 7020內(nèi)部功能分配如圖3所示,基底圖案預(yù)先由PS端生成,并按照特定順序通過AXI總線寫入PL端的BRAM資源中。實時單像素成像過程中,從BRAM中讀出單個基底圖案完成LED陣列驅(qū)動,進(jìn)行基底圖案投射,同時對單像素探測器(CH253)采集的光強(qiáng)信號進(jìn)行實時采集,并進(jìn)行圖像重建,整個系統(tǒng)成本約3600元。

圖2 ARM與FPGA協(xié)同單像素成像系統(tǒng)結(jié)構(gòu)Fig.2 Architecture of ARM and FPGA cooperation single pixel imaging system

圖3 ARM與FPGA單像素成像系統(tǒng)功能分配Fig.3 Function allocation of ARM and FPGA cooperation single-pixel imaging system

圖像重建過程采用(2)式所示的累加重建方式,避免了Hadamard反變換過程。并且在累加過程中使用分步累加重建方式,即讀取單個基底圖案后進(jìn)行投影與采集,并使用探測光強(qiáng)作為系數(shù)與其基底圖案相乘,進(jìn)行部分目標(biāo)重建,待所有基底圖案投射完成后進(jìn)行整體目標(biāo)重建,因此單像素成像過程滿足如圖4所示的執(zhí)行順序。上述方案中部分目標(biāo)重建與基底圖案讀取占用資源不沖突,因此,相鄰兩個基底圖案的讀取與重建過程可以在同一時間內(nèi)并行執(zhí)行,進(jìn)一步壓縮了成像時間,提高了成像速度。

1.4 DQN-Hadamard單像素成像算法移植

基于搭建的單像素成像系統(tǒng),采用離線訓(xùn)練方案實現(xiàn)DQN-Hadamard單像素成像算法的移植。算法移植包含以下過程:1)首先通過搭建系統(tǒng)獲取目標(biāo)物體全采樣重建圖像;2)基于ILA調(diào)試平臺將全采樣圖像導(dǎo)入至PC,實現(xiàn)DQN網(wǎng)絡(luò)的訓(xùn)練;3)將訓(xùn)練后獲得的優(yōu)化采樣順序通過PS端導(dǎo)入單像素成像系統(tǒng),實現(xiàn)整體功能。

不同于ZYNQ中部署神經(jīng)網(wǎng)絡(luò)的在線訓(xùn)練方案,離線訓(xùn)練方案可以運(yùn)用PC的優(yōu)異性能進(jìn)行訓(xùn)練,更加適用于成像分辨率較高的場合。DQN離線訓(xùn)練采用的參數(shù)為雙層全連接神經(jīng)網(wǎng)絡(luò),每層50個神經(jīng)元,折扣系數(shù)為0.9,經(jīng)驗緩存大小為10000,每100步交換目標(biāo)網(wǎng)絡(luò)與當(dāng)前網(wǎng)絡(luò)參數(shù)。

2 成像結(jié)果分析

對于搭建的投射式單像素成像系統(tǒng),使用如圖5所示的鏤空字模作為目標(biāo)物體,全采樣目標(biāo)重建結(jié)果如圖6所示,對應(yīng)16 pixel×16 pixel的分辨率,已經(jīng)可見目標(biāo)物體的大體輪廓,但是由于LED陣列分辨率較低,目標(biāo)物體的形貌并不能精確重建,尤其是細(xì)節(jié)較多的目標(biāo)物體邊緣,如字?！?”的右上角出現(xiàn)模糊現(xiàn)象。此外,LED的照明光束呈現(xiàn)離散點(diǎn)陣狀態(tài),由于字模放置位置不同,其筆畫可能未被LED完整照明,或者筆畫邊緣切割部分LED點(diǎn),使得最終重建筆畫寬度呈現(xiàn)2個像素到3個像素的跳變。近年來,Micro-LED陣列技術(shù)發(fā)展迅速,未來可能能夠解決目前LED陣列尺寸大且分辨率低的問題。

圖5 用作目標(biāo)物體的鏤空字模Fig.5 Hollow fonts as target objects

圖6 目標(biāo)物體全采樣重建圖像Fig.6 Full sampling reconstruction results of target objects

在搭建的ARM與FPGA協(xié)同單像素成像系統(tǒng)中,10%、20%、30%、40%采樣率下DQN-Hadamard單像素成像(DQN-HSPI)結(jié)果如圖7所示,并在相同采樣率下加入自適應(yīng)斜Z字形采樣的Hadamard單像素成像(AZ-HSPI)重建結(jié)果作為對比。以SSIM與峰值信噪比(PSNR)作為圖像評估標(biāo)準(zhǔn),圖7對應(yīng)重建圖像定量結(jié)果如表1和表2所示。觀察重建結(jié)果可以看到,得益于DQN的優(yōu)化作用,DQN-HSPI方式均可以取得優(yōu)于AZ-HSPI的成像效果,并且采樣率越低優(yōu)勢越大。在30%采樣率下,目標(biāo)物體已經(jīng)取得較好的重建效果,由于Hadamard單像素成像過程中使用差分單像素成像方式,并且探測光強(qiáng)需累加以消除噪聲,根據(jù)圖4,成像時間對應(yīng)為

圖4 ARM與FPGA單像素成像系統(tǒng)主體功能執(zhí)行順序Fig.4 Main function execution sequence of ARM and FPGA cooperation single-pixel imaging system

圖7 不同采樣率下AZ-HSPI與DQN-SPI成像結(jié)果Fig.7 Reconstructed images using AZ-HSPI and DQN-SPI at different sampling ratios

式中:n為總基底圖案總數(shù)和成像分辨率,取256;r為采樣率,取30%;m為探測平均次數(shù),取2000;clk1與clk2分別為目標(biāo)重建時鐘與AD采集時鐘,取250 M與60 M。此時成像時間理論上應(yīng)為5.27 ms,實際測量為5.2 ms,對應(yīng)190 frame/s的成像速度。

在10%的采樣率下,用AZ-HSPI方式重建圖像均由大像素塊構(gòu)成,不能夠重建目標(biāo)物體的基本形貌,而用DQN-HSPI方式重建圖像雖然無法重建目標(biāo)物體形貌,但已經(jīng)顯現(xiàn)目標(biāo)物體雛形。這與表1和表2相符,在10%采樣率下,四個目標(biāo)物體DQN-HSPI方式的SSIM均高于AZ-HSPI方式20%～40%,PSNR數(shù)值也高3 dB以上。與之相對,40%采樣率下兩種方式均已較好地重建了目標(biāo)物體,對應(yīng)重建圖像的SSIM數(shù)值差距也均小于10%。兩種方式相對優(yōu)勢的縮小是因為隨著采樣率提高,兩種方式的采樣點(diǎn)逐漸重合,相對削弱了DQN-HSPI的優(yōu)化效果。

表1 不同采樣率下AZ-HSPI與DQN-SPI重建圖像的SSIMTable 1 SSIM of the reconstructed images using AZ-HSPI and DQN-SPI at different sampling ratios

表2 不同采樣率下AZ-HSPI與DQN-SPI重建圖像的PSNRTable 2 PSNR of the reconstructed images using AZ-HSPI and DQN-SPI at different sampling ratios

以上成像結(jié)果表明,DQN-Hadamard單像素成像方式在搭建的ARM與FPGA協(xié)同單像素成像系統(tǒng)中能夠獲得優(yōu)于AZ-HSPI規(guī)劃的采樣順序,從而在較低的采樣率下即可重建出目標(biāo)物體圖像,且成像速度更快。

圖7對應(yīng)圖像的頻譜如圖8所示。AZ-HSPI的頻譜采樣點(diǎn)均依照規(guī)劃的斜Z字形路徑,限制于頻譜左上角的低頻部分,而DQN-Hadamard的頻譜采樣點(diǎn)存在低頻聚集趨勢,但是其高頻也存在零星采樣點(diǎn)。頻譜的低頻包含目標(biāo)物體的主體信息,高頻部分包含目標(biāo)物體細(xì)節(jié),因此低采樣率下AZ-HSPI方式的重建圖像雖然重構(gòu)了目標(biāo)物體的主體形狀,卻忽略了目標(biāo)物體的細(xì)節(jié)修飾,致使重建圖像出現(xiàn)較多大像素塊,成像效果不佳。而DQN-Hadamard在低采樣率下盡可能重建具有較高SSIM值的目標(biāo)圖像,兼顧了高頻的圖像細(xì)節(jié),因此取得了遠(yuǎn)好于AZ-HSPI方式的成像效果。這種優(yōu)化效果在不同字模上可以更好地體現(xiàn),字?！?”與“5”具有曲邊,相較于字?！?”與“7”具有更多高頻細(xì)節(jié),而AZ-HSPI方式將采樣點(diǎn)限制于低頻區(qū)域,使得低采樣率下字?！?”與“5”的重建效果較差,而DQN-Hadamard方式在低采樣率下也會適當(dāng)采樣高頻信息,重建效果相對較優(yōu)。

圖8 不同采樣率下AZ-HSPI與DQN-SPI成像頻譜Fig.8 Spectra of the reconstructed images using AZ-HSPI and DQN-SPI respectively at different sampling ratios

3 結(jié)論

本研究提出的軟硬件結(jié)合提升單像素成像速度的方案使用低成本的LED陣列投射基底圖案,搭建了ARM與FPGA協(xié)同的單像素成像系統(tǒng),并結(jié)合DQN-Hadamard單像素成像算法,軟硬件協(xié)同實現(xiàn)了低成本的單像素成像系統(tǒng)。成像結(jié)果表明,搭建的單像素成像系統(tǒng)可實現(xiàn)高速的差分Hadamard單像素成像,結(jié)合DQN-Hadamard單像素成像算法,在30%采樣率下即可較好重建目標(biāo)物體圖像,在較低成本下實現(xiàn)了較快的成像速度,驗證了低成本軟硬件協(xié)同單像素成像提速的可行性,可為單像素成像算法的硬件搭載研究提供參考。