柳 磊，錢蕓生

〈系統(tǒng)與設(shè)計〉

基于FPGA的低照度圖像采集與處理系統(tǒng)研究

柳 磊，錢蕓生

（南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院，江蘇 南京 210094）

針對低照度圖像亮度低、噪聲高和邊緣模糊等問題，基于Xilinx公司的Artix-7系列FPGA芯片，通過驅(qū)動微光性能良好的XQE-1310圖像傳感器，對探測器采集的視頻信號進行濾波和邊緣檢測，完成了低照度圖像的采集和處理等一系列操作，最后將處理過的視頻信號通過CameraLink視頻格式實時顯示，設(shè)計了一套微光夜視系統(tǒng)。實驗結(jié)果表明，該系統(tǒng)的最低工作照度可達10－2lx量級，濾波算法在保持圖像邊緣信息的同時有效濾除了圖像中的椒鹽噪聲，自適應(yīng)邊緣檢測算法可以根據(jù)照度水平實時調(diào)整閾值，凸顯了低照度環(huán)境下物體的輪廓信息。系統(tǒng)充分利用了FPGA（Field Programmable Gate Array）速度快、效率高的優(yōu)勢，最后的成像結(jié)果清晰穩(wěn)定，便于人眼觀察。

低照度圖像；濾波；邊緣檢測；FPGA

0 引言

良好的光照環(huán)境是獲得高質(zhì)量圖像的基礎(chǔ)，然而在實際生活中存在陰雨天氣、夜晚等光照不足的情況。與可見光圖像相比，低照度視頻圖像中的灰度值總體偏小，各個相鄰像素間的相關(guān)性大，輪廓等邊緣像素點對應(yīng)的灰度值與非邊緣的鄰域像素點對應(yīng)的灰度值差異小，且還具有信噪比低等缺點[1]。因此，在低照度環(huán)境下，可以借助微光夜視器件來采集視頻圖像以供人眼觀察。CMOS（Complementary Metal Oxide Semiconductor）圖像傳感器問世于20世紀60年代末，與CCD器件相比，具有高集成、低成本、低功耗的優(yōu)勢，目前已經(jīng)被廣泛應(yīng)用于工業(yè)、監(jiān)控、航空和航天等諸多領(lǐng)域。目前，國際上致力于低照度CMOS芯片研發(fā)的公司包括SONY、PHOTONIS、SiOnyx等公司，國內(nèi)的銳芯微電子有限公司和長春長光辰芯光電技術(shù)有限公司生產(chǎn)的超低照度CMOS圖像傳感器成像效果也已經(jīng)達到國際先進水平。

本文以Xilinx公司的Artix-7系列FPGA為主控芯片，結(jié)合其運行速度快、編程靈活等特點，基于SiOnyx公司生產(chǎn)的XQE-1310型CMOS圖像傳感器設(shè)計了一套微光夜視系統(tǒng)，對探測器輸出的分辨率為1280×1024×12bits的圖像進行實時采集、去噪和邊緣檢測處理，實現(xiàn)在照度為10－2lx量級的環(huán)境下清晰成像，同時能根據(jù)圖像總體灰度值自適應(yīng)地檢測出物體邊緣，對低照度探測有一定的應(yīng)用價值。

1 微光夜視系統(tǒng)總體框架設(shè)計

本次設(shè)計的微光夜視系統(tǒng)以FPGA控制器為核心，包括了探測器驅(qū)動、圖像采集、處理和顯示模塊[2]，總體框架設(shè)計如圖1所示。

該系統(tǒng)使用XQE-1310芯片采集圖像，其有效像素陣列為1280×1024，經(jīng)測試，該芯片的最低成像照度在10－2lx量級，具有良好的低照度性能。當(dāng)系統(tǒng)工作時，首先由IIC驅(qū)動模塊配置圖像傳感器芯片內(nèi)部寄存器來設(shè)置芯片工作模式，寄存器配置完成后，傳感器會輸出85MHz時鐘、圖像數(shù)據(jù)和兩個同步信號，這些信號被FPGA接收，再通過去噪和邊緣檢測處理模塊之后，輸出到顯示模塊進行編碼，最后由CameraLink接口傳輸?shù)讲杉∣R-X1C0-XLB00，經(jīng)過采集卡解碼后實時顯示在其配套軟件上。系統(tǒng)采用了模塊化的設(shè)計思想，模塊之間的流水線操作不僅可以節(jié)約資源，還增加了數(shù)據(jù)吞吐量，提高了系統(tǒng)運行速度，以達到最高的實時性。

圖1 微光夜視系統(tǒng)總體框架設(shè)計

2 系統(tǒng)邏輯設(shè)計

2.1 IIC驅(qū)動模塊

傳感器通過兩線通信接口與外部主機系統(tǒng)進行通信。低層協(xié)議遵循標準IIC協(xié)議，高級協(xié)議使用7位從機地址、16位索引地址和16位數(shù)據(jù)字。IIC總線的時序圖如圖2所示。

圖2 IIC寫操作時序圖

本文使用Xilinx公司的嵌入式軟核Microblaze對通用模塊進行設(shè)計，調(diào)用I2C_Write_16BitReg_ Address_2ByteData函數(shù)實現(xiàn)數(shù)據(jù)寫入，其中將7位器件地址、1位讀寫判斷、16位寄存器地址和16位寄存器數(shù)據(jù)設(shè)置為可修改參數(shù)，方便在實際工作時對芯片進行細微調(diào)整，同時保證代碼的可讀性和可維護性。測試時，芯片從機地址為0x6C，對地址0x0003寫入數(shù)據(jù)0x0001后再讀出，使用示波器在芯片對應(yīng)管腳上采集信號，如圖3所示，上半部分波形為SDA，下半部分波形為SCL，從波形圖中可以看出芯片對于寫入的數(shù)據(jù)可以正確讀出，因此可以對芯片進行內(nèi)部寄存器配置。

圖3 IIC測試時序信號

2.2 去噪模塊

由于低照度圖像存在噪聲大的問題，為了提高圖像信噪比，同時盡可能減少噪聲對邊緣檢測結(jié)果的影響，所以必須先對圖像進行去噪以防止由于噪聲而引起錯誤的檢測。為了在去除噪聲的同時還能保持圖像邊緣信息，本文使用中值濾波算法對圖像進行降噪處理，該步驟將去除圖像中的突發(fā)噪聲，同時減少噪聲對邊緣檢測的影響。中值濾波是基于排序統(tǒng)計理論的一種能有效抑制噪聲的非線性信號處理技術(shù)，其核心是選取3×3結(jié)構(gòu)的二維滑動模板，將模板內(nèi)的像素進行從大到小排序后，選取中間值來代替模板中心的像素值[3]。

中值濾波的硬件實現(xiàn)方法如圖4所示。

生成3×3窗口的方式是使用一個真雙口RAM用于行數(shù)據(jù)緩存。真雙口RAM是Xilinx公司通用IP核，具有A、B兩組輸入輸出端口。由于探測器輸出的圖像分辨率為1280×1024，因此一行數(shù)據(jù)有1280個，為避免兩個端口地址重合導(dǎo)致數(shù)據(jù)被覆蓋，將端口A的地址規(guī)定在0～2047，端口B的地址規(guī)定在2048～4095，選擇Read First Mode，那么針對輸入地址，每次先將該地址上的數(shù)據(jù)讀出，再將輸入數(shù)據(jù)寫入該地址。將端口A的輸出數(shù)據(jù)輸入到端口B，則B端口的輸出數(shù)據(jù)相比于A端口的輸出數(shù)據(jù)延遲了一行，端口A的輸出數(shù)據(jù)相比于當(dāng)前數(shù)據(jù)也延遲了一行，那么兩個端口輸出的數(shù)據(jù)與當(dāng)前的圖像數(shù)據(jù)即可組成矩陣的3行；由于下一列數(shù)據(jù)與當(dāng)前列數(shù)據(jù)相比慢了一個時鐘周期，因此使用寄存器對數(shù)據(jù)進行打拍延時處理就可以劃分出矩陣的3列，其仿真波形如圖5所示。

排序步驟如下所示：

1）對矩陣的每一列劃分出最大值data_max、中間值data_mid和最小值data_min；

2）在3個最大值之間劃分出最小值data_min_ in_max，在3個中間值之間劃分出中間值data_mid_ in_mid，在3個最小值之間劃分出最大值data_max_ in_min；

3）在data_min_in_max、data_mid_in_mid和data_ max_in_min三個數(shù)據(jù)之間求取中值，求得的數(shù)據(jù)即為該3×3矩陣的中間值[4]。

在排序完成后，利用軟件自帶的仿真工具進行仿真后發(fā)現(xiàn)，從數(shù)據(jù)輸入到排序完成共耗時4個時鐘周期，因此對同步信號延時4個時鐘周期，使其與數(shù)據(jù)對齊。在輸出數(shù)據(jù)時，還需保留每一幀圖像的邊界，即保留圖像的第一行、最后一行、第一列和最后一列數(shù)據(jù)。

使用MATLAB對一幅圖像添加椒鹽噪聲，通過其自帶的中值濾波函數(shù)和FPGA對于噪聲圖像進行中值濾波的對比效果如圖6所示。

從圖6中可以看出，中值濾波算法能有效去除圖像中的椒鹽噪聲；根據(jù)文獻[5]，使用歸一化均方誤差（normalized mean squared error，NMSE）和峰值信噪比（peak signal to noise ratio，PSNR）作為評價濾波效果的客觀指標，分別計算出MATLAB和FPGA濾波后的圖像的NMSE和PSNR如表1所示，從表中可以看出硬件實現(xiàn)的中值濾波算法與仿真效果相差不大。

圖4 中值濾波流程圖

圖5 3×3窗口仿真波形

表1 軟件和硬件中值濾波算法結(jié)果比較

2.3 邊緣檢測模塊

圖像邊緣是指周圍像素灰度值有階躍變化或屋頂變化的像素點集合，反映了圖像灰度的不連續(xù)性[6]。邊緣檢測是圖像處理中非常重要的研究領(lǐng)域，其效果好壞將會對后續(xù)處理的準確性與難易程度有直接影響?；谝浑A導(dǎo)數(shù)的邊緣檢測算法是目前應(yīng)用最廣泛的邊緣檢測方法，本文基于經(jīng)典的Sobel檢測算法對圖像進行邊緣檢測。將原始圖像進行濾波后得到圖像(,)，其梯度值可利用2個3×3模板與選定的二維圖像中同樣大小區(qū)域內(nèi)的數(shù)據(jù)進行卷積而得到。將梯度值與設(shè)定的閾值進行比較，若所得結(jié)果大于設(shè)定的閾值，該區(qū)域即處于圖像邊緣，將矩陣中心的灰度值用全1表示；若所得結(jié)果小于設(shè)定的閾值，將矩陣中心的灰度值用全0表示，即梯度值的閾值抑制。對于應(yīng)用的場景不同，圖像的灰度值與梯度值也不同，因此針對不同的環(huán)境照度需要設(shè)置不同的閾值[7]。本文針對輸入圖像的灰度值，自動選取前一幀圖像的梯度均值作為當(dāng)前幀圖像的梯度閾值。最后，使用模板[1,1]對檢測后的二值圖像進行腐蝕操作，以此來消除檢測得到的孤立點并細化邊緣。Sobel邊緣檢測的流程如圖7所示。

復(fù)用3×3矩陣模塊，將中值濾波模塊的輸出數(shù)據(jù)連接到該模塊的輸入，將矩陣輸出的數(shù)據(jù)與Sobel算子進行卷積，求取圖像的水平梯度G和垂直梯度G[8]。卷積模板如圖8所示。

圖7 邊緣檢測流程圖

圖8 Sobel算子卷積模板

G和G計算公式為：

在計算時需加入判斷，使得G和G均為正整數(shù)。梯度的平方2的計算公式為：

為減少計算量節(jié)約資源，使用梯度的平方來代替梯度值。

當(dāng)梯度計算出來以后，使用sum_of_grad寄存器計算一幀圖像的梯度總值，在每幀圖像的最后把該幀圖像的梯度均值mean_of_grad賦值給梯度閾值tres_of_grad，梯度閾值只在每一幀的開始改變一次。數(shù)據(jù)輸出前，將當(dāng)前的梯度與計算出的閾值進行比較，若梯度大于閾值，那么就認為該點為邊緣點，用白色（全1）表示，如果梯度小于閾值，那么就認為該點是平滑的點，用黑色（全0）表示[9-10]。

最后，使用寄存器edge_pre對當(dāng)前梯度edge_of_matrix進行打拍處理，之后比較兩者，若均為全1則保留檢測結(jié)果，否則將edge_of_matrix賦值為0，該操作可以去除一部分檢測出的孤立點，同時達到水平方向細化邊緣的效果。

使用MATLAB自帶的邊緣檢測函數(shù)和FPGA對于一幅靜態(tài)圖像邊緣檢測處理結(jié)果如圖9所示。

從圖9中可以看出，基于FPGA的邊緣檢測算法能有效提取出圖像的邊緣；根據(jù)文獻[11]，Abdou-Pratt提出的邊緣檢測性能品質(zhì)公式可以客觀評價邊緣檢測算法效果，但是由于缺乏圖像實際的邊緣信息，故使用手工提取的邊緣代替[12]，MATLAB計算得到其自帶算法處理結(jié)果圖的Pratt品質(zhì)因數(shù)為0.3318，F(xiàn)PGA邊緣檢測結(jié)果圖的Pratt品質(zhì)因數(shù)為0.1240，可見在邊緣檢測算法實現(xiàn)上硬件處理尚有不足。通過對比分析，得出上述現(xiàn)象的原因是二者在判斷邊緣時選用的閾值不同，后續(xù)可通過軟件擬合出圖像梯度與最佳閾值的關(guān)系來改進算法。

圖9 靜態(tài)圖像邊緣檢測結(jié)果顯示

2.4 顯示模塊

Camera Link是一種基于視頻應(yīng)用的通信接口，它是由Channel Link技術(shù)擴展而來。Channel Link的操作如圖10所示。

Channel Link由一個驅(qū)動器和一個接收器對組成。該驅(qū)動器接受28個單端數(shù)據(jù)信號和一個單端時鐘，其中數(shù)據(jù)按照7:1的比例串行化為4組LVDS數(shù)據(jù)流，4組數(shù)據(jù)流和一個專用時鐘在5個LVDS對上驅(qū)動；接收器接收4個LVDS數(shù)據(jù)流和LVDS時鐘，然后驅(qū)動28位數(shù)據(jù)和一個時鐘到主板[11]。

顯示模塊基于Base型結(jié)構(gòu)的Camera Link傳輸模式，將12位圖像數(shù)據(jù)、場同步、行同步和數(shù)據(jù)有效信號分配到各個端口，這些信號被FPGA發(fā)送到DS90CR285芯片后被轉(zhuǎn)換為4組LVDS數(shù)據(jù)流，鎖相環(huán)時鐘通過第5條LVDS鏈路與數(shù)據(jù)流并行發(fā)送。這5路LVDS信號通過連線傳輸?shù)讲杉ㄉ?，被采集卡上的接收器芯片解碼后顯示在其配套軟件上。

3 實驗結(jié)果與分析

實驗結(jié)果如圖11所示，成像時的環(huán)境照度為5×10－2lx，距離為5m，設(shè)置芯片的曝光時間為143ms。

圖11(a)為探測器采集到的原始圖像，從圖中可以看出，在當(dāng)前照度環(huán)境下可以辨認出圖中的字跡，但是由于探測器自身缺陷等問題，肉眼可見有許多突發(fā)的鹽粒噪聲。圖(b)為添加去噪算法后的圖像，可以看出原圖中的噪聲被有效濾除了，同時由于中值濾波是非線性濾波，物體的邊緣沒有受到太多影響。圖(c)為添加邊緣檢測算法后的圖像，該算法可以將字跡的邊緣提取出來，并且由于算法對圖像進行了二值化處理，因此物體的輪廓更易被識別，但是同時灰度跨度較大的非邊緣點也會被檢測出來。

在圖像處理的速度上，本系統(tǒng)的工作頻率為85MHz，針對分辨率為1280×1024的12位圖像進行處理時，根據(jù)圖12所示的仿真波形可以看出，F(xiàn)PGA處理一幀圖像的總時間約為23ms。

使用MATLAB軟件“運行并計時”功能記錄對一幀分辨率同為1280×1024的靜態(tài)圖像進行濾波和邊緣檢測處理，MATLAB處理一幀圖像的總時間為658ms，速度遠遠慢于FPGA，由此可見，F(xiàn)PGA在圖像處理方面有極大的速度優(yōu)勢。

圖11 實驗結(jié)果圖

圖12 FPGA中值濾波和邊緣檢測模塊仿真波形

4 結(jié)論

通過分析低照度圖像的特點，基于FPGA設(shè)計了低照度環(huán)境下的視頻采集與處理系統(tǒng)。首先，F(xiàn)PGA通過IIC總線配置CMOS圖像傳感器內(nèi)部寄存器驅(qū)動芯片進行圖像采集；接著，F(xiàn)PGA對接收到的圖像數(shù)據(jù)進行中值濾波來降低圖像噪聲，并通過改進的Sobel邊緣檢測算法提取出邊緣使得物體的輪廓更易被識別；最后，將處理過的視頻數(shù)據(jù)進行編碼后通過Camera Link接口傳輸?shù)讲杉ǎ刹杉ń獯a并顯示。在此過程中，充分利用FPGA的并行處理特性，模塊之間采用流水線設(shè)計，在節(jié)約硬件資源的同時大幅提升了處理速度。實驗結(jié)果表明，成像系統(tǒng)在5×10－2lx照度環(huán)境下可獲得清晰的圖像，且能凸顯出物體輪廓信息。經(jīng)過對圖像算法的量化對比分析，本文通過FPGA實現(xiàn)的中值濾波算法與軟件仿真的效果相仿，但是邊緣檢測算法與仿真效果稍有差距，說明在自適應(yīng)平臺閾值的設(shè)置方法上有待改進。

[1] 方明, 李洪娜, 雷立宏, 等. 低照度視頻圖像增強算法綜述[J]. 長春理工大學(xué)學(xué)報: 自然科學(xué)版, 2016, 39(3): 56-64, 69.

FANG Ming, LI Hongna, LEI Lihong, et al. Overview of low-light video image enhancement algorithms[J].: Natural Science Edition, 2016, 39(3): 56-64, 69.

[2] 趙紅偉, 劉凱麗, 張偉, 等. 基于FPGA的光電成像與顯示電路設(shè)計[J].光電子技術(shù), 2019, 39(3): 205-209.

ZHAO Hongwei, LIU Kaili, ZHANG Wei, et al. Design of photoelectric imaging and display circuit based on FPGA[J]., 2019, 39(3): 205-209.

[3] 朱虹. 數(shù)字圖像處理基礎(chǔ)[M]. 北京: 科學(xué)出版社, 2005.

ZHU Hong.[M]. Beijing: Science Press, 2005.

[4] 韓團軍. 快速中值濾波算法研究及其FPGA硬件實現(xiàn)[J]. 電子器件, 2017, 40(3): 697-701.

HAN Tuanjun. Research on Fast Median Filter Algorithm and Its FPGA Hardware Implementation[J]., 2017, 40(3): 697-701.

[5] 黃夢濤, 胡永才. 改進自適應(yīng)中值濾波的低照度煙霧圖像去噪[J]. 計算機工程與設(shè)計, 2018, 39(6): 1659-1663.

HUANG Mengtao, HU Yongcai. Improved adaptive median filter denoising in smoking image of low illumination[J]., 2018, 39(6): 1659-1663.

[6] Gonzalez R C, Woods R E.[M]. 3rdEdition, Beijing Publishing House of Electronics Industry, 2011: 445-465.

[7] 葉惠嬌, 冉全, 成果. FPGA圖像邊緣檢測系統(tǒng)的設(shè)計與實現(xiàn)[J]. 計算機應(yīng)用與軟件, 2018, 35(12): 237-240, 302.

YE Huijiao, RAN Quan, CHENG Guo. Design and Implementation of FPGA Image Edge Detection System[J]., 2018, 35(12): 237-240, 302.

[8] 楊帆, 張皓, 馬新文, 等. 基于FPGA的圖像處理系統(tǒng)[J]. 華中科技大學(xué)學(xué)報: 自然科學(xué)版, 2015, 43(2): 119-123.

YANG Fan, ZHANG Hao, MA Xinwen, et al. Image processing system based on FPGA[J].: Natural Science Edition, 2015, 43(2): 119-123.

[9] 林源晟. 基于FPGA的圖像邊緣檢測系統(tǒng)設(shè)計[D]. 西安: 西安電子科技大學(xué), 2014.

LIN Yuansheng. FPGA-Based Image Edge Detection System Design[D]. Xi’an: Xidian University, 2014.

[10] 毛棟. 基于FPGA的高速CMOS成像系統(tǒng)設(shè)計[D]. 西安: 中國科學(xué)院大學(xué)(中國科學(xué)院西安光學(xué)精密機械研究所), 2019.

MAO Dong. Design of High-speed CMOS Imaging System Based on FPGA[D]. Xi’an: University of Chinese Academy of Sciences (Xi'an Institute of Optics and Fine Mechanics, Chinese Academy of Sciences), 2019.

[11] 磨少清. 邊緣檢測及其評價方法的研究[D]. 天津: 天津大學(xué), 2011.

MO Shaoqing. Research on Edge Detection and Its Evaluation Method[D]. Tianjin: Tianjin University, 2011.

[12] 陳炳文, 王文偉, 梅天燦, 等. 利用比例分解和嵌套窗口進行彩色圖像邊緣提取[J]. 武漢大學(xué)學(xué)報: 信息科學(xué)版, 2011, 36(6): 695-698.

CHEN Bingwen, WANG Wenwei, MEI Tiancan, et al. Using scale decomposition and nested windows for color image edge extraction[J].: Information Science Edition, 2011, 36(6): 695-698.

[13] 黃德天, 劉雪超, 吳志勇, 等. 基于CameraLink的高速圖像采集處理系統(tǒng)設(shè)計[J].吉林大學(xué)學(xué)報: 工學(xué)版, 2013, 43(S1): 309-312.

HUANG Detian, LIU Xuechao, WU Zhiyong, et al. Design of high-speed image acquisition and processing system based on Camera Link[J].: Engineering and Technology Edition, 2013, 43(S1): 309-312.

A Low Illumination Image Acquisition and Processing System Based on FPGA

LIU Lei，QIAN Yunsheng

(School of Electronic and Optical Engineering, Nanjing University of Science and Technology, Nanjing 210094, China)

In terms of the problems of low brightness, high noise and blurred edges in low-illumination images, based on Xilinx's Artix-7 series FPGA chip, the XQE-1310 image sensor with good low-light performance is driven to filter and edge the video signal collected by the detector. After the detection, a series of operations such as acquisition and processing of low-light images were completed, and the processed video signals were displayed in real time through the CameraLink video format. Finally, a low-light night vision system was designed. The experimental results show that the minimum working illuminance of the system can reach the order of 10-2lx. The filtering algorithm can effectively filter the salt and pepper noise in the image while maintaining the edge information of the image. The adaptive edge detection algorithm can adjust the threshold in real time according to the illuminance level. It highlights the contour information of objects in low-light environments. The system makes full use of the advantages of fast speed and high efficiency of FPGA (Field Programmable Gate Array), and the final imaging result is clear and stable, which is convenient for human eyes to observe.

low-illumination image, filter, edge detection, FPGA

TN223

A

1001-8891(2022)05-0462-07

2021-06-17；

2021-09-23.

柳磊（1996-），女，碩士研究生，主要從事光電成像科研工作。E-mail：liulei00000416@163.com。

錢蕓生（1968-），男，教授，博士生導(dǎo)師。主要從事光電測試、圖像處理和仿真等工作。E-mail：yshqian2015@163.com。

國防科技微光重點實驗室基金。