夏桂書,何 前,魏永超,莫杜衡,李 錦

(中國民用航空飛行學院,四川廣漢 618307)

0 引言

圖像邊緣檢測是圖像處理的關(guān)鍵技術(shù)之一,對于特征提取、圖像拼接和圖像融合有著十分顯著的意義,目前使用度最高的邊緣檢測算子有Sobel算子、Prewitt算子、Laplace算子、Canny算子等[1-6]。其中Sobel算子具有抗噪強、定位精準和檢測效率高等優(yōu)點,因此大量運用于圖像的邊緣檢測中[7]。

目前的Sobel算子僅計算水平和垂直2個方向上的梯度數(shù)據(jù),閾值需要手動調(diào)節(jié),不具備自適應性,終端顯示傳輸速率低,極易出現(xiàn)邊緣定位不精準、檢測效果不佳、信號傳輸不穩(wěn)定等問題。

因此,本文擬通過以現(xiàn)場可編程門陣列FPGA為硬件平臺,加入對比度增強、多方向與自適應閾值的Sobel邊緣檢測算法和強度可調(diào)節(jié)的形態(tài)學濾波,提高邊緣檢測的定位與效果,以SDRAM作為數(shù)據(jù)緩存單元,以太網(wǎng)UDP通訊為傳輸媒介,上位機終端顯示,提高圖像顯示的實時性與穩(wěn)定性。

1 總體方案設計

系統(tǒng)總體方案包括:圖像采集單元、圖像處理單元、圖像緩存單元和圖像顯示單元。其中,圖像采集單元包括OV5640攝像頭、IIC配置、驅(qū)動和數(shù)據(jù)采集模塊;圖像處理單元包括RGB轉(zhuǎn)灰度圖、對比度增強、中值濾波、多方向與自適應閾值的Sobel邊緣檢測與強度可調(diào)節(jié)的形態(tài)學濾波;圖像緩存單元為SDRAM存儲器;圖像顯示單元由以太網(wǎng)UDP傳輸單元和上位機組成。具體方案設計如圖1所示。

圖1 系統(tǒng)總體設計

2 圖像采集單元設計

圖像采集單元的攝像頭采用OV5640圖像傳感器,通過IIC協(xié)議對攝像頭內(nèi)部寄存器參數(shù)進行相應設定,將攝像頭的輸出顯示分辨率設置為640 pixel×480 pixel,像素數(shù)據(jù)輸出格式為RGB565,幀率設置為30 fps。

3 圖像處理單元設計

3.1 RGB轉(zhuǎn)灰度圖單元

在將數(shù)據(jù)轉(zhuǎn)為灰度圖之前,需要通過移位補齊的方式將RGB565轉(zhuǎn)成RGB888的格式[8],再通過轉(zhuǎn)換公式(1)將RGB888數(shù)據(jù)轉(zhuǎn)換為灰度圖,計算過程如式(1)所示:

Y=R×0.299+G×0.587+B×0.114

(1)

式中:R為紅色通道圖像數(shù)據(jù);G為綠色通道圖像數(shù)據(jù);B為藍色通道圖像數(shù)據(jù);Y為灰度圖圖像數(shù)據(jù)。

由于FPGA中不能進行浮點數(shù)運算,需要把浮點數(shù)值部分進行256倍擴大并舍去小數(shù)點部分,轉(zhuǎn)換過程如式(2)所示:

Y=R×77+G×150+B×29

(2)

Y=(R×77+G×150+B×29)>>8

(3)

本系統(tǒng)中通過流水線逐級分步計算,可以提高整體運算速度,保證實時數(shù)據(jù)的處理。

3.2 對比度增強單元

對比度增強核心思想是提高閾值以上的亮度,降低閾值以下的亮度[9],提高圖像的明暗差異,本系統(tǒng)中采用指數(shù)對比度增強,具體原理如式(4)所示:

(4)

式中:p為輸入灰度圖像素數(shù)據(jù);Threshold為閾值;E為對比度增強參數(shù);q為輸出像素數(shù)據(jù)。

由于指數(shù)函數(shù)計算相對耗時且存在浮點部分,FPGA上難以實現(xiàn),在本系統(tǒng)中提前確定Threshold和E,利用MATLAB計算出q,形成函數(shù)的映射結(jié)果,即以查找表形式得出計算后的結(jié)果。

3.3 中值濾波單元

中值濾波是將濾波窗口內(nèi)的像素通過相互比較取中間值作為像素輸出的算法,能夠有效消除噪聲,又能夠保持圖像一定的邊緣紋理[10]。在本系統(tǒng)中充分運用FPGA的流水線處理,首先分別對3 pixel×3 pixel像素窗口中3行像素選出最大值、中值和最小值,然后分別組成一列再取中值,最終再對3個值取中值作為輸出。中值濾波詳細執(zhí)行過程如圖2所示。

圖2 中值濾波中值提取過程

3.4 多方向與自適應閾值的Sobel邊緣檢測算子

3.4.1 改進的8方向Sobel邊緣檢測算子

通過信息化系統(tǒng)，提供了項目考核與績效測量的基準所需要的工作內(nèi)容、工作量、完成時間、完成效果等關(guān)鍵要素的數(shù)據(jù)，有助于軍工科研單位建立一套以貢獻為導向、以執(zhí)行率為參考、以效果為考核的評價體系，實現(xiàn)合理有效的評價機制，充分發(fā)揮人員工作積極性。

本系統(tǒng)在傳統(tǒng)的Sobel算子的基礎之上進行多方向拓展,多方向模板示例如圖3所示。

圖3 8方向Sobel邊緣檢測模板

通過8方向Sobel邊緣檢測模板與原圖像進行卷積計算,輸出8個方向中梯度數(shù)據(jù)絕對值的最大值作為像素梯度的輸出值,具體計算如式(5)和式(6):

G0°～315°=X*I

(5)

G=max{G0°,G45°,G90°,G135°,G180°,G225°,G270°,G315°}

(6)

式中:*為卷積計算;G0°～315°為8方向Sobel邊緣檢測模板分別與原圖像進行卷積計算輸出的結(jié)果;I為原圖像;X為8方向Sobel邊緣檢測模板;G0°、G45°、G90°、G135°、G180°、G225°、G270°和G315°為8個方向上分別與原圖像卷積后的梯度數(shù)據(jù);G為最終輸出的梯度數(shù)據(jù)。

3.4.2 改進的自適應閾值Sobel邊緣檢測算算子

通過對每個像素點分配1個對應閾值,使每個像素點的梯度值與該點的閾值進行比較并輸出結(jié)果,可以形成自適應閾值的Sobel邊緣檢測。具體自適應閾值獲取流程如圖4所示。

圖4 自適應閾值提取過程

與中值濾波提取過程類似,在3 pixel×3 pixel的像素窗口內(nèi)選出中值作為每個像素點的閾值。

3.5 強度可調(diào)的形態(tài)學濾波

3.5.1 傳統(tǒng)獨立腐蝕和膨脹算法

傳統(tǒng)獨立腐蝕和膨脹算法分別對應像素消除和像素擴大,是一種圖像處理的二次優(yōu)化,以3 pixel×3 pixel像素窗口為例,腐蝕算法遵循乘法邏輯,膨脹算法則遵循加法邏輯。

腐蝕算法具體計算見式(7),通過將3 pixel×3 pixel像素窗口中每個像素進行與運算,可以得到腐蝕結(jié)果:

P=P1&P2&P3&P4&P5&P6&P7&P8&P9

(7)

膨脹算法具體計算見式(8),通過將3 pixel×3 pixel像素窗口中每個像素進行或運算,可以得到膨脹結(jié)果:

P=P1|P2|P3|P4|P5|P6|P7|P8|P9

(8)

式中:P1～P9為3 pixel×3 pixel像素矩陣中的圖像數(shù)據(jù);P為最終計算后的圖像數(shù)據(jù)。

3.5.2 改進的腐蝕與膨脹結(jié)合與強度可調(diào)的算法

傳統(tǒng)的獨立腐蝕與膨脹算法存在過度膨脹與腐蝕,影響圖像的邊緣信息。本系統(tǒng)中首先通過FPGA內(nèi)部的RAM生成3 pixel×3 pixel像素窗口,進行每一列累加,再全累加,設置閾值,即3 pixel×3 pixel像素窗口的N(1≤N≤9)個1,全累加后的數(shù)據(jù)大于或等于閾值N,則輸出為1,反之為0。通過加入設定閾值N,設置像素窗口內(nèi)的1的個數(shù),可以實現(xiàn)濾波強度的調(diào)節(jié),避免圖像過度腐蝕與膨脹。具體實現(xiàn)流程如圖5所示。

圖5 腐蝕與膨脹結(jié)合的閾值可調(diào)實現(xiàn)方法

3.6 SDRAM數(shù)據(jù)緩存單元

SDRAM作為數(shù)據(jù)緩存,擁有讀寫速率快與內(nèi)存空間大等特點[11],能應用于本系統(tǒng)中高并發(fā)與數(shù)據(jù)多的場合。數(shù)據(jù)緩存單元由SDRAM讀寫控制器和SDRAM組成。寫數(shù)據(jù)流程:二值化數(shù)據(jù)寫入WFIFO;WFIFO數(shù)據(jù)通過SDRAM讀寫控制器寫入SDRAM。讀數(shù)據(jù)流程:SDRAM通過SDRAM讀寫控制器將數(shù)據(jù)寫入RFIFO;RFIFO將數(shù)據(jù)發(fā)送給以太網(wǎng)UDP傳輸。SDRAM數(shù)據(jù)緩存單元如圖6所示。

圖6 SDRAM數(shù)據(jù)緩存單元

3.7 以太網(wǎng)UDP傳輸單元

UDP是一種面向報文且無連接的不可靠傳輸,支持一對一、一對多、多對多等交互通訊的傳輸通訊協(xié)議[12-13]。本系統(tǒng)中以太網(wǎng)UDP傳輸單元包括UDP接收數(shù)據(jù)模塊、UDP發(fā)送數(shù)據(jù)模塊與CRC校驗數(shù)據(jù)模塊。其中UDP接收數(shù)據(jù)模塊負責接收上位機向FPGA發(fā)送的開始傳輸與結(jié)束傳輸信號,判斷源IP和MAC地址與目的IP和MAC地址是否相匹配。圖7為UDP接收數(shù)據(jù)模塊的狀態(tài)轉(zhuǎn)移圖。UDP發(fā)送數(shù)據(jù)模塊負責將攝像頭采集的實時視頻數(shù)據(jù)傳輸至上位機進行實時顯示,同時將發(fā)送的數(shù)據(jù)添加前導碼加幀起始界定符、源IP、目的MAC地址、目的IP、目的MAC地址和CRC校驗結(jié)果等。圖8為UDP接收數(shù)據(jù)模塊的狀態(tài)轉(zhuǎn)移圖。CRC校驗數(shù)據(jù)模塊是對發(fā)送的數(shù)據(jù)進行校驗。

圖7 UDP接收數(shù)據(jù)模塊狀態(tài)轉(zhuǎn)移圖

圖8 UDP發(fā)送模塊狀態(tài)轉(zhuǎn)移圖

4 實驗結(jié)果

本系統(tǒng)采用Verilog語言作為程序語言,以FPGA開發(fā)板為硬件平臺,芯片型號為EP4CE10F17C8。圖9為FPGA灰度圖處理;圖10為FPGA Sobel邊緣檢測;圖11為FPGA形態(tài)學濾波處理1(N=3);圖12為FPGA形態(tài)學濾波處理2(N=4和N=5)。

(a)原始灰度圖

(a)傳統(tǒng)Sobel

(a)傳統(tǒng)形態(tài)學

(a)強度可調(diào)(N=4)

5 結(jié)論

本系統(tǒng)設計了一種結(jié)合以太網(wǎng)與FPGA的邊緣檢測系統(tǒng)。本系統(tǒng)通過加入指數(shù)對比度增強算法,提高了圖像的對比度,改進Sobel邊緣檢測算子,加入多方向梯度與自適應閾值能夠提取物體更加豐富的邊緣信息,改進形態(tài)學濾波算子,通過閾值調(diào)整濾波強度可以避免過度腐蝕與膨脹,減少多余噪聲,結(jié)合以太網(wǎng)UDP傳輸,保證了數(shù)據(jù)傳輸速率與穩(wěn)定性。為后續(xù)的實時圖像拼接、圖像配準和圖像融合提供較好的基礎,具有一定的應用價值,也利于后續(xù)的研究。