高尚尚，劉海波，郭乃宏，周 鋒，王如剛*

(1.鹽城工學(xué)院信息工程學(xué)院，江蘇鹽城 224051；2.鹽城雄鷹精密機(jī)械有限公司，江蘇鹽城 224006)

近年來，隨著機(jī)器視覺技術(shù)的迅速發(fā)展，使得其在運(yùn)動(dòng)分析、智能控制、人機(jī)交互等領(lǐng)域有著潛在的應(yīng)用研究價(jià)值。在機(jī)器視覺技術(shù)中，運(yùn)動(dòng)目標(biāo)檢測問題的研究一直是研究的熱點(diǎn)和難點(diǎn)。目前，運(yùn)動(dòng)目標(biāo)檢測技術(shù)主要集中在基于PC 機(jī)、DSP 等傳統(tǒng)技術(shù)和基于現(xiàn)場可編程門陣列(Field Programmable Gate Array，F(xiàn)PGA)硬件平臺技術(shù)等。其中，基于PC機(jī)的平臺技術(shù)中，由于其體積較大、攜帶不便等缺點(diǎn)，使得該技術(shù)不能在如無人機(jī)偵查等場合應(yīng)用?；贒SP 平臺技術(shù)中，只能處理某些特定的圖像算法，不能實(shí)現(xiàn)實(shí)時(shí)圖像信息的采集與處理，若利用多個(gè)DSP 芯片并行運(yùn)算實(shí)現(xiàn)快速處理，則大大提高了系統(tǒng)的成本[1-3]。由于具有處理速度快、可靠性強(qiáng)等優(yōu)點(diǎn)，因此，利用FPGA 對實(shí)時(shí)圖像進(jìn)行硬件處理逐漸成為發(fā)展趨勢。所以，研究人員做了大量基于FPGA 相關(guān)的研究工作，并取得了較好的研究進(jìn)展[3-11]。如，2019 年，陳磊等[5]提出一種采用多個(gè)方向模板和閾值自適應(yīng)相結(jié)合的Sobel 邊緣檢測算法，利用FPGA 并行流水的特性將該算法在FPGA硬件平臺上加速實(shí)現(xiàn)。2020 年，李文方等[7]設(shè)計(jì)了FPGA 作為主控芯片，使用串口通信將MATLAB 處理轉(zhuǎn)換的圖像數(shù)據(jù)傳輸給FPGA 板卡，使用Sobel 算子完成圖像邊緣提取，通過VGA 接口將原圖像和處理后的圖像在顯示器上顯示出來。2020 年，邢凱等[8]在FPGA 開發(fā)板上構(gòu)建了彩色視頻圖像中運(yùn)動(dòng)目標(biāo)檢測跟蹤系統(tǒng)，此系統(tǒng)可在多種分辨率和幀率下對運(yùn)動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)檢測跟蹤。2021 年，郭錚等[9]針對視頻圖像處理技術(shù)對于實(shí)時(shí)性要求的提高，提出了一種以FPGA 芯片為核心處理器，融合幀間差分和邊緣檢測的高清視頻目標(biāo)快速檢測方法。通過研究人員的不斷努力，機(jī)器視覺技術(shù)中圖像處理的實(shí)時(shí)性、準(zhǔn)確性得到了較大幅度的提高。但是，隨著人工智能、智能控制技術(shù)的不斷發(fā)展，高分辨率圖像信號的實(shí)時(shí)處理難度越來越大，精度要求也越來越高，為了解決跟蹤系統(tǒng)中存在的精確度低、實(shí)時(shí)性差、性價(jià)比低等問題。本文在現(xiàn)有研究的基礎(chǔ)上，研究改進(jìn)了Sobel 邊緣檢測方法，提出了一種自適應(yīng)閾值的邊緣檢測算法，利用FPGA 并行處理的特點(diǎn)實(shí)現(xiàn)圖像信息的實(shí)時(shí)檢測，采用HDMI 進(jìn)行實(shí)時(shí)顯示。

1 自適應(yīng)閾值的Sobel 邊緣檢測算法

1.1 改進(jìn)的Sobel 邊緣檢測算子

Sobel 邊緣檢測算子的檢測原理是利用水平和垂直方向上的模板算子與待測圖像進(jìn)行卷積，計(jì)算出水平和垂直方向上的幅值，最后合成梯度值。根據(jù)預(yù)先給定的閾值進(jìn)行待測圖像分割，以便獲得待測圖像的邊緣信息，如果待測圖像函數(shù)為f(x，y)，則其梯度可以表示為[12]:

式中:Gx、Gy分別表示水平和垂直方向的梯度，梯度方向指向函數(shù)最大變化率方向，其向量的方向角和幅值可以用式(2)表示:

從Sobel 邊緣檢測方法可以看出，傳統(tǒng)的Sobel算子僅對水平和垂直方向上的模板算子進(jìn)行梯度計(jì)算，若待測圖像的像素點(diǎn)在其他方向上的幅值比較高，而水平和垂直方向合成的梯度幅值比較低，那么此像素點(diǎn)將不會被判別為邊緣點(diǎn)，這將導(dǎo)致待測圖像的邊緣點(diǎn)檢測不準(zhǔn)確。因此，為了提高待測圖像邊緣信息的準(zhǔn)確度，在傳統(tǒng)Sobel 算子的基礎(chǔ)上增加45°和135°方向上的算子，該方法采用局部3×3模板算子和待測圖像進(jìn)行卷積計(jì)算獲得梯度，改進(jìn)的Sobel 算子模型如圖1 所示，梯度計(jì)算方程可以用式(3)表示:

圖1 改進(jìn)的Sobel 算子模型

從圖1 可以看出，改進(jìn)的Sobel 算子模型是將待測圖像進(jìn)行八個(gè)方向上的模板算子與待測圖像進(jìn)行卷積，然后對合成梯度值進(jìn)行檢測。由于改進(jìn)的算法引入了更多的梯度計(jì)算模板，因此可以獲得更加全面的邊緣信息。

1.2 自適應(yīng)閾值算法分析

由于燈光、太陽光甚至是工作人員在檢測過程中的走動(dòng)等諸多外部因素的影響，都會對所檢測目標(biāo)的灰度造成一定的干擾，很大可能丟失了待測圖像的部分?jǐn)?shù)據(jù)。為了能夠解決外部因素所帶來的影響，邊緣檢測閾值必須隨著外部因素的變化而發(fā)生變化。本文將一幀圖像分割成若干個(gè)3×3 矩陣的像素窗口，把均值作為邊緣檢測的閾值，實(shí)現(xiàn)閾值隨著灰度級的變化而變化，自適應(yīng)閾值的獲取可以用圖2 表示，獲取均值過程的流程可以表示為:①通過兩個(gè)行緩存來進(jìn)行延遲，得到滑動(dòng)的3×3 窗口模板；②每行通過3 個(gè)D 觸發(fā)器進(jìn)行延遲，可以使3×3滑動(dòng)模板中的9 個(gè)數(shù)據(jù)同時(shí)輸出；③對得到的9 個(gè)數(shù)據(jù)通過加法器求出SUM；④把求的SUM 利用除法器得到均值A(chǔ)VG，即所求AVG 作為自適應(yīng)閾值。

圖2 獲取均值方法示意圖

為了最大程度地去除噪聲，保留原有邊界，采用雙閾值來判斷是否為邊緣。雙閾值判斷圖像邊緣的方法可以用式(4)表示。當(dāng)中心像素的梯度幅值大于自適應(yīng)閾值，則輸出1；當(dāng)中心像素的梯度幅值小于自適應(yīng)閾值的一半，則輸出0；當(dāng)中心點(diǎn)像素的梯度幅值在自適應(yīng)閾值的一半和自適應(yīng)閾值之間，則需要看前一個(gè)中心像素點(diǎn)是否為邊緣，若是，則輸出1，反之，輸出0。

2 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

2.1 實(shí)驗(yàn)系統(tǒng)設(shè)計(jì)

實(shí)驗(yàn)裝置系統(tǒng)設(shè)計(jì)框圖如圖3 所示，實(shí)驗(yàn)裝置采用的是Xilinx 公司的Artix7 系列以XC7A35T-2FGG484I 芯片為核心的開發(fā)板，開發(fā)環(huán)境為Vivado Design Suite，硬件描述語言為Verilog HDL。從圖中可以看出，實(shí)驗(yàn)系統(tǒng)主要包括圖像傳感器單元、圖像檢測單元、圖像緩存單元以及圖像顯示單元。圖像傳感器單元中的傳感器使用的是OV5640 攝像頭。在設(shè)計(jì)過程中，采用串行控制總線協(xié)議(Serial Camera Control Bus SCCB)對圖像傳感器進(jìn)行控制，待測圖像的分辨率是通過SCCB 修改攝像頭的寄存器地址來實(shí)現(xiàn)的。圖像緩存單元的緩存組件主要分為輸入及輸出的先進(jìn)先出(FIFO)模塊和第3 代雙倍數(shù)據(jù)率同步動(dòng)態(tài)隨機(jī)存取存儲器(DDR3 SDRAM)緩存模塊，將DDR3 緩存模塊作為外部數(shù)據(jù)緩存模塊。由于圖像數(shù)據(jù)在FPGA 與DDR3 傳輸過程中，將會產(chǎn)生跨時(shí)鐘的問題，因此本系統(tǒng)設(shè)計(jì)了讀寫FIFO 模塊。本文使用的芯片包含DDR3 內(nèi)存控制器(MCB)硬核，因此，我們將調(diào)用存儲器接口生成器(MIG)知識產(chǎn)權(quán)核IP 核去控制MCB 硬核，可以更加方便地管理DDR3 存儲器。圖像輸出顯示單元顯示經(jīng)過邊緣檢測的待測圖像，該單元由FPGA 外部圖形陣列顯示器、接口電路以及FPGA內(nèi)部的驅(qū)動(dòng)模塊組成，在設(shè)計(jì)過程中，用Verilog HDL 正確描述行時(shí)序和場時(shí)序，可以完成實(shí)時(shí)圖像信號顯示。

圖3 系統(tǒng)框圖

2.2 目標(biāo)檢測的實(shí)現(xiàn)

在FPGA 硬件平臺上進(jìn)行所設(shè)計(jì)的算法實(shí)現(xiàn)時(shí)，按照平臺的資源合理規(guī)劃圖像傳輸通道和處理的過程，設(shè)計(jì)的算法處理模塊可以同時(shí)進(jìn)行相應(yīng)的處理。實(shí)現(xiàn)待測圖像的邊緣檢測，需要對待測圖像進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換、濾波、二值化、形態(tài)學(xué)處理等技術(shù)處理，再利用HDL 重新進(jìn)行數(shù)據(jù)的組織和處理行為的描述，實(shí)現(xiàn)實(shí)時(shí)處理的目的。

2.2.1 圖像數(shù)據(jù)格式轉(zhuǎn)換

由于圖像傳感器采集到的信號是彩色圖像信號，信息量比較大，因此，必須將彩色待測圖像流分成灰度和彩色兩個(gè)數(shù)據(jù)流，灰度圖像流用于目標(biāo)檢測，彩色圖像流用于跟蹤顯示。為了減少計(jì)算量以及便于后續(xù)算法的實(shí)現(xiàn)，設(shè)計(jì)了格式轉(zhuǎn)換算法，實(shí)現(xiàn)彩色圖到灰度圖的變換，將圖像從24 位真彩色圖像(RGB888)轉(zhuǎn)換成8 位的灰度圖像。為了避免實(shí)現(xiàn)浮點(diǎn)運(yùn)算和資源消耗，采用的轉(zhuǎn)換方法可以用式(5)表示為[13]:

式中:R、G、B分別表示為紅、綠、藍(lán)信號，Y、Cb、Cr分別表示為YUV 中的亮度、色調(diào)以及飽和度，實(shí)現(xiàn)待測圖像格式轉(zhuǎn)換過程需要將式(5)中的Y、Cb、Cr右移8 位，舍棄信號中的Cb、Cr分量，保留Y信號分量，得到8 比特灰度圖像。

2.2.2 灰度圖像濾波處理

為了有效地降低噪聲，需要對圖像進(jìn)行濾波處理，該部分選取3×3 的卷積核做中值濾波處理，在3×3 窗口圖像數(shù)據(jù)中獲取中值[14-15]。在邏輯設(shè)計(jì)過程中，采用兩個(gè)行緩存來暫存前兩行數(shù)據(jù)，使用3×3 窗口獲取鄰域中的9 個(gè)像素。其排序比較算法的核心過程如圖4 所示:①對每行的3 個(gè)像素進(jìn)行排序，得到最大值(MAX)、中值(MID)、最小值(MID)；②比較3 行中每行的最大值，獲取3 個(gè)最大值中的最小值(MAX_MIN)；③比較3 行中每行的最小值，獲取3 個(gè)最小值中的最大值(MIN_MAX)；④比較3 行中每行的中值，獲取3 個(gè)中值中的中間值(MID_MID)；⑤將②③④獲取的值送入下一級的比較器，獲取中值(mid_mid)。

圖4 獲取3×3 窗口中值

2.2.3 形態(tài)學(xué)處理

二值圖中將會包含一定的椒鹽噪聲，該噪聲將影響待測圖像檢測的準(zhǔn)確度，因此，必須對二值圖進(jìn)行形態(tài)學(xué)運(yùn)算[16-17]，本文采用開運(yùn)算(先腐蝕處理然后膨脹處理)來消除椒鹽噪聲，形態(tài)學(xué)處理模塊按照流水線處理方式進(jìn)行。開運(yùn)算用到3×3 的濾波模板，先進(jìn)行腐蝕操作，把3×3 濾波模板遍歷整個(gè)圖像做與運(yùn)算，即當(dāng)被測目標(biāo)的前景完全與模板相交，則輸出1，腐蝕方程可以用式(6)表示為:

進(jìn)行膨脹運(yùn)算時(shí)，把3×3 濾波模板遍歷整個(gè)圖像做或運(yùn)算，即當(dāng)被測目標(biāo)的前景只要與模板相交，則輸出1，膨脹方程可以用式(7)表示為:

在FPGA 上實(shí)現(xiàn)腐蝕或膨脹處理時(shí)，使用3×3模板窗口，同時(shí)獲取三行數(shù)據(jù)，利用FPGA 硬件平臺中的塊RAM 緩存兩行的數(shù)據(jù)，當(dāng)?shù)谌袛?shù)據(jù)傳輸過來時(shí)，同時(shí)獲取塊RAM 里緩存的上兩行數(shù)據(jù)，進(jìn)行3×3 窗口的形態(tài)學(xué)處理。在實(shí)現(xiàn)算法設(shè)計(jì)時(shí)，為提高運(yùn)算速度，腐蝕和膨脹也是全部采取兩級流水的方式來實(shí)現(xiàn):首先，第一級流水將3×3 模板每一行的3 個(gè)二值數(shù)進(jìn)行“與”運(yùn)算；然后，第二級則把第一級“與”運(yùn)算后的3 個(gè)結(jié)果再進(jìn)行“與”運(yùn)算，由此通過兩個(gè)時(shí)鐘的處理便可得到腐蝕的結(jié)果。

3 結(jié)果與分析

實(shí)驗(yàn)是在Vivado 2019.2 開發(fā)環(huán)境上展開的，F(xiàn)PGA 主時(shí)鐘為50 MHz，圖像的分辨率為1 024×768，并使用Verilog HDL 編寫代碼，同時(shí)編譯以及下載燒錄到開發(fā)板里，實(shí)現(xiàn)圖像的采集、多方向自適應(yīng)閾值邊緣檢測算法以及形態(tài)學(xué)操作算法。為了分析復(fù)雜環(huán)境下檢測的效果，選取了邊緣信息比較多的裁切機(jī)系統(tǒng)，利用傳統(tǒng)和改進(jìn)Sobel 邊緣檢測算子對待測圖像進(jìn)行檢測，檢測結(jié)果如圖5 所示，從圖中可以看出，利用八方向改進(jìn)Sobel 邊緣檢測算法可以更準(zhǔn)確地定位邊緣點(diǎn)且圖像信息更加完整，邊緣圖像明顯更加立體。

圖5 改進(jìn)邊緣檢測效果圖

為了分析設(shè)計(jì)的自適應(yīng)閾值檢測方法，在增加光照條件情況下，設(shè)定固定閾值和采用自適應(yīng)閾值的方法對待測圖像進(jìn)行了邊緣檢測，檢測結(jié)果如圖6所示，圖6(b)是采用固定閾值獲得的檢測結(jié)果，與圖5(c)做比較，在沒有光線的干擾下，改進(jìn)后的固定閾值可以很大程度上反映出圖像的邊緣信息，而使用同樣的算法，在光線的干擾下，從圖6(b)中可以看出，檢測目標(biāo)受到了光線的干擾，不能真實(shí)地反映待測圖像的邊緣信息，特別是原始圖像中“雄鷹機(jī)械”標(biāo)識沒有檢測出來；圖6(c)是在沒有增加開操作運(yùn)算的自適應(yīng)閾值檢測結(jié)果，可以看出自適應(yīng)閾值的方法能使更多的邊緣信息檢測出來，對光線的抗干擾能力也比較強(qiáng)。但是，由于閾值本身在不斷地變化，造成了一些椒鹽噪聲；圖6(d)是增加開操作運(yùn)算的自適應(yīng)閾值檢測結(jié)果，從圖中可以很明顯地看出，消除了大量的噪聲干擾，改善了邊緣檢測后圖片的質(zhì)量，能夠更靈活地適應(yīng)自然環(huán)境的變化。

圖6 自適應(yīng)邊緣檢測開操作效果圖

4 結(jié)論

針對傳統(tǒng)的Sobel 算子邊緣定位不夠精確，不能根據(jù)外界環(huán)境變化實(shí)現(xiàn)自動(dòng)實(shí)時(shí)檢測等問題，提出一種基于自適應(yīng)閾值邊緣檢測系統(tǒng)，采用8 個(gè)方向的Sobel 算子分離出圖像的邊緣信息，把均值作為邊緣檢測的自適應(yīng)閾值，實(shí)現(xiàn)了閾值隨著灰度級變化的自適應(yīng)閾值檢測。設(shè)計(jì)了基于FPGA 的圖像檢測系統(tǒng)，完成了實(shí)時(shí)圖像數(shù)據(jù)的采集、檢測及顯示等功能，實(shí)現(xiàn)了復(fù)雜圖像信息的自適應(yīng)閾值Sobel邊緣檢測。實(shí)驗(yàn)結(jié)果顯示，該方法可以準(zhǔn)確地檢測到圖像的邊緣信息，使圖像表面更加光滑，邊緣信息更加準(zhǔn)確，并且能夠不受光線的影響，實(shí)時(shí)地檢測出圖像的邊緣。