蔡浩聰 謝云 劉家曉 鄭海成

(廣東工業(yè)大學(xué) 自動化學(xué)院)

1 引言

基于可編程片上系統(tǒng)的SOPC技術(shù)是目前國內(nèi)外電子領(lǐng)域中的研究熱點(diǎn)，它將并行結(jié)構(gòu)和并行計算集于一體，采用了軟硬件協(xié)同設(shè)計和 IP復(fù)用的思想，能夠減少產(chǎn)品開發(fā)時間，降低功耗，高效利用FPGA資源，因此可以實(shí)現(xiàn)高速低功耗低成本的實(shí)時嵌入式機(jī)器視覺檢測系統(tǒng)。隨著技術(shù)的不斷進(jìn)步，F(xiàn)PGA的集成度越來越高，可以實(shí)現(xiàn)的設(shè)計規(guī)模越來越大，而功耗越來越低。因此，基于FPGA的嵌入式視覺系統(tǒng)將是計算機(jī)視覺系統(tǒng)的重要發(fā)展方向[1]。

隨著消費(fèi)類電子產(chǎn)品的增多，各種小型的音響設(shè)備的需求也隨之增多，音響設(shè)備的音質(zhì)主要由揚(yáng)聲器的重要部件音膜決定，而音膜的質(zhì)量主要由其內(nèi)外圓的同心度決定，音膜的生產(chǎn)加工及質(zhì)量檢測便成為市場競爭中的重要因素。對音膜同心度的求取過程要解決的重點(diǎn)問題是對音膜內(nèi)外圓邊緣的在線實(shí)時檢測。目前國內(nèi)暫無成熟的音膜同心度機(jī)器視覺檢測系統(tǒng)。

針對上述情況，本文采用SOPC、可編程邏輯器件、IP復(fù)用等技術(shù)，設(shè)計了一種基于SOPC的實(shí)時視覺檢測系統(tǒng)。主要介紹了該系統(tǒng)中總體設(shè)計方案，并采用Sobel算子，以音膜的內(nèi)外圓邊緣檢測為例，證明了該系統(tǒng)的高速實(shí)時性。本設(shè)計不僅帶來一定的實(shí)用價值，也為高速智能相機(jī)的開發(fā)提供了有用的參考。

2 系統(tǒng)整體設(shè)計

2.1 系統(tǒng)硬件結(jié)構(gòu)

SOPC技術(shù)是將CPU、存儲器、I/O接口等系統(tǒng)設(shè)計所必須的模塊封裝為IP核集成在一片F(xiàn)PGA上，是一種新的系統(tǒng)設(shè)計技術(shù)。這種設(shè)計方式，有開發(fā)周期短、設(shè)計靈活、可裁減、可擴(kuò)充、可升級、軟硬件在系統(tǒng)可編程的功能，特別適用于復(fù)雜系統(tǒng)的設(shè)計[2]。由于SOPC技術(shù)的諸多優(yōu)點(diǎn)，本文采用這種技術(shù)設(shè)計了一種基于SOPC的嵌入式視覺檢測系統(tǒng)。系統(tǒng)總體框圖如圖1所示。

本系統(tǒng)采用了北京合眾達(dá)公司的教學(xué)實(shí)驗(yàn)平臺SEED-XDTK-V4為硬件開發(fā)平臺和Xilinx公司的嵌入式開發(fā)工具 EDK 為軟件開發(fā)平臺。SEED-XDTK-V4實(shí)驗(yàn)箱配置了Xilinx公司的Virtex-4系列的FPGA芯片，該芯片擁有23040個邏輯單元和128 個信號處理單元（Xtreme DSP Slices）等豐富資源。EDK開發(fā)套件自帶了許多工具和IP，可以用來設(shè)計完整的嵌入式處理器系統(tǒng)，主要包括Xilinx平臺工作室XPS和軟件開發(fā)套件SDK。本系統(tǒng)工程包括了 MicroBlaze軟核處理器、OPB總線、DDR 控制器、DMA控制器、圖像處理算法模塊等。MicroBlaze軟核是一種針對 Xilinx FPGA 器件而優(yōu)化的功能強(qiáng)大的32位微處理器，支持CoreConnect總線的標(biāo)準(zhǔn)外設(shè)集合，具有較好的兼容性和重復(fù)利用性。各外設(shè)模塊以IP核形式靈活的連接到OPB總線上，使系統(tǒng)的設(shè)計具有很好的重構(gòu)能力和靈活性。系統(tǒng)的SOPC工程如圖2所示。主要IP核的功能簡單介紹如下：

UART模塊：I2C 配置視頻解碼芯片TVP5150PBS工作模式；

DMA模塊：內(nèi)存與外設(shè)之間進(jìn)行批量的數(shù)據(jù)傳輸。使用DMA控制器對圖像數(shù)據(jù)的存儲進(jìn)行操作，這樣可減少CPU的處理負(fù)擔(dān)和功耗，提高圖像處理速度；

CCD_Controllor模塊：采集視頻解碼芯片TVP5150PBS解碼后的視頻數(shù)據(jù)，并進(jìn)行圖像格式轉(zhuǎn)換。其中配置了TVP5150PBS為YUV格式輸出，“Y”表示明亮度（Luminance），也就是灰階值；“U”和“V”表示色度（Chrominance）。通過圖像數(shù)據(jù)采集模塊將接收到的YUV圖像轉(zhuǎn)換為8位灰度圖像格式，將3個像素點(diǎn)共24位數(shù)據(jù)合并為32位數(shù)據(jù)（高8位補(bǔ)零），然后送OPB總線，因此，每一次總線傳輸相當(dāng)于傳輸了3個像素的數(shù)據(jù)。這里不采用一次傳輸4個像素點(diǎn)的灰度數(shù)據(jù)的原因是：3個像素數(shù)據(jù)的傳輸有利于后面圖像處理算法的實(shí)現(xiàn)；

PLC_Ctr模塊：用于與外設(shè) PLC 進(jìn)行通信，控制 PLC進(jìn)行相應(yīng)的操作，例如控制外部傳感器，啟動剔除裝置剔除流水線上不合格的產(chǎn)品等；

VGA模塊：產(chǎn)生數(shù)字圖像輸出對應(yīng)的時序，若圖像數(shù)據(jù)未經(jīng)MicroBlaze CPU處理，則直接數(shù)據(jù)流輸出；若圖像數(shù)據(jù)經(jīng)CPU處理，則使用乒乓操作的方式，將圖像數(shù)據(jù)轉(zhuǎn)換為27MHz輸出；

Pic_Processing模塊：數(shù)字圖像處理算法的實(shí)現(xiàn)。該模塊可根據(jù)項目的具體要求設(shè)計相應(yīng)的圖像處理算法IP核，該圖像處理 IP核既可以完全使用硬件設(shè)計方式完成整個圖像處理過程，直接輸出顯示最終結(jié)果，也可以只完成圖像的前期預(yù)處理部分，然后把處理后的關(guān)鍵數(shù)據(jù)送入MicroBlaze軟核 CPU中，通過軟件處理方式得到最終的處理結(jié)果再進(jìn)行VGA輸出顯示。因此該模塊的設(shè)計是項目設(shè)計的重點(diǎn)和難點(diǎn)。下面將以音膜圖像的內(nèi)外圓輪廓檢測為例，具體介紹該模塊IP的設(shè)計流程和實(shí)現(xiàn)方法。

圖2 EDK中SOPC工程

2.2 系統(tǒng)的軟件設(shè)計

由于系統(tǒng)中采用了DMA傳輸技術(shù)，圖像處理算法完全由硬件實(shí)現(xiàn)，因此MicroBlaze CPU主要完成了系統(tǒng)的初始化、外設(shè)的配置和DMA的控制等簡單操作。軟件設(shè)計流程如圖3所示。

圖3 系統(tǒng)軟件設(shè)計流程

3 音膜內(nèi)外圓邊緣檢測算法IP

3.1 算法原理

該應(yīng)用中的數(shù)字圖像處理算法的主要思路是：讀取音膜圖像數(shù)據(jù)到圖像處理模塊IP，進(jìn)行數(shù)據(jù)緩存，再進(jìn)行中值濾波處理，濾除干擾噪聲，接著運(yùn)用Sobel算子對音膜圖像進(jìn)行內(nèi)外圓邊緣檢測，然后對圖像進(jìn)行二值化處理。由于邊緣檢測算法的數(shù)據(jù)量較大，為達(dá)到實(shí)時處理的要求，本文采用了算法全硬件實(shí)現(xiàn)的設(shè)計方法。

3.2 Sobel算子介紹

Sobel算子是測量沿水平方向和垂直方向兩個方向的灰度差，然后把測量值合并起來形成邊緣強(qiáng)度。Sobel的水平方向梯度算子和垂直方向梯度算子分別如圖4(a)和圖4(b)所示，圖4(c) 為圖像的3×3區(qū)域（Z為8位灰度值）[3]。

圖4 Sobel算子和圖像3×3區(qū)域

得到Sobel算子的梯度的模的近似表達(dá)式為：

判斷梯度模的值是否大于或等于設(shè)定的閾值T，若是則置該點(diǎn)為灰度值255，反之置0，即：

3.3 Sobel算子的硬件實(shí)現(xiàn)方法

Sobel算子的硬件實(shí)現(xiàn)使用了Xilinx公司的高性能 DSP系統(tǒng)的快速建模和實(shí)現(xiàn)工具 System Generator。該工具是Xilinx公司的系統(tǒng)級建模工具，在很多方面擴(kuò)展了MathWorks公司的Simulink平臺，提供了合適硬件設(shè)計的數(shù)字信號處理(DSP)建模環(huán)境，加速、簡化了FPGA的DSP系統(tǒng)級硬件設(shè)計[4]。圖5為在Simulink中使用System Generator工具搭建起的Sobel算子模型。輸入圖像數(shù)據(jù)通過水平方向和垂直方向兩個濾波器后，再把兩個濾波器輸出的值進(jìn)行相加，然后再通過閾值T相比，進(jìn)行二值化，輸出最終結(jié)果。整個Sobel算子使用了11個加減法器和一個雙口隨機(jī)存取存儲器（Dual Port RAM）等資源。整個設(shè)計思路嚴(yán)格按照Sobel的算法步驟進(jìn)行設(shè)計。

圖5 Sobel算子模型

在 Sobel算子模型上加入中值濾波和二值化模塊，使用 System Generator軟件將算法模型轉(zhuǎn)化為HDL工程，進(jìn)行優(yōu)化和綜合，通過Modelsim仿真驗(yàn)證算法的正確性，仿真結(jié)果如圖6所示。

圖6 Modelsim中算法仿真結(jié)果

在EDK軟件中，通過編寫自定義IP中的MPD文件、PAO文件和用戶邏輯(user_logic)模塊，通過編寫端口轉(zhuǎn)換和時序調(diào)節(jié)程序，將圖像算法模塊封裝成IP核，掛接到OPB總線上，配合一定的控制時序，通過MicroBlaze軟核的軟件程序調(diào)用該IP核模塊，完成整個系統(tǒng)的運(yùn)行。

4 實(shí)驗(yàn)及結(jié)果分析

圖7 PC和FPGA檢測結(jié)果

圖7(a)為音膜的原圖像，圖7(b)為PC上在VC++軟件中使用Sobel算子檢測得到的音膜內(nèi)外圓輪廓，圖7(c)為基于FPGA上檢測得到的結(jié)果。由兩圖對比可得，PC上檢測得到的輪廓比較纖細(xì)，在邊緣出現(xiàn)斷裂，需要進(jìn)一步的圓擬合，并且PC檢測的噪聲較大，而FPGA檢測得到的輪廓明顯，且無斷裂部分。

由于PC和SOPC的圖像采集時間和顯示時間相差不大，因此對比PC系統(tǒng)和SOPC系統(tǒng)的處理速度快慢，主要是對比數(shù)字圖像處理模塊的處理時間。SOPC系統(tǒng)中圖像處理模塊在Modelsim中的仿真時間計算公式為：仿真時間=一個仿真周期時間*仿真周期數(shù)。仿真中設(shè)置了一個仿真周期時間為20ns，即系統(tǒng)頻率為50MHz。得到音膜圖片使用基于Sobel算子的圖像處理算法分別在VC++平臺上和FPGA平臺上的處理時間，如表1所示?？梢娫贔PGA上實(shí)現(xiàn)圖像處理算法其處理速度比PC高出約22倍，可以實(shí)現(xiàn)高速在線實(shí)時檢測。

表1 PC和FPGA上音膜內(nèi)外圓邊緣檢測時間（單位：ms）

5 結(jié)論

本文以30mm以下的黑色音膜為研究對象，利用SOPC技術(shù)，設(shè)計了一種實(shí)時檢測系統(tǒng)。采用了FPGA并行處理和軟硬件協(xié)同設(shè)計，使系統(tǒng)具有實(shí)時性、可重構(gòu)性強(qiáng)、體積小、低功耗低成本等優(yōu)點(diǎn)。實(shí)驗(yàn)結(jié)果表明，基于SOPC的音膜內(nèi)外圓邊緣檢測系統(tǒng)功耗低，運(yùn)行穩(wěn)定，檢測速度快，可實(shí)現(xiàn)音膜的在線實(shí)時檢測，解決了流水生產(chǎn)線上產(chǎn)品無法進(jìn)行實(shí)時檢測的關(guān)鍵問題。

[1]原魁,肖晗等.采用 FPGA 的機(jī)器視覺系統(tǒng)發(fā)展現(xiàn)狀與趨勢[J].計算機(jī)工程與應(yīng)用,2010,46(36):1-5.

[2]黃云,楊尊先.基于 SOPC的數(shù)據(jù)采集與處理系統(tǒng)設(shè)計[J].電子器件,2010,33(1):68-70.

[3]李明,趙勛杰,毛偉民.Sobel邊緣檢測的 FPGA 實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù),2009,16:44-46.

[4]高展宏,王強(qiáng).多媒體處理FPGA實(shí)現(xiàn)—System Generator篇[M].北京:電子工業(yè)出版社,2010:71-72.

[5]Babu T Chacko, Siddharth Shelly. Real-Time Video Filtering and Overlay Character .Generation on FPGA. 2010 International Conference on Recent Trends in Information,Telecommunication and Computing,2010,26:184-188.

[6]XILINX. Xilinx System Generator Manual[S]. 2008.