劉 宏，符意德

(南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 南京 210094)

0 引言

圖像處理系統(tǒng)的處理過程可以劃分為前端、中端和后端3 個(gè)處理階段，前端包括圖像采集、存儲等;中端是利用各種圖像處理算法(如圖像預(yù)處理、特征提取等)進(jìn)行圖像處理;后端包括傳輸和顯示等。目前圖像處理系統(tǒng)中的核心芯片主要有專用集成芯片(ASIC，Application Specific Integrated Circuit)、數(shù)字信號處理器(DSP，Digital Signal Process)、現(xiàn)場可編程門陣列(FPGA，F(xiàn)ield Programmable Gate Array)和通用處理器(如ARM)等芯片［1］?；贏SIC 的系統(tǒng)靈活性和可更改性差，不適合圖像處理原型系統(tǒng)的開發(fā)。DSP 內(nèi)部采用了5 種技術(shù)［2］:哈佛結(jié)構(gòu)體系、流水線技術(shù)、硬件乘法器、多處理單元和特殊的DSP 指令，在圖像的中端處理中有著明顯的優(yōu)勢，但是難以擴(kuò)展和設(shè)計(jì)為多任務(wù)的復(fù)雜圖像處理系統(tǒng)平臺。FPGA具有靈活的開發(fā)方式，便于實(shí)現(xiàn)硬件的并行性和邏輯接口的設(shè)計(jì)，適合完成大數(shù)據(jù)量的簡單處理，但是不擅長復(fù)雜的算法處理和邏輯控制［3］。通用處理器(如ARM)可以借助其工具軟件或者支持的操作系統(tǒng)進(jìn)行多種應(yīng)用的擴(kuò)展［4］，但是在圖像處理系統(tǒng)中所有的前端圖像采集、中端和后端處理都是由通用處理器核來控制完成，不可避免地會造成系統(tǒng)功能瓶頸。

Xilinx 公司推出的Zynq-7000 系列全可編程片上系統(tǒng)(SoC，System on a Chip)采用了微處理器加可編程邏輯的結(jié)構(gòu)［5］，集成ARM Cortex A9 雙核(PS，Processing System)以及最多可達(dá)相當(dāng)于500 多萬個(gè)邏輯門可編程邏輯(PL，Programmable Logic)單元，能夠靈活地用于各種目的的應(yīng)用。本系統(tǒng)采用ARM +FPGA 架構(gòu)的Zynq 芯片，以ARM 處理器為中心，F(xiàn)PGA可編程邏輯部分為擴(kuò)展子系統(tǒng)，它們之間通過高效的AXI(Advanced eXtensible Interface)總線實(shí)現(xiàn)有機(jī)的連接，通過PS 和PL 軟硬件協(xié)同實(shí)現(xiàn)圖像的高速采集、存儲、傳輸和顯示。

1 硬件平臺結(jié)構(gòu)設(shè)計(jì)

圖1 系統(tǒng)結(jié)構(gòu)原理框圖

系統(tǒng)平臺主要實(shí)現(xiàn)采集、存儲、傳輸和顯示4 部分功能。系統(tǒng)結(jié)構(gòu)原理如圖1 所示。圖1 中左上方矩形為Zynq 芯片的PS 部分，陰影區(qū)為PL 部分。根據(jù)軟硬件協(xié)同設(shè)計(jì)方法［6］的軟硬件劃分3 原則［7］:高速、低功耗由硬件實(shí)現(xiàn);多品種、小批量由軟件對應(yīng);處理器和專用硬件用以提高處理速度和降低功耗。系統(tǒng)軟硬件劃分為:

1)采集部分，Zynq 芯片的PS 通過軟件模擬SCCB(Serial Camera Control Bus)協(xié)議配置OV7620 攝像頭，PL 中使用Verilog HDL 描述OV7620 采集控制模塊完成采集，將采集到的圖像數(shù)據(jù)寫入存儲器部分的雙端口RAM 和單端口RAM。

2)存儲部分，PL 中使用Verilog HDL 將塊存儲器(BRAM，Block RAM)例化為一個(gè)同步讀的雙端口RAM 和一個(gè)單端口RAM，用來存儲采集到的圖像數(shù)據(jù)。

3)傳輸部分，在PL 中實(shí)現(xiàn)DMA Engine 使用AXI-DMA［8］將采集到的圖像傳輸?shù)紻DR 中，在PS中配置AXI-DMA 的控制寄存器和利用DDR 控制器控制數(shù)據(jù)的傳輸。

4)顯示部分，PL 中使用Verilog HDL 描述VGA控制模塊從雙端口RAM 中讀取采集到的數(shù)據(jù)實(shí)現(xiàn)控制顯示。

2 平臺關(guān)鍵部分實(shí)現(xiàn)

2.1 采集部分

在本設(shè)計(jì)中使用OV7620 圖像采集芯片。設(shè)置的圖像窗口像素大小為320 ×240、VGA 模式、逐行掃描、16 位YUV(取其8 位Y 輸出)。這些都是由PS的I/O 接口MIO14 和MIO15 對應(yīng)為SCL 和SDA 通過軟件模擬SCCB 協(xié)議設(shè)置完成。

當(dāng)通過PS 軟件模擬SCCB 協(xié)議設(shè)置完成后，根據(jù)OV7620 的采集時(shí)序圖［9］，可以確定OV7620 的單幀數(shù)據(jù)采集流程如圖2 所示。采集圖像數(shù)據(jù)的具體流程為:當(dāng)VSYNC(場同步信號)為上升沿時(shí)，準(zhǔn)備開始這幀的圖像數(shù)據(jù)的采集;HREF(行同步信號)是上升沿時(shí)開始采集圖像數(shù)據(jù);之后每個(gè)PCLK(像素同步信號)時(shí)鐘周期給地址計(jì)數(shù)器加1，同時(shí)當(dāng)列計(jì)數(shù)器小于320 時(shí)列計(jì)數(shù)器加1，如果列計(jì)數(shù)器大于320則行計(jì)數(shù)器加1，同時(shí)列計(jì)數(shù)器清零;直到行計(jì)數(shù)器大于240 時(shí)這一幀的圖像數(shù)據(jù)采集完成［10］。其中存儲數(shù)據(jù)時(shí)雙端口RAM 的a 端口地址addr_a=行計(jì)數(shù)×320 +列計(jì)數(shù)。并在PL 中根據(jù)采集流程使用Verilog HDL 描述OV7620 采集控制模塊完成圖像的高速采集。

圖2 單幀采集數(shù)據(jù)流程圖

2.2 存儲部分

目前大多數(shù)FPGA 器件都包含專用的嵌入式存儲單元。隨著EDA 工具的不斷發(fā)展，F(xiàn)PGA 內(nèi)部存儲資源使用起來也非常方便，不僅可以根據(jù)需求來定制RAM/ROM/FIFO，而且所定制的存儲器的容量、位寬等參數(shù)都可以編程設(shè)置［11］。在Zynq 系列的Z-7020芯片的PL 中包含有一塊560 kB 的RAMB36E1，完全滿足設(shè)計(jì)的需求。

本設(shè)計(jì)中，PL 中使用Verilog HDL 將BRAM 例化為一個(gè)同步讀的雙端口RAM 和一個(gè)單端口RAM，用來存儲采集到的圖像。其中端口a 用來向雙端口RAM 中寫采集到的數(shù)據(jù)，端口b 用來從雙端口RAM中讀取采集到的數(shù)據(jù)，以便于將采集到的圖像數(shù)據(jù)傳送至VGA 顯示或進(jìn)行中端圖像處理的FPGA 加速。而單端口RAM 中的采集數(shù)據(jù)通過DMA Engine 傳輸?shù)紻DR 中，以便于后續(xù)的處理。例化的同步讀的雙端口RAM 如圖3 所示。

圖3 同步讀雙端口RAM 模塊頂視圖

對雙端口RAM 的設(shè)定為:位寬8 位，容量76800，a 口寫，b 口讀。寫數(shù)據(jù)時(shí)向addr_a 送入寫地址并向din_a 送入要寫的數(shù)據(jù)，當(dāng)we=1 有效時(shí)數(shù)據(jù)寫入RAM;讀數(shù)據(jù)時(shí)只要向addr_b 送入要讀的地址，在下一個(gè)時(shí)鐘RAM 就會將數(shù)據(jù)送入dout_b 端口。當(dāng)使用Xilinx ISE 中的ISim 對例化的雙端口RAM 進(jìn)行讀寫仿真得到如圖4 所示的讀寫仿真波形。

圖4 雙端口RAM 讀寫仿真波形圖

2.3 傳輸部分

系統(tǒng)在PL 中設(shè)計(jì)一個(gè)頂層模塊，其總線類型為AXI-Stream［12］型，以便于和DMA Engine(axi_dma)連接。在這個(gè)頂層模塊中包含了采集模塊、存儲模塊(例化的RAM)和VGA 顯示模塊。在頂層模塊中，由于BRAM 的存儲容量有限，需要將采集到的大量圖像數(shù)據(jù)傳輸?shù)紻DR 中。因此在PL 中實(shí)現(xiàn)DMA Engine，使用AXI-DMA 將采集到的圖像傳輸?shù)紻DR，同時(shí)PS 中DDR 控制器對數(shù)據(jù)的傳輸起控制作用，圖5 為系統(tǒng)的數(shù)據(jù)傳輸控制結(jié)構(gòu)框圖。

圖5 數(shù)據(jù)傳輸控制結(jié)構(gòu)框圖

系統(tǒng)中有2 個(gè)AXI-Interconnect［13］互聯(lián)矩陣作為PL 和PS 接口，一個(gè)連接到AXI_GP［13］端口，一個(gè)連接到AXI_HP［13］端口。

連接到AXI_HP 接口的互聯(lián)矩陣AXI-Interconnect_1 同時(shí)與外設(shè)的主從設(shè)備(axi_dma_0)相連，實(shí)現(xiàn)大數(shù)據(jù)量的傳輸，并且通過AXI_HP 訪問存儲器設(shè)備(DDR)。

連接到AXI_GP 接口的互聯(lián)矩陣AXI-Interconnect_2 通過AXI Lite 連接到外設(shè)(axi_dma_0)，主要是作為ARM 處理器訪問外設(shè)寄存器的通道，數(shù)據(jù)量不大，因此采用PS 部分的AXI_GP 端口。

AXI-DMA 構(gòu)建了從PS 內(nèi)存到PL 的高速傳輸通道，同時(shí)完成高速通道中AXI-HP ＜---＞AXI-Stream的轉(zhuǎn)換。其中M_AXI_MM2S 是從內(nèi)存中接收數(shù)據(jù)，M_AXI_S2MM 是向內(nèi)存中發(fā)送數(shù)據(jù)。M_AXIS_MM2S 和M_AXIS_S2MM 分別是向一個(gè)接口類型為AXI-Stream 的設(shè)備(top_stream_ip)發(fā)送和接收數(shù)據(jù)。

上面的總線AXI-DMA 是完成總線協(xié)議轉(zhuǎn)換，如果需要做更多的處理(OV7620 控制、雙端口RAM 控制、VGA 顯示控制)，則需要生成一個(gè)自定義Stream類型的IP 核，與上面AXI-DMA 的Stream 接口連接起來，實(shí)現(xiàn)處理完成后的數(shù)據(jù)輸入輸出。中端圖像處理算法的硬件加速也在自定義Stream 類型IP 核(top_stream_ip)中實(shí)現(xiàn)。

要實(shí)現(xiàn)數(shù)據(jù)的傳輸，除了需要接口和總線之外，還需要在自定義Stream 類型IP 核中遵守傳輸?shù)膮f(xié)議。在此主要使用到的協(xié)議是AXI(Advanced eXtensible Interface)協(xié)議［12］。AXI 協(xié)議主要描述的是主設(shè)備和從設(shè)備之間的數(shù)據(jù)傳輸方式。

2.4 顯示部分

一幅圖像在VGA 接口的顯示器上顯示，主要需要5 種信號:行同步信號、場同步信號和RGB 三原色信號。VGA 接口是圖像信號的接口。計(jì)算機(jī)內(nèi)部存儲的圖像信息，被VGA 控制模塊轉(zhuǎn)變?yōu)镽、G、B 三原色信號，同時(shí)VGA 控制模塊產(chǎn)生行同步信號和場同步信號，這些信號通過電纜傳輸?shù)斤@示器完成顯示。

在本設(shè)計(jì)中選擇的顯示模式為XGA(800 ×600)，對應(yīng)的水平時(shí)序和垂直時(shí)序中的幀長分別為1040 和666。在PL 中使用Verilog HDL 描述VGA 控制模塊產(chǎn)生行同步信號(vga_hsync)和場同步信號(vga_vsync)，并根據(jù)要顯示的像素點(diǎn)產(chǎn)生對應(yīng)像素的地址。依據(jù)雙端口RAM 的同步讀時(shí)序?qū)?yīng)像素的地址輸入到端口b 的地址端，dout_b 將會輸出該點(diǎn)需要顯示的像素值。再將像素值對應(yīng)為相應(yīng)的R、G、B 顏色信號傳輸?shù)斤@示器實(shí)現(xiàn)顯示。具體的顯示控制流程［14］如圖6 所示。

圖6 VGA 控制模塊流程圖

3 平臺測試及性能分析

系統(tǒng)平臺運(yùn)行測試，通過OV7620 攝像頭采集一幅320 ×240 的圖像到BRAM 中，再將其傳輸?shù)紻DR中，并通過VGA 接口的顯示器顯示結(jié)果，圖7 為整個(gè)系統(tǒng)的實(shí)物圖及運(yùn)行結(jié)果。

1)前端采集存儲。

圖7 系統(tǒng)平臺實(shí)物圖

采集部分，在構(gòu)造的同一平臺下分別用單純ARM 的圖像采集系統(tǒng)和軟硬件協(xié)同設(shè)計(jì)實(shí)現(xiàn)的ARM+FPGA 的圖像采集系統(tǒng)做了對比。單純ARM的圖像采集系統(tǒng)，是在采集時(shí)通過PS 軟件模擬SCCB協(xié)議配置OV7620，并在配置完成后同樣利用PS 的中斷系統(tǒng)和GPIO 根據(jù)采集時(shí)序得到圖像數(shù)據(jù)，而沒有用到PL。

采集一幅320 ×240 的灰度圖像，單純ARM 的采集系統(tǒng)完成采集需要的時(shí)間為708612 μs，而軟硬件協(xié)同設(shè)計(jì)實(shí)現(xiàn)的ARM +FPGA 的圖像采集系統(tǒng)完成采集需要的時(shí)間為3022 μs。顯然通過軟硬件協(xié)同設(shè)計(jì)實(shí)現(xiàn)的圖像采集系統(tǒng)較單純ARM 的采集系統(tǒng)速度提高了234 倍。

存儲部分，將PL 中BRAM 例化為雙端口RAM，比起在FPGA 中直接使用reg 寄存器存儲采集到的數(shù)據(jù)資源利用更加合理，并且在開發(fā)過程中綜合實(shí)現(xiàn)的時(shí)間明顯縮短。

2)中端內(nèi)部傳輸和中端圖像硬件加速處理。

傳輸部分，使用AXI-DMA，可以將采集到的圖像數(shù)據(jù)傳輸?shù)紻DR，使得中端處理運(yùn)用復(fù)雜的圖像處理算法通過ARM 進(jìn)行圖像處理變得方便。同時(shí)還可以使用AXI-DMA，將處理中的圖像數(shù)據(jù)從DDR 中傳送到PL 中，從而實(shí)現(xiàn)中端圖像處理算法的FPGA 硬件加速。

在本系統(tǒng)的中端圖像處理中，測試了一些典型的圖像處理算法，分別與利用單純ARM(只用Zynq 芯片的PS 部分)的處理在處理效果和速度方面做了比較。圖8 為采集的一幅320 ×240 的原始灰度圖像，圖9 是使用直方圖均衡化算法進(jìn)行圖像增強(qiáng)，圖10為利用Sobel 算子進(jìn)行邊緣檢測，圖11 是運(yùn)用3 ×3大小窗口完成中值濾波。圖9～圖11 的左側(cè)圖像為本系統(tǒng)通過FPGA 硬件加速的處理結(jié)果，右側(cè)圖像為單純使用ARM 的處理結(jié)果。

圖8 采集的原始灰度圖像

圖9 直方圖均衡化后的圖像

圖10 Sobel 算子邊緣檢測后的圖像

圖11 3 ×3 中值濾波后的圖像

從圖9～圖11 可以看出ARM +FPGA 的圖像處理和單純使用ARM 純軟件的處理效果基本一致。但是由表1 所示的速度對比可以看出，基于Zynq 的ARM+FPGA 硬件加速圖像中端處理明顯比單純使用ARM 純軟件的方案速度高。

表1 ARM+FPGA 和單純ARM 圖像中端處理速度對比

3)后端圖像顯示。

顯示部分，能夠清晰地顯示采集到的圖像，并且能夠滿足不同分辨率的圖像顯示，為直觀地觀察圖像處理的結(jié)果提供了方便。

4 結(jié)束語

運(yùn)行及測試結(jié)果表明，本文設(shè)計(jì)的基于Zynq 芯片的圖像處理系統(tǒng)平臺實(shí)現(xiàn)了完整的圖像高速采集、存儲、傳輸和VGA 顯示功能。該系統(tǒng)明顯提高了采集速度，使得Zynq 芯片的PS 有所解脫去完成控制和更復(fù)雜圖像處理算法。圖像數(shù)據(jù)傳輸?shù)絇S 之前，可以利用PL 對圖像數(shù)據(jù)進(jìn)行預(yù)處理、特征提取等，也可以通過DMA Engine 將DDR 中的數(shù)據(jù)傳輸?shù)絇L中，既為圖像處理系統(tǒng)提供了可擴(kuò)展的FPGA 硬件加速通道，也通過一些典型的圖像處理算法驗(yàn)證了其可行高效。采集到的數(shù)據(jù)直接顯示，不用通過串口等傳輸?shù)胶笈_的PC 機(jī)，這有別于傳統(tǒng)的圖像處理系統(tǒng)的設(shè)計(jì)［9，15］。系統(tǒng)平臺易于擴(kuò)展，資源利用合理，為更復(fù)雜的圖像處理應(yīng)用系統(tǒng)提供了可擴(kuò)展的基礎(chǔ)平臺。

［1］鄭容.基于FPGA 的圖像采集與預(yù)處理系統(tǒng)設(shè)計(jì)［D］.武漢:武漢理工大學(xué)，2009.

［2］胡漢梅，程妮，李海軍.基于DSP 圖形液晶顯示器接口及程序設(shè)計(jì)［J］.液晶與顯示，2007，22(5):623-628.

［3］李佩斌，黃瑩，趙譽(yù)婷.基于DSP+FPGA 的嵌入式圖像處理系統(tǒng)設(shè)計(jì)［J］.現(xiàn)代電子技術(shù)，2014，37(20):95-98.

［4］孫詠.基于ARM 和DSP 的嵌入式實(shí)時(shí)圖像處理系統(tǒng)設(shè)計(jì)與研究［D］.杭州:浙江大學(xué)，2005.

［5］楊曉安，羅杰，蘇豪，等.基于Zynq-7000 高速圖像采集與實(shí)時(shí)處理系統(tǒng)［J］.電子科技，2014，27(7):151-154.

［6］陸佳華，江舟，馬岷.嵌入式系統(tǒng)軟硬件協(xié)同設(shè)計(jì)實(shí)戰(zhàn)指南-基于Xilinx Zynq［M］.北京:機(jī)械工業(yè)出版社，2012:152-165.

［7］張燕，胡桂.SOC 設(shè)計(jì)中的核心技術(shù)［J］.微計(jì)算機(jī)信息，2007(29):110-112.

［8］Xilinx Inc..AXI DMA v7.1 LogiCORE IP Product Guide［EB/OL］.http://www.xilinx.com/support/documentation/ip_documentation/axi_dma/v7_1/pg021_axi_dma.pdf，2014-04-01.

［9］雷霏霖，梁志毅.基于CMOS 傳感器OV7620 采集系統(tǒng)設(shè)計(jì)［J］.電子測量技術(shù)，2008，31(12):110-112.

［10］宋海吒，唐立軍，謝新輝.基于FPGA 和OV7620 的圖像采集及VGA 顯示［J］.電視技術(shù)，2011，35(5):45-47.

［11］趙吉成，王智勇.Xilinx FPGA 設(shè)計(jì)與實(shí)踐教程［M］.西安:西安電子科技大學(xué)出版社，2014:292-299.

［12］Xilinx Inc..AXI Reference Guide v14.3［EB/OL］.http://www.xilinx.com/support/documentation/ip_documentation/axi_ref_guide/latest/ug761_axi_reference_guide.pdf，2012-11-15.

［13］何賓.Xilinx All Programmable Zynq-7000 SoC 設(shè)計(jì)指南［M］.北京:清華大學(xué)出版社，2013:70-81.

［14］朱奕丹，方怡冰.基于FPGA 的圖像采集與VGA 顯示系統(tǒng)［J］.計(jì)算機(jī)應(yīng)用，2011，31(5):1258-1264.

［15］喬永征，梁志毅，朱毖微.基于OV7620 和FPGA 的圖像采集系統(tǒng)設(shè)計(jì)［J］.計(jì)算機(jī)測量與控制，2009，17(9):1857-1859.