賀理，趙鶴鳴，邵雷

(蘇州大學(xué) 電子信息工程學(xué)院，蘇州 215012)

?

賀理，趙鶴鳴，邵雷

(蘇州大學(xué) 電子信息工程學(xué)院，蘇州 215012)

摘要:基于AXI4-Stream總線協(xié)議，在Xilinx公司提供的FPGA上實現(xiàn)了一個具有缺陷像素校正、色彩濾波陣列插值、圖像降噪實時圖像采集與顯示功能的視頻系統(tǒng)。AXI4-Stream總線協(xié)議由ARM公司提出，該協(xié)議專門針對視頻、音頻、數(shù)組等數(shù)據(jù)在片內(nèi)通信設(shè)計。利用IP核進行嵌入式系統(tǒng)開發(fā)具有簡化設(shè)計、縮短開發(fā)周期等明顯優(yōu)勢。設(shè)計結(jié)果顯示，基于AXI4-Stream總線的視頻系統(tǒng)具有通用性強、獨立、簡潔易維護等優(yōu)勢。

關(guān)鍵詞:AXI4-Stream；Xilinx；FPGA；IP核；CMOS圖像傳感器；視頻系統(tǒng)

引言

本文以一種專門針對視頻數(shù)據(jù)傳輸?shù)目偩€，即AXI4-Stream總線，對整個視頻采集系統(tǒng)進行重新研究。在保證高集成度的情況下，通過簡化模塊間通信接口大大提高了系統(tǒng)的通用性，具備良好的實用性和可擴展性。

AXI4-Stream總線主要應(yīng)用于數(shù)字信息單向傳遞的系統(tǒng)中。經(jīng)過采樣的物理量，例如圖像像素點數(shù)據(jù)、音頻采樣數(shù)據(jù)和經(jīng)過離散數(shù)字信號系統(tǒng)處理的數(shù)據(jù)等，尤其適用于此總線協(xié)議。AXI4-Stream 是一種單向的，由主機(master)到從機(slave)的基于握手信號傳遞數(shù)據(jù)的總線。系統(tǒng)采用的AXI4-Stream總線是基于ARM公司發(fā)布的AMBA4 AXI4-Stream Protocol v1.0參考手冊[6]，該標準已廣泛應(yīng)用在主流市場上的嵌入式系統(tǒng)當中。在保證功能完整的情況下，設(shè)計僅采用了部分信號線進行數(shù)據(jù)傳輸。相關(guān)信號線名稱和功能解釋圖略——編者注。

2系統(tǒng)結(jié)構(gòu)簡介

系統(tǒng)基于AXI-Stream總線，以FPGA為主控芯片，由DDR2緩存圖像數(shù)據(jù)，從CMOS圖像傳感器讀取數(shù)據(jù)并處理后，送入視頻編碼芯片，最終通過DVI接口輸出，實現(xiàn)了一個實時圖像采集與顯示的視頻系統(tǒng)。該系統(tǒng)硬件框圖如圖1所示。

圖1　系統(tǒng)硬件結(jié)構(gòu)框圖

系統(tǒng)選用芯片組分別為：CMOS圖像傳感器選用Aptina公司的MT9V022，有效分辨率為752H×481V，該芯片廣泛應(yīng)用于視頻監(jiān)控、機器視覺等系統(tǒng)中；FPGA主控芯片選用Xilinx公司的Spartan-6LX16，該芯片采用45 nm低功耗工藝技術(shù)，提供多達15 000個邏輯單元，滿足了低成本、大容量應(yīng)用的市場要求，并極大地降低了總功耗；DDR緩存芯片選用Micro公司提供的MT47H64M16HR-25E，存儲容量為1 Gb；視頻編碼芯片選用Chrontel公司提供的CH7301芯片，該芯片已廣泛應(yīng)用于顯示接口電路中。

由于主控芯片選用Xilinx公司生產(chǎn)的FPGA，所以開發(fā)軟件采用由該公司提供的ISE(Integrated Software Environment) Design Suit套件。

系統(tǒng)功能模塊結(jié)構(gòu)圖如圖2所示，所有模塊均采用硬件描述語言Verilog HDL在ISE內(nèi)實現(xiàn)。

圖2　系統(tǒng)功能模塊結(jié)構(gòu)框圖

對于圖1中所示功能模塊主要考慮以下幾點：

① CMOS圖像傳感器芯片和視頻編碼芯片與主控FPGA芯片通信采用的是I2C協(xié)議，所以加入了專門的I2C通信模塊。

② 由CMOS圖像傳感器送出的圖像數(shù)據(jù)并非基于AXI4-Stream總線，引入了一個通用視頻數(shù)據(jù)轉(zhuǎn)AXI4-Stream模塊對數(shù)據(jù)進行AXI4-Stream格式化處理。

③ 圖像傳感器存在缺陷像素(Defective Pixel)，需要算法進行去除，所以數(shù)據(jù)需經(jīng)過缺陷像素校正(Defective Pixel Correction)模塊處理。

④ 從圖像傳感器獲取來的像素數(shù)據(jù)是Bayer格式(Bayer Patten)的，需要轉(zhuǎn)換為RGB格式，引入了色彩濾波陣列插值(Color Filter Array Interpolation)模塊。

⑤ 經(jīng)過格式轉(zhuǎn)換后的原始數(shù)據(jù)噪點較多，需要引入圖像降噪(Image Noise Reduction)模塊。

⑥ 圖像數(shù)據(jù)量龐大，而FPGA有限的存儲空間不能滿足數(shù)據(jù)吞吐需求，為了解決這個問題本文引入了外部存儲芯片DDR2，并采用專用的內(nèi)存接口管理(Memory Interface Controller)模塊進行管理。

⑦ 圖像數(shù)據(jù)需要匹配相應(yīng)的時序信號進行輸出，所以系統(tǒng)內(nèi)設(shè)計了一個視頻時序信號控制(Video Timing Controller)模塊解決這個問題。

⑧ 送入視頻編碼芯片的數(shù)據(jù)格式基于AXI4-Stream協(xié)議，需要引入AXI4-Stream轉(zhuǎn)視頻數(shù)據(jù)模塊將圖像數(shù)據(jù)和視頻時序控制信號進行整合，轉(zhuǎn)換為編碼芯片可直接利用的數(shù)據(jù)格式。

3功能實現(xiàn)模塊

3.1I2C總線通信模塊

I2C總線協(xié)議有以下幾種不同的傳輸編碼，按順序依次為：開始位(start bit)、從設(shè)備地址(slave device address)、應(yīng)答位(acknowledge bit)、數(shù)據(jù)信息(data message)，以及停止位(stop bit)。一個典型的I2C總線讀、寫時序如圖3所示。其中SCK為時鐘信號線，SDA為數(shù)據(jù)信號線?？臻e狀態(tài)下SCK和SDA都為高電平，讀寫開始的標志是SDA信號線拉低電平，生成一個開始位，隨后主設(shè)備送出8位從設(shè)備地址信號。從設(shè)備地址的最后一位決定了此次操作的讀寫性質(zhì)，低電平表示寫操作，高電平表示讀操作。從設(shè)備隨后拉低SDA信號線以應(yīng)答。主設(shè)備隨后以8位為單位進行讀或?qū)懖僮?，并在?yīng)答后拉高SDA信號線表示停止位，回到空閑狀態(tài)。

圖3　I2C總線時序傳輸圖

3.2視頻數(shù)據(jù)轉(zhuǎn)AXI4-Stream模塊

由CMOS圖像傳感器MT9V022輸出的時序如圖4所示，其中LINE_VALID表示行數(shù)據(jù)有效，F(xiàn)RAME_VALID表示幀數(shù)據(jù)有效。本模塊通過偵測FRAME_VALID和LINE_VALID信號的上升和下降沿，以判斷圖像中每一行數(shù)據(jù)的開始和結(jié)束，通過結(jié)合并行傳輸?shù)?0位像素點信息，對AXI4-Stream接口信號進行匹配。該模塊以主模式(master mode)接口輸出，接口信號包含：tdata表示像素點數(shù)據(jù)；TVALID和tready表示握手信號；tuser表示一幀圖像第一行第一個像素點；tlast表示每一行最后一個像素點。

圖4　MT9V022輸出數(shù)據(jù)時序圖

該模塊在ModelSim軟件中的功能仿真圖略——編者注。經(jīng)驗證，該模塊可實現(xiàn)數(shù)據(jù)格式轉(zhuǎn)換功能。

3.3缺陷像素校正模塊

由于生產(chǎn)制造上的缺陷、日常操作中的故障，或是基于溫度或曝光差異等引起像素點電壓變化，從圖像傳感器獲取來的數(shù)據(jù)存在一定數(shù)目的缺陷像素數(shù)據(jù)。

模塊核心代碼采用Xilinx公司提供的IP核——Defective Pixel Correction IP Core[7]，其編程接口如圖5所示。

圖5　缺陷像素校正模塊編程接口

對于圖像中較大的固定區(qū)域，此模塊需要去判斷該區(qū)域是圖像里靜止的部分還是奇異點，也就是有缺陷的像素。由于處理的數(shù)據(jù)是原始的Bayer格式，此模塊將對一個像素點相鄰且相同格式(例如同為綠色分量)的像素點進行追蹤比對，并將差值超過閾值的像素點間的信息記錄下來。

模塊里預(yù)先設(shè)定好閾值和連續(xù)比對幀數(shù),當像素點差異在連續(xù)若干幀內(nèi)都超出預(yù)定的閾值時，即可定為缺陷像素點。對于缺陷像素點，本模塊通過內(nèi)插的方式將相鄰格式像素數(shù)據(jù)替換過來。

3.4色彩濾波陣列插值模塊

由于多數(shù)圖像傳感芯片有一層色彩濾波陣列，所輸出的圖像數(shù)據(jù)是Bayer格式的，每個像素點只含有紅、綠或者藍中的一種顏色分量。要生成一幅彩色圖像，每個像素點都需要的三原色信息：紅、綠、藍。為了獲得每一個像素點的其他顏色分量，需要用該像素點相鄰區(qū)域像素的數(shù)據(jù)近似計算出其他兩種顏色分量。本模塊中采用線性插值法實現(xiàn)對每一個像素點的R、G、B分量的獲取。

模塊基本原理如下：以藍色分量這一行(BG行)的插值為例，BG行的藍色像素點的RGB分量值計算如式(1)所示，BG行的綠色像素點的RGB分量值計算如式(2)所示。

(1)

(2)

3.5圖像降噪模塊

噪聲是干擾圖像質(zhì)量的重要因素。一副圖像在實際應(yīng)用中可能存在各種各樣的噪聲，這些噪聲可能在傳輸中產(chǎn)生，也可能在量化等處理過程中產(chǎn)生。此模塊核心代碼利用了Xilinx公司所提供的3個IP核，分別是：RGB to YCrCb Color-Space Converter[9]、Image Noise Reduction[10]和YCrCb to RGB Color-Space Converter[11]。3個IP間的結(jié)構(gòu)原理如圖6所示。

圖6　圖像降噪模塊構(gòu)造框圖

圖像降噪模塊降噪核心采用平滑濾波器對圖像進行降噪處理?；驹韴D略——編者注。

3.6內(nèi)存接口管理模塊

本系統(tǒng)采用的FPGA芯片內(nèi)部已經(jīng)集成了MCB(Memory Controlling Block)硬核，并支持大部分廠家的存儲芯片[12]。MCB硬核能夠進行誤碼校驗和偏移時鐘校驗。另外，Xilinx提供的原語PLL_ADV工作比較穩(wěn)定，而且精度較高，這些特點保證了研發(fā)產(chǎn)品的質(zhì)量。

MIG是一種用來生成DDR2控制器IP核的軟件工具。該DDR2控制器模塊包含可修改的HDL源代碼以及相關(guān)的引腳約束和時序約束文件。用戶可以在MIG的圖形界面中選擇存儲器芯片、總線位寬，并設(shè)置CAS延遲、突發(fā)長度、引腳分配等參數(shù)。經(jīng)驗證，只需在ISE軟件內(nèi)配置好相關(guān)參數(shù)，并在接口編寫好簡單的讀寫控制模塊，便可實現(xiàn)對DDR的讀寫。

在本系統(tǒng)中，通過內(nèi)存接口管理模塊先緩存3幅圖像數(shù)據(jù)。當CMOS圖像傳感器和視頻編碼芯片吞吐速率相等時，內(nèi)存里數(shù)據(jù)保持動態(tài)平衡。當CMOS圖像傳感器輸入速率小于視頻數(shù)據(jù)輸出速率時，內(nèi)存里的數(shù)據(jù)面臨被讀空的風(fēng)險，這時該模塊會提前進行判斷，以決定是否將上一幅圖像數(shù)據(jù)重讀一遍。由于CMOS圖像傳感器的時鐘速率和視頻編碼芯片的時鐘速率相等，故不會出現(xiàn)CMOS圖像數(shù)據(jù)速率超出編碼芯片數(shù)據(jù)速率(即數(shù)據(jù)溢出)的情況。

3.7視頻時序信號控制模塊

本模塊采用有效分辨率為640×480的時序控制信號，參照視頻電子標準協(xié)會(VESA, Video Electronics Standards Association)顯示器時序標準設(shè)定參數(shù)指標。該模塊在ModelSim仿真軟件環(huán)境下的功能仿真圖略——編者注。該模塊可按照設(shè)計要求正常工作。

3.8AXI4-Stream轉(zhuǎn)視頻數(shù)據(jù)模塊

該模塊將AXI4-Stream數(shù)據(jù)和視頻時序控制信號整合，使圖像中每個像素的數(shù)據(jù)按照標準的視頻時序輸出。該模塊核心代碼使用了Xilinx公司提供的IP核——AXI4-Stream to Video Out IP Core[13]，該模塊一般與視頻時序信號控制模塊(Video Timing Controller)結(jié)合起來使用，其功能原理框圖略——編者注。該框圖中有3個主要部分：流數(shù)據(jù)聯(lián)結(jié)器(Stream Coupler)、數(shù)據(jù)格式化器(Data Formatter)和輸出同步器(Output Synchronizer)。

流數(shù)據(jù)聯(lián)結(jié)器主要由異步讀寫FIFO(Async FIFO)和寫邏輯塊(Write Logic)組成，對該FIFO的讀寫由輸出同步器控制。該FIFO有兩個主要功能：不同主頻時鐘間緩沖，即跨時鐘域緩沖；在AXI4-Stream數(shù)據(jù)和輸出處視頻信號間緩存數(shù)據(jù)，即數(shù)據(jù)緩存。數(shù)據(jù)格式化器接收來自流數(shù)據(jù)聯(lián)結(jié)器的數(shù)據(jù)和視頻信號控制模塊輸出的控制信號，并由此控制輸出同步器。

AXI4-Stream數(shù)據(jù)并無一定的周期性，數(shù)據(jù)間隔時鐘周期多數(shù)沒有規(guī)律。輸出同步器作為主設(shè)備通過控制視頻信號控制模塊，使AXI4-Stream數(shù)據(jù)和控制信號達到同步，同時送入數(shù)據(jù)格式化器，最終通過視頻信號輸出接口輸出。

4系統(tǒng)驗證與分析

基于FPGA視頻系統(tǒng)的PCB板已經(jīng)制作完成，并通過了板級實驗驗證。系統(tǒng)圖像分辨率采用標準的640×480，CMOS圖像傳感器和視頻編碼芯片工作頻率為25 MHz，主控芯片主頻為100 MHz，DDR內(nèi)存芯片工作頻率為200 MHz。使用硬件描述語言Verilog HDL編寫好所有的程序代碼，并進行代碼綜合、布局布線、最后下載到Spartan-6芯片內(nèi)部。系統(tǒng)首先通過I2C通信模塊配置好CMOS圖像傳感器芯片和視頻編碼芯片，然后以末向始的順序重置所有模塊，握手信號由后一個模塊依次向前傳遞，當位于最開始的視頻數(shù)據(jù)轉(zhuǎn)AXI4-Stream模塊收到后置模塊tready的信號后，系統(tǒng)開始正常工作。

系統(tǒng)工作效果如圖7所示，測試結(jié)果可以看到，系統(tǒng)實時圖像顯示清晰、畫面穩(wěn)定、功能符合設(shè)計要求。但視頻圖像顯示效果并非為彩色，經(jīng)過分析，原因是采用的圖像傳感器MT9V022并不支持彩色模式。接下來的工作就是改進CMOS圖像傳感器，采用分辨率較高且支持彩色模式的傳感器。

圖7　系統(tǒng)工作效果圖

結(jié)語

利用FPGA進行嵌入式系統(tǒng)開發(fā)具有設(shè)計方法靈活高效、易于實現(xiàn)、可移植性強、通用性強等優(yōu)勢。利用多個成熟IP核進行系統(tǒng)開發(fā)，不僅大大減輕了設(shè)計人員的工作量，提高了工作效率，還使得個人完成大型復(fù)雜嵌入式系統(tǒng)變得現(xiàn)實可行。

參考文獻

[1] 楊帆,張浩, 馬新文, 等.基于FPGA的圖像處理系統(tǒng)[J].華中科技大學(xué)學(xué)報:自然科學(xué)版, 2015(2): 119-123.

[2] 朱奕丹,方怡冰.基于FPGA的圖像采集與VGA顯示系統(tǒng)[J].計算機應(yīng)用, 2011(5):1258-1264.

[3] 黃偉,王旭明，于生全，等.一種輕小型遙感相機視頻處理FPGA軟件設(shè)計[J].電子學(xué)報, 2014(11)：2303-2309.

[4] 葉學(xué)松,陸玲，蔡秀軍，等.基于FPGA和CMOS傳感器的三維高清實時視頻系統(tǒng)[J].浙江大學(xué)學(xué)報：工學(xué)版, 2015(1)：47-53.

[5] ARM.ARM AMBA AXI Protocol v2.0 Specification[EB/OL].[2015-06].http://www.amba.com.

[6] ARM.AMBA4 AXI4-Stream Protocol v1.0[EB/OL].[2015-06].http://www.amba.com.

[7] Xilinx.LogiCORE IP Defective Pixel Correction v6.01a Product Guide[EB/OL].[2015-06]. http://www.xilinx.com.

[8] Xilinx.LogiCORE IP Color Filter Array Interpolation v6.01a Product Guide[EB/OL].[2015-06].http://www.xilinx.com.

[9] Xilinx.LogiCORE IP RGB to YCrCb Color-Space Converter v6.01a Product Guide[EB/OL].[2015-06].http://www.xilinx.com.

[10] Xilinx.LogiCORE IP Image Noise Reduction v5.01a[EB/OL].[2015-06].http://www.xilinx.com.

[11] Xilinx.LogiCORE IP YCrCb to RGB Color-Space Converter v6.01a Product Guide[EB/OL].[2015-06].http://www.xilinx.com.

[12] Xilinx.Spartan-6 FPGA Memory Controller User Guide[EB/OL].[2015-06].http://www.xilinx.com.

[13] Xilinx.LogiCORE IP AXI4-Stream to Video Out v2.01a Product Guide[EB/OL].[2015-06].http://www.xilinx.com.

賀理(碩士)，主要研究方向為數(shù)字信號處理；趙鶴鳴(教授)，主要研究方向為語音信號處理；邵雷(碩士)，主要研究方向為嵌入式系統(tǒng)應(yīng)用。

(責(zé)任編輯：楊迪娜收修改稿日期：2015-06-25)

He Li,Zhao Heming,Shao Lei

(College of Electronic Information,Soochow University,Suzhou 215012,China)

Abstract：Based on the AXI4-Stream bus protocol,a video system using Xilinx’s FPGA is achieved,which has the functions of defective pixel correction,colour filter array interpolation,image noise reduction,image capturing and displaying in real time.AXI4-Stream bus protocol is proposed by ARM,which is designed for communication of video,audio and array data,etc.The system uses IP core for the embedded systems development because it can simplify the design and short the development cycle.The experiment results show that the video system based on the AXI4-Stream bus has the advantages of strong generality,independence,easy to maintain.

Key words:AXI4-Stream;Xilinx;FPGA;IP Core;CMOS image sensor;video system

中圖分類號:TP391.41

文獻標識碼:A