王月新,劉明君

(忻州師范學院,山西 忻州 034000)

0 引言

本文從關聯(lián)分析的角度出發(fā),指出在目標辨識與追蹤的處理中,影像的分割與關聯(lián)匹配是最主要的兩項技術。影像分割技術是將影像對象與背景區(qū)分開,并從中抽取影像對象的處理技術。相關匹配是以系統(tǒng)為基礎,建立出目標模型,并通過目標特征模型參數(shù)及道路和規(guī)范,利用參考實時圖像相關的程度,以完成對對象的相對定位信息的測定。圖像處理的實時性對圖像信息的處理性能和實時性都有很高的要求。此外,它還需要更高的功耗,更大的體積,更高的穩(wěn)定性。當前在國外,在目標監(jiān)視領域,已形成一種以圖像為基礎的平行模型;接著又有一系列的數(shù)字信號處理器被持續(xù)地升級。在這一背景下,本研究以目前已有的DSP與FPGA架構為核心,建立了一個DSP的DSG與FPG相結合的數(shù)字信號與圖像處理系統(tǒng),然后對圖像處理算法進行研究。

1 DSP技術與FPGA分析

1.1 DSP技術

數(shù)字信號處理(Digital Signal Processing,DSP)是一門涉及許多學科和領域的新興學科。對數(shù)字信號的處理,主要指的是使用計算機或是使用特殊的處理設備,以數(shù)字的形式采集信號、增強、壓縮和識別等信號的處理方法,以獲得人們所要求的信號。

數(shù)字信號處理技術是指對信號進行數(shù)字化表達和處理的一種方法。其中,數(shù)位及類比式訊息是訊息處理中的一個子范疇。數(shù)字信號處理主要是對現(xiàn)實中不斷變化的模擬信號進行檢測和過濾[1]。所以,必須先對信號進行從模擬向數(shù)字的變換,一般采用ADC來完成。由于其對數(shù)據(jù)的要求較高,所以對其進行分析和計算是十分必要的。為實現(xiàn)數(shù)字信號處理,必須使用計算機或者諸如DSP、ASIC等特殊的處理裝置。DSP技術和器件具有靈活、精度高、抗干擾能力強等特點,其具有體積小、成本低、運算速度快等顯著優(yōu)勢,是目前常用的模擬信號處理技術和設備所不能相比的。

隨著對互聯(lián)網(wǎng)和多媒體服務的需求越來越大,美國的Sun公司也即將將其最具競爭力的Personal Java語言應用到DSP上,從而使DSP的數(shù)據(jù)處理更加自動化,更加智能。當然,在DSP之前也有其他的程序語言,比如C語言,但是這些程序對網(wǎng)絡資源和多媒體信息的處理是沒有能力的。而Personal Java則是一種非常適用于個人的網(wǎng)絡連接和應用的Java環(huán)境,在此基礎上的個人通信系統(tǒng)能夠實現(xiàn)從互聯(lián)網(wǎng)中下載數(shù)據(jù)和圖片。另外,根據(jù)MPEG-4的要求,研制出滿足MPEG-4要求的數(shù)字信號處理器,這將為將來的通信系統(tǒng)實現(xiàn)多種不同的多媒體數(shù)據(jù)傳送奠定基礎。

1.2 FPGA

現(xiàn)場可編程門陣列(Field-Programmable Gate Array,FPGA)是基于可編程陣列邏輯電路(Programmable Array Logic,PAL)和通用陣列邏輯(General Array Logic,GAL)等可編程電路而開發(fā)出來的產(chǎn)品。在特殊集成電路中,該技術不僅能有效地解決傳統(tǒng)可編程器件存在的問題,而且能有效地彌補傳統(tǒng)可編程器件存在的門電路數(shù)量受限的缺陷[2]。FPGA器件是一種用于特殊集成電路的半定制電路,其是一種可編程的邏輯陣列,可以很好地解決原來的器件中存在的門電路數(shù)量太少的問題。FPGA的主要組成有:可編程序的輸入/輸出部分、可組態(tài)的邏輯部分、DSP控制部分、內嵌內存部分、配線資源、內置特殊的硬件核心,內置于底層的功能單位。FPGA因其線路資源多、可重復性強、高集成性、造價低廉等優(yōu)點而被越來越多地用于數(shù)字電路的設計中。

FPGA的設計流程具體包括算法設計、代碼仿真以及設計、板機調試。設計者根據(jù)實際需求來構建算法架構,使用EDA來構建設計方案或HD來編寫設計代碼,并通過代碼仿真來確保設計方案與實際要求相一致。在此基礎上,完成了系統(tǒng)的硬件設計和軟件設計,并通過軟件的設計實現(xiàn)了系統(tǒng)的功能。

2 系統(tǒng)結構分析與設計

該系統(tǒng)主要以計算機圖像的處理為基礎,設計了一套以DSP+FPGA為基礎的計算機圖像處理系統(tǒng),具體如圖1所示。

圖1 基于DSP+FPGA的計算機圖像處理系統(tǒng)結構

在進行硬件設計的時候,本文所研究的系統(tǒng)主要是以DSP和FPGA為平臺,結合視頻解碼器、攝像頭等器件,來構建一個新型高速實時的數(shù)字圖像處理系統(tǒng)。其工作過程為:CCD對視頻的輸出信號進行采集,然后通過視頻解碼器進行A/D轉換,獲得一個數(shù)字信號[3]。DSP技術對一幀圖像進行處理,FPGA對數(shù)字圖像信號進行了預處理,將經(jīng)過的圖像保存到幀中。在設計系統(tǒng)內容期間,必須綜合考慮各種影響因素,如實時性、規(guī)模、調試等。

3 系統(tǒng)硬件結構設計

3.1 圖像處理板結構設計

圖像處理板硬件結構是基礎,其主要采用的是DSP和FPGA結構。其結構要在系統(tǒng)功能、硬件連接方面進行整合。本研究對結構展開了仔細的分析與設計。DSP和FPGA圖像處理板硬件構成如圖2所示。

圖2 基于DSP+FPGA的計算機圖像處理板的硬件構成

圖3 FPGA和SDRAM的連接方式

該硬件板的特征在于:(1)該硬件板是在工作中進行圖像處理的關鍵部件。(2)該硬件板是一塊關鍵的協(xié)同處理器,也是一塊可以進行數(shù)據(jù)交互的核心。(3)采用JIAG模擬架構。(4)每個晶片都有不同的輸出電壓[4]。

3.2 DSP接口設計

在此設計階段,要使用FPGA來完成DSP芯片的功能設定,可以將DSP外部中斷的I/O信號和計時器信號與FPGA進行互相連接,這樣就可以完成二者之間的相互通信。由于DSP本身的內存不夠,必須通過DSP進行內存擴充才行。DSP在實現(xiàn)外部存儲器訪問時,僅需要向其提供片外存儲器相應的CE空間初始地址,并以芯片需求為依據(jù)實現(xiàn)控制寄存器的設置來實現(xiàn)接入[5]。在本文所討論的系統(tǒng)中,對兩個外存片進行了擴展,在設計外存片時,使用了一個時鐘,能夠實現(xiàn)800 Mbit/s的傳輸,所以能夠很好地符合該設計的需要。把各個芯片DSP及SDRAM的接口分別與FPGA的I/O進行連接,可以方便地實現(xiàn)FPGA與SDRAM的連接。

3.3 FPGA電路設計

與 DSP芯片的外設相比,FPGA的外設比較容易實現(xiàn),其外設方式也比較容易實現(xiàn),沒有什么特殊的需求。均可根據(jù)自身的需求,用硬件編程方法完成功能的設計。FPGA可實現(xiàn)4種不同的組態(tài):從串、主串、邊界掃描、選擇性映射。從串方式中的FPGA,需要可以接受外部PROM及其他器件串行的配置數(shù)據(jù),在外部時鐘的作用下,實現(xiàn)圖2DSP和FPGA圖像處理板硬件組成操作,可以將大量的FPGA構造為菊花鏈,可以從某種數(shù)據(jù)源中得到數(shù)據(jù)。在主要順序模式下,對FPGA的需求是:串行PROM以及對時鐘進行配置,從而可以高效地讀取配置數(shù)據(jù)[6]。在本設計中,采用主串與JTAG兩種組態(tài)方式來完成,其中JTAG方式是通過對源碼進行聯(lián)機調試來完成的,在計算機關機之后所有系統(tǒng)的配置內容會被遺失。主串方式的電路結構如圖4所示。

圖4 主串模式的配置電路

4 系統(tǒng)模塊實現(xiàn)

在進行系統(tǒng)的設計時,遵循模塊化的原則,系統(tǒng)的功能模塊由輸入模塊、圖像處理模塊(FPGA芯片和DSP芯片)、存儲模塊、輸出模塊組成。本系統(tǒng)的工作過程如下:影像處理系統(tǒng)的輸入部分包括CCD攝像機和視頻解碼器TVP5150PBS。TVP5150PBS在收到 CCD的模擬視頻信號后,將其轉換為YUV4﹕2﹕2的數(shù)字視頻格式,并將其設定為720×576。在ADSP-BF561單片機上采用特殊的視頻接口PPI0來存儲這些數(shù)字圖像。當采集一個畫面后,DSP的DMA信號發(fā)生故障,此時由FPGA對采集到的畫面進行預處理。隨后DSP利用相關的圖像處理算法,對經(jīng)過預處理的圖像數(shù)據(jù)進行了處理,經(jīng)過DMA控制器,經(jīng)過PPI1接口,將該圖像數(shù)據(jù)傳送到了視頻編碼器SAA7121,將該圖像數(shù)據(jù)轉化為標準的模擬PAL視頻信號,并顯示在顯示器上。FLASH的作用是保存系統(tǒng)中的執(zhí)行程式,并為系統(tǒng)啟動提供指引。

在確定了系統(tǒng)基本組成后,要根據(jù)滿足實時圖像處理算法的要求,實現(xiàn)系統(tǒng)部分的相互組合,有效地實現(xiàn)系統(tǒng),并對系統(tǒng)模塊進行全面分析。為更好地拓展該軟件的應用領域,本文給出了該軟件各功能模塊的實現(xiàn)方案。

4.1 圖像獲取模塊

本模塊以兩類影像輸入信道為主,可依實際需要來確定影像輸入路徑,使其可進行有效擴充。該系統(tǒng)用于雙目圖像系統(tǒng),由于雙目圖像要求兩個成像器可以彼此同步,因此在一個視頻信道中,將合成同步信號分開,然后訪問第二個成像器的同一部分的輸入端口,可以有效地達到兩臺成像設備的互相同步[7]。

因為成像設備是可以進行模擬的,所以這些圖像在被分割出來后,需要進行A/D變換才能與FPGA相結合。A/D取樣的程序由FPGA來進行,兩個視頻信道的分開使得FPGA可以融合到一個FPGA中,該FPGA可以利用奇偶幀和同步信號來完成對一個數(shù)據(jù)的采集,同時也可以防止系統(tǒng)中的線路對數(shù)據(jù)的采集造成影響。當信號輸入時,添加一塊隔離芯片來隔離訊號。本系統(tǒng)采集模組的構成如圖5所示。

圖5 系統(tǒng)獲取模塊的構成

4.2 FPGA模塊

FPGA是該系統(tǒng)中最重要的一個模塊,其可以實現(xiàn)圖像采集,預處理,并產(chǎn)生控制邏輯和時鐘。文中采用CFD652芯片來實現(xiàn)以上功能。該晶片可執(zhí)行各種裝入模組,在影像訊號的輸入處,因為PAL系統(tǒng)的影像是以交錯的方式進行,所以必須在其中加入兩個端口的記憶體;當一個偶數(shù)的畫面進入時,這兩個字段就會合成一個完全的畫面。作為一個系統(tǒng)的協(xié)處理器,FPGA要實現(xiàn)對這些數(shù)據(jù)的預處理。

DSP和FPGA可以通過多種途徑進行數(shù)據(jù)交互,而本論文所設計的圖像處理系統(tǒng)需要進行海量的數(shù)據(jù)的交互,以及對視頻像素的速率有較高的需求,因此可以采用雙口RAM來完成二者的交互。該系統(tǒng)以控制器為核心,通過FPGA和PC計算機之間的通信,將PC的控制命令通過串行傳輸給DSP。采用FPGA的程序來完成對串口通信的控制,同時也可以使用專用的芯片來完成,這樣可以節(jié)省大量的資源。

4.3 DSP模塊設計

TM5411是一款利用TM5411對圖像信號進行數(shù)字處理的新型高性能DSP芯片,其具有以下幾個方面的功能。

(1)利用EMIFA端口,完成用于儲存要被加工的數(shù)字圖像信號,并對圖像數(shù)據(jù)進行訪問和處理。擴展程序存儲器的最大作用就是要實現(xiàn)對數(shù)字圖像信號處理程序的存儲,在DSP復位后,就可以完成DSP初始化及FPGA的配置并運行[8]。

(2)通過與FPGA建立實時通信,以達到高效地完成各軟件模塊間的互相調度與協(xié)作。

(3)根據(jù)產(chǎn)生的控制邏輯,對FPGA進行重置,其中,根據(jù)對應的信號,對DSP進行重置;以執(zhí)行復位和運算等運算,使用高速FPGA實現(xiàn)二維傅立葉轉換,然后對轉換的數(shù)據(jù)進行對應的運算。當操作完成后,將生成一個終止標記,DSP通過對終止標記的探測,完成對FPGA數(shù)據(jù)的讀出,并通過現(xiàn)場總線將數(shù)據(jù)傳送到PC機上。

5 系統(tǒng)軟件設計

本計算機系統(tǒng)的圖像處理系統(tǒng)軟件設計流程如圖6所示。

圖6 計算機圖像處理系統(tǒng)的軟件設計流程

在該系統(tǒng)應用前,需要對其進行初始化操作。首先,設定一個中斷矢量表,并采用鎖相環(huán)二十次頻率。由于采用了外置晶體振蕩器的時鐘,核心可以在多赫茲的時鐘頻率下運行,并可根據(jù)EBIU的結構,開啟一個外接總線的接口。在完成了EBIU的組態(tài)后,完成DSP外圍電路的設定,并對外圍電路進行初始化。在完成對影像的預處理以后,要想有效地改善影像的處理,必須采用有目的的方法進行處理。該算法具有空間平行性,在對圖像進行區(qū)塊化處理后,采用一種星型結構聯(lián)系各處理單元,將待處理的圖像數(shù)據(jù)傳輸?shù)礁魈幚韱卧狣SP芯片上。DSP的干燥過程包括以下步驟。

(1)對圖像進行邊界擴大,然后讀取內存。

(2)對全局的變量及參數(shù)進行計算,從而能夠進一步降低計算量,避免重復使用的變量重新執(zhí)行計算。

(3)提取各像素對應的中間像素,將各像素對應的權重與該中間像素進行乘法,利用該乘法初始化估計量窗口。

(4)確定各中間區(qū)塊所對應的觀察窗口區(qū)域。

(5)求取觀察窗口的權重,完成估算窗口的累積。

(6)判定觀察窗口的定位有無超出觀察窗口的定位范圍。

(7)確定兩個像素的位置。

(8)由于像素點估算窗口交疊,因此要對對應的點進行除法,然后取整,從而限制了灰度的范圍,由此得出該像素點的灰階估算。

(9)完成運算后,將信號處理的結果傳送到PC機上。

6 系統(tǒng)測試

對圖像進行處理的方法有兩大類:一類是對圖像進行后處理算法,另一類是對圖像進行預處理。而預處理算法的目的就是可以對圖像特征進行更多地增強,排除一些干擾信息,還可以提取一些有用的信息。這由FPGA完成。在完成預處理之后,大多數(shù)都是二值圖像,這樣就可以減少圖像的冗余,從而減少后期算法,增加算法的可行性。通過對該模型進行模擬實驗,驗證該模型的正確性。

7 結語

綜上所述,本文基于DSP+FPGA的非線性結構對計算機的圖像處理系統(tǒng)進行設計。設計的系統(tǒng)具有性價比高、體積小、速度快、功耗低、可擴展性強、易于維護、適應性強等特點。該系統(tǒng)的應用前景較為廣闊,由于系統(tǒng)的設計時間有效,系統(tǒng)的某些功能還不夠完善,在以后的實際應用中將不斷改善系統(tǒng)的性能。