漆為民，周 俊，張 霞

（江漢大學(xué) 物理與信息工程學(xué)院，湖北 武漢 430056）

基于Nios II的光學(xué)定位跟蹤系統(tǒng)

漆為民，周 俊，張 霞

（江漢大學(xué) 物理與信息工程學(xué)院，湖北 武漢 430056）

介紹了一套由SOPC開發(fā)平臺(tái)構(gòu)成的定位跟蹤系統(tǒng)，該平臺(tái)核心為Altera的FPGA及內(nèi)嵌的軟核Nios II CPU。系統(tǒng)采用DE2開發(fā)板、OV7670數(shù)字?jǐn)z像頭以及數(shù)字觸摸屏實(shí)現(xiàn)。該裝置操作方便，能進(jìn)行一定范圍內(nèi)運(yùn)動(dòng)物體的光學(xué)定位追蹤，同時(shí)還具備手動(dòng)式協(xié)調(diào)定位功能。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)功耗低、設(shè)計(jì)靈活、可拓展性強(qiáng)、能穩(wěn)定精確地定位被跟蹤目標(biāo)。

光學(xué)定位跟蹤；FPGA；Nios II；觸摸屏

0 引言

傳統(tǒng)圖像檢測(cè)一般采用模擬圖像、人工判讀方式，無(wú)法適應(yīng)目標(biāo)自動(dòng)檢測(cè)、識(shí)別、跟蹤等問(wèn)題。隨著數(shù)字圖像分析處理技術(shù)的發(fā)展與應(yīng)用，光測(cè)圖像判讀設(shè)備的硬件組成越來(lái)越簡(jiǎn)單，性能越來(lái)越強(qiáng)大。目前，眾多研究者專注于運(yùn)動(dòng)目標(biāo)的自動(dòng)檢測(cè)與跟蹤定位的有關(guān)技術(shù)，研發(fā)高精度、高可靠性以及自動(dòng)化的圖像判讀系統(tǒng)，從而使其在人體運(yùn)動(dòng)測(cè)量、數(shù)字醫(yī)療、安防、智能交通、航空航天等領(lǐng)域得到廣泛應(yīng)用。

傳統(tǒng)的運(yùn)動(dòng)物體定位跟蹤檢測(cè)技術(shù)大多依靠PC或DSP實(shí)現(xiàn)。PC實(shí)現(xiàn)圖像處理成本高、體積大、不便于攜帶，且速度無(wú)優(yōu)勢(shì)。DSP雖然處理速度快，但其功能和相關(guān)參數(shù)固定，靈活性不足。采用FPGA配合Nios II軟核實(shí)現(xiàn)本系統(tǒng)具有較強(qiáng)的優(yōu)勢(shì)，關(guān)鍵數(shù)據(jù)處理及算法可以用HDL在硬件中實(shí)現(xiàn)，系統(tǒng)及功能擴(kuò)展方便，兼顧了處理速度和靈活性，同時(shí)具有嵌入式系統(tǒng)固有的低成本、便攜的優(yōu)點(diǎn)；且軟件開發(fā)周期短，代碼可移植，結(jié)合用戶自定義硬件邏輯，可以并行地完成復(fù)雜的圖像處理任務(wù)，極大地體現(xiàn)了FPGA的優(yōu)勢(shì)。對(duì)本系統(tǒng)來(lái)說(shuō)，相關(guān)組件可以很容易整合，被跟蹤運(yùn)動(dòng)物體圖像數(shù)據(jù)處理過(guò)程中的相關(guān)參數(shù)可以方便調(diào)節(jié)，這對(duì)于實(shí)現(xiàn)不同的性能指標(biāo)，滿足不同條件下的用戶需求是很有利的。

1 光學(xué)定位跟蹤技術(shù)

光學(xué)測(cè)量通常以光學(xué)望遠(yuǎn)鏡、攝像機(jī)、紅外、激光等技術(shù)的測(cè)量設(shè)備對(duì)目標(biāo)進(jìn)行跟蹤測(cè)量［1］，具有測(cè)量精度高、可獲得目標(biāo)影像、直觀性強(qiáng)、可事后復(fù)現(xiàn)、不受電磁波干擾的特點(diǎn)。但光學(xué)測(cè)量的作用距離較近，并受到氣候條件的限制。采用激光測(cè)量可在一定程度上提高測(cè)量距離及精度。

定位跟蹤技術(shù)最早用于航空航天領(lǐng)域，目前已廣泛應(yīng)用于醫(yī)療、安防等領(lǐng)域。光學(xué)定位跟蹤是目前使用最廣泛、精度最高的一種定位方法［2］。光學(xué)定位跟蹤一般通過(guò)攝像機(jī)等觀察目標(biāo)，然后根據(jù)立體視覺(jué)原理重建出目標(biāo)的空間位置。在需要高精度的場(chǎng)合，常采用激光對(duì)目標(biāo)進(jìn)行定位。

2 系統(tǒng)架構(gòu)

本系統(tǒng)主要由FPGA開發(fā)板、OV7670數(shù)字?jǐn)z像頭以及數(shù)字觸摸屏構(gòu)成。FPGA對(duì)高清CMOS攝像頭采集的視頻數(shù)據(jù)進(jìn)行存儲(chǔ)、分析與處理，獲取圖像中的指定物體并進(jìn)行定位鎖定，然后通過(guò)光源系統(tǒng)跟蹤該物體的運(yùn)動(dòng)位置，同時(shí)可用數(shù)字觸摸屏的串口數(shù)據(jù)處理手動(dòng)協(xié)調(diào)激光定位，通過(guò)VGA顯示屏輸出，通過(guò)數(shù)據(jù)處理提取出來(lái)的相關(guān)參數(shù)調(diào)控舵機(jī)與激光探頭，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)中被鎖定物體的精確跟蹤。

系統(tǒng)充分利用了FPGA開發(fā)板所配資源，時(shí)鐘信號(hào)由FPGA內(nèi)嵌的PLL獲得。通過(guò)特定算法對(duì)圖像中提取出的相關(guān)參數(shù)進(jìn)行運(yùn)算，調(diào)控舵機(jī)與激光探頭對(duì)指定物體實(shí)現(xiàn)定位跟蹤監(jiān)測(cè)任務(wù)。利用數(shù)字觸摸屏手動(dòng)操作，輔助協(xié)調(diào)光學(xué)定位。系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)圖

3 運(yùn)動(dòng)目標(biāo)檢測(cè)算法

就國(guó)內(nèi)外已發(fā)表的文獻(xiàn)看，運(yùn)動(dòng)目標(biāo)檢測(cè)的算法非常多，本文采用了基于統(tǒng)計(jì)模型的目標(biāo)檢測(cè)算法。根據(jù)貝葉斯理論構(gòu)造出如下運(yùn)動(dòng)估計(jì)模型［3］：

其中g(shù)k、gk-1表示觀察到的序列圖像，(m1，m2)表示運(yùn)動(dòng)估計(jì)值。等式右邊分子第一項(xiàng)是條件概率，其物理意義在于：在給定前一幀觀察圖像gk-1及估計(jì)的(m1，m2)情況下，如何更好地解釋觀察的當(dāng)前圖像gk。第二項(xiàng)是運(yùn)動(dòng)場(chǎng)的先驗(yàn)概率，它反映了有關(guān)實(shí)際運(yùn)動(dòng)場(chǎng)的先驗(yàn)知識(shí)。

首先利用較簡(jiǎn)單的算法對(duì)運(yùn)動(dòng)場(chǎng)進(jìn)行粗略估計(jì)，然后根據(jù)馬爾科夫（Markov）隨機(jī)場(chǎng)理論，構(gòu)造運(yùn)動(dòng)場(chǎng)的間斷點(diǎn)分布模型，利用此模型來(lái)檢測(cè)運(yùn)動(dòng)場(chǎng)間斷點(diǎn)，以此來(lái)實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的檢測(cè)［4］。實(shí)驗(yàn)表明這一方法十分有效且運(yùn)算負(fù)擔(dān)較小，采用Cyclone II系列的FPGA可以實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。

4 系統(tǒng)硬件方案

本系統(tǒng)采用Altera FPGA以及內(nèi)含的軟核處理器Nios II構(gòu)建片上可編程系統(tǒng)（SOPC），選用友晶公司的DE2-70作為硬件開發(fā)平臺(tái)，配合OV7670 CMOS攝像頭進(jìn)行視頻信號(hào)采集，通過(guò)對(duì)視頻圖像信號(hào)進(jìn)行處理，再由算法程序控制S3010型號(hào)舵機(jī)改變激光探頭鎖定目標(biāo)以及手動(dòng)調(diào)節(jié)串口數(shù)字觸摸屏的串口數(shù)據(jù)，調(diào)節(jié)激光探頭方向，實(shí)現(xiàn)實(shí)時(shí)定位被跟蹤運(yùn)動(dòng)物體的檢測(cè)，最后由普通的VGA顯示器或彩色液晶顯示屏進(jìn)行輸出。FPGA主要完成對(duì)CMOS攝像頭和S3010舵機(jī)的控制、數(shù)字觸摸屏的串口數(shù)據(jù)傳輸處理、Bayer Pattern到RGB的轉(zhuǎn)換、物體定位、運(yùn)動(dòng)物體跟蹤檢測(cè)、參數(shù)提取、串口數(shù)據(jù)調(diào)試傳輸和VGA輸出等工作，其中Nios II構(gòu)建的SOPC系統(tǒng)完成視頻信號(hào)到SDRAM的存儲(chǔ)與處理并控制顯示輸出。光學(xué)定位跟蹤系統(tǒng)硬件組成見圖2。

圖2 系統(tǒng)硬件組成

4.1 圖像采集和存儲(chǔ)子模塊

為實(shí)現(xiàn)實(shí)時(shí)跟蹤運(yùn)動(dòng)物體，必須要保證視頻顯示的流暢性和質(zhì)量，攝像頭產(chǎn)生圖像的分辨率及幀率也應(yīng)達(dá)到一定的要求，且攝像頭產(chǎn)生的圖像質(zhì)量要好，要求具備較好的感光性能［5］。所以本系統(tǒng)采用攝像頭型號(hào)為OV7670的CMOS攝像頭圖像處理方法，設(shè)置分辨率為320×240，輸出為16位Bayer Pattern顏色值，轉(zhuǎn)換為10位RGB圖像數(shù)據(jù)存儲(chǔ)，VGA顯示分辨率設(shè)置為640× 480，場(chǎng)頻60 Hz。

數(shù)字?jǐn)z像頭傳輸過(guò)來(lái)的圖像數(shù)據(jù)首先經(jīng)過(guò)攝像頭自帶緩存，再通過(guò)緩存中的圖像數(shù)據(jù)存入DE2開發(fā)板的SDRAM中。FPGA將在SDRAM中對(duì)圖像數(shù)據(jù)進(jìn)行處理。

4.2 核心處理子模塊

本系統(tǒng)使用友晶公司的DE2開發(fā)平臺(tái)，該平臺(tái)有豐富的外圍設(shè)備接口，采用Altera公司的EP2C35F672C6芯片。系統(tǒng)使用SOPC技術(shù)，利用了FPGA可重復(fù)編程的特性，嵌入了NiosⅡ軟核處理器，系統(tǒng)程序和運(yùn)行數(shù)據(jù)均存放在SRAM里。這種設(shè)計(jì)增強(qiáng)了系統(tǒng)的靈活性和完整性，縮短了前期開發(fā)周期，提高了設(shè)計(jì)效率，具有良好的可擴(kuò)展性和可升級(jí)性，且價(jià)格低廉，具有極強(qiáng)的市場(chǎng)競(jìng)爭(zhēng)力。

4.3 圖像數(shù)據(jù)顯示處理子模塊

系統(tǒng)基于FPGA配合Nios II實(shí)現(xiàn)圖像數(shù)據(jù)處理。圖像的關(guān)鍵數(shù)據(jù)處理及算法可用HDL在硬件中實(shí)現(xiàn)，系統(tǒng)功能方便擴(kuò)展，兼顧了處理速度和靈活性。采用HDL和C語(yǔ)言編程，使得整個(gè)系統(tǒng)具有較短的開發(fā)周期，代碼可移植。結(jié)合用戶自定義硬件邏輯，可完成復(fù)雜的圖像處理任務(wù)。

4.4 光學(xué)定位跟蹤子模塊

本模塊利用光源系統(tǒng)對(duì)指定物體進(jìn)行定位跟蹤。由于小光斑激光探頭具有強(qiáng)抗干擾性、高穩(wěn)定性、抑制浪涌電流及緩啟動(dòng)等特點(diǎn)，以其為定位光源效果較理想。使用的舵機(jī)型號(hào)為S3010，具有反應(yīng)速度快、無(wú)反應(yīng)區(qū)范圍小、定位精度高、抗干擾能力強(qiáng)等優(yōu)點(diǎn)。兩者配合組成光學(xué)定位跟蹤模塊，可以實(shí)現(xiàn)光源系統(tǒng)在攝像頭所攝范圍內(nèi)的任意一點(diǎn)定位跟蹤測(cè)試［6-7］。

4.5 系統(tǒng)硬件配置

本系統(tǒng)的硬件配置采用了多個(gè)IP核的共同協(xié)調(diào)工作（見圖3）。首先需搭建基本的CPU處理器及其他通用外設(shè)，再加入本系統(tǒng)所需要的一些針對(duì)性的IP核。如DMA控制器用于圖像采集的大量數(shù)據(jù)搬運(yùn)工作；Character Buffer IP核用于在VGA顯示屏的圖像背景上添加字符；Scaler IP核用于對(duì)圖像像素的擴(kuò)大與縮小處理等。各種IP的搭配構(gòu)成了本系統(tǒng)。

圖3 系統(tǒng)的硬件配置圖

FPGA中模塊采用Verlog HDL語(yǔ)言以及SOPC Builder定制實(shí)現(xiàn)，SOPC Builder能根據(jù)定制結(jié)果自動(dòng)生成針對(duì)特定硬件環(huán)境的C語(yǔ)言和匯編語(yǔ)言的頭文件以及HAL函數(shù)庫(kù)，通過(guò)調(diào)用HAL函數(shù)，可以不必去過(guò)多地關(guān)心硬件底層構(gòu)架。Altera提供了豐富的IP模塊資源，可以使設(shè)計(jì)更為快捷。SOPC Builder中提供的各IP模塊以及軟核CPU通過(guò)Avalon總線連接。

5 設(shè)計(jì)描述

5.1 圖像輸出顯示

圖像采集模塊的主要功能是依據(jù)OV7670采集產(chǎn)生圖像的時(shí)序，設(shè)計(jì)相應(yīng)的接收程序。圖像采集模塊還應(yīng)考慮系統(tǒng)的可控性和如何將數(shù)據(jù)存入SDRAM，方便進(jìn)行處理。VGA的數(shù)據(jù)輸出基本時(shí)序如圖4所示。

圖4 VGA輸出時(shí)序圖

圖4中水平時(shí)序HSync和垂直時(shí)序VSync由高電平變?yōu)榈碗娖角倚杞?jīng)過(guò)0.607 ms（Back Porch）后，視頻信號(hào)才可有效傳輸，且傳輸數(shù)據(jù)需滿足Top/Left Border→Addressable Video→Bot?tom/Right Border的時(shí)序要求。再經(jīng)過(guò)0.026 ms（Front Porch）后，水平和垂直時(shí)序才可變?yōu)橄乱淮胃唠娖健?/p>

由于顯示輸出時(shí)需要從SDRAM連續(xù)讀取數(shù)據(jù)，而輸出數(shù)據(jù)又要滿足VGA的時(shí)序要求，為此應(yīng)按Avalon ST總線封裝設(shè)計(jì)顯示控制模塊。

5.2 圖像信號(hào)轉(zhuǎn)換

攝像頭傳來(lái)的信號(hào)為Bayer Pattern形式，如圖5所示，必須經(jīng)過(guò)一些轉(zhuǎn)換才能供普通VGA顯示輸出。由于要送入VGA顯示的數(shù)據(jù)是一行一行地讀，系統(tǒng)通過(guò)Quartus II所帶的Shift_Register核，構(gòu)建出Pixel_Buffer進(jìn)行緩存操作，實(shí)現(xiàn)了兩行數(shù)據(jù)對(duì)應(yīng)位依次同時(shí)輸出，這樣就能解決RGB數(shù)據(jù)獲得的問(wèn)題［8］。

圖5 Bayer模式轉(zhuǎn)換方法

在有些圖像處理中，選用YCbCr的圖像格式更合適。其中Y是指亮度分量，Cb指藍(lán)色色度分量，而Cr指紅色色度分量。人的肉眼對(duì)視頻的Y分量更敏感，因此在通過(guò)對(duì)色度分量進(jìn)行子采樣來(lái)減少色度分量后，肉眼將基本察覺(jué)不到圖像質(zhì)量的變化。主要的子采樣格式有YCbCr 4∶2∶0、YCbCr 4∶2∶2、YCbCr 4∶4∶4和YCbCr 4∶1∶1。

轉(zhuǎn)換公式如下：

用HDL語(yǔ)言描述如下：

5.3 運(yùn)動(dòng)物體圖像顯示處理

攝像頭實(shí)時(shí)輸入的圖像數(shù)據(jù)可顯示在VGA顯示屏上。由于對(duì)VGA顯示屏有分屏處理，必須在圖像數(shù)據(jù)的傳輸過(guò)程中對(duì)圖像像素進(jìn)行裁剪與添加。攝像頭輸出的圖像像素是320×240，但是顯示在VGA上的圖像中的攝像頭部分是320× 480。因此必須對(duì)攝像頭輸入進(jìn)來(lái)的圖像像素通過(guò)Scaler IP將圖像像素的縱向擴(kuò)大為320×480（見圖6）。為使VGA以最佳效果顯示圖像，需讓VGA一半的空間顯示攝像頭獲取的畫面，另一半則顯示操作界面和系統(tǒng)信息，這部分不需要實(shí)時(shí)刷新，在保證最佳的顯示效果的同時(shí)也節(jié)約系統(tǒng)資源。為了讓兩邊的畫面匹配，右側(cè)的靜態(tài)畫面的分辨率也設(shè)置為360×240，這樣，當(dāng)前畫面的分辨率為640×240。

圖6 Scaler IP核結(jié)構(gòu)

5.4 系統(tǒng)界面

通過(guò)軟件編程讓640×480的液晶顯示屏分左右兩屏。在顯示過(guò)程中，首先對(duì)屏幕進(jìn)行清屏處理，然后在顯示屏上顯示初始化二分屏圖像。方顯示輸出圖像，右方顯示跟蹤對(duì)象像素坐標(biāo)，最后通過(guò)攝像頭視頻輸入，讓液晶屏實(shí)時(shí)顯現(xiàn)視頻圖像。效果展示如圖7所示。

圖7 圖形化界面

同時(shí)系統(tǒng)還擴(kuò)展了800×600的數(shù)字觸摸屏，在觸摸屏上虛擬出一些多功能按鍵，從而使用戶更易于操作。

6 結(jié)語(yǔ)

本文詳細(xì)討論了基于Nios II的光學(xué)定位跟蹤系統(tǒng)設(shè)計(jì)方案。該系統(tǒng)采用FPGA開發(fā)，擴(kuò)展功能強(qiáng)，硬件設(shè)計(jì)靈活，由于大量地使用Altera提供的IP Core，大大縮短了開發(fā)時(shí)間。各個(gè)子系統(tǒng)模塊的控制器都集中在一片F(xiàn)PGA中，使得系統(tǒng)具有較高的可靠性，同時(shí)也降低了成本。該系統(tǒng)跟蹤精度高、實(shí)時(shí)性好，在舞臺(tái)人員報(bào)幕跟蹤、家庭安保等實(shí)際應(yīng)用領(lǐng)域中取得較好效果。

［1］ 何照才.光學(xué)測(cè)量系統(tǒng)［M］.北京：國(guó)防工業(yè)出版社，2002.

［2］ 孫九愛.計(jì)算機(jī)輔助外科手術(shù)中被動(dòng)式多眼定位器的研究［D］.上海：上海交通大學(xué)，2001.

［3］ 魏波.點(diǎn)時(shí)空約束圖像目標(biāo)跟蹤理論與實(shí)時(shí)實(shí)現(xiàn)技術(shù)研究［D］.成都：電子科技大學(xué)，2000.

［4］ 馬頌德，張正友.計(jì)算機(jī)視覺(jué)：計(jì)算理論與算法基礎(chǔ)［M］.北京：科學(xué)出版社，1998.

［5］ Rosin P L，Ellis T J.Image difference threshold strate?gies and shadow detection［C］//BMVC’95 Proceedings of the 1995 British Conference on Machine Vision，Bir?mingham，1995：347-356.

［6］ Okada R，Shirai Y，Miura J.Object tracking based on optical flow and depth［C］//Proceedings of International Conference on Multisensor Fusion and Integration for In?telligent Systems，1996：565-571.

［7］ Tsaig Y，Averbuch A.Automatic segmentation of mov?ing objects in video sequences：a region labeling ap?proach［J］.IEEE Transactions on Circuits and Systems for Video Technology，2002，12（7）：597-612.

［8］ Zhu S，Ma K K.A new diamond search algorithm for fast block-matching motion estimation［J］.IEEE Trans?actions on Image Processing，2000，9（2）：287-290.

Optical Orientating and Tracking System Based on Nios II

QI Wei-min，ZHOU Jun，ZHANG Xia
（School of Physics and Information Engineering，Jianghan University，Wuhan 430056，Hubei，China）

Introduces a optical orientating and tracking system based on SOPC platform，the core of the platform consist of FPGA of Altera and embedded Nios II CPU.The system adopts DE2 development board，OV7670 digital camera and digital touch screen.It is easy for operating and can automatically locate and track the moving object in a certain range.It also can be adjusted with manu?al operating.Experiment shows it has low power consumption，flexibility，expansibility，and it can locate and track targets steadily and accurately.

optical orientating and tracking；FPGA；Nios II；touch screen

TP273

：A

：1673-0143（2013）02-0018-05

（責(zé)任編輯：曾 婷）

2012－12－25

武漢市教育局教研項(xiàng)目（2011055）

漆為民（1975—），男，副教授，碩士，研究方向：嵌入式系統(tǒng)。