霍　炬，王行順，王永錕，劉洪臣，楊旭強

(哈爾濱工業(yè)大學　a.電氣工程及自動化學院；b.航天學院，哈爾濱　150080)

?

視覺定位系統(tǒng)實習平臺開發(fā)

霍炬a，王行順b，王永錕b，劉洪臣a，楊旭強a

(哈爾濱工業(yè)大學a.電氣工程及自動化學院；b.航天學院，哈爾濱150080)

摘要為了能讓本科畢業(yè)生將課堂上的知識運用到工程實踐中，培養(yǎng)他們解決問題的能力，提高他們的綜合素質(zhì)，結(jié)合實際科研項目，綜合利用實驗設備，搭建了一套視覺定位系統(tǒng)，解決了從攝像機拍攝的圖像序列中識別、定位運動目標的問題。該文采用基于金字塔分層的LK光流算法，并且采用TM6710工業(yè)攝像機對亮點的定位進行測試。經(jīng)驗證，該系統(tǒng)具有很好的實時性和較高的穩(wěn)定性。

關鍵詞視覺定位；圖像序列；光流法

作為機器視覺與圖像處理技術的一個重要分支[1]，視覺定位技術在國防領域和日常生活中有著廣泛的應用[2]，如主動視頻監(jiān)控、人機交互等。在工業(yè)方面，視覺定位技術可以用于工業(yè)機器人系統(tǒng)中，機器人通過對目標的識別，定位出目標的位置。

為本科畢業(yè)生將來的就業(yè)和進一步學習奠定基礎，哈爾濱工業(yè)大學為學生提供了校內(nèi)實習的機會，搭建了視覺定位系統(tǒng)。首先，根據(jù)系統(tǒng)本身的特點，采用基于金字塔分層的LK光流算法；其次，在VC++6.0環(huán)境下利用OpenCV庫對算法進行驗證，并在實際定位環(huán)境下對算法進行性能測試；最后，對實習平臺的軟硬件進行設計，完成運動視覺定位系統(tǒng)的搭建，并對其進行測試。在實際運行中，剛開始時，系統(tǒng)采用的攝像頭采集頻率較低，影響了跟蹤精度，更換采集頻率比較高的TM6710攝像機后，最終結(jié)果顯示，該系統(tǒng)能滿足實驗需求。

1視覺定位系統(tǒng)的總體結(jié)構(gòu)

運動視覺定位系統(tǒng)的總體框圖如圖1所示。系統(tǒng)主要包括上位機、工業(yè)攝像機及空間目標模擬器3個部分。工業(yè)攝像機為TM6710，主要負責圖像采集；上位機為一臺高性能計算機，主要接收工業(yè)攝像機采集到的圖像數(shù)據(jù)，進行圖像預處理、特征角點提取、運動目標識別等相關的圖像處理；運動目標模擬器為一個二維平面支架，模擬運動目標在平面內(nèi)的運動。在此過程中，學生們對整個系統(tǒng)構(gòu)架有了清晰的認識。

圖1　視覺定位系統(tǒng)的總框圖

2視覺定位系統(tǒng)原理

運動目標識別就是把圖像序列中與背景存在相對運動關系的物體提取出來，而運動目標跟蹤就是根據(jù)識別出的運動目標的圖像特征，在接下來的圖像序列中找出目標[3]。

本文采用基于金字塔分層的LK光流算法實現(xiàn)運動目標的識別與跟蹤，該方法處理流程如圖2所示。

圖2金字塔分層LK光流算法流程

3基于金字塔分層計算的LK光流算法

金字塔分層的LK算法步驟為角點檢測、圖像分層和基于角點匹配的光流跟蹤[4]。該算法基于小窗口匹配像素點，對圖像分層可在一定程度上減小該約束的作用[5]，因此能夠處理較快的運動。

3.1角點特征檢測

角點是指圖像中具有高曲率的點[6]。角點包含較豐富的圖像信息，利用角點進行匹配可以大大減小計算量。

本文采用Harris提出的角點檢測算法[7]實現(xiàn)角點的檢測，它利用圖像的灰度信息來提取角點。

檢測得到所有候選角點后，僅保留強度變化幅值局部最大的點，來尋找易于跟蹤的特征角點。通過合理設定閾值，根據(jù)Harris角點檢測方法檢測出候選角點。然后，根據(jù)候選角點特征值大小，依次確定一個以該點為圓心，以d0為半徑的區(qū)域，在該區(qū)域內(nèi)，剔除其他的候選角點，保證該區(qū)域內(nèi)只有一個特征值較大的候選角點。這樣就保證了角點的健壯性。

3.2圖像分層

對于大多數(shù)30 Hz的攝像機，大而不連貫的運動是普遍存在的，而LK光流算法適合于小而連續(xù)的運動，因此在實際跟蹤過程中效果并不非常好[8]。通過分層后，大而不連貫的運動在底層便是小而連續(xù)了，可以進行光流計算[9]。用上一層得到的運動估計結(jié)果作為下一圖像層的起始點來估計該層的光流，直至圖像底層完成實際光流的計算。

IL-1(2x+1，2y)+IL-1(2x，2y-1)+

IL-1(2x+1，2y-1)+IL-1(2x-1，2y+1)+

IL-1(2x+1，2y+1))

(1)

(2)

3.3基于角點匹配的光流跟蹤

(3)

金字塔LK光流算法步驟為：計算金字塔頂層圖像ILM的光流，將得到的光流結(jié)果作為Lm-1層光流的初始值；再計算Lm-1層圖像上光流的精確值[11]。同樣，Lm-2層光流的初始值由Lm-1層光流的精確值估計，得到該層精確值后繼續(xù)代入下一層圖像估計初始值，直到計算出原始圖像的光流。

在圖像處理中，學生學習了光流法的理論知識和公式推導過程，為之后視覺定位系統(tǒng)的處理奠定了理論基礎。

4基于光流法的視覺定位

圖3是視覺定位的示意圖，主要由攝像機和運動目標組成。

為了對本文的光流算法進行實用性驗證，在實現(xiàn)算法的基礎上，首先，利用攝像機運動情況下拍攝的飛行器視頻對算法進行驗證，它與本系統(tǒng)最終實驗情況相同；其次，在算法正確的基礎上對實際要定位的模擬運動目標進行靜態(tài)定位實驗，根據(jù)模擬環(huán)境的實際情況，在定位前需要進行相關圖像預處理；最后給出測試結(jié)果。

圖3　視覺定位示意圖

4.1攝像機的標定

在進行視覺定位前，必須先建立圖像坐標與世界坐標的轉(zhuǎn)換關系，即完成攝像機的標定工作。在本實驗中，攝像機標定完成的工作就是根據(jù)圖像坐標差標定出云臺在水平和垂直方向需要旋轉(zhuǎn)的角度，即云臺在水平和垂直方向需要旋轉(zhuǎn)多大角度才能將目標由偏移位置移動到圖像中心[12]。

標定步驟為：利用發(fā)光二極管作為標定點，采用重心法提取亮點的圖像坐標。首先，將亮點置于圖像中心，通過云臺控制軟件記錄此時云臺的位置，作為初始位置。通過云臺控制軟件控制云臺在水平方向旋轉(zhuǎn)αx，在垂直方向旋轉(zhuǎn)αy，便得到圖3中亮點的偏移情況，提取亮點的圖像坐標，得到亮點與圖像中心的像素差Δxd，Δyd。通過該過程便得到一個標定點。重復上述過程，便得到如表1所示的實驗數(shù)據(jù)。

在跟蹤過程中，當運動目標偏離圖像中心時，計算目標中心相對于圖像中心的圖像差，根據(jù)表1，便可計算出使運動目標處于圖像中云臺在水平及垂直方向旋轉(zhuǎn)的角度。在此需要注意，標定表對角度的求取有一個取反的過程。因為標定時是從圖像中心偏移到標定位置云臺旋轉(zhuǎn)的角度，而跟蹤時是需要將目標從偏移位置旋轉(zhuǎn)到圖像中心。對于標定表中沒有的數(shù)據(jù)，可以通過線性插值求取。

標定過程讓學生學習了相機標定的原理，了解了標定步驟。

4.2金字塔LK光流法驗證性實驗

基于金字塔LK光流法，程序?qū)崿F(xiàn)了對運動目標的檢測與跟蹤。程序流程如圖4所示。

由于該方法在識別出運動目標后，以角點來標識運動目標，所以該方法可以跟蹤任何具有角點特征的運動目標，而與目標的形狀無關[13]。但是，當目標出現(xiàn)完全遮擋時，角點跟蹤會失效，需要重新識別運動目標直至目標再次出現(xiàn)。

表1　攝像機標定數(shù)據(jù)

圖4　運動目標識別與跟蹤流程

4.3模擬視覺定位測試

運動目標模擬系統(tǒng)模擬飛行器的平面運動。由于實際運動過程中支架的運動導致在視場內(nèi)運動物體過大，為此在被跟蹤區(qū)域貼標識來表示運動目標。在實際跟蹤情況下，需先進行圖像的預處理。

1)圖像濾波。

圖像濾波可以減少圖像上的噪聲。常見的圖像噪聲主要有高斯噪聲、脈沖噪聲等[14]。常見的濾波方法分為線性濾波和非線性濾波。最常見的線性濾波器就是均值濾波器，它采用奇數(shù)正方形窗口的平均灰度值代替窗口中心的灰度值，表達式為：

(4)

式中，M是鄰域N像素總和，f(x，y)為第i行j列像素的灰度值。

2)目標標識提取。

目標標識提取的目的是提取運動目標的大致區(qū)域，便于在該區(qū)域內(nèi)提取易于跟蹤的角點，從而利用光流法跟蹤運動目標。

為提取目標的輪廓，需對圖像進行邊緣提取，采用canny邊緣檢測法對圖像進行邊緣提取[15]。由于目標標識已知，根據(jù)面積大小去除不滿足要求的輪廓，對接近標識面積大小的輪廓進行橢圓擬合，由于目標標識為圓形，故擬合出的橢圓長軸與短軸之比應接近1，據(jù)此便可提取出目標區(qū)域。

提取出目標區(qū)域后，便可在實際跟蹤情況下對算法進行測試。在攝像機靜止情況下，光流算法能夠很好地完成運動目標的跟蹤，跟蹤比較穩(wěn)定。

跟蹤實時性測試中對光流法跟蹤處理耗時予以計時，跟蹤算法耗時約為4 ms。對于圖像采集頻率約為100 Hz的相機來說，跟蹤處理過程能在圖像采集間隔10 ms內(nèi)完成，因此，實時性能夠滿足系統(tǒng)要求。測試該算法所能跟蹤的最大速度時，主要受兩個因素影響：一是圖像采集速率；二是光流算法所能跟蹤的最大像素差。對本文實現(xiàn)的光流算法測試發(fā)現(xiàn)，該算法能跟蹤的兩幀間最大像素差約為6個像素。若圖像的采集頻率為100 Hz，圖像的分辨率為 640×480，那么，理想狀態(tài)下該方法可以對視場內(nèi)任意運動的目標進行跟蹤。因此，系統(tǒng)的實際跟蹤性能主要受圖像采集頻率影響。

在實驗中，學生學到了目標提取的方法，并熟知了實驗流程。

5系統(tǒng)平臺組成

5.1系統(tǒng)平臺硬件組成

系統(tǒng)平臺的硬件由攝像機、運動目標模擬器和上位機3部分組成。

1)攝像機作為圖像采集的工具，在本系統(tǒng)中相當于一個誤差傳感器，攝像機的成像質(zhì)量直接影響跟蹤效果。本文選用的攝像頭是市面上普通的USB接口的CMOS攝像頭，這種攝像頭價格便宜且使用方便，可通過USB接口直接與計算機相連而無須圖像采集卡，易于開發(fā)。主要技術規(guī)格如下：

①感光芯片：CMOS。

②分辨率：640 ×480。

③幀率：CIF格式30幀/s，VGA格式15-20 幀/s。

④接口：USB接口。

2)運動目標模擬器完成的功能是模擬飛行器的平面運動，作為待跟蹤的運動目標。伺服控制柜主要有工控機及控制軟件、GALIL運動控制卡和松下伺服驅(qū)動器等組成。最大運動速度為1.5 m/s，運動范圍為2 m×2 m，能夠模擬運動目標的直線運動與圓弧運動。

3)上位機作為圖像處理部分的核心，運行運動目標的識別程序，完成對運動目標的實時坐標提取。

5.2系統(tǒng)平臺軟件組成

系統(tǒng)平臺的軟件開發(fā)是在VC++6.0環(huán)境下完成的，在開發(fā)過程中用到的是OpenCV函數(shù)庫。

作為一個跨平臺的開源的計算機視覺庫，OpenCV的設計目標是執(zhí)行速度盡量快，主要關注實時應用。這非常符合本系統(tǒng)的要求，它主要采用了優(yōu)化的C代碼實現(xiàn)。利用OpenCV可以幫助開發(fā)人員更便捷地開發(fā)計算機視覺相關的應用程序，其中包含的眾多函數(shù)，涵蓋了計算機視覺應用的許多領域。利用OpenCV可以輕松地實現(xiàn)一些圖像的基本處理，如圖像的幾何變換、形態(tài)學處理、圖像的輪廓處理和目標的特征提取等[16]。

使用OpenCV大大減小了在VC環(huán)境下開發(fā)運動目標識別與跟蹤程序的復雜程度，而且在VC環(huán)境下使用非常方便，只需將用到的庫文件和相關頭文件添加到工程中，便可應用這些功能強大的函數(shù)。視覺定位軟件界面如圖5所示。

圖5　視覺定位軟件界面

6實驗結(jié)果及分析

控制運動目標模擬器使運動目標在運動平面內(nèi)做直線運動，根據(jù)運動目標識別結(jié)果控制云臺旋轉(zhuǎn)。根據(jù)對程序的測試，運動目標識別耗時約為15 ms，完成運動目標識別后，接下來的數(shù)據(jù)幀采用光流法對運動進行跟蹤提取耗時約為4 ms。

經(jīng)實驗驗證，在現(xiàn)有條件下能夠滿足系統(tǒng)的實時性要求。

參 考 文 獻

[1]徐劍.目標跟蹤系統(tǒng)的設計與研究[D].西安:西北工業(yè)大學，2005.

[2]伍翔.視頻圖像中運動目標檢測與跟蹤方法研究與實現(xiàn)[D].哈爾濱:哈爾濱工業(yè)大學，2007:1-10.

[3]徐晶，方明，楊華民，等.計算機視覺中的運動檢測與跟蹤[M].北京：國防工業(yè)出版社，2012:9-12.

[4]于丹丹.局部化光流估計方法研究[D].哈爾濱:哈爾濱工業(yè)大學，2011.

[5]CLAVEAU D.A space-variant architecture for active visual target tracking[D].Montreal:Concordia University，2007:9-12.

[6]張海燕.基于圖像分塊的多尺度Harris角點檢測方法[J].計算機應用，2011，5(10):45-50.

[7]HARRIS C，STEPHENS M.A combined corner and edge detector[J].Proceedings of the 4th Alvey Vision Conference，Manchester,England,1988:147-151.

[8]BRTADSKI G，KAEBLER A.學習OpenCV[M].北京：清華大學出版社，2009:356-365.

[9]GONZLLEA R C，WOODS R E.數(shù)字圖像處理[M].北京：電子工業(yè)出版社，2011:88-100.

[10]彭艷芳，視頻運動目標檢測與跟蹤算法研究[D].武漢:武漢理工大學，2010:15-18.

[11]NIETHAMMER M，TANNENBAUM A，ANGENENT S.Dynamic active contours for visual tracking[J].IEEE Transactions on Automatic Control，2006，51(4):562-579.

[12]周孚成.基于圖像的機器人視覺伺服控制[D].長沙:中南大學，2012.

[13]徐德，譚明，李原.機器人視覺測量與控制[M].北京：國防工業(yè)出版社，2011:210-215.

[14]魏任得.視頻監(jiān)控系統(tǒng)的設計和實現(xiàn)[D].成都:電子科技大學，2010.

[15]周宏仁，敬忠良，王培德.機動目標跟蹤[M].北京：國防工業(yè)出版社，1991:10-20.

[16]蔡萌.機動目標跟蹤方法研究[D].哈爾濱:哈爾濱工業(yè)大學，2010:9-10.

收稿日期:2015-03-13；修改日期: 2015-03-30

基金項目：黑龍江省高等學校教改工程項目(JG2014010725)。

作者簡介：霍炬(1977-)，男，博士，教授，主要從事電工電子方面的教學與管理工作。

中圖分類號TN873；TP317

文獻標志碼A

doi:10.3969/j.issn.1672-4550.2016.03.002

Development of Internship Platform for Visual Positioning

HUO Jua，WANG Xingshunb，WANG Yongkunb，LIU Hongchena，YANG Xuqianga

(a.School of Electrical Engineering and Automating;b.School of Astronautics, Harbin Institute of Technology, Harbin 150080,China)

AbstractIn order to let the graduates apply the knowledge learned to engineering practice，raise student’s abilities of problem solving，and improve the comprehensive quality，a set of visual positioning system is set up using experimental equipment.Problem that camera is able to recognize，position moving targets in image sequence is solved.In this paper，based on pyramid hierarchical LK optical flow algorithm，we use the TM6710 to test the positioning of highlights.According to the experiment，the system has good real-time and high-stability.

Key wordsvisual positioning;image sequence;optical flow method