賀 祥, 袁 健, 許華虎, 何永義, 王亞紅

(1.上海大學計算機工程與科學學院,上海 200072;2.上海大學機電工程與自動化學院,上海 200072)

不穩(wěn)定光照條件下多機器人的視覺系統(tǒng)設(shè)計

賀 祥1, 袁 健1, 許華虎1, 何永義2, 王亞紅1

(1.上海大學計算機工程與科學學院,上海 200072;2.上海大學機電工程與自動化學院,上海 200072)

視覺系統(tǒng)是機器人系統(tǒng)感知外界環(huán)境的主要傳感器.為了提高系統(tǒng)在不穩(wěn)定光照條件下的識別準確率和定位精度,提出新的色標設(shè)計和根據(jù)當前顏色閾值可信度來確定顏色閾值的方法,同時采用數(shù)字圖像形態(tài)學的理論對識別結(jié)果進行優(yōu)化.最后,在“家庭生活支援多機器人系統(tǒng)”中得到了驗證.

機器視覺;閾值;圖像形態(tài)學;視覺子系統(tǒng)

Abstract:A robot collects environment information mainly by its vision system. In order to improve recognition accuracy and positioning precision under variable lighting conditions,this paper describes a new pattern design and p roposes a method to adjust the color threshold according to the credibility of current color threshold.Imagemorphology isused to optimize the recognition results.The vision system is tested in the project Family Life SupportMulti-Robot Systems.

Key words:machine vision;threshold;imagemorphology;vision system

隨著計算機技術(shù)和自動化控制技術(shù)的發(fā)展,越來越多不同種類的智能機器人在工廠和生活中出現(xiàn).機器人的視覺系統(tǒng)作為智能機器人系統(tǒng)中一個重要的子系統(tǒng),也越來越受到人們的重視.機器人的視覺系統(tǒng)主要涉及圖像處理、模式識別和視覺跟蹤等領(lǐng)域[1],其主要任務(wù)為獲取實時圖像,分析圖像確定機器人的坐標和位姿,為控制模塊提供數(shù)據(jù).本工作主要研究和設(shè)計了多個服務(wù)機器人的視覺系統(tǒng).由于服務(wù)機器人具有活動范圍廣和環(huán)境光照不穩(wěn)定的特點,系統(tǒng)實現(xiàn)過程中存在以下難點:①環(huán)境光照條件不穩(wěn)定;②處理的數(shù)據(jù)量大;③待識別目標多;④圖像存在嚴重畸變.

針對以上問題,國內(nèi)外研究者先后提出了多種解決方法.2003年,在足球機器人比賽中,美國 CMU大學 CMUDragon隊提出蝶形色標方案[2],在定位精度與識別目標數(shù)量上有明顯優(yōu)勢.清華大學王栓等[3]提出基于差分圖像的多目標跟蹤方法,通過對前后兩幀圖像進行差分計算,減少了處理的數(shù)據(jù)量.2003年,Cornell大學提出利用黑白方格棋盤的頂點差分進行畸變矯正[4],提高了定位的精度.為了解決視覺系統(tǒng)圖像分割顏色閾值不確定性的問題,先后有人提出顏色查找表[5]、基于邊緣檢測和 HSI閾值地圖的顏色分割[6]等方法.以上方法在足球機器人視覺系統(tǒng)中得到了廣泛的應用,并取得了一定成效.本研究針對多服務(wù)機器人活動范圍廣、環(huán)境光照不穩(wěn)定等情況,提出新的色標設(shè)計,自動調(diào)整顏色閾值,同時引入數(shù)字圖像形態(tài)學方法對識別結(jié)果進行優(yōu)化.最后,通過多服務(wù)機器人項目驗證了本研究方法的正確性和可靠性.

1 機器人視覺子系統(tǒng)

視覺系統(tǒng)是機器人系統(tǒng)感知外界環(huán)境的主要傳感器,它由攝像機、圖像采集卡、圖像處理程序、計算機和網(wǎng)絡(luò)通信設(shè)備組成[7].視覺系統(tǒng)的工作流程如圖1所示.

圖1 機器人視覺系統(tǒng)流程圖Fig.1 Flowchar t of robot v ision system

(1)獲取圖像,一般采用 CCD攝像機作為獲取圖像的設(shè)備;

(2)初始化圖像分割 HSI閾值和攝像頭內(nèi)部參數(shù);

(3)根據(jù) HSI閾值分割圖像,對目標進行識別;

(4)利用數(shù)字圖像形態(tài)學方法,對識別結(jié)果進行優(yōu)化;

(5)根據(jù)識別結(jié)果計算機器人的坐標與位姿,并將數(shù)據(jù)傳遞到機器人的控制模塊.

2 顏色閾值的設(shè)定

基于彩色圖像分割的方法識別目標時,要選擇合適的顏色空間,常見的顏色空間有 RGB,YUV,HSI(HSV),CMY等,顏色空間的選擇直接影響圖像分割效果.RGB是常見的顏色空間,一般 CCD攝像機輸出用 RGB顏色空間表示,若選擇 RGB顏色空間,則無須轉(zhuǎn)換.但在實際應用中,由于 RGB顏色空間受光源的種類、光照的強度等因素影響,同一顏色屬性的物體測出的 RGB值分布很分散,3個分量互相關(guān)聯(lián)變化,很難確定識別 RGB的閾值范圍,容易把并非指定顏色的物體包括進去,或漏掉應該識別的部分物體.HSI顏色空間是接近人眼感知的色彩空間[8],其中 H為色調(diào),I為亮度,S為飽和度.色調(diào)屬性 H能比較準確地反映顏色種類,對外界光照條件的變化敏感程度低,對同一顏色屬性物體,H具有比較穩(wěn)定和較窄的數(shù)值變化范圍,可以選為主識別參數(shù).但是當 RGB值較小,即亮度 I較小時,H值不確定,所以亮度 I與飽和度 S也很重要.本研究選擇HSI顏色空間來對目標進行分割,HSI顏色空間模型如圖2所示,RGB到 HSI的轉(zhuǎn)換公式[9]為

圖2 HSI顏色空間Fig.2 Color space of HSI

在分割圖像之前,先確定每種顏色的閾值范圍,如紅色的 H值大概在[0,0.5]的區(qū)間.但由于環(huán)境光源不穩(wěn)定的影響,相同紅色色標在相同環(huán)境中不能完全識別,從而影響識別結(jié)果.本研究針對環(huán)境光照不穩(wěn)定和光線分布不均勻兩種情況,分別提出了利用四色塊和閾值可信度自動調(diào)整閾值方法.針對環(huán)境光照不穩(wěn)定的情況,本研究提出利用四色塊 (紅、黃、綠、藍)通過 Otsu閾值法[10]與 K-L變換[11]來自動調(diào)整顏色空間閾值的方法.

系統(tǒng)初始顏色空間閾值設(shè)定是通過計算四色塊中 4種顏色的 HSI值得到的.當環(huán)境的光源改變時,只需計算四色塊 (紅、黃、綠、藍)的 HSI值,就可以自動調(diào)整顏色閾值進行圖像分割處理.其計算過程如下:

(1)將色塊中 4種顏色的 RGB值轉(zhuǎn)換成HSI值.

(2)利用 Otsu閾值法選擇合適的閾值.無論是單閾值還是多閾值都是針對一維特征圖像而言.在HSI顏色空間模型中,H分量表示色調(diào)信息,能反映顏色種類且受光照的影響小,因此可先針對 H分量對四色塊使用 Otsu閾值選擇法,選擇合適的閾值,將四色塊分割成 4個連通區(qū)域.

(3)分別對 4個連通域進行局部 Otsu閾值計算.在 HSI顏色空間模型中,I分量受光照影響大,可直接使用Otsu閾值選擇法.色度分量為二維特征,其中 H為色調(diào)特征,S為飽和度特征,H和 S特征構(gòu)成極坐標系.根據(jù)人眼視覺特性,色調(diào)和飽和度構(gòu)成顏色信息,所以將二者結(jié)合考慮.在運用 Otsu閾值法之前先進行 K-L特征變換.在 HSI顏色空間中,當I一定時,顏色特征就限定在 H和 S極坐標平面內(nèi),其中 0≤H≤2π,0≤S≤1.設(shè) a,b為給定 I分量的直角坐標系,則極坐標到直角坐標轉(zhuǎn)換公式為 a=S×cos H,b=S×sin H.若將所有像素的色度特征看作是二維隨機向量 X(a,b)的樣本點,CX為樣本協(xié)方差矩陣,令 ei和λi(i=1,2)分別為 CX相同正交特征向量和對應的特征值,并且滿足條件λ1≥λ2.記T=[e1-e2]T,T是正交矩陣,則有

以 T為變換矩陣對隨機向量 X作變換,即 Y=(Y1,Y2)T是新的隨機向量,保留分量 Y1并記為色度 C.

(4)分別對 I和 C做直方圖,使用 Otsu多閾值法[11]計算 I和 C的閾值.以 I分量直方圖為例,要對分量直方圖局部使用Otsu法確定分割閾值,首先要將直方圖分段,這里先對直方圖中的極大值作判斷.由于圖像中可能含有的復雜情況,直方圖中會存在偽極大值點干擾.比較簡單的方法是,若兩個極大值之間的極小值大于門限,則將兩個極大值合并,取較大者作為極大值.然后,根據(jù)直方圖中的極大值將直方圖分成若干局部區(qū)域.這樣,在每個局部內(nèi)就可以使用 Otsu法得到一個局部閾值.

(5)根據(jù)步驟 (4)得到的閾值對 4個連通域進行局部分割.仍然以 I分量直方圖為例,對兩個閾值之間的像素進行合并,較為簡單的方法是取兩個相鄰閾值的中點.若像素 I值在兩個相鄰閾值之間,則保留此像素點,否則去掉此像素點.在重建的圖像中,像素 I值在兩閾值之間的像素連通在一起就可自動分割到同一區(qū)域.

(6)經(jīng)步驟 (5)處理,去掉了步驟 (2)受光照等因素影響的干擾區(qū)域,使連通區(qū)域更緊湊.然后,分別利用概率論的知識統(tǒng)計 4個區(qū)域中的 H,S,I值,得到最佳的紅、黃、綠、藍分割 HSI閾值.表 1為兩種光照情況下的 HSI閾值統(tǒng)計.圖3為本研究中兩種不同的光照條件.

表 1 自動確定的閾值Table 1 Threshold determ ined automatically

圖3 兩種光照條件對比圖Fig.3 Compar ison of two lighting cond itions

針對光線分布不均勻的情況,本研究提出利用識別結(jié)果建立閾值可信度的方法.如果處理過程中獲得了目標標識的全部信息,則稱這種信息為完整信息,此時閾值的可信度也相對高一些;反之,如果丟失或無法得到目標標識的信息,則稱為碎片信息,閾值可信度就低一些.根據(jù)可信度的大小判斷閾值是否可用和閾值的變化程度.根據(jù)當前識別結(jié)果的完整性來確定當前閾值的可信度α,如果當前的識別結(jié)果是完整信息,則α為 100;如果當前的識別結(jié)果是碎片信息,則有α=α×λ,其中λ=識別目標像素數(shù) ÷待識別目標像素數(shù).

可信度有上下限即接受閾值可信度的范圍,本研究的閾值可信度范圍是[80,102].當閾值可信度不在系統(tǒng)規(guī)定的范圍內(nèi)時,系統(tǒng)會根據(jù)系統(tǒng)初始化的閾值可信度與 HSI閾值對應表自動選取新的閾值.采用可信度后,可以盡可能地利用碎片信息,實時地調(diào)整顏色 HSI閾值的大小,從而保證了識別結(jié)果的連續(xù)性和正確性,提高了系統(tǒng)識別的效率和精度.圖4為通過自動閾值調(diào)整識別的目標結(jié)果.

圖4 采用閾值可信度系統(tǒng)識別目標結(jié)果Fig.4 Results of identifying the target w ith threshold of the cred ibility of the system

通過大量的實驗結(jié)果表明,針對光源不穩(wěn)定和光線不均勻的情況,采用閾值色塊和閾值可信度的方法,可以大大提高識別效率和精度,如表 2所示.

表 2 采用新措施對識別率的提高Table 2 Recogn ition rate by new measures %

3 色標的設(shè)計

色標是視覺系統(tǒng)識別的對象.在光照條件不穩(wěn)定的情況下,色標設(shè)計的好壞直接關(guān)系到視覺系統(tǒng)是否具有快速、準確、抗干擾性強的特點.在機器人足球比賽中,美國 CMUDragon隊提出了蝶形色標設(shè)計模式,該模式具有以下優(yōu)點:①非對稱色標模式,可以提供更多編碼;②定位精度高,利用 3點確定一個圓,而 4個點的三三組合可以確定構(gòu)造 4個圓,4個圓的圓心位置相加求平均值,確定機器人的中心位置,減少誤差和提高精度.這種設(shè)計方案在實際應用過程中,由于光照條件不穩(wěn)定的影響,時常會發(fā)生色標丟失的情況.按照這種設(shè)計,當丟失一個色標時就無法準確定位機器人,機器人的編碼也會發(fā)生混淆.本研究從蝶形設(shè)計思想出發(fā),針對目標機器人是服務(wù)機器人體積大的特點,提出了將 3個同色圓作為色標定位的方法.圓形色標具有旋轉(zhuǎn)不變性,圖像畸變不會造成圓形重心發(fā)生偏移的優(yōu)點.

3個同色圓是指利用 3個相同顏色的圓來對機器人進行定位,其中 2個大圓,1個小圓,如圖5所示.設(shè)小圓的坐標為 (X,Y),即機器人的位置坐標,兩個大圓的坐標分別為A(X1,Y1),B(X2,Y2),則AB與 X軸正向的夾角即為機器人的方向角 (規(guī)定 X軸正向順時針方向為正).

圖5 3個圓標識作為識別目標Fig.5 Three c irclesmark ing the target as a m ean s of identif ication

3個同色圓定標的方法計算量小,可提高視覺子系統(tǒng)的實時性.另外,可利用三邊的和來判斷識別目標的正確性.例如,規(guī)定三邊的和不大于1 000 mm時,若識別結(jié)果三點的距離和為 1 500 mm,則認為本次識別失敗,從而可以根據(jù)閾值的可信度來調(diào)整閾值.

4 利用腐蝕與膨脹對識別結(jié)果優(yōu)化

利用攝像頭采集圖像時,不可避免地產(chǎn)生各種噪聲,因此識別出的結(jié)果失真率較高,影響定位精度.針對該問題,本研究提出利用圖像的形態(tài)學腐蝕與膨脹運算[12]對識別出的結(jié)果進行優(yōu)化,從而達到提高識別結(jié)果完整性的目的.形態(tài)學研究圖像幾何結(jié)構(gòu)的基本思想是利用一個結(jié)構(gòu)元素與數(shù)字圖像進行運算,通過運算使數(shù)字圖像更加平滑.腐蝕和膨脹是最基本的形態(tài)學運算,它們互為對偶運算.

定義 1(腐蝕) A是數(shù)字圖像,B為結(jié)構(gòu)元素,B對A的腐蝕結(jié)果由將結(jié)構(gòu)元素B平移 X且包含在圖像 A內(nèi)的所有點 X組成,記作 A⊙B.

定義 2(膨脹) A是數(shù)字圖像,B為結(jié)構(gòu)元素,B對 A膨脹的結(jié)果是由圖像A平移 b(b屬于結(jié)構(gòu)元素 B)的所有點組成,記作 A⊕ B.

先腐蝕再膨脹,具有平滑的功能,能清除圖像某些微小連接、邊緣毛邊和孤立點;先膨脹再腐蝕,具有過濾的功能,使數(shù)字圖像更加連通.圖6為數(shù)字圖像A與 B先腐蝕后膨脹的過程.

圖6 腐蝕再膨脹過程圖Fig.6 Fur ther expansion of the corrosion process

本研究采用先腐蝕后膨脹的方法,對識別結(jié)果進行優(yōu)化,使圖像更加平滑.將優(yōu)化前后的數(shù)字圖像進行對比,發(fā)現(xiàn)優(yōu)化后的目標圖像真值分布更加緊密,使識別結(jié)果與目標更加接近;同時去掉了干擾目標的真值,使得識別結(jié)果更精確.圖7為通過圖像形態(tài)學運算對識別目標進行優(yōu)化的結(jié)果 (未優(yōu)化則存在干擾項).

圖7 識別結(jié)果對照圖Fig.7 Comparative char t of the recogn ition results

5 系統(tǒng)的實現(xiàn)

本研究分析了影響機器人視覺系統(tǒng)的實時性、準確性等因素,提出了改進方法,并通過國家科技部863項目“家庭生活支援多機器人系統(tǒng)”中的視覺子系統(tǒng)驗證了改進方法的有效性.服務(wù)機器人視覺主要由三目視覺和頂部視覺兩部分組成,本研究主要是關(guān)于頂部視覺的研究和開發(fā).

服務(wù)機器人采用的頂部視覺系統(tǒng)由頂部 CCD攝像頭 (見圖8)、IEEE1394卡和圖像處理計算機三部分組成,其中頂部攝像機采樣為 15幀/s,CCD的像素為1 280×960,攝像機輸出為 IEEE 1394接口.

圖8 頂部攝像機Fig.8 Top camera

作為輸入設(shè)備之一的 IEEE 1394 PCI卡是一個開放的主控制接口 (open host controller interface,OHCI).頂部攝像機和 IEEE 1394卡一起工作,采用IEEE 1394b協(xié)議,在全速狀態(tài)可達到 800 Mbit/s的傳輸速率,保證大批量數(shù)據(jù)的高速傳輸.圖像處理計算機則為機器人的主控計算機,IEEE 1394卡也安裝在主控計算機上.目前,本研究設(shè)計出的多機器人視覺系統(tǒng)可以同時識別 4臺機器人,處理速度為 200 ms/次,精度在 2 cm左右,在不穩(wěn)定的光照條件下的識別率為 95%.圖9為多機器人視覺系統(tǒng)的界面和識別紅色目標的結(jié)果.

圖9 視覺系統(tǒng)界面與識別結(jié)果Fig.9 Vision system and recogn ition result

6 結(jié) 束 語

本研究針對不穩(wěn)定光照條件,提出利用 Otsu閾值法和閾值可信度自動調(diào)整閾值來分割圖像,設(shè)計了三圓色標機器人定位方法,并應用圖像形態(tài)學方法對識別結(jié)果進行了優(yōu)化.通過這些方法極大地提高了在不穩(wěn)定光照條件下的識別率和定位精度,并在項目中得到了驗證,取得了良好的效果.本研究的多機器視覺系統(tǒng)運行穩(wěn)定,能夠?qū)崟r、準確地獲得每個機器人的位置與姿態(tài),一定程度上克服了不穩(wěn)定的光照條件對視覺的影響.今后的工作主要在圖像處理速度、處理算法上進行改進與提高,使系統(tǒng)實時性更高,提高系統(tǒng)的定位精度.

[1] 劉京誠,廖智勇,朱木建,等.一種基于服務(wù)機器人的視覺系統(tǒng)設(shè)計[J].重慶大學學報,2006,29(11):33-35.

[2] BRUCE J,VELOSO M.Fast and accurate vision based pattern detection and identification[C]∥Proceedingsof the 2003 IEEE International Conference on Robotics and Automation.2003:1277-1282.

[3] 王栓,艾海舟.基于差分圖象的多運動目標的檢測與跟蹤[J].計算機圖象圖形學報,2000,4(6):173-175.

[4] LOOM IS J G,PALMER JD.Performance development of a realtime vision system [D]. Ithaca: Cornell University,2003:220-223.

[5] KIM B G,SHIM J I,PARK D J.Fast image segmentation based on multi-resolution analysis and warelets[J].Pattern Recongnition Letters,2003,24(16):2995-3006.

[6] 謝元澄,劉國棟.機器人足球比賽全局視覺系統(tǒng)的研究與開發(fā)[D].無錫:江南大學,2005.

[7] 李琛,孫燾,馮林,等.足球機器人視覺系統(tǒng)的光照適應性設(shè)計[J].計算機應用,2007(B12):77-79.

[8] 陳鳳東,洪炳镕,朱瑩.基于 HSI顏色空間的多機器人識別研究 [J].哈爾濱工業(yè)大學學報,2004,36(7):928-930.

[9] 韓曉微.彩色圖像處理關(guān)鍵技術(shù)研究 [D].沈陽:東北大學,2006:40-53.

[10] 章毓晉.圖像處理 [M].北京:清華大學出版社,2006:56-40.

[11] 李峰.一種基于 K-L變換和 Ostu閾值選擇的彩色圖像分割算法[J].計算機應用,2007(B12):93-95.

[12] 賈永紅.數(shù)字圖像處理 [M].武漢:武漢大學出版社,2003:65-83.

(編輯:趙 宇 )

Design of Vision System for M ulti-Robots under Varying L ighting Cond ition

HE Xiang1, YUAN Jian1, XU Hua-hu1, HE Yong-yi2, WANG Ya-hong1
(1.School of Computer Engineering and Science,Shanghai University,Shanghai 200072,China;2.School of Mechatronics Engineering and Automation,ShanghaiUniversity,Shanghai200072,China)

TP 24

A

1007-2861(2010)03-0306-06

10.3969/j.issn.1007-2861.2010.03.018

2009-02-23

國家高技術(shù)研究發(fā)展計劃(863計劃)資助項目(2007AA041604)

許華虎 (1966～),男,教授,博士,研究方向為多媒體技術(shù).E-mail:huahuxu@163.com