吳作君,劉國(guó)華

(1.中國(guó)石油大學(xué) 勝利學(xué)院,山東 東營(yíng) 257000; 2.中國(guó)科學(xué)技術(shù)大學(xué),合肥 230000)

自適應(yīng)環(huán)境的機(jī)器人視覺伺服控制方法

吳作君1,劉國(guó)華2

(1.中國(guó)石油大學(xué) 勝利學(xué)院,山東 東營(yíng) 257000; 2.中國(guó)科學(xué)技術(shù)大學(xué),合肥 230000)

機(jī)器人和機(jī)器視覺的迅速發(fā)展，使得基于視覺的智能機(jī)器人得到更加廣泛的應(yīng)用；機(jī)器視覺提高了機(jī)器人控制系統(tǒng)對(duì)環(huán)境的適應(yīng)程度，但其適應(yīng)程度也受到周圍環(huán)境對(duì)機(jī)器視覺算法的影響;針對(duì)這一情況，對(duì)機(jī)器人視覺伺服控制系統(tǒng)中的機(jī)器視覺算法進(jìn)行了改進(jìn)，提出了一種基于幀間差分法的自適應(yīng)環(huán)境的機(jī)器人視覺伺服控制方法，從而提高了控制系統(tǒng)對(duì)環(huán)境的自適應(yīng)程度，提高了對(duì)機(jī)器人控制的精確度，實(shí)驗(yàn)和理論分析證明，該方法具有較大的應(yīng)用前景和實(shí)用價(jià)值。

機(jī)器視覺；伺服控制；幀間差分法

0 引言

機(jī)器人時(shí)高度集成化和自動(dòng)化的設(shè)備，隨著工業(yè)生產(chǎn)智能化程度的逐步提高，機(jī)器人在各個(gè)領(lǐng)域發(fā)揮著日益重要的作用。機(jī)器人的控制要通過一個(gè)控制系統(tǒng)實(shí)現(xiàn)，控制系統(tǒng)的輸入是機(jī)器人的傳感設(shè)備獲取到的傳感數(shù)據(jù)，對(duì)其進(jìn)行處理之后，做出判斷，并執(zhí)行動(dòng)作。根據(jù)實(shí)際需要，機(jī)器人所添加的傳感設(shè)備也是不同的。例如常見的有壓力傳感器、超聲波測(cè)距傳感器、視覺傳感器、溫濕度傳感器等。在眾多傳感器中，視覺傳感器具有適用范圍廣、獲取的信息全面等優(yōu)點(diǎn)，尤其是伴隨著計(jì)算機(jī)視覺技術(shù)的快速發(fā)展，視覺傳感器正逐漸成為機(jī)器人設(shè)備中必不可少的傳感器。而基于機(jī)器人視覺的伺服控制方法，也得到了了廣泛的應(yīng)用。但是由于計(jì)算機(jī)視覺算法受環(huán)境影響較大，因此基于機(jī)器人視覺的伺服控制方法對(duì)于環(huán)境的自適應(yīng)程度仍十分有限，針對(duì)這個(gè)問題，做出了研究，提出了一種基于熵權(quán)法的自適應(yīng)環(huán)境的機(jī)器人視覺伺服控制方法。

視覺伺服控制技術(shù)是建立在機(jī)器人技術(shù)、自動(dòng)控制技術(shù)、計(jì)算機(jī)視覺技術(shù)等多個(gè)領(lǐng)域技術(shù)的基礎(chǔ)上的。很多學(xué)者已經(jīng)進(jìn)行了廣泛的研究，其中最著名的是Hutchinson等人[1-3]所做的引導(dǎo)性研究，之后，很多人在此提出上提出了眾多基于視覺控制的方法，包括古典類和現(xiàn)代類等，其中包括PID控制、極點(diǎn)配置等[4]。而現(xiàn)代控制算法是基于狀態(tài)空間模型的，這種算法可以使系統(tǒng)具有更出色的性能，例如Gangloff J A等所采用預(yù)測(cè)控制的視覺伺服[5]，這種方法具有較高的穩(wěn)定性，另外Conticelli F等還提出了如基于李雅普諾夫方法的穩(wěn)定性分析及控制器的設(shè)計(jì)[6]。今年來神經(jīng)網(wǎng)絡(luò)得到了迅速的發(fā)展，其也被廣泛應(yīng)用在機(jī)器人控制領(lǐng)域中，視覺控制器的設(shè)計(jì)技術(shù)以及視覺伺服參數(shù)的估計(jì)與逼近算法。其中Giuseppe R D在模糊邏輯的基礎(chǔ)上提出的控制器[7]，Kelly R則提出了直接把圖像空間轉(zhuǎn)換到關(guān)節(jié)空間的神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)控制器[8]。模糊控制方法所具有的魯棒性和神經(jīng)網(wǎng)絡(luò)方法的良好的非線性函數(shù)逼近能力，使得智能控制方法在視覺伺服控制中具有較好的應(yīng)用前景，但仍面臨模糊規(guī)則的提取以及神經(jīng)網(wǎng)絡(luò)的泛化等問題。

目前的機(jī)器人伺服控制方法雖取得了較大進(jìn)展，但是其工作環(huán)境是處于比較單一的實(shí)驗(yàn)環(huán)境中，對(duì)復(fù)雜動(dòng)態(tài)環(huán)境的自適應(yīng)程度有限，針對(duì)這個(gè)問題，提出了自適應(yīng)環(huán)境的機(jī)器人視覺伺服控制方法。

1 伺服控制基本原理

伺服系統(tǒng)(servomechanism)是運(yùn)動(dòng)控制領(lǐng)域中較為常見的一種控制系統(tǒng)。其主要應(yīng)用于機(jī)械控制領(lǐng)域，但并不是只能用于機(jī)械控制，而是指精確地跟隨或復(fù)現(xiàn)一個(gè)過程的所謂反饋控制系統(tǒng)。在對(duì)機(jī)器人進(jìn)行控制時(shí)，其可以使輸出的機(jī)械動(dòng)作參數(shù)準(zhǔn)確地達(dá)到設(shè)計(jì)的的動(dòng)作指令，從而實(shí)現(xiàn)機(jī)械位置的精確控制和對(duì)機(jī)械運(yùn)動(dòng)軌跡的準(zhǔn)確跟蹤。伺服系統(tǒng)是反饋控制系統(tǒng)的一種，和一般的反饋控制系統(tǒng)的模塊構(gòu)成并沒有什么大的區(qū)別。

1.1 伺服控制可實(shí)現(xiàn)的功能

常見的采用伺服系統(tǒng)的設(shè)備主要包括：機(jī)器人、船舶控制、火炮、數(shù)控機(jī)床等。采用伺服系統(tǒng)可以實(shí)現(xiàn)以下功能：

1)大功率的負(fù)載控制可以通過小功率信號(hào)實(shí)現(xiàn)。

2)可以使其控制的機(jī)械準(zhǔn)確地完成預(yù)定的運(yùn)動(dòng)計(jì)劃。這些運(yùn)動(dòng)計(jì)劃可以使事先設(shè)定的，也可以是隨機(jī)生成的。比如對(duì)機(jī)器人的控制，可以是已經(jīng)預(yù)先編制好的動(dòng)作指令，也可以是根據(jù)周圍的環(huán)境隨機(jī)生成的動(dòng)作指令。

3)在沒有機(jī)械設(shè)備作為中間連接的情況下，也可以實(shí)現(xiàn)遠(yuǎn)程同步傳動(dòng)。

伺服系統(tǒng)按所用驅(qū)動(dòng)元件主要是采用機(jī)電伺服系統(tǒng)，主要原因是與液壓伺服系統(tǒng)和氣動(dòng)伺服系統(tǒng)相比，其能量來源電能的應(yīng)用方式更加靈活方便，而后兩者的應(yīng)用范圍都有一定的條件限制。而且機(jī)電伺服系統(tǒng)所使用的驅(qū)動(dòng)元件是根據(jù)設(shè)備的使用需求設(shè)計(jì)并選取的電動(dòng)機(jī)，能夠把系統(tǒng)的性能發(fā)揮到最為優(yōu)異，所以其成為當(dāng)前最受歡迎的伺服系統(tǒng)。

1.2 伺服控制的性能

對(duì)于伺服系統(tǒng)中控制精度的評(píng)價(jià)，主要取決于所采用的測(cè)量元件的精確程度。所以，一個(gè)控制精確的伺服系統(tǒng)，對(duì)測(cè)量元件有較高的要求。應(yīng)通過提高測(cè)量元件或者其他輔助措施來提高所采用的伺服控制系統(tǒng)的性能。

除精度之外，能夠衡量伺服系統(tǒng)的指標(biāo)還有伺服系統(tǒng)的反應(yīng)速度、跟蹤速度等。其頻域指標(biāo)帶寬由系統(tǒng)響應(yīng)特性確定，能夠體現(xiàn)出系統(tǒng)對(duì)信號(hào)的跟蹤的速度。帶寬和速度成正比。

2 機(jī)器人視覺模塊

機(jī)器人視覺模塊的目得就是通過圖像信息采集設(shè)備(以攝像頭為主)將獲取到的信息轉(zhuǎn)化為圖像信號(hào)，然后對(duì)其進(jìn)行基于各種算法的處理，實(shí)現(xiàn)人眼能夠?qū)崿F(xiàn)的各種功能等。其主要部分包括圖像采集、圖像增強(qiáng)、目標(biāo)識(shí)別等。機(jī)器人視覺模塊實(shí)現(xiàn)的技術(shù)基礎(chǔ)是計(jì)算機(jī)視覺技術(shù)。

2.1 圖像采集

圖像采集設(shè)備主要以攝像頭為主，其采集的目標(biāo)包括靜態(tài)圖像、動(dòng)態(tài)圖像等。如圖1所示，采集的靜態(tài)圖像又包括灰度圖像、二值圖像、彩色圖像、多光譜段圖像。采集的動(dòng)態(tài)圖像包括動(dòng)態(tài)灰度和動(dòng)態(tài)彩色圖像。

圖1 圖像采集分類圖

2.2 圖像增強(qiáng)

在機(jī)器人視覺模塊中，除了需要對(duì)圖像進(jìn)行采集之外，為了適應(yīng)復(fù)雜的環(huán)境，還需要對(duì)圖像進(jìn)行增強(qiáng)，通過理論分析和對(duì)比實(shí)驗(yàn)，總結(jié)了常見的圖像增強(qiáng)的優(yōu)缺點(diǎn)，優(yōu)缺點(diǎn)分析如表1所示。

表1 各種圖像增強(qiáng)方法的優(yōu)缺點(diǎn)

2.3 目標(biāo)識(shí)別

在對(duì)圖像進(jìn)行增強(qiáng)處理后，就減小了周邊環(huán)境對(duì)圖像質(zhì)量的影響。增強(qiáng)了對(duì)環(huán)境的自適應(yīng)程度，目標(biāo)識(shí)別包括圖像分割和特征匹配兩個(gè)模塊。

目前已提出上千種圖像分割方法，比如最早提出基于直方圖的自動(dòng)閾值分割方法的P-tile法[10]；隨后又提出了一種Otsu算法[11]。此外還有邊緣檢測(cè)算法：其中以Canny[12]提出了一種新的多級(jí)邊緣檢測(cè)算法最為出名。同一局部區(qū)域內(nèi)的圖像特征具有相似性，因此LORENZ Thomas[13]提出了一種基于設(shè)定值地圖的區(qū)域生長(zhǎng)方法。此外在1988 年，Osher和Sethian[9]首次將水平集理論應(yīng)用于圖像分割，提出了水平集分割法這一基于特定理論的分割方法。采用大津法進(jìn)行圖像分割。

對(duì)于目標(biāo)識(shí)別的方法，在這里我們采用直方圖反向投影的方法。直方圖的反向投影是由Michael J.Swain和Dana H. Ballard[9]提出的，它可以用來幫助我們做圖像分割或者在圖像中尋找我們感興趣的內(nèi)容。該算法的輸出是一個(gè)和輸入圖像相同大小的圖像，這樣就可以得到一個(gè)概率圖像，即一幅灰度圖像。

3 基于圖像的機(jī)器人視覺伺服控制

雅可比矩陣是目前比較常見的基于圖像的機(jī)器人視覺伺服方法的基礎(chǔ)，采用的結(jié)構(gòu)是一種雙閉環(huán)的模式。其中負(fù)責(zé)關(guān)節(jié)的伺服控制的是內(nèi)環(huán)，機(jī)器人運(yùn)動(dòng)軌跡的跟蹤控制就是通過關(guān)節(jié)位置反饋實(shí)現(xiàn)的。 伺服控制器的性能比較高的時(shí)候，可以將機(jī)器人的控制系統(tǒng)近似為一個(gè)線性環(huán)節(jié)。視覺的控制器位于外環(huán)，關(guān)節(jié)角度的設(shè)定通過較低的采樣率即可完成。在對(duì)圖像中的視覺特征進(jìn)行提取之后，通過機(jī)器人的末端執(zhí)行器進(jìn)行閉環(huán)控制。

雅可比矩陣是用來反映圖像特征和機(jī)械手位置變換關(guān)系的矩陣。

(1)

由此得到的圖像雅可比矩陣J(X)則可以進(jìn)一步表示成公式(2)。

(2)

式中，Jq=J(X)·J(Q)，即得到公式(3):

(3)

公式(2)和公式(3)是兩種不同的圖像雅可比矩陣的表示形式，體現(xiàn)了空間位姿和圖像特征變化量之間的關(guān)系，是機(jī)器人領(lǐng)域中基于圖像反饋手眼視覺伺服研究的基礎(chǔ)。

若能檢測(cè)到目標(biāo)物體所具有的某個(gè)特征點(diǎn)P相對(duì)攝像機(jī)坐標(biāo)系的坐標(biāo)，結(jié)合攝像機(jī)的投影模型可以特出，其可以表示為：cP= [xcyczc]T。

特征點(diǎn)在圖像中的坐標(biāo)P=[u v]T。則可以得到下式：

若假定攝像機(jī)坐標(biāo)系的末端執(zhí)行器在基坐標(biāo)系運(yùn)動(dòng)中角速度和平移速度的數(shù)值分別可以表示成cΩe= [ωx(t)ωy(t)ωz(t)]T或cTe= [Tx(t)Ty(t)Tz(t)]T。

綜合，可以計(jì)算得到公式(4):

(4)

(5)

同理可得公式(6)：

(6)

最后可以得出公式(7)：

(7)

4 機(jī)器人的自適應(yīng)視覺系統(tǒng)

機(jī)器人的自適應(yīng)視覺系統(tǒng)首先將視頻拆分成圖像序列，然后通過改進(jìn)的幀間差分法對(duì)圖像中是否有目標(biāo)進(jìn)行初次判別，接著對(duì)檢測(cè)有目標(biāo)信息的視頻圖像進(jìn)行基于直方圖均衡化法的圖像增強(qiáng)處理后，再進(jìn)行目標(biāo)識(shí)別和相似度指數(shù)的統(tǒng)計(jì)與計(jì)算。系統(tǒng)結(jié)構(gòu)如圖2所示。

圖2 視覺伺服控制系統(tǒng)結(jié)構(gòu)圖

若對(duì)復(fù)雜環(huán)境下視頻中的每幀視頻圖像都進(jìn)行增強(qiáng)處理，資源占用量大且無法達(dá)到實(shí)時(shí)性要求，同時(shí)長(zhǎng)時(shí)間對(duì)無車輛通過的視頻處理無意義，因此改進(jìn)了幀間差分法，以節(jié)約資源和時(shí)間。幀間差分法將視頻圖像序列中相鄰兩幀的視頻圖像作差分計(jì)算，通過比較兩幀間灰度差的特征來分析視頻圖像序列的運(yùn)動(dòng)特性，當(dāng)超過閾值時(shí)，可以初步判定有車輛通過，此時(shí)將該幀視頻的圖像載入緩存并對(duì)其進(jìn)行圖像增強(qiáng)處理，從而減少資源占用，使因增強(qiáng)處理而增多的時(shí)間達(dá)到可接受水平。對(duì)于間隔幀數(shù)的確定，給出了如下方法：

(8)

其中:Z表示幀間差分法選取的視頻采樣間隔幀數(shù)的最大值，Vmax表示目標(biāo)的最高位移速度，M表示目標(biāo)位移的最小長(zhǎng)度，T表示每?jī)蓭g的時(shí)間間隔。通過這種間隔多幀的處理方法，可以減少資源消耗，節(jié)約時(shí)間。在根據(jù)公式8確定Z的值之后，便可以根據(jù)實(shí)際需要，在小于Zmax前提下，確定幀間差分法間隔的幀數(shù)，然后進(jìn)行后續(xù)處理。

例如間隔兩幀的差分法，用Simulink工具箱進(jìn)行了系統(tǒng)仿真，如圖3所示。

圖3 隔幀差分系統(tǒng)仿真實(shí)現(xiàn)

可以通過統(tǒng)計(jì)差異像素點(diǎn)數(shù)量的方法：在確定了間隔幀數(shù)之后，即可按照幀間差分的方式對(duì)圖像中是否含有車輛信息進(jìn)行判斷，如公式(9)中，P(i,j)表示該像素點(diǎn)處的灰度差，當(dāng)該像素點(diǎn)處的灰度差小于設(shè)定的灰度閾值Y時(shí)，就對(duì)像素灰度值做置0處理，否則置1。對(duì)于Y的取值和像素點(diǎn)閾值的取值，建議通過實(shí)際視頻情況調(diào)整確定，在(0,255)的范圍內(nèi)一般取5到20為宜，最后按照公式10，計(jì)算a×b像素大小的圖片中與背景差別較大的像素點(diǎn)數(shù)之和S。當(dāng)S大于設(shè)定的像素點(diǎn)閾值時(shí)，則認(rèn)為當(dāng)前圖像中有車輛信息；若小于閾值，則認(rèn)為當(dāng)前圖像不存在車輛信息，舍棄刪除該圖像，不對(duì)其做處理。

(9)

(10)

5 實(shí)驗(yàn)驗(yàn)證

5.1 圖像增強(qiáng)驗(yàn)證

對(duì)于圖像增強(qiáng)驗(yàn)證，針對(duì)自適應(yīng)環(huán)境下的機(jī)器人視覺中的相應(yīng)算法進(jìn)行試驗(yàn)驗(yàn)證，驗(yàn)證情況如表2所示，對(duì)3種不同情況的環(huán)境下圖片進(jìn)行相應(yīng)處理。

表2 圖像增強(qiáng)算法的實(shí)驗(yàn)驗(yàn)證

5.2 雙力臂機(jī)器人系統(tǒng)控制仿真實(shí)驗(yàn)

根據(jù)自適應(yīng)環(huán)境的機(jī)器人視覺伺服控制方法，設(shè)計(jì)出一款雙力臂控制系統(tǒng)，雙力臂機(jī)器人系統(tǒng)設(shè)計(jì)的雙力臂仿真設(shè)計(jì)如圖4所示。

圖4 雙力臂仿真設(shè)計(jì)圖

仿真的實(shí)驗(yàn)結(jié)果如圖5所示，圖5為位置跟蹤和關(guān)節(jié)的控制輸入情況：

圖5 位置跟蹤和關(guān)節(jié)的控制輸入情況

5.3 輪廓提取效果驗(yàn)證

如表3所示，是經(jīng)過圖像增強(qiáng)之后的進(jìn)行輪廓提取的情況，從實(shí)驗(yàn)結(jié)果看出，輪廓提取效果良好，達(dá)到了對(duì)環(huán)境的自適應(yīng)的要求。

表3 圖像的輪廓提取實(shí)驗(yàn)

6 總結(jié)

針對(duì)機(jī)器人視覺伺服控制系統(tǒng)對(duì)于環(huán)境的自適應(yīng)問題，提出了一種基于幀間差分法的機(jī)器人視覺伺服控制方法，并基于該方法，設(shè)計(jì)了機(jī)器人視覺伺服控制系統(tǒng)。該系統(tǒng)能夠?qū)崿F(xiàn)對(duì)環(huán)境的自適應(yīng)，同時(shí)能夠達(dá)到實(shí)時(shí)性要求。最后，對(duì)系統(tǒng)中設(shè)計(jì)到的計(jì)算機(jī)視覺方法進(jìn)行了驗(yàn)證，實(shí)驗(yàn)證明效果良好，該算法具有很好的可行性。

[1]Hutchinson S, Hager G D, Corke P I. A tutorial on visual servo control [J]. IEEE Transactions on Robotics and Automation, 1996, 12(5): 651-670.

[2]Chaumette F, Hutchinson S. Visual servo control I basic approaches [J]. IEEE Robotics & Automation Magazine, 2006, 13(4): 82-90.

[3] Chaumette F, Hutchinson S. Visual servo control II advanced approaches [J]. IEEE Robotics & Automation Magazine, 2007, 14(1): 109-118.

[4] Bachiller M, Cerrada J, Cerrada C. A modular scheme for controller design and performance evaluation in 3D visual servoing [J]. Journal of Intelligent and Robotic Systems: Theory and Applications, 36(3):235-264, 2003.

[5] Gangloff J A, de Mathelin M,Abba G. 6 DOF high speed dynamic visual servoing using GPC controllers [A]. Proceedings of the IEEE International Conference on Robotics and Automation [C].Leuven, Belgium,1998: 2008-2013.

[6] Conticelli F, Allotta B,Khosla P Image-based visual servoing of nonholonomic mobile robots[A]. Proceedings of the IEEE Conferenceon Decision and Control [C]. Phoenix, AZ, USA: 3496-3501, 1999.

[7] Giuseppe R D, Taurisano F, Distante C. Visual servoing of a robotic manipulator based on fuzzy logic control [A]. Proceedings of the IEEE International Conference on Robotics and Automation [C].Detroit, MI, USA: 1487-1494, 1999.

[8] Kelly R, Favela J, Bassi D. A symptotically stable visual servoing of manipulators via neural networks[J]. Journal of Robotic Systems, 17(12):659-669, 2000.

[9] Michael J.Swain, Dana H. Ballard. Color Indexing[J]. International Journal of Computer Vision, 1991, 7(1):11-32.

[10] Doyle W. Operations useful for similarity-invariant pattern recognition[J]. J ACM, 1962, 9(2): 259-267.

[11] OtsuN.A threshold selection method from gray level histogram [J].IEEE Trans.on Syst.Man, Cybern.,1979,9(1): 62-66.

[12] Canny J. A computational approach to edge detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(6): 679-698.

[13] Thomas L. Set Valued Maps for Image Segmentation [J]. Computing and Visualization Science, 2001(5): 45-57.

Adaptive Robot Visual Servo Control Method

Wu Zuojun, Liu Guohua

(1.Shengli College of China University of Pertroleum, Dongying 257000, China； 2.University of Science and Technology of China, Hefei 230000, China)

With the rapid development of robot and machine vision, the vision based intelligent robot has been widely used. Machine vision improves the adaptability of the robot control system to the environment, but the degree of adaptation is influenced by the surrounding environment to the machine vision algorithm. In view of this situation, this paper presents an improved robot visual servo control algorithm in machine vision system. This paper proposed an adaptive environment of inter frame difference method of robot visual servo control method based on improved adaptive degree of environmental control system, improving the control precision of the robot. The experimental and theoretical analysis that this method has great application prospect and practical value.

machine vision; servo control; Inter frame difference method

2016-10-10；

2016-11-02。

安徽省科技攻關(guān)項(xiàng)目(1401b042010)。

吳作君(1988-)，女，江蘇邳縣人，碩士，主要從事電機(jī)優(yōu)化與控制、智能控制理論與應(yīng)用方向的研究。

1671-4598(2016)12-0063-04

10.16526/j.cnki.11-4762/tp.2016.12.018

TP242

A