劉煦+林信桐

【摘 要】本文采取的是基于視覺(jué)的強(qiáng)化學(xué)習(xí)算法，利用攝像頭平臺(tái)檢測(cè)機(jī)器魚(yú)在水中的狀態(tài)，將采樣數(shù)據(jù)傳入計(jì)算機(jī)中，利用強(qiáng)化學(xué)習(xí)算法得出機(jī)器魚(yú)采取的下一組運(yùn)動(dòng)參數(shù)，并將運(yùn)動(dòng)參數(shù)以無(wú)線通信的方式發(fā)送到機(jī)器魚(yú)中指導(dǎo)機(jī)器魚(yú)的運(yùn)動(dòng)。本文的目的就是利用強(qiáng)化學(xué)習(xí)算法解決機(jī)器魚(yú)運(yùn)動(dòng)控制模式的優(yōu)化問(wèn)題。

【關(guān)鍵詞】機(jī)器魚(yú)；運(yùn)動(dòng)控制模式；強(qiáng)化學(xué)習(xí)算法

1 優(yōu)化過(guò)程的實(shí)現(xiàn)

在機(jī)器魚(yú)運(yùn)動(dòng)模式的優(yōu)化系統(tǒng)中，整個(gè)用于優(yōu)化的強(qiáng)化學(xué)習(xí)算法過(guò)程都可以在計(jì)算機(jī)上得以實(shí)現(xiàn)。所以軟件結(jié)構(gòu)的建立并不是難點(diǎn)。但是在優(yōu)化系統(tǒng)中還包括了機(jī)器魚(yú)、狀態(tài)檢測(cè)機(jī)構(gòu)等。這些部分必須依賴(lài)硬件，不可能在計(jì)算機(jī)內(nèi)部來(lái)實(shí)現(xiàn)。這樣機(jī)器魚(yú)運(yùn)動(dòng)狀態(tài)的檢測(cè)以及各部分之間數(shù)據(jù)的傳輸就成為了問(wèn)題的關(guān)鍵。對(duì)于我們構(gòu)建的整個(gè)優(yōu)化系統(tǒng)的結(jié)構(gòu)來(lái)講，有兩個(gè)部分必須依賴(lài)于特定的硬件。這兩個(gè)部分就是機(jī)器魚(yú)運(yùn)動(dòng)狀態(tài)的檢測(cè)以及計(jì)算機(jī)與機(jī)器魚(yú)之間的通信。

1.1 基于視覺(jué)的機(jī)器魚(yú)運(yùn)動(dòng)模式檢測(cè)

為了能夠利用強(qiáng)化學(xué)習(xí)算法兌機(jī)器魚(yú)的運(yùn)動(dòng)狀態(tài)進(jìn)行優(yōu)化，我們必須要檢測(cè)到機(jī)器魚(yú)在當(dāng)前的運(yùn)動(dòng)參數(shù)下的運(yùn)動(dòng)狀態(tài)。有了運(yùn)動(dòng)狀態(tài)的采樣參數(shù)，才能夠?qū)ζ溥M(jìn)行評(píng)價(jià)，得出獎(jiǎng)勵(lì)值，使整個(gè)優(yōu)化過(guò)程得到實(shí)現(xiàn)。

針對(duì)檢測(cè)機(jī)器魚(yú)運(yùn)動(dòng)狀態(tài)的問(wèn)題，最直接的方式就是采取視覺(jué)的方式對(duì)機(jī)器魚(yú)的運(yùn)動(dòng)狀態(tài)進(jìn)行采樣。于是我們采用了視覺(jué)檢測(cè)模塊進(jìn)行檢測(cè)。在此，我們采用了實(shí)驗(yàn)室已經(jīng)成熟的維視科技生產(chǎn)的攝像頭物體檢測(cè)平臺(tái)。

1.2 無(wú)線通信

機(jī)器魚(yú)在水中運(yùn)動(dòng)，如果采用有線的通信方式會(huì)因?yàn)閷?dǎo)線施加的力量對(duì)機(jī)器魚(yú)的運(yùn)動(dòng)狀態(tài)產(chǎn)生干擾。并且安裝導(dǎo)線需要在機(jī)器魚(yú)表面打孔，這樣在防水上也存在缺陷。為了有利于優(yōu)化，所以在計(jì)算機(jī)與機(jī)器魚(yú)的通信中應(yīng)該使用無(wú)線的方式對(duì)機(jī)器魚(yú)的運(yùn)動(dòng)參數(shù)進(jìn)行傳輸?？紤]到機(jī)器魚(yú)內(nèi)部體積和防水的因素，我們選擇了工作頻率為2.4GHz的無(wú)線收發(fā)模塊NRF24L01，這款無(wú)線收發(fā)模塊需要用程序的方式模擬SPI總線的時(shí)序才能夠工作。

在機(jī)器魚(yú)的內(nèi)部，空間非常有限而且伸出體外的棒狀天線必然會(huì)影響機(jī)器魚(yú)的防水。所以這款于電路板上集成了內(nèi)置天線的無(wú)線收發(fā)模塊非常適合于機(jī)器魚(yú)的使用。我們將其安裝在機(jī)器魚(yú)頭內(nèi)部的上方，以保證通信的暢通。但是這款無(wú)線收發(fā)模塊使用的是SPI總線的驅(qū)動(dòng)方式，不能和計(jì)算機(jī)接口直接相連。所以我們讓計(jì)算機(jī)通過(guò)串口分三次向STC89C52單片機(jī)發(fā)送三個(gè)運(yùn)動(dòng)參數(shù)（A1，A2，θ），STC89C52單片機(jī)收到運(yùn)動(dòng)參數(shù)后在通過(guò)連接于單片機(jī)上的nRF24L01無(wú)線收發(fā)模塊將數(shù)據(jù)一次性發(fā)送到控制機(jī)器魚(yú)的STC89C52單片機(jī)中。再由機(jī)器魚(yú)使用的單片機(jī)將數(shù)據(jù)運(yùn)算成為控制數(shù)據(jù)，并存儲(chǔ)于控制表中。

2 實(shí)驗(yàn)及結(jié)論

2.1 機(jī)器魚(yú)運(yùn)動(dòng)參數(shù)范圍和優(yōu)化步長(zhǎng)的確定

由于機(jī)器魚(yú)使用的舵機(jī)的轉(zhuǎn)角限度為120°，我們將機(jī)器魚(yú)舵機(jī)的初始位置調(diào)節(jié)至轉(zhuǎn)角范圍的中心。這樣在機(jī)器魚(yú)中，關(guān)節(jié)向一邊的扭動(dòng)范圍理論上就有60°。那么機(jī)器魚(yú)轉(zhuǎn)動(dòng)角度的幅值就可以設(shè)置為60°。但是在試驗(yàn)中，舵機(jī)在接近轉(zhuǎn)動(dòng)范圍極限的時(shí)候，會(huì)出現(xiàn)不穩(wěn)定以及抖動(dòng)的情況。所以我們將機(jī)器魚(yú)轉(zhuǎn)動(dòng)角度的幅值設(shè)置為50°。此外，需要有一個(gè)固定的相位差θ。由于采用鱒行式的魚(yú)類(lèi)的體長(zhǎng)都小于自身體波的波長(zhǎng)，也就是魚(yú)頭到魚(yú)尾的擺動(dòng)相位差小于2π。且根據(jù)采用鱒行式的魚(yú)類(lèi)的身體擺動(dòng)部分是后1/2這一特點(diǎn)，我們將機(jī)器魚(yú)的兩臺(tái)舵機(jī)的軸都安裝在了機(jī)器魚(yú)的后半部分。于是我們可以肯定，機(jī)器魚(yú)兩臺(tái)舵機(jī)的相位差應(yīng)該在0到π之間。

于是，我們得到機(jī)器魚(yú)三個(gè)運(yùn)動(dòng)參數(shù)（A1，A2，θ）的取值范圍。這個(gè)范圍就是0

機(jī)器魚(yú)使用的舵機(jī)，其轉(zhuǎn)角的控制精度為1°。所以我們沒(méi)有必要對(duì)兩個(gè)舵機(jī)的轉(zhuǎn)角幅值的精度要求過(guò)高，其步長(zhǎng)設(shè)置為1就可以。換算之后的相位差的取值范圍是0<θ<64。其取值步長(zhǎng)還是為1，大約相當(dāng)于3°。

2.2 機(jī)器魚(yú)運(yùn)動(dòng)模式的優(yōu)化實(shí)驗(yàn)和結(jié)論

距離閾值決定了在檢測(cè)區(qū)域中搜索標(biāo)志物的范圍。在檢測(cè)的程序中，在沒(méi)有檢測(cè)到標(biāo)志物的時(shí)候是全范圍搜索，當(dāng)檢測(cè)到標(biāo)志物后，下一個(gè)采樣周期會(huì)以上一次檢測(cè)到標(biāo)志物的點(diǎn)作為圓心，在一定的半徑內(nèi)搜索標(biāo)志物。距離閾值就代表了半徑。如果設(shè)置值過(guò)小，可能就會(huì)導(dǎo)致下一次搜索不到標(biāo)志物得情況。設(shè)置值過(guò)小，就會(huì)導(dǎo)致搜索范圍過(guò)大，影響實(shí)時(shí)性。通常的調(diào)節(jié)方式是，標(biāo)志物的速度越快，取值就應(yīng)該相應(yīng)增加。我們?cè)谡麄€(gè)實(shí)驗(yàn)過(guò)程中，由于機(jī)器魚(yú)的速度不斷加快，所以多次調(diào)節(jié)了距離閾值的取值。在檢測(cè)參數(shù)確定之后就是反復(fù)多次的進(jìn)行實(shí)驗(yàn)。

在實(shí)驗(yàn)中，我們始終保持機(jī)器魚(yú)的體波頻率在1Hz。經(jīng)過(guò)多次機(jī)器魚(yú)運(yùn)動(dòng)控制模式的優(yōu)化實(shí)驗(yàn)，我們得到了機(jī)器魚(yú)的運(yùn)動(dòng)控制模式的一組較好的參數(shù)，可以滿(mǎn)足機(jī)器魚(yú)的使用。經(jīng)過(guò)多次實(shí)驗(yàn)，我們一共對(duì)機(jī)器魚(yú)的參數(shù)ω1取了四組不同的取值。但是不管對(duì)機(jī)器魚(yú)的獎(jiǎng)勵(lì)函數(shù)的權(quán)值如何改變，機(jī)器魚(yú)始終向著速度更快，頭部擺動(dòng)更小的方向改變。只是在優(yōu)化的收斂時(shí)間和優(yōu)化過(guò)程有所不同。

在實(shí)驗(yàn)開(kāi)始時(shí)，首先我們采取了一組初始的運(yùn)動(dòng)參數(shù)發(fā)送到機(jī)器魚(yú)中。這組參數(shù)的三個(gè)值（A1，A2，θ）都是在各自取值范圍內(nèi)的隨意值。

由實(shí)驗(yàn)可以看到，機(jī)器魚(yú)的兩個(gè)驅(qū)動(dòng)舵機(jī)并不是沒(méi)有運(yùn)動(dòng)，相反兩個(gè)舵機(jī)的轉(zhuǎn)角還是比較大的。但是由于轉(zhuǎn)角幅值A(chǔ)1、A2和兩個(gè)舵機(jī)的轉(zhuǎn)角相位差θ的取值搭配不合理，機(jī)器魚(yú)的尾部始終處于擺動(dòng)很小的狀態(tài)。身體側(cè)向上的運(yùn)動(dòng)更多的是自身的扭動(dòng)而不是有效的推水?dāng)[動(dòng)。這樣并沒(méi)有帶來(lái)良好的推進(jìn)效率。參照?qǐng)D中水下的參照物，機(jī)器魚(yú)幾乎沒(méi)有向前的運(yùn)動(dòng)。接近于一種原地?cái)[頭的狀況。根據(jù)視頻的觀察，機(jī)器魚(yú)游過(guò)整個(gè)屏幕大約1.2m的長(zhǎng)度，時(shí)間超過(guò)了30s，這是難以接受的。

在我們的優(yōu)化目標(biāo)中，優(yōu)化了機(jī)器魚(yú)的速度。在達(dá)到一定速度的情況下，魚(yú)類(lèi)為了保持這樣的高速，必然會(huì)減小擺頭的幅度。這樣才能保證在一定的推進(jìn)效率的基礎(chǔ)上，減小機(jī)器魚(yú)在水中受到的阻力，節(jié)省能量。這樣的參數(shù)會(huì)在對(duì)機(jī)器魚(yú)速度的優(yōu)化中達(dá)到要求。沒(méi)有優(yōu)化之前的運(yùn)動(dòng)狀態(tài)速度是很慢的。

隨后，我們使用四組數(shù)據(jù)各自進(jìn)行了幾次優(yōu)化試驗(yàn)，在所有的優(yōu)化試驗(yàn)中，機(jī)器魚(yú)的三個(gè)運(yùn)動(dòng)參數(shù)稍有不同，但是差距很小。由于驅(qū)動(dòng)機(jī)器魚(yú)的舵機(jī)的轉(zhuǎn)角定位精度的限制，所以不能夠完全的表現(xiàn)出計(jì)算機(jī)的計(jì)算結(jié)果。因此有幾組試驗(yàn)數(shù)據(jù)在收斂的時(shí)候都有微小的波動(dòng)，并未出現(xiàn)一個(gè)確定的值，但是這樣的波動(dòng)幅度微小，可以接受。我們可以把這組數(shù)據(jù)視為是收斂的。在所有的結(jié)果數(shù)據(jù)中，我們制作的機(jī)器魚(yú)1號(hào)舵機(jī)的轉(zhuǎn)角幅值均小于10，2號(hào)舵機(jī)的幅值范圍在27至33之間有所波動(dòng)。兩個(gè)舵機(jī)的相位差幾乎都集中于30左右，也就是略小于90°。

我們最終得到的優(yōu)化結(jié)果為：1號(hào)舵機(jī)轉(zhuǎn)角幅值為5°，2號(hào)舵機(jī)轉(zhuǎn)角幅值為30°，兩臺(tái)舵機(jī)之間相位差為90°。

由實(shí)驗(yàn)可知，機(jī)器魚(yú)的擺動(dòng)部分集中于身體的后半部分，而前半部分基本上可以視作剛性的結(jié)構(gòu)。以水下的橫線作為參考標(biāo)志，機(jī)器魚(yú)的頭部并沒(méi)有出現(xiàn)大幅度的擺動(dòng)。在體波頻率為1Hz的情況下，速度大約為0.3m/s。

但是因?yàn)闄C(jī)器魚(yú)所處的魚(yú)缸體積狹小，在系統(tǒng)改變機(jī)器魚(yú)的運(yùn)動(dòng)參數(shù)之前的機(jī)器魚(yú)的運(yùn)動(dòng)和人為的操作帶來(lái)的水流會(huì)對(duì)改變運(yùn)動(dòng)參數(shù)之后的運(yùn)動(dòng)產(chǎn)生一定的影響，而且機(jī)器魚(yú)的舵機(jī)精度也有限，所以不能完全表現(xiàn)出優(yōu)化程序得到的結(jié)果。在這樣的條件下我們得到的并不是最優(yōu)解，而是可以接受的次優(yōu)解。但是還是在一定的程度上解決了機(jī)器魚(yú)運(yùn)動(dòng)控制模式的問(wèn)題，取得了良好的效果。

【參考文獻(xiàn)】

[1]戴坡.仿生機(jī)器魚(yú)的控制系統(tǒng)設(shè)計(jì)與實(shí)驗(yàn)研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2006.

[2]梁建宏，王田苗，魏洪興.水下仿生機(jī)器魚(yú)的研究進(jìn)展Ⅰ—魚(yú)類(lèi)推進(jìn)機(jī)理[J].機(jī)器人，2002，24（2）：107-111.

[責(zé)任編輯：王偉平]