◆李依霖

基于對機器人的狀態(tài)行為預(yù)測和行動糾正的方法研究

◆李依霖

（吉林建筑科技學(xué)院計算機科學(xué)與工程學(xué)院 吉林 130111 ）

本研究為了實現(xiàn)對動態(tài)機器人預(yù)測的必要性提出了對狀態(tài)行動的預(yù)測。根據(jù)現(xiàn)已提出的在線支持向量回歸機實時性逐次預(yù)測的方法為基礎(chǔ)，由于預(yù)測的定義中沒有提到狀態(tài)及行動的概念，因此，本論文提出根據(jù)機器人的現(xiàn)狀態(tài)和行動預(yù)測出新環(huán)境下的未來狀態(tài)，然后通過現(xiàn)狀態(tài)和行動預(yù)測值，實現(xiàn)狀態(tài)再定義的觀點。本文為了實現(xiàn)對狀態(tài)行動預(yù)測的必要性，解釋說明了關(guān)于在線的支持向量回歸機的改良方法，并說明狀態(tài)反饋控制的方法對狀態(tài)行動的預(yù)測。首先將預(yù)測每1單元時間下的狀態(tài)定義為逐一狀態(tài)預(yù)測，在此基礎(chǔ)上進(jìn)行擴展，在n單元時間下，預(yù)測狀態(tài)定義為長期狀態(tài)預(yù)測。因此，預(yù)測值優(yōu)先度的行動補正方法是預(yù)測機器人對狀態(tài)行動中采用最適合行動的補正方法。

在線的支持向量回歸機；狀態(tài)行動預(yù)測；預(yù)測值的優(yōu)先度

在線支持向量回歸機的基本思想是避免批處理支持向量回歸機重復(fù)學(xué)習(xí)的缺點，導(dǎo)入逐一學(xué)習(xí)的方法[1]。通過這種方法，不對最初的訓(xùn)練數(shù)據(jù)重復(fù)學(xué)習(xí)，添加和刪除學(xué)習(xí)機中的要點。訓(xùn)練時逐次添加學(xué)習(xí)數(shù)據(jù)，通過預(yù)測回歸系數(shù)將得到的學(xué)習(xí)數(shù)據(jù)范圍作為對象，當(dāng)學(xué)習(xí)結(jié)束時開始進(jìn)行預(yù)測未來狀態(tài)。因為在線支持向量回歸機能實現(xiàn)逐一學(xué)習(xí)，但不能實現(xiàn)逐一預(yù)測[2]。針對這一問題，我們考慮到利用在線支持向量回歸機進(jìn)行實時性的逐一預(yù)測的方法。通過已有的支持向量和新輸入的訓(xùn)練數(shù)據(jù)，并利用逐次更新的參數(shù)，構(gòu)成在下一時刻的輸入預(yù)測式，提出在線支持向量回歸機的逐次預(yù)測方法。

1 研究方法

本研究是為預(yù)測長期狀態(tài)，在n樣本時間的狀態(tài)下進(jìn)行預(yù)測。本研究的目的是通過機器人現(xiàn)在的狀態(tài)和行動預(yù)測到機器人下一個階段將要移動的狀態(tài)。在每1單位時間內(nèi)，根據(jù)現(xiàn)在的狀態(tài)采取的行動進(jìn)行預(yù)測，定義為逐次狀態(tài)預(yù)測。并在這種方法的基礎(chǔ)上擴展預(yù)測狀態(tài)在第n樣本時間上進(jìn)行預(yù)測時，應(yīng)該采用怎樣的方法來決定狀態(tài)和行動的控制原則[3]。

通過離散時間的非線性狀態(tài)空間模型表示預(yù)測對象的模型的動態(tài)的行動。利用這個模型的組合行動和狀態(tài)預(yù)測方法實現(xiàn)控制移動到目標(biāo)狀態(tài)，來預(yù)測出未來的狀態(tài)[3]。非線性狀態(tài)空間模型是通過機器人的現(xiàn)狀態(tài)和此時采取的行動，預(yù)測未來狀態(tài)的行為。在樣本時間上對每個在線的支持向量回歸機模塊給予時間的系數(shù)和行動，預(yù)測出每1樣本時間的狀態(tài)，將其表示為得到的預(yù)測值。通過預(yù)測出的樣本狀態(tài)值，輸入公式產(chǎn)生為了決定行動的狀態(tài)返回增值，并計算出預(yù)測出未來的行動系數(shù)。如下式：

在任意樣本時間內(nèi)，可以相互導(dǎo)出行動和狀態(tài)，并能預(yù)測出長期的狀態(tài)[4-5]。根據(jù)定義逐次狀態(tài)預(yù)測的結(jié)構(gòu)，實現(xiàn)狀態(tài)行動對預(yù)測的擴展。實現(xiàn)這個狀態(tài)下行動對預(yù)測的擴展，采用在線的支持向量回歸機作為預(yù)測器，預(yù)測狀態(tài)和行動[6]。從現(xiàn)在的狀態(tài)和行動預(yù)測出下一刻的狀態(tài)和行動，構(gòu)成預(yù)測系統(tǒng)。將在線支持向量回歸機的現(xiàn)狀態(tài)和行動，組合訓(xùn)練數(shù)據(jù)，實現(xiàn)對未來的內(nèi)部狀態(tài)進(jìn)行預(yù)測[7]。將在線支持向量回歸機作為線性二次調(diào)節(jié)器對下一時刻的狀態(tài)進(jìn)行預(yù)測時，先定義狀態(tài)變量和，將非線性離散狀態(tài)空間模型作為預(yù)測對象的模型，用來描述通過現(xiàn)在的狀態(tài)和行動預(yù)測出來的系數(shù)返回得到線性二次調(diào)節(jié)器的狀態(tài)返回增量。接下來實現(xiàn)對預(yù)測行動進(jìn)行補正。利用狀態(tài)和行動的組合實現(xiàn)機器人控制的方法，利用學(xué)習(xí)機通過機器人現(xiàn)在采取的行動預(yù)測出未來將會產(chǎn)生的行動反應(yīng)，從而實現(xiàn)行動補正的方法。如果未來將要采取的行動是包含預(yù)測誤差的預(yù)測值，就將會生成重復(fù)行動動作，為了減少這類影響，考慮到使用最合適的控制方法和狀態(tài)組合預(yù)測，決定采用補正的行動方法。

2 設(shè)計固定的權(quán)重系數(shù)。

著重預(yù)測結(jié)果的變化，設(shè)計可以調(diào)整的動態(tài)權(quán)重系數(shù)。

考慮利用這兩種方法，對過去的預(yù)測結(jié)果進(jìn)行檢討。與現(xiàn)在行動的結(jié)果進(jìn)行比對，設(shè)置存在下降程度時進(jìn)行行動補正，導(dǎo)出預(yù)測值。

3 研究內(nèi)容

動態(tài)環(huán)境下對機器人實施監(jiān)控控制，為了準(zhǔn)確預(yù)測未來的行動和狀態(tài)，要通過預(yù)測出的行動結(jié)果進(jìn)行實時修改，令機器人實現(xiàn)“理想行動”狀態(tài)[8]。本研究設(shè)定自動式兩輪倒立擺的倒立姿勢維持控制，利用對狀態(tài)行動的預(yù)測，得到預(yù)測出的可能性擾動，在補正擾動的基礎(chǔ)上產(chǎn)生必要的行動，通過狀態(tài)返回增量進(jìn)行最合適的控制。倒立擺的機體傾斜角度的變化越小，獲得的行動越合適。通過狀態(tài)行動對預(yù)測未來應(yīng)該采取的行動組合，得到補正倒立擺的控制輸入值，使用這個預(yù)測值來補正行動，形成狀態(tài)行動對預(yù)測“現(xiàn)時刻”到任意的+時刻的行動預(yù)測結(jié)果的集合。利用預(yù)測結(jié)果與預(yù)測對象“現(xiàn)時刻”相對比較，產(chǎn)生預(yù)測誤差比例。設(shè)定補正時使用的參數(shù)值重要性，為了降低誤差影響，要著重確認(rèn)預(yù)測的開始時間[9-10]。

通過逐一學(xué)習(xí)方法預(yù)測逐次狀態(tài)是組合進(jìn)一步學(xué)習(xí)的逐一狀態(tài)預(yù)測方法。但在逐次學(xué)習(xí)中數(shù)據(jù)的長度固定的情況下，達(dá)不到預(yù)定數(shù)據(jù)組合學(xué)習(xí)就終止了，存在著預(yù)測不到數(shù)據(jù)的情況。數(shù)據(jù)組合的長度設(shè)定為系數(shù)N，將N和前一時刻的N-1設(shè)為數(shù)據(jù)基點進(jìn)行學(xué)習(xí)和預(yù)測。也就是說，通過在線支持向量回歸機上更新學(xué)習(xí)第N-1次的學(xué)習(xí)數(shù)據(jù)時用的參數(shù)，從每增加一個學(xué)習(xí)數(shù)據(jù)開始預(yù)測下一步的組合學(xué)習(xí)。如圖1所示：

在第-1次的學(xué)習(xí)數(shù)據(jù)時，重復(fù)的向量，偏差項，作為學(xué)習(xí)數(shù)據(jù)的特征抽象化參數(shù)。本研究中著重學(xué)習(xí)第-1次的學(xué)習(xí)數(shù)據(jù)和第次的學(xué)習(xí)數(shù)據(jù)，定義-1次參數(shù)的集合，權(quán)重向量為，偏差項為。利用這些系數(shù)在每1個單位時間下進(jìn)行狀態(tài)預(yù)測，進(jìn)行組合批處理向量回歸機的進(jìn)一步學(xué)習(xí)。此時，把第次得到的數(shù)據(jù)最小化，作為第次學(xué)習(xí)數(shù)據(jù)的行為狀態(tài)特征。將這個結(jié)果集合學(xué)習(xí)第-1次行動狀態(tài)，測得學(xué)習(xí)數(shù)據(jù)時的參數(shù)來實現(xiàn)增量學(xué)習(xí)。

4 總結(jié)

本文討論了通過定義機器人的現(xiàn)狀態(tài)和行動進(jìn)行為來狀態(tài)行動的預(yù)測。首先，本文對提出的狀態(tài)和行動的預(yù)測方法進(jìn)行說明；然后，通過擴展在線的支持向量回歸機的方法對狀態(tài)行動進(jìn)行預(yù)測；最后，定義狀態(tài)和行動的預(yù)測式，利用現(xiàn)在的行動擾動系數(shù)修正未來狀態(tài)和行動的方法。

[1]陳志賢. 面向復(fù)雜環(huán)境的服務(wù)機器人自主規(guī)劃方法研究[D].中國科學(xué)院大學(xué)（中國科學(xué)院深圳先進(jìn)技術(shù)研究院），2019.

[2]錢慶文. 兩輪自平衡車擺機器人建模與控制方法的研究[D].哈爾濱理工大學(xué)，2019.

[3]陳孟元. 移動機器人仿生SLAM算法研究[D].中國科學(xué)技術(shù)大學(xué)，2019.

[4]黃利偉. 智能協(xié)同算法研究及應(yīng)用[D].電子科技大學(xué)，2019.

[5]朱疆成. 空中機器人的層次化決策與控制系統(tǒng)研究[D].浙江大學(xué)，2019.

[6]邱增帥. 面向室外環(huán)境的移動機器人自主場景理解[D].大連理工大學(xué)，2018.

[7]周振. 欠驅(qū)動多機器人系統(tǒng)一致性及編隊控制研究[D].燕山大學(xué)，2018.

[8]張啟彬. 基于不確定性分析的移動機器人室內(nèi)定位與導(dǎo)航控制方法研究[D].中國科學(xué)技術(shù)大學(xué)，2018.

[9]黃辰. 基于智能優(yōu)化算法的移動機器人路徑規(guī)劃與定位方法研究[D].大連交通大學(xué)，2018.

[10]別東洋. 模塊化自重構(gòu)機器人分布式變形策略研究[D].哈爾濱工業(yè)大學(xué)，2017.

2019年吉林建筑科技學(xué)院科研項目（?？谱帧?019】016號）