陳雙，李龍，羅海南

（蕪湖哈特機(jī)器人產(chǎn)業(yè)技術(shù)研究院有限公司，蕪湖241000）

0 引言

隨著科技的進(jìn)步和人們對生活水平的追求，服務(wù)機(jī)器人[1-2]作為機(jī)器人家庭中的新生一員應(yīng)運(yùn)而生，在醫(yī)療救助、家庭服務(wù)、娛樂項(xiàng)目等領(lǐng)域中發(fā)揮著重要作用。而自主導(dǎo)航[3]是服務(wù)機(jī)器人最基本、最重要的能力，也是其他應(yīng)用的基礎(chǔ)；但由于服務(wù)機(jī)器人應(yīng)用環(huán)境的非結(jié)構(gòu)化和復(fù)雜多樣化，給其導(dǎo)航能力提出了更高的要求。近年來，隨著智能科學(xué)的興起和發(fā)展，如何在服務(wù)機(jī)器人與環(huán)境的交互中通過自主學(xué)習(xí)提高自身的智能水平，使其更好的適應(yīng)復(fù)雜環(huán)境己經(jīng)成為機(jī)器人學(xué)中研究的熱點(diǎn)問題。而強(qiáng)化學(xué)習(xí)[4-5]無需數(shù)學(xué)模型和先驗(yàn)知識，只需通過與環(huán)境的交互試錯(cuò)便能夠得到相應(yīng)優(yōu)化控制策略，因此可應(yīng)用在服務(wù)機(jī)器人的導(dǎo)航控制中。

1 強(qiáng)化學(xué)習(xí)算法

1.1 強(qiáng)化學(xué)習(xí)的基本原理

強(qiáng)化學(xué)習(xí)[6-8]的思想來源于動(dòng)物的學(xué)習(xí)理論，主要解決的問題是：一個(gè)能夠感知環(huán)境的智能體（Agent），如何通過學(xué)習(xí)選擇能力執(zhí)行能夠完成設(shè)定目標(biāo)的最優(yōu)動(dòng)作。該算法把學(xué)習(xí)看做是一個(gè)試探的過程，把外界環(huán)境狀態(tài)映射成相應(yīng)的動(dòng)作，Agent 通過不斷與外界環(huán)境交互試錯(cuò)后獲得相應(yīng)的獎(jiǎng)懲，在不斷學(xué)習(xí)的過程中，逐步逼近能夠獲得最大獎(jiǎng)賞值的動(dòng)作策略。在強(qiáng)化學(xué)習(xí)中，由環(huán)境產(chǎn)生的獎(jiǎng)賞信號（獎(jiǎng)勵(lì)或懲罰）是對Agent當(dāng)前動(dòng)作的評價(jià)，它無需告訴Agent 如何產(chǎn)生最優(yōu)的動(dòng)作，只需Agent 不斷的改變從狀態(tài)空間到動(dòng)作空間的映射策略使自身獲取正的獎(jiǎng)賞值最大即可完成目標(biāo)任務(wù)。圖1 為強(qiáng)化學(xué)習(xí)的原理示意圖，Agent 根據(jù)當(dāng)前環(huán)境的狀態(tài)執(zhí)行一個(gè)動(dòng)作后，外界環(huán)境發(fā)生改變的同時(shí)給予該動(dòng)作相應(yīng)的獎(jiǎng)賞信號并傳遞給Agent 本身，然后不斷修正動(dòng)作策略使Agent 得到的獎(jiǎng)賞信號最大，從而進(jìn)行下一步的動(dòng)作，如此循環(huán)，直到Agent 該環(huán)境下一直執(zhí)行最好的動(dòng)作為止。

圖1 強(qiáng)化學(xué)習(xí)的原理示意圖

強(qiáng)化學(xué)習(xí)包含很多種算法，例如蒙特卡羅算法、動(dòng)態(tài)規(guī)劃算法、瞬時(shí)差分算法、R 算法和Q 學(xué)習(xí)等，其中，Q 學(xué)習(xí)是一種與環(huán)境模型無關(guān)的強(qiáng)化學(xué)習(xí)算法，因其不需要建立精確的數(shù)學(xué)模型而被廣泛的應(yīng)用在機(jī)器人控制系統(tǒng)中。

1.2 Q學(xué)習(xí)

Q 學(xué)習(xí)[9]提供智能系統(tǒng)在馬爾科夫環(huán)境下利用經(jīng)歷的動(dòng)作序列選擇最優(yōu)動(dòng)作的一種學(xué)習(xí)能力。在Q 學(xué)習(xí)中，Q（s,a）是狀態(tài)動(dòng)作對的值函數(shù)，通過不斷循環(huán)減小相鄰狀態(tài)間Q 估計(jì)值的差異來達(dá)到一定的收斂條件，即：

其中，（st,st+1）∈S，S 為狀態(tài)集；（at,at+1）∈A，A 為動(dòng)作集；R（st,at）表示在狀態(tài)st下執(zhí)行動(dòng)作at得到的獎(jiǎng)賞值；γ為折扣因子；T（st,at,st+1）表示從狀態(tài)st通過執(zhí)行動(dòng)作at后轉(zhuǎn)到狀態(tài)st+1的概率。通過輸出的Q 值得到給定狀態(tài)所對應(yīng)的可能動(dòng)作，從而Agent 選擇并執(zhí)行最大Q值所對應(yīng)的動(dòng)作。選擇的策略為：

通過式（3）完成Q 值的更新，直至收斂：

式中α為學(xué)習(xí)率。

Q 函數(shù)的實(shí)現(xiàn)方法[10]主要有兩種：一種是采用神經(jīng)網(wǎng)絡(luò)的方法，另一種是采用lookup 表格方法，即通過lookup 查表法描述離散空間中狀態(tài)動(dòng)作對的值函數(shù)，表的大小等于S（狀態(tài)集合）×A（動(dòng)作集合）的笛卡爾乘積中元素的個(gè)數(shù)。但當(dāng)外界狀態(tài)集合S 或Agent 的動(dòng)作集合A 較大時(shí)，lookup 表將占用較大的內(nèi)存空間，從而造成Q 學(xué)習(xí)的收斂速度過慢甚至產(chǎn)生“維數(shù)爆炸”等問題；若Agent 規(guī)劃的是非離散場景的路徑時(shí)，采用查表法存儲(chǔ)Q 值的方法也不具有泛化能力，因此本文將采用神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)Q 學(xué)習(xí)算法。

1.3 基于BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)Q學(xué)習(xí)算法

神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的泛化能力，能夠逼近任意非線性函數(shù)，因此神經(jīng)網(wǎng)絡(luò)可以解決Q 學(xué)習(xí)中大規(guī)模的狀態(tài)空間到動(dòng)作空間之間的映射關(guān)系問題，圖2 顯示了BP 網(wǎng)絡(luò)擬合Q 學(xué)習(xí)算法的結(jié)構(gòu)圖。

圖2 中可以看出，網(wǎng)絡(luò)的輸入是傳感器所檢測的當(dāng)前環(huán)境信息量化后的結(jié)果st={s1,s2,…,sn}，假設(shè)服務(wù)機(jī)器人具有m 個(gè)可能的動(dòng)作ak（k=1,2,…,m），網(wǎng)絡(luò)的輸出是設(shè)定動(dòng)作對應(yīng)的Q 值（Q（st,ak）），即：

圖2 BP網(wǎng)絡(luò)擬合Q學(xué)習(xí)算法的結(jié)構(gòu)圖

采用較常用的ε-Greedy 探索策略來解決探索與利用之間的平衡關(guān)系，即服務(wù)機(jī)器人以ε的概率隨機(jī)選擇某一動(dòng)作，以1-ε的概率按式（2）選擇最大Q 值對應(yīng)的動(dòng)作。當(dāng)機(jī)器人執(zhí)行完該動(dòng)作后，將當(dāng)前的狀態(tài)st+1輸入到網(wǎng)絡(luò)中，得到下一動(dòng)作對應(yīng)的Q 值（Q（st+1,at+1）），同時(shí)網(wǎng)絡(luò)給予該動(dòng)作相應(yīng)的獎(jiǎng)賞值r(st,at)，此時(shí)得到輸出誤差e 為：

在得到網(wǎng)絡(luò)的輸出誤差后，利用式（5）修正調(diào)整BP 網(wǎng)絡(luò)的各個(gè)權(quán)值大小，當(dāng)誤差滿足設(shè)定的條件后機(jī)器人進(jìn)行下一步動(dòng)作，重復(fù)上述步驟直至學(xué)習(xí)結(jié)束，即服務(wù)機(jī)器人已到達(dá)目標(biāo)點(diǎn)完成導(dǎo)航任務(wù)。該算法的流程圖如圖3 所示。

圖3 BP網(wǎng)絡(luò)擬合Q學(xué)習(xí)算法的導(dǎo)航流程圖

2 實(shí)驗(yàn)與仿真

2.1 服務(wù)機(jī)器人感知系統(tǒng)模型及環(huán)境模型的建立

在MATLAB 環(huán)境下模擬仿真較為常見的兩輪差動(dòng)式服務(wù)機(jī)器人，通過控制其質(zhì)心處的轉(zhuǎn)角使車體完成前行、左轉(zhuǎn)及右轉(zhuǎn)的動(dòng)作，服務(wù)機(jī)器人感知系統(tǒng)的模型結(jié)構(gòu)如圖4 所示。首先，車體的右方、前方和左方均安裝了三個(gè)超聲波傳感器，從而能夠檢測車身右方30°、前方30°及左方30°的環(huán)境信息。為了確保機(jī)器人在完成導(dǎo)航任務(wù)時(shí)自身的安全性，取sright、sfront和sleft分別表示機(jī)器人與車體右方、前方及左方障礙物之間的最短距離，即 sright=min(l1,l2,l3)、sfront=min(l4,l5,l6)、sleft=min(l7,l8,l9)，同時(shí)需要測量機(jī)器人與目標(biāo)點(diǎn)間的距離（sgoal）以及當(dāng)前車身方向與目標(biāo)點(diǎn)之間的夾角（sangle），計(jì)算公式如下：

圖4 機(jī)器人感知系統(tǒng)模型

在MATLAB 中建立了100×100 單位距離的仿真界面，假設(shè)每個(gè)超聲波傳感器的檢測范圍為0～5 個(gè)單位，當(dāng)機(jī)器人周圍無障礙物或機(jī)器人與障礙物之間的距離大于5 個(gè)單位時(shí)，傳感器的示數(shù)顯示為5。在MATLAB 圖形用戶界面中仿真模擬外界環(huán)境，圖5（a）中顯示了所建的GUI 仿真界面，將外界環(huán)境信息存儲(chǔ)在mat 文件中，通過導(dǎo)入障礙物按鈕完成對設(shè)定外界環(huán)境的加載；在設(shè)置起點(diǎn)按鈕和終點(diǎn)按鈕中，可使用鼠標(biāo)點(diǎn)擊確認(rèn)的方式獲得起點(diǎn)及終點(diǎn)的位置；清除路線按鈕的作用是清除機(jī)器人的路徑軌跡；保存仿真圖形菜單可實(shí)現(xiàn)對仿真結(jié)果的存儲(chǔ)。

在路橋工程施工過程中，水泥結(jié)構(gòu)設(shè)計(jì)對混凝土強(qiáng)度要求比較低，一般情況下使用低強(qiáng)度的混凝土，此外還應(yīng)結(jié)合環(huán)境因素對混凝土結(jié)構(gòu)實(shí)施全面的設(shè)計(jì)，能夠有效避免對外部產(chǎn)生影響，而且在較大程度上可提升混凝土設(shè)計(jì)質(zhì)量。在對混凝土結(jié)構(gòu)進(jìn)行設(shè)計(jì)的過程中，最為重要的是避免裂縫的產(chǎn)生，這就需要施工企業(yè)在施工過程中不斷創(chuàng)新和優(yōu)化施工工藝，在最大程度上保證乃至提高工程質(zhì)量。

圖5 仿真環(huán)境

2.2 輸入輸出參數(shù)的量化

在馬爾科夫環(huán)境下，Q 學(xué)習(xí)的輸入和輸出均是離散的變量，因此需要對從外界系統(tǒng)中獲取的輸入輸出數(shù)據(jù)進(jìn)行量化處理。本文采用了由Michie 提出的BOX 算法，其基本思想是將輸入狀態(tài)空間劃分為確定數(shù)量的非重疊區(qū)域，不同的輸入狀態(tài)激活不同的區(qū)域。本文在綜合考慮傳感器所測距離的范圍后，將網(wǎng)絡(luò)的輸入量劃分為9 個(gè)區(qū)域，不同的區(qū)域代表機(jī)器人面臨不同的環(huán)境信息。量化后的結(jié)果為：

為了使服務(wù)機(jī)器人運(yùn)行的路徑較平滑，把服務(wù)機(jī)器人的執(zhí)行動(dòng)作分為左轉(zhuǎn)30°、左轉(zhuǎn)15°、直行、右轉(zhuǎn)30°、右轉(zhuǎn)15°這5 個(gè)動(dòng)作，網(wǎng)絡(luò)的輸出變量即為該5 個(gè)動(dòng)作對應(yīng)的Q 值。

2.3 獎(jiǎng)賞信號的設(shè)定

獎(jiǎng)賞信號是Q 學(xué)習(xí)的主要元素之一，合理的設(shè)定獎(jiǎng)賞信號有利于提高網(wǎng)絡(luò)的收斂速度。服務(wù)機(jī)器人導(dǎo)航的主要目的是使車體完成接近目標(biāo)和遠(yuǎn)離障礙物兩種行為：機(jī)器人接近目標(biāo)應(yīng)給予獎(jiǎng)勵(lì)，即正獎(jiǎng)賞值，遠(yuǎn)離目標(biāo)應(yīng)受到懲罰，即負(fù)獎(jiǎng)賞值；同樣，機(jī)器人越接近障礙物，受到的懲罰就越大，越遠(yuǎn)離障礙物，獲取的獎(jiǎng)勵(lì)就越多。本文將獎(jiǎng)賞信號分為三部分：第一部分為障距獎(jiǎng)賞值Rod，即根據(jù)服務(wù)機(jī)器人相對于障礙物的距離設(shè)置的獎(jiǎng)賞值；第二部分為方向獎(jiǎng)賞值Rdo，即根據(jù)服務(wù)機(jī)器人車體方向相對于目標(biāo)點(diǎn)的夾角（簡稱，目標(biāo)方向夾角）設(shè)置的獎(jiǎng)賞值，第三部分為目距獎(jiǎng)賞值Rgd，即根據(jù)服務(wù)機(jī)器人相對目標(biāo)點(diǎn)的距離設(shè)置的獎(jiǎng)賞值；三部分獎(jiǎng)賞值的取值分別為：

當(dāng)服務(wù)機(jī)器人與障礙物之間的距離不同時(shí)，機(jī)器人需要考慮選擇執(zhí)行兩種行為（逼近目標(biāo)與躲避障礙物）的優(yōu)先權(quán)。在未檢測到障礙物時(shí)，即sright=sfront=sleft=5，應(yīng)優(yōu)先逼近目標(biāo)點(diǎn)，此時(shí)車體每步改變5°從而逐漸減小目標(biāo)方向夾角并接近目標(biāo)。當(dāng)檢測到障礙物時(shí)，本文根據(jù)經(jīng)驗(yàn)知識，以安全距離為分界點(diǎn)，引入障距動(dòng)態(tài)權(quán)值以及目距動(dòng)態(tài)權(quán)值，兩個(gè)權(quán)值取值的大小決定了執(zhí)行逼近目標(biāo)和躲避障礙物兩個(gè)行為的優(yōu)先權(quán)，按如下規(guī)則設(shè)置動(dòng)態(tài)獎(jiǎng)賞值：

（1）當(dāng)服務(wù)機(jī)器人與障礙物之間的距離小于設(shè)定的安全距離時(shí)，應(yīng)給予機(jī)器人一定的懲罰(Rpu)，設(shè)置Rpu=-5；同時(shí)，在該狀態(tài)下，機(jī)器人主要以躲避障礙物為主，因此，設(shè)置障距動(dòng)態(tài)權(quán)值Wod=0.9、目距動(dòng)態(tài)權(quán)值Wgd=0.1。

（2）當(dāng)服務(wù)機(jī)器人與障礙物之間的距離大于等于所設(shè)的安全距離時(shí)，機(jī)器人主要以接近目標(biāo)點(diǎn)為主，在該狀態(tài)下，主要考慮機(jī)器人與目標(biāo)點(diǎn)之間的距離及目標(biāo)方向夾角，因此，設(shè)置Wod=0.1、Wgd=0.9。

式中，Wdo為目標(biāo)方向動(dòng)態(tài)權(quán)值，其值Wdo=1-[Wod]。

2.4 不同環(huán)境下的仿真結(jié)果

在仿真實(shí)驗(yàn)中，假定最初服務(wù)機(jī)器人的車體前進(jìn)方向朝向目標(biāo)點(diǎn)，設(shè)定網(wǎng)絡(luò)的最大學(xué)習(xí)次數(shù)為2000次，機(jī)器人每完成一個(gè)動(dòng)作后便調(diào)整一次網(wǎng)絡(luò)的權(quán)值，當(dāng)機(jī)器人的學(xué)習(xí)次數(shù)超過最大學(xué)習(xí)次數(shù)或碰到障礙物時(shí)，則返回至最初設(shè)定的起點(diǎn)位置開始新一輪的訓(xùn)練。服務(wù)機(jī)器人行駛的速度取決于車體與周圍障礙物之間的距離，當(dāng)周圍無障礙物時(shí)，機(jī)器人具有最大的行駛速度；當(dāng)檢測到障礙物時(shí)，機(jī)器人會(huì)降低行駛速度。機(jī)器人行駛速度v 的計(jì)算公式為：

式中，smin=min(sright,sfront,sleft)；ζ 為速度比例系數(shù)。

在學(xué)習(xí)的初始階段，Q 值是隨機(jī)設(shè)定的，為了探索到所有的動(dòng)作，采用ε-Greedy 探索策略選取動(dòng)作，以1-ε的概率選擇最大Q 值對應(yīng)的動(dòng)作，以ε的概率隨機(jī)選擇任一動(dòng)作，隨著學(xué)習(xí)的不斷進(jìn)行，逐漸降低ε的大小。網(wǎng)絡(luò)中各個(gè)參數(shù)的設(shè)定值如表1 所示。

表1 網(wǎng)絡(luò)參數(shù)的設(shè)定值

服務(wù)機(jī)器人采用BP 網(wǎng)絡(luò)擬合Q 學(xué)習(xí)的算法應(yīng)用于靜態(tài)環(huán)境下的導(dǎo)航系統(tǒng)中，仿真的結(jié)果如圖6 所示。

在仿真實(shí)驗(yàn)中，當(dāng)周圍無障礙物時(shí)，機(jī)器人以最大的速度行駛并靠近目標(biāo)點(diǎn)，當(dāng)遇到障礙物時(shí)，將采取避障措施。從圖6（a）可以看出，在學(xué)習(xí)的初始階段，服務(wù)機(jī)器人主要以探索環(huán)境為主，此時(shí)選擇隨機(jī)動(dòng)作的概率較大，因此機(jī)器人無法正確的選擇并執(zhí)行最佳的動(dòng)作，導(dǎo)致行駛的路線比較亂，而且出現(xiàn)了與障礙物相撞的現(xiàn)象。從圖6（b）可以看出，在訓(xùn)練中期，隨著與環(huán)境交互的不斷進(jìn)行，服務(wù)機(jī)器人隨機(jī)選取動(dòng)作的概率在逐漸減小，并慢慢學(xué)會(huì)了如何避開障礙物并趨向目標(biāo)點(diǎn)，但是，機(jī)器人在此時(shí)并沒有完全熟悉環(huán)境，因此規(guī)劃的路徑并不是最優(yōu)路徑。從圖6（c）中可以看出，在訓(xùn)練的后期，機(jī)器人經(jīng)過了大量的實(shí)驗(yàn)與學(xué)習(xí)，對環(huán)境完全掌握的情況下，走出了一條相對較優(yōu)的路線，并順利到達(dá)目標(biāo)點(diǎn)。最后，服務(wù)機(jī)器人利用所提的算法在上述環(huán)境下完成100 次的導(dǎo)航路徑，輸出每次行使路徑所耗時(shí)間及步數(shù)，設(shè)定當(dāng)機(jī)器人與障礙物相撞時(shí)，機(jī)器人的輸出步數(shù)為0，結(jié)果如圖7 和圖8 所示。

從圖7、圖8 可以看出，由于BP 網(wǎng)絡(luò)的初始權(quán)值是隨機(jī)設(shè)定的，在訓(xùn)練初始階段，網(wǎng)絡(luò)極易陷入極小值問題，致使機(jī)器人消耗較長時(shí)間到達(dá)目標(biāo)點(diǎn)，甚至出現(xiàn)碰撞障礙物次數(shù)較多的現(xiàn)象，隨著學(xué)習(xí)的進(jìn)行，逐漸適應(yīng)所在的環(huán)境，最后花費(fèi)了較少的時(shí)間走出相對較優(yōu)的路線。

3 結(jié)語

服務(wù)機(jī)器人在家庭服務(wù)、醫(yī)療服務(wù)、娛樂項(xiàng)目等方面發(fā)揮著重要的地位和作用，在服務(wù)機(jī)器人發(fā)展的同時(shí)，對其智能化程度的要求也越來越高，因此通過自主學(xué)習(xí)來提高智能水平是未來服務(wù)機(jī)器人走進(jìn)千家萬戶必須深入研究的問題。學(xué)習(xí)是智能產(chǎn)生的基本條件，基于強(qiáng)化學(xué)習(xí)的導(dǎo)航方法將會(huì)在機(jī)器人系統(tǒng)的設(shè)計(jì)中發(fā)揮重要的作用，本文提出了基于神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)算法，并應(yīng)用在機(jī)器人的導(dǎo)航控制中，該算法充分考慮機(jī)器人所需完成的避障和趨向目標(biāo)的任務(wù)，在MATLAB 仿真環(huán)境下驗(yàn)證了該算法的可行性。

圖8 時(shí)間