亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        探究磁導(dǎo)航AGV深度強(qiáng)化學(xué)習(xí)路徑跟蹤控制方法

        2020-12-07 08:46:44楊雯
        魅力中國 2020年3期
        關(guān)鍵詞:磁條驅(qū)動(dòng)輪梯度

        楊雯

        (山東愛普電氣設(shè)備有限公司,山東 濟(jì)南 250101)

        引言

        自動(dòng)引導(dǎo)小車AGV(automatedguidedvehicle),是現(xiàn)代物流系統(tǒng)中的重要成員,它具有自動(dòng)化集成度高、柔性好、可靠性高、自動(dòng)導(dǎo)航運(yùn)行、安裝便利及使用方便等特點(diǎn)。AGV的導(dǎo)航方式眾多,包括視覺導(dǎo)航、GPS導(dǎo)航、激光導(dǎo)航、磁帶導(dǎo)引。其中磁帶導(dǎo)引由于實(shí)現(xiàn)簡單,造價(jià)便宜,抗干擾能力強(qiáng)在工程領(lǐng)域應(yīng)用最廣。

        一、AGV總體結(jié)構(gòu)和控制系統(tǒng)組成

        本文設(shè)計(jì)的磁導(dǎo)航AGV由本體結(jié)構(gòu)、電氣控制單元和傳感器檢測(cè)單元三部分組成。AGV本體結(jié)構(gòu)為六輪式結(jié)構(gòu),由位于車體中部驅(qū)動(dòng)單元的兩驅(qū)動(dòng)輪和前后四個(gè)萬向輪組成。兩驅(qū)動(dòng)輪由兩個(gè)步進(jìn)電機(jī)通過差速驅(qū)動(dòng)實(shí)現(xiàn)AGV直行、轉(zhuǎn)向、避障等運(yùn)動(dòng)。

        電控單元中采用西門子S7-200系列PLCCPU224XP作為主控制器,用PTO脈沖輸出方式完成AGV加速啟動(dòng)和減速停止時(shí)的步進(jìn)電機(jī)控制,PWM脈沖輸出方式完成軌跡跟蹤時(shí)的電機(jī)控制。傳感器檢測(cè)單元由用于磁條路徑檢測(cè)的磁傳感器和用于避障的超聲波傳感器和接觸式防撞傳感器組成,其中磁傳感器為AGV的“眼睛”,通過讀取磁條獲取小車位置和偏移狀態(tài)信息,主控制單元通過對(duì)其所得到的信息進(jìn)行分析,得到不同偏移狀態(tài)時(shí)的電機(jī)控制量,從而達(dá)到對(duì)AGV準(zhǔn)確控制的目的。

        二、路徑跟蹤深度強(qiáng)化學(xué)習(xí)控制策略

        路徑跟蹤問題馬爾科夫建模強(qiáng)化學(xué)習(xí)是一類用于解決馬爾可夫決策過程MDP)問題的算法集合,需將目標(biāo)任務(wù)轉(zhuǎn)化為MDP問題才能應(yīng)用強(qiáng)化學(xué)習(xí)算法。包括4個(gè)部分的設(shè)計(jì),分別為智能體、狀態(tài)空間、動(dòng)作空間與獎(jiǎng)勵(lì)函數(shù),智能體在本文中即為第一章所描述的AGV模型。

        (一)智能體狀態(tài)空間設(shè)計(jì)

        考慮到磁導(dǎo)航AGV通常只能得到磁感應(yīng)器中心點(diǎn)與磁條中心點(diǎn)的偏差距離這一外界信息。所以在感應(yīng)信息缺乏的情況下,若只利用傳感器當(dāng)前的觀測(cè)信號(hào)作為狀態(tài)表示,其狀態(tài)表示只能反映AGV車身一點(diǎn)與磁條的距離,并不能體現(xiàn)AGV車身方向與磁條路徑方向之間的夾角。上述問題也被稱為混淆狀態(tài)問題,該狀態(tài)表示不滿足馬爾科夫特性。于是考慮加入最近N步的歷史狀態(tài)共同構(gòu)建狀態(tài)表示。

        (二)智能體動(dòng)作空間設(shè)計(jì)

        由于AGV由轉(zhuǎn)向驅(qū)動(dòng)輪驅(qū)動(dòng),因此對(duì)AGV的控制輸出為驅(qū)動(dòng)輪轉(zhuǎn)動(dòng)力矩與驅(qū)動(dòng)輪轉(zhuǎn)向力矩,兩個(gè)力矩分別控制主動(dòng)輪的轉(zhuǎn)速與方向。伺服電機(jī)可輸出的力矩范圍是比較大的,若直接使用輸出力矩大小作為智能體的動(dòng)作輸出空間可能導(dǎo)致兩個(gè)問題,其一是由于連續(xù)的動(dòng)作行為是被獨(dú)立隨機(jī)選擇的所以在訓(xùn)練的過程中智能體可能會(huì)連續(xù)輸出兩個(gè)差距較大的力矩值,這種情況可能會(huì)對(duì)電機(jī)的使用壽命造成影響,其二是智能體的動(dòng)作空間越大其訓(xùn)練的時(shí)間也會(huì)越長,原因是導(dǎo)致探索的狀態(tài)空間變大了。

        (三)策略函數(shù)參數(shù)更新方法

        策略函數(shù)的更新使用了確定性策略梯度算法。確定性策略的梯度的存在,確定性策略梯度的提出避免了算法在動(dòng)作空間上的積分計(jì)算,使得策略梯度的估計(jì)效率大大的超過了隨機(jī)策略梯度算法。與隨機(jī)策略不同的是確定性策略的動(dòng)作輸出不存在隨機(jī)性,無法對(duì)狀態(tài)空間進(jìn)行探索,所以在使用確定性策略算法時(shí)需要在輸出動(dòng)作時(shí)加入隨機(jī)的探索噪音以實(shí)現(xiàn)對(duì)狀態(tài)空間的探索。

        三、算法執(zhí)行流程

        算法在應(yīng)用前需要進(jìn)行一段時(shí)間的訓(xùn)練,并在算法收斂后結(jié)束該階段。最終得到的策略函數(shù)即為將當(dāng)前AGV的狀態(tài)輸入映射為動(dòng)作輸出的路徑跟蹤控制器。訓(xùn)練階段結(jié)束后只保留策略函數(shù)部分作為AGV的路徑跟蹤控制器?;静襟E如下:(1)獲取AGV狀態(tài)信號(hào)st輸入到策略函數(shù)網(wǎng)絡(luò)中;(2)策略函數(shù)接收輸入狀態(tài)信號(hào)st后生成動(dòng)作at作為輸出,在加入探索噪音后返回給AGV執(zhí)行;(3)AGV執(zhí)行動(dòng)作at后得到獎(jiǎng)勵(lì)rt與下一個(gè)狀態(tài)st+1,組合前一時(shí)刻狀態(tài)信號(hào)st并加入歷史信號(hào)后組成經(jīng)驗(yàn)樣本e(St,at,rt,St+1)存儲(chǔ)到大小為1×10 4的經(jīng)驗(yàn)緩存池中;(4)從經(jīng)驗(yàn)緩存池中隨機(jī)采樣一個(gè)batch的經(jīng)驗(yàn)樣本用于訓(xùn)練;(5)使用采樣的經(jīng)驗(yàn)樣本,用式(12)計(jì)算損失函數(shù);(6)通過隨機(jī)梯度下降的優(yōu)化方法最小化損失函數(shù)來更新值函數(shù)逼近網(wǎng)絡(luò)QSt,at|()ω的參數(shù)ω;(7)通過確定性策略梯度算法式來更新策略函數(shù)網(wǎng)絡(luò)μst|()θ的參數(shù)θ。

        結(jié)語

        仿真結(jié)果及分析路徑跟蹤仿真中使用了兩個(gè)半徑分別為6m與4m的圓弧連接3段直線作為跟蹤路徑。首先在訓(xùn)練階段中,考慮到磁條傳感器的寬度通常為20cm,其最大測(cè)量誤差為±10cm。所以將誤差允許范圍限定為±10cm,當(dāng)AGV的跟蹤誤差大于±10cm時(shí)則判定出軌并結(jié)束本次跟蹤任務(wù),將AGV重置為誤差在±10cm范圍內(nèi)的隨機(jī)初始狀態(tài),進(jìn)入下次迭代。AGV每次出軌或是行駛完跟蹤路徑的全程則為一次完整的。在模型性能驗(yàn)證中,AGV的起點(diǎn)坐標(biāo)為(9.9.0),初始誤差設(shè)置為0.1m,去除探索噪音只保留策略函數(shù)部分作為控制輸出。

        猜你喜歡
        磁條驅(qū)動(dòng)輪梯度
        基于正交試驗(yàn)的整車驅(qū)動(dòng)輪滾動(dòng)阻力因素分析
        電驅(qū)動(dòng)輪輪轂設(shè)計(jì)及有限元分析
        一個(gè)改進(jìn)的WYL型三項(xiàng)共軛梯度法
        管外爬行機(jī)器人驅(qū)動(dòng)輪動(dòng)力特性與模態(tài)分析
        一種自適應(yīng)Dai-Liao共軛梯度法
        一種新型掘進(jìn)機(jī)行走驅(qū)動(dòng)輪設(shè)計(jì)方案
        一類扭積形式的梯度近Ricci孤立子
        透視眼
        刮磁條
        河南科技(2014年3期)2014-02-27 14:05:45
        三级4级全黄60分钟| 国产激情一区二区三区在线| 亚洲av午夜福利精品一区| 中文字幕亚洲情99在线| 一本大道久久东京热无码av| 色se在线中文字幕视频| 亚洲成人av一二三四区| 在线视频观看免费视频18| 性导航app精品视频| 视频福利一区二区三区| 亚洲字幕中文综合久久| 免费人妻无码不卡中文字幕18禁| 国产亚洲一本大道中文在线| 日本高清长片一区二区| 国产不卡精品一区二区三区| 老妇女性较大毛片| 亚洲中文字幕久久精品蜜桃| 手机在线中文字幕av| 风韵丰满熟妇啪啪区老熟熟女| 日本大片在线看黄a∨免费| 亚洲无AV码一区二区三区| 亚洲午夜经典一区二区日韩 | 成人影院yy111111在线| 久久精品国产亚洲av电影| 中文字幕色视频在线播放| 亚洲不卡一区二区视频| 巨茎中出肉欲人妻在线视频| 一本大道香蕉视频在线观看| 久久婷婷夜色精品国产| 国产情侣一区二区三区| 国产午夜亚洲精品午夜鲁丝片| 久久精品国产屋| 与最丰满美女老师爱爱视频 | 四虎影视4hu4虎成人| 中文字幕巨乱亚洲| 手机在线播放成人av| 欧美人妻aⅴ中文字幕| 无码中文字幕加勒比一本二本 | 无码人妻AⅤ一区 二区 三区| 亚洲免费福利视频网站| 丰满少妇被粗大猛烈进人高清 |