張一然 楊 龍 袁 博 李長耿

（中車青島四方機車車輛股份有限公司，山東 青島 266111）

近年來，隨著機械加工產(chǎn)品精度質(zhì)量要求的提高和國內(nèi)制造業(yè)的發(fā)展，機器人打磨拋光技術(shù)成為我國重要的發(fā)展方向之一[1-3]。傳統(tǒng)的打磨拋光主要以手工操作為主，不僅會使工人面對打磨拋光產(chǎn)生的噪音和粉塵污染，而且難以保證打磨質(zhì)量的一致性。使用工業(yè)機器人打磨可以保證打磨過程的可重復性，代替工人參與打磨的惡劣環(huán)境，并且可以消除人為誤差，保證打磨精度和一致性[4-5]。然而，由于機器人打磨執(zhí)行器與打磨工件為剛性接觸，在打磨過程中容易造成打磨接觸力的不穩(wěn)定，甚至損壞工件。因此，打磨力的柔順穩(wěn)定控制是影響機器人打磨質(zhì)量優(yōu)劣的關(guān)鍵因素[6-7]。

針對機器人打磨的柔順力控問題，國內(nèi)外學者開展了相關(guān)研究[8-11]。目前，柔順力控方法主要包括主動柔順控制和被動柔順控制。被動柔順方法往往采用簡單的彈簧機構(gòu)進行柔順，對簡單零件的平面打磨有一定適用性。但被動柔順方法不能精確地控制打磨接觸力，在對復雜曲面零件進行打磨時，打磨效果不佳。因此，Nagata F[12]提出了基于力位混合控制的機器人主動柔順力控打磨方法，實現(xiàn)了高精度的機器人曲面零件拋光。許家忠等[13]提出了一種基于自適應阻抗控制的機器人柔順力控方法，并將其應用于復合材料工件打磨，獲得了較好的打磨效果。然而，采用機器人主動柔順力控算法進行打磨力控制，往往因難以獲得機器人的精確模型而實現(xiàn)高實時性和魯棒性的控制，導致力控精度和響應速度不佳[14]。

針對工業(yè)機器人存在的接觸力難以恒定控制問題，為了實現(xiàn)打磨接觸力的恒定，本文提出一種用于機器人末端的浮動打磨執(zhí)行器。對浮動打磨執(zhí)行器進行了結(jié)構(gòu)設(shè)計，并進行了力控系統(tǒng)建模分析和控制算法設(shè)計；最后進行了恒力跟蹤試驗，驗證了裝置的恒力控制精度。

1 浮動打磨執(zhí)行器工作原理與結(jié)構(gòu)設(shè)計

1.1 浮動打磨執(zhí)行器工作原理

浮動打磨執(zhí)行器的工作原理如圖1 所示。浮動打磨執(zhí)行器作為一種主動柔順力控裝置，需要額外的驅(qū)動裝置提供動力輸出。氣壓驅(qū)動相比于液壓和電磁驅(qū)動，具有結(jié)構(gòu)緊湊、氣源易獲得、壓縮性大等優(yōu)點，因此選用以氣缸為主要動力元件的氣壓驅(qū)動方式實現(xiàn)力的主動控制。氣源提供氣體，經(jīng)由比例閥實現(xiàn)氣體流量的控制，進而實現(xiàn)氣缸內(nèi)部壓力和打磨頭接觸力的控制。力傳感器實時測量打磨頭接觸力，控制系統(tǒng)根據(jù)反饋的打磨頭接觸力，調(diào)整比例閥開口大小，實現(xiàn)打磨力的閉環(huán)控制。

圖1 浮動打磨執(zhí)行器的原理

1.2 浮動打磨執(zhí)行器結(jié)構(gòu)設(shè)計

圖2 所示為機器人浮動打磨末端執(zhí)行器的結(jié)構(gòu)示意圖?？紤]到運動的一致性，選用兩個相同規(guī)格、內(nèi)部帶有磁環(huán)的氣缸作為驅(qū)動結(jié)構(gòu)，以實現(xiàn)氣缸活塞位置的實時檢測。通過調(diào)節(jié)比例閥控制進入氣缸兩腔的氣體體積進而控制氣缸內(nèi)部壓力，從而控制輸出打磨力。直線導軌和滑塊提供浮動自由度，與兩個氣缸對稱放置，以減小偏載力矩對控制性能的影響。浮動打磨執(zhí)行器裝置通過機器人連接法蘭與機器人連接，通過打磨頭連接法蘭與力傳感器和打磨頭連接。力傳感器通過將實際打磨力實時反饋至控制系統(tǒng)，實現(xiàn)打磨力的閉環(huán)控制。

圖2 浮動打磨執(zhí)行器內(nèi)部結(jié)構(gòu)

2 浮動打磨執(zhí)行器力控系統(tǒng)建模分析

2.1 受力分析

將浮動打磨裝置分為浮動部分和固定部分，進行受力分析，如圖3 所示。假設(shè)此時重力方向與打磨法向的夾角為θ，裝置浮動部分的總質(zhì)量為m。單個氣缸的無桿腔面積為A1，壓力為P1；有桿腔面積為A2，壓力為P2。浮動打磨裝置與打磨工件之間的接觸力為Fn，摩擦力為Ff，打磨頭的位移為x。

圖3 浮動打磨裝置受力分析

根據(jù)牛頓第二定律，可以得到浮動打磨裝置的力平衡方程為

式中：Gθ=mgcosθ，為裝置浮動部分的重力在打磨表面法向上的分量。

2.2 力控系統(tǒng)建模分析

由比例閥進行氣體壓力的調(diào)節(jié)。比例閥的輸出壓力P和輸入電壓U的關(guān)系可以表示為

式中：K1和k兩個參數(shù)與氣缸的特性有關(guān)。

對浮動裝置受力分析得到的式（1）進行拉普拉斯變換可以得到：

力控系統(tǒng)的控制框圖如圖4 所示。

圖4 力控系統(tǒng)控制框圖

力控系統(tǒng)的開環(huán)傳遞函數(shù)可以表示為

式中：Gc為控制器的傳遞函數(shù)；Gd為D/A 轉(zhuǎn)換器傳遞函數(shù)；Gh為零階保持器；Gp為力控系統(tǒng)傳遞函數(shù)；Gpr為打磨過程的傳遞函數(shù)。

當浮動打磨裝置與打磨工件接觸時，打磨輸出力Fn可以使打磨頭產(chǎn)生位移x，其關(guān)系可以表示為

式中：Km、ωn、ζ分別為剛度、自然頻率和阻尼比。

將摩擦力Ff視為擾動，可得系統(tǒng)整體的傳遞函數(shù)為

至此，完成浮動打磨力控系統(tǒng)建模。由式（6）可知，力控系統(tǒng)可以視為三階系統(tǒng)，系統(tǒng)存在慣性環(huán)節(jié)，需要設(shè)計控制算法以提高力控系統(tǒng)的控制性能。

3 基于深度強化學習算法參數(shù)整定的PID控制

3.1 傳統(tǒng)PID 控制

PID 控制算法是工業(yè)中技術(shù)成熟、應用廣泛的一種控制算法[15-16]，結(jié)合比例、積分和微分3 個環(huán)節(jié)于一體，以實現(xiàn)閉環(huán)系統(tǒng)的控制，其控制算法框圖如圖5 所示。

圖5 PID 控制算法圖

PID 控制算法基于誤差信號e(t)（即期望值r(t)與實際值y(t)之間的差異），向誤差信號減小的方向調(diào)整控制信號u(t)，基于控制信號u(t)實現(xiàn)執(zhí)行機構(gòu)控制，進而控制系統(tǒng)的實際輸出值y(t)，使其盡可能接近期望輸出值。在浮動打磨執(zhí)行器的浮動打磨控制過程中，期望輸出值為用戶設(shè)定的期望打磨力，實際輸出值為打磨執(zhí)行器作用在工件上的實際打磨力，從而實現(xiàn)打磨力的控制。

PID 調(diào)節(jié)器的微分方程可表示為

式中：e(t)=r(t)-y(t)。

PID 調(diào)節(jié)的傳遞函數(shù)可表示為

PID 控制參數(shù)對系統(tǒng)性能影響較大[17-18]，需要對比例環(huán)節(jié)、積分環(huán)節(jié)和微分環(huán)節(jié)進行分析。

（1）比例環(huán)節(jié)：通過比例參數(shù)與誤差信號的乘積產(chǎn)生控制信號，按比例調(diào)節(jié)使誤差信號減小。選擇較大的比例系數(shù)往往會減小系統(tǒng)的穩(wěn)態(tài)誤差和上升時間，提升系統(tǒng)的控制精度和反應時間。但過大的比例系數(shù)，也會相應地提高系統(tǒng)的超調(diào)量，產(chǎn)生系統(tǒng)震蕩。

（2）積分環(huán)節(jié)：僅調(diào)節(jié)比例系數(shù)，無法消除系統(tǒng)的穩(wěn)態(tài)誤差，因此需要引入積分環(huán)節(jié)。增大積分系數(shù)，往往會降低系統(tǒng)的上升時間，改善提高系統(tǒng)的穩(wěn)態(tài)性能。但過大的積分系數(shù)，容易使系統(tǒng)產(chǎn)生震蕩，影響系統(tǒng)的穩(wěn)定性。

（3）微分環(huán)節(jié)：通過預測偏差的變化趨勢對系統(tǒng)調(diào)整，從而達到超前的控制效果。

3.2 DDPG 深度強化學習算法

深度強化學習算法是將深度學習和強化學習結(jié)合起來的算法[19-22]。深度學習在感知問題上具有強大的理解能力，而強化學習具有強大的決策能力。深度強化學習融合了兩者的優(yōu)點，具有強大的感知和決策能力，在研究中廣泛得到應用[23]。深度強化學習算法框架如圖6 所示。智能體作為一個可以獲取環(huán)境狀態(tài)作的實體，首先觀察環(huán)境狀態(tài)，并根據(jù)經(jīng)驗策略進行下一步的動作。智能的動作可以對環(huán)境狀態(tài)產(chǎn)生改變，環(huán)境狀態(tài)發(fā)生改變后會反饋智能體獎勵值，智能體根據(jù)獎勵值對經(jīng)驗策略進行優(yōu)化，以在之后獲取更高的獎勵值。如此反復進行迭代學習，最終獲得滿足要求的智能體和策略。

圖6 深度強化學習算法框架圖

DDPG 算法是將Actor-Critic 算法和DQN 算法結(jié)合起來、應用于連續(xù)控制領(lǐng)域的一種深度強化學習算法[21-24]，適用于狀態(tài)空間連續(xù)和動作空間連續(xù)的問題，其算法原理圖如圖7 所示。

圖7 DDPG 算法原理圖

DDPG 深度強化學習算法首先初始化Actor 網(wǎng)絡(luò)和Critic 網(wǎng)絡(luò)，并生成一組同樣參數(shù)的目標網(wǎng)絡(luò)。Actor 網(wǎng)絡(luò)在與環(huán)境交互后，將其狀態(tài)、動作、獎勵和下一時刻的狀態(tài)記錄在經(jīng)驗緩沖區(qū)內(nèi)，然后從經(jīng)驗緩沖區(qū)中生成新的狀態(tài)、動作、獎勵和下一時刻的狀態(tài)信息，并在Critic 網(wǎng)絡(luò)中計算Q值，并按照Q值最大的方向進行Actor 網(wǎng)絡(luò)參數(shù)的修正。最后將目標網(wǎng)絡(luò)與主網(wǎng)絡(luò)參數(shù)同步，進行下一輪的迭代處理。

相比于其他參數(shù)優(yōu)選算法，DDPG 算法能在連續(xù)的動作空間確定地選擇唯一的動作。而參數(shù)調(diào)整是基于高維狀態(tài)空間以及連續(xù)動做決策的，因此采用DDPG 算法可以很好地完成參數(shù)優(yōu)選問題，進而更適用于浮動打磨執(zhí)行器的柔順控制。

3.3 基于DDPG 算法的PID 控制參數(shù)整定

PID 參數(shù)對控制系統(tǒng)的控制性能影響很大，因此選取合適的PID 控制參數(shù)是影響控制效果優(yōu)劣的關(guān)鍵。在大多數(shù)工業(yè)場合，PID 控制參數(shù)的選取依靠經(jīng)驗進行試選，從中選取一個合適的值。然而本文設(shè)計的浮動打磨裝置，具有強耦合和非線性的特性，僅依靠經(jīng)驗進行PID 控制參數(shù)整定，往往難以取得較好的控制效果且效率低下。DDPG 深度強化學習算法適用于在連續(xù)狀態(tài)空間和動作空間中尋找最優(yōu)解，可用于PID 控制參數(shù)整定，其原理框圖如圖8 所示。

圖8 基于DDPG 算法的PID 參數(shù)整定原理框圖

采用DDPG 深度強化學習算法進行PID 控制參數(shù)整定步驟如下。

步驟1：首先進行DDPG 的網(wǎng)絡(luò)初始化，設(shè)置網(wǎng)絡(luò)相關(guān)參數(shù)和PID 參數(shù)初值，并且設(shè)置輸出的PID 參數(shù)范圍，以避免不合理的PID 控制參數(shù)可能引起的較差的控制效果。

步驟2：Actor 網(wǎng)絡(luò)將打磨過程中的性能指標作為獎勵信息，與新的狀態(tài)信息放入經(jīng)驗緩沖區(qū)中，并在Critic 網(wǎng)絡(luò)中計算Q值，并按照Q值最大的方向更新Actor 網(wǎng)絡(luò)和Critic 網(wǎng)絡(luò)，完成此次DDPG算法的迭代學習。

步驟3：DDPG 算法輸出PID 控制參數(shù)值到PID 控制器中，進行一次打磨過程。計算此次打磨過程的性能指標，包括力偏差均值、力偏差均方差值和上升時間，并將性能指標以狀態(tài)向量的形式輸入到DDPG 算法。

步驟4：判斷此次打磨過程的性能指標能否滿足控制性能要求，若滿足要求則輸出此次PID 控制參數(shù)，結(jié)束迭代學習；若不滿足要求，則重復步驟2 和步驟3，進行下一次迭代學習。

4 浮動打磨執(zhí)行器恒力性能驗證

搭建圖9 所示的xPC Target 浮動打磨執(zhí)行器實驗平臺，對本文設(shè)計的浮動打磨執(zhí)行器進行恒力控制性能驗證。實驗平臺主要由浮動打磨執(zhí)行器、高速數(shù)據(jù)采集卡、PC 上位機和xPC 目標下位機組成。實驗平臺中，上位機軟件進行控制參數(shù)的設(shè)定，并進行打磨輸出力的實時曲線顯示；下位機采集浮動打磨過程中的傳感器信號發(fā)送給上位機，并依據(jù)上位機控制參數(shù)設(shè)定進行打磨力的控制。實驗過程中，保持打磨頭為開啟狀態(tài)，通過給定階躍信號的打磨期望力，測量實際打磨力的跟隨情況，以測試打磨執(zhí)行器的恒力控制性能。

圖9 xPC Target 實驗平臺

經(jīng)過多次手動整定PID 參數(shù)，設(shè)置比例參數(shù)為0.3、積分參數(shù)為0.05、微分參數(shù)為0.1，測試結(jié)果如圖10 所示。

圖10 PID 控制實驗曲線

試驗結(jié)果表明，由于打磨頭的開啟，實際打磨力會產(chǎn)生一定程度的抖動，實際輸出力能較穩(wěn)定地跟隨期望輸出力。

基于DDPG 深度強化學習算法進行PID 參數(shù)整定，進行了打磨實驗測試，測試過程開啟打磨頭，測試結(jié)果如圖11 所示。

圖11 DDPG 參數(shù)整定后的PID 控制實驗曲線

分別計算兩組實驗輸出力數(shù)據(jù)的性能指標，包括實際輸出力與期望輸出力的偏差的均值、均方差以及實際輸出力的上升時間，結(jié)果見表1。

表1 輸出力性能指標比較

由表1 中數(shù)據(jù)可知，采用DDPG 深度強化學習算法進行PID 參數(shù)整定，獲得了更小的力偏差均值和均方差值以及更快的上升時間，從而具有更高的力控精度和響應速度。

5 結(jié)語

本文面向機器人自動化打磨拋光需求，進行了浮動打磨執(zhí)行器的結(jié)構(gòu)設(shè)計和力控系統(tǒng)建模分析，并開展浮動打磨執(zhí)行器的控制方法設(shè)計。在傳統(tǒng)PID 控制算法的基礎(chǔ)上，采用DDPG 深度強化學習算法進行PID 控制參數(shù)的整定，進行了浮動打磨執(zhí)行器恒力打磨實驗驗證。實驗結(jié)果表明，本文設(shè)計的浮動打磨執(zhí)行器，在采用DDPG 算法進行PID 控制參數(shù)整定后，獲得了較好的恒力控制性能，具有較強的力控精度和魯棒性，可以實現(xiàn)接觸力的實時監(jiān)測與恒力控制，可應用于各種機器人自動化打磨拋光領(lǐng)域。