王悅辰 王紀(jì)章 茆寒 姚承志

摘要：在農(nóng)業(yè)廢棄物堆肥發(fā)酵過程中物料的含水率會(huì)發(fā)生變化，導(dǎo)致翻堆作業(yè)負(fù)荷的變化。而現(xiàn)有的翻堆作業(yè)主要通過人工操作，導(dǎo)致機(jī)器作業(yè)過程中作業(yè)效率低，容易產(chǎn)生故障。針對人工操作翻堆機(jī)作業(yè)時(shí)出現(xiàn)調(diào)控不精準(zhǔn)的問題，通過試驗(yàn)構(gòu)建翻堆機(jī)作業(yè)負(fù)荷與翻堆物料含水率、翻堆機(jī)行走速度關(guān)系模型，并結(jié)合翻堆機(jī)變頻調(diào)速控制模型，利用DDPG（Deep Deterministic Policy Gradient）改進(jìn)PID算法對翻堆作業(yè)調(diào)速系統(tǒng)進(jìn)行優(yōu)化控制。經(jīng)過Simulink仿真結(jié)果表明，DDPG改進(jìn)PID算法相比傳統(tǒng)PID算法在超調(diào)量上減少6.7%，調(diào)節(jié)時(shí)間減少2.5 s，并且抗擾動(dòng)與跟隨性能均更優(yōu)。翻堆作業(yè)現(xiàn)場測試結(jié)果表明：DDPG改進(jìn)PID算法的控制方式相比傳統(tǒng)PID算法超調(diào)量要降低4%、調(diào)節(jié)時(shí)間減少2 s，相比人工控制其調(diào)節(jié)時(shí)間減少6 s。

關(guān)鍵詞：堆肥；翻堆；PID控制；反饋控制；DDPG算法

中圖分類號(hào)：S224.2

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095-5553 （2024） 06-0184-08

收稿日期：2022年10月8日

修回日期：2023年2月3日

*基金項(xiàng)目：江蘇省農(nóng)業(yè)自主創(chuàng)新項(xiàng)目（CX（19）3091）；江蘇省優(yōu)勢學(xué)科項(xiàng)目（PAPD-2018-87）；鎮(zhèn)江市重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（NY2019004）

第一作者：王悅辰，男，1999年生，南京人，碩士研究生；研究方向?yàn)檗r(nóng)業(yè)機(jī)械化工程。E-mail： 820055421@qq.com

通訊作者：王紀(jì)章，男，1981年生，江蘇靖江人，博士，副研究員；研究方向?yàn)檗r(nóng)業(yè)信息技術(shù)。E-mail： whxh@ujs.edu.cn

Feedback control of compost turning machine based on DDPG improved PID algorithm

Wang Yuechen， Wang Jizhang， Mao Han， Yao Chengzhi

（School of Agricultural Engineering， Jiangsu University， Zhenjiang， 212013， China）

Abstract： During the process of composting and fermentation for agricultural wastes， the water content of materials has changed， which will lead to the change of the load of the compost turning operation. However， the existing operation of the compost turning machine was mainly by manual operation， which led to low operation efficiency and easy to cause failure in the process of machine operation. Aiming at the problem of inaccurate regulation during manual operation of the compost turning machine， the relationship model for the operation load of the compost turning machine between the moisture content of the composting material and the moving speed of the machine was established through the experiments. Combined with the variable frequency speed control model of the machine， the speed control system of the compost turning machine was optimized by using DDPG （Deep Deterministic Policy Gradient） improved PID algorithm. The Simulink simulation results showed that compared with the traditional PID algorithm， the DDPG improved PID algorithm reduced the overshoot by 6.7%， the adjustment time by 2.5 s， and the anti-disturbance and follow-up performance were better. The field test results of compost turning operation showed that the control mode of DDPG improved PID algorithm was 4% lower than that of traditional PID algorithm under overshoot， and the adjustment time was reduced by 2 s. Compared with manual control， the adjustment time was reduced by 6 s.

Keywords： compost; pile-turning; PID control; feedback control; Deep Deterministic Policy Gradient （DDPG） algorithm

0 引言

目前農(nóng)業(yè)廢棄物的發(fā)酵方式主要有攪動(dòng)固定床式、反應(yīng)塔式以及槽式，其中槽式發(fā)酵由于其具有建設(shè)成本低、管控方式簡單、同一批次處理量大等優(yōu)點(diǎn)成為我國基質(zhì)發(fā)酵企業(yè)的主要生產(chǎn)手段^[1-3]。但在槽式發(fā)酵過程中由于發(fā)酵堆堆置高度較高，并且長時(shí)間堆置后內(nèi)部堆料容易凝結(jié)，導(dǎo)致內(nèi)部氧氣得不到充分補(bǔ)充，可以采用鋪設(shè)管道進(jìn)行曝氣或使用翻堆機(jī)進(jìn)行翻堆。其中采用翻堆機(jī)翻堆的方式不需要進(jìn)行繁瑣的管道鋪設(shè)使后期機(jī)械作業(yè)不受阻礙，并且翻堆機(jī)作業(yè)時(shí)可將發(fā)酵堆料內(nèi)部的結(jié)塊打碎、攪拌，同時(shí)使發(fā)酵堆深層的堆料得以翻至上方與新鮮空氣進(jìn)行充分接觸提高發(fā)酵的均勻性^[4]，因此在大規(guī)?；|(zhì)發(fā)酵生產(chǎn)中受到廣泛應(yīng)用。

為了保證堆肥翻堆作業(yè)，日本三重農(nóng)藝研究組結(jié)合巖土撕裂理論對發(fā)酵堆料的物理性質(zhì)進(jìn)行研究設(shè)計(jì)出了一種槽式發(fā)酵專用刀具并安裝在翻堆機(jī)上有效改善了翻堆機(jī)的運(yùn)行功率^[5-7]。德國Backhus公司采用“軌道優(yōu)化”的技術(shù)，在作業(yè)過程中可使發(fā)酵堆料緊密堆置，節(jié)約占地資源，并且該翻堆機(jī)采用液壓驅(qū)動(dòng)技術(shù)，在翻堆過程中運(yùn)行平穩(wěn)可靠不易出故障^[8]。田晉躍^[9]根據(jù)翻堆機(jī)運(yùn)行特性對垃圾堆肥翻堆機(jī)進(jìn)行能量消耗的優(yōu)化。彭寶良等^[10]設(shè)計(jì)FP2500A翻堆機(jī)，集成了板鏈?zhǔn)浇Y(jié)構(gòu)與動(dòng)力系統(tǒng)，可以實(shí)現(xiàn)發(fā)酵堆料的破碎與混合，并且試驗(yàn)效果良好，通用性強(qiáng)。白威濤^[11]對滾筒刀具排列規(guī)則進(jìn)行優(yōu)化減少了翻堆機(jī)運(yùn)行功耗。為了實(shí)現(xiàn)翻堆機(jī)的高效作業(yè)，F(xiàn)ouda^{[12， 13]}根據(jù)堆肥翻轉(zhuǎn)操作期間滾筒速度、機(jī)器前進(jìn)速度等運(yùn)動(dòng)學(xué)參數(shù)的變化，研究了堆肥翻堆機(jī)在機(jī)器容量、堆肥密度、燃料消耗、能源需求和翻堆成本方面的性能。李成杰^[14]針對目前翻堆機(jī)容易在運(yùn)行過程中動(dòng)力不足導(dǎo)致悶機(jī)等問題，通過試驗(yàn)與離散元模擬等方法對翻堆機(jī)作業(yè)特性進(jìn)行研究，從機(jī)械結(jié)構(gòu)以及設(shè)計(jì)參數(shù)上對翻堆機(jī)進(jìn)行優(yōu)化，提高翻堆機(jī)的作業(yè)能力。由美國和加拿大聯(lián)合研制的“圣甲蟲”號(hào)翻堆機(jī)采用機(jī)電、液壓一體化控制方案實(shí)現(xiàn)翻堆作業(yè)下堆發(fā)酵堆溫度、含水率的自動(dòng)控制，有效縮短了發(fā)酵堆的生產(chǎn)周期，為基質(zhì)發(fā)酵企業(yè)的大規(guī)模生產(chǎn)提供了有力支持^[15]。Schedler等^[16]研發(fā)一種可自動(dòng)導(dǎo)航的發(fā)酵堆翻堆作業(yè)系統(tǒng)，利用軟硬件協(xié)同的方式結(jié)合多體動(dòng)力學(xué)模型降低了開發(fā)測試成本。

在堆肥發(fā)酵過程中，由于翻堆作業(yè)和堆體溫度升高，導(dǎo)致發(fā)酵堆內(nèi)的含水率發(fā)生變化，導(dǎo)致翻堆作業(yè)負(fù)荷的變化。如果翻堆機(jī)按照相同的作業(yè)速度進(jìn)行作業(yè)，會(huì)導(dǎo)致作業(yè)效率低、容易悶機(jī)等問題。本文通過建立翻堆機(jī)作業(yè)模型，研究翻堆機(jī)在不同負(fù)載狀態(tài)下翻堆作業(yè)性能，構(gòu)建基于翻堆負(fù)荷的翻堆機(jī)作業(yè)過程的反饋控制，以使翻堆機(jī)作業(yè)時(shí)保持合適的行走速度，保證滾筒電機(jī)能夠運(yùn)行在其額定功率范圍內(nèi)，實(shí)現(xiàn)翻堆機(jī)作業(yè)自主控制，降低生產(chǎn)事故風(fēng)險(xiǎn)、提高作業(yè)效率。

1 翻堆機(jī)控制系統(tǒng)架構(gòu)與設(shè)計(jì)方案

1.1 翻堆機(jī)機(jī)械結(jié)構(gòu)組成

翻堆機(jī)機(jī)械結(jié)構(gòu)如圖1所示，主要包括支撐平臺(tái)、駕駛艙、翻堆滾筒、滾筒起落支架、行走輪、驅(qū)動(dòng)電機(jī)。翻堆機(jī)通過行走輪在發(fā)酵槽導(dǎo)軌上進(jìn)行運(yùn)動(dòng)，并通過行走輪驅(qū)動(dòng)電機(jī)控制前進(jìn)和后退，同時(shí)通過翻堆滾筒電機(jī)帶動(dòng)翻堆滾筒堆發(fā)酵堆料進(jìn)行攪拌實(shí)現(xiàn)連續(xù)作業(yè)。滾筒起落架的收放由起落架電機(jī)進(jìn)行控制，在作業(yè)開始前放下起落架，在發(fā)生故障或作業(yè)結(jié)束時(shí)將起落架收起。

1.2 翻堆機(jī)控制系統(tǒng)設(shè)計(jì)方案

根據(jù)基質(zhì)發(fā)酵實(shí)際作業(yè)要求，基于翻堆滾筒負(fù)荷進(jìn)行行走速度自動(dòng)調(diào)節(jié)的翻堆機(jī)控制系統(tǒng)所需功能為：能夠根據(jù)發(fā)酵堆當(dāng)前的含水率導(dǎo)致的翻堆作業(yè)負(fù)荷狀態(tài)對行走輪驅(qū)動(dòng)電機(jī)轉(zhuǎn)速進(jìn)行調(diào)整，并在翻堆作業(yè)過程中對翻堆滾筒電機(jī)功率進(jìn)行監(jiān)測并實(shí)時(shí)調(diào)節(jié)行走速度。此外，控制系統(tǒng)應(yīng)當(dāng)具備必要的人機(jī)交互界面以供操作人員對翻堆機(jī)的狀態(tài)進(jìn)行查看和參數(shù)調(diào)整。

根據(jù)控制系統(tǒng)的需求，控制系統(tǒng)的總體架構(gòu)如圖2所示，包含檢測單元、翻堆機(jī)作業(yè)控制臺(tái)、變頻調(diào)速單元和控制電動(dòng)機(jī)4個(gè)部分。

信號(hào)檢測單元包含檢測翻堆滾筒電機(jī)運(yùn)行功率的功率傳感器。翻堆作業(yè)控制臺(tái)包括與服務(wù)器信息交互的智能網(wǎng)關(guān)、進(jìn)行控制信息處理的微處理器。變頻調(diào)速單元包括PLC控制器與用來驅(qū)動(dòng)電機(jī)的變頻器?？刂齐姍C(jī)包括翻堆滾筒起落架電機(jī)、驅(qū)動(dòng)翻堆滾筒旋轉(zhuǎn)的翻堆滾筒電機(jī)、控制翻堆機(jī)移動(dòng)的行走輪驅(qū)動(dòng)電機(jī)。

2 翻堆機(jī)作業(yè)系統(tǒng)硬件組成與軟件設(shè)計(jì)

2.1 硬件組成

1） 檢測單元。通過ELECALL生產(chǎn)的DTS2016傳感器對電機(jī)功率進(jìn)行測量；該傳感器輸入頻率為50 Hz±10%，采用RS485進(jìn)行功率值傳輸。

2） 變頻調(diào)速單元。變頻調(diào)速單元由一個(gè)PLC控制器與三個(gè)變頻器組成。變頻器選擇重型變頻器，容量根據(jù)翻堆滾筒電機(jī)、行走輪驅(qū)動(dòng)電機(jī)、滾筒起落架電機(jī)變頻器功率分別為37 kW、5 kW、15 kW。

PLC控制器采用西門子S7-200 SMATRTCPU ST40。PLC需要同時(shí)控制3個(gè)變頻器，每個(gè)變頻器的控制端子有正轉(zhuǎn)、反轉(zhuǎn)，因此PLC地輸出端需要與變頻器的控制端子連接。輸入端需要有按鈕對電機(jī)進(jìn)行手動(dòng)正轉(zhuǎn)反轉(zhuǎn)控制。頻率調(diào)控手段是通過RS485對變頻的頻率控制器進(jìn)行通信。

3） 翻堆作業(yè)控制臺(tái)。翻堆機(jī)作業(yè)控制臺(tái)是以瑞芯微自主設(shè)計(jì)研發(fā)的國產(chǎn)RK3399微處理器為控制核心，以觸摸屏為人機(jī)交互界面的控制系統(tǒng)。該處理器由四核A72與雙核A55構(gòu)成，具備算力為3T的Mali-T864 GPU運(yùn)算單元并且內(nèi)置了1920 int8 MAC operation per cycle NPU處理單元，通過移植python庫可以進(jìn)行深度神經(jīng)網(wǎng)絡(luò)運(yùn)算。翻堆機(jī)作業(yè)控制臺(tái)實(shí)物圖如圖3所示。

翻堆機(jī)作業(yè)控制臺(tái)中的RK3399微處理器通過RS485與PLC進(jìn)行通信并輸出控制信息與頻率設(shè)定，通過UART接口連接智能網(wǎng)關(guān)來接收服務(wù)器端的指令。在人機(jī)交互方面，翻堆機(jī)的所有狀態(tài)信息通過ADC觸屏顯示，操作人員可以通過觸摸屏完成相關(guān)指令控制。智能網(wǎng)關(guān)基于NB-IOT與STM32RTC6開發(fā)，其內(nèi)部集成了UART通信模塊與NBIOT基帶芯片，采用5 V低壓供電，實(shí)時(shí)接收服務(wù)器端信息并傳輸至自動(dòng)作業(yè)控制平臺(tái)。

2.2 軟件設(shè)計(jì)

控制平臺(tái)軟件運(yùn)行于LINUX操作系統(tǒng)下，采用QT5進(jìn)行開發(fā)，通過交叉編譯工具鏈對tlisb、QTcreater 5.5.1、TensorFlow2.6.3源碼進(jìn)行編譯并移植使人機(jī)交互軟件可以運(yùn)行在RK3399中。

軟件實(shí)現(xiàn)流程如圖4所示。微處理器通過USART串口與NBIOT智能網(wǎng)關(guān)進(jìn)行請求與響應(yīng)交互，等待智能網(wǎng)關(guān)回傳控制指令以及所在產(chǎn)線的發(fā)酵信息。當(dāng)啟動(dòng)翻堆機(jī)進(jìn)行作業(yè)后，翻堆機(jī)會(huì)根據(jù)當(dāng)前產(chǎn)線的發(fā)酵狀態(tài)信息調(diào)用檢測單元與變頻調(diào)速控制單元進(jìn)行自動(dòng)作業(yè)。

PLC的主要作用是接收指令并解析再控制的變頻器動(dòng)作。利用RS485通信接口與控制臺(tái)連接，以MODUBS為通信協(xié)議接收控制臺(tái)發(fā)出的指令，解析后判斷指令指向的目標(biāo)電機(jī)并進(jìn)行正轉(zhuǎn)反轉(zhuǎn)以及工作頻率的設(shè)置。

3 翻堆機(jī)作業(yè)負(fù)荷影響研究

3.1 試驗(yàn)方法與步驟

翻堆機(jī)作業(yè)負(fù)荷主要指用于用來翻堆的翻堆滾筒電機(jī)的運(yùn)行功率。根據(jù)翻堆機(jī)作業(yè)特點(diǎn)對行走速度與發(fā)酵堆含水率進(jìn)行調(diào)節(jié)并觀察滾筒電機(jī)功率變化。如圖5所示，試驗(yàn)場地選擇在江蘇省鎮(zhèn)江市江蘇培蕾基質(zhì)科技發(fā)展有限公司發(fā)酵廠區(qū)內(nèi)進(jìn)行。根據(jù)發(fā)酵堆含水率的變化特點(diǎn)，選擇范圍為40%～60%基質(zhì)物料進(jìn)行不同基質(zhì)含水率的翻堆作業(yè)負(fù)荷試驗(yàn)。具體步驟如下。

1） 在試驗(yàn)場地內(nèi)以10 m距離作為翻堆機(jī)作業(yè)距離，在該距離范圍內(nèi)每間隔1 m采集發(fā)酵堆料含水率，取平均作為該組發(fā)酵堆料含水率。

2） 在試驗(yàn)區(qū)域內(nèi)每間隔50 cm設(shè)置一處標(biāo)記，該標(biāo)記作為翻堆機(jī)翻堆滾筒功率、行走輪驅(qū)動(dòng)電機(jī)轉(zhuǎn)速的記錄點(diǎn)。

3） 行走輪驅(qū)動(dòng)電機(jī)轉(zhuǎn)速初始值設(shè)置為400 r/min，緩慢調(diào)節(jié)變頻器使翻堆滾筒電機(jī)達(dá)到額定功率，在此過程中記錄翻堆滾筒的功率以及行走輪驅(qū)動(dòng)電機(jī)的轉(zhuǎn)速的變化。

3.2 試驗(yàn)結(jié)果

如圖5所示，在含水率固定為43.8%下翻堆滾筒電機(jī)功率與翻堆機(jī)行走速度變化表現(xiàn)為線性關(guān)系；在行走速度固定為1.2 m/min下，通過改變發(fā)酵堆含水率可以看出翻堆滾筒電機(jī)功率隨著含水率的增大呈線性增長。將翻堆滾筒電機(jī)功率與發(fā)酵堆含水率以及翻堆機(jī)行走速度通過線性擬合，擬合所得到的R²為0.986，擬合所得關(guān)系模型如式（1）所示。

P_roller=4.076V_mov+0.319 3θ+5.148（1）

式中：P_roller——翻堆滾筒電機(jī)功率，kW；

V_mov——翻堆機(jī)行走速度，m/min；

θ——發(fā)酵堆料含水率，%。

4 基于DDPG改進(jìn)PID算法的翻堆機(jī)負(fù)荷反饋控制

4.1 DDPG改進(jìn)PID算法原理

在翻堆機(jī)作業(yè)系統(tǒng)控制中，通常使用PID控制算法對翻堆機(jī)行走速度進(jìn)行調(diào)節(jié)以控制翻堆滾筒電機(jī)的負(fù)荷變化。但不同含水率的發(fā)酵堆對翻堆滾筒負(fù)荷帶來的影響不同，因此需要通過相應(yīng)算法根據(jù)當(dāng)前發(fā)酵堆含水率對PID參數(shù)進(jìn)行自動(dòng)調(diào)整與優(yōu)化以滿足翻堆作業(yè)要求。

如圖6所示，DDPG（Deep Deterministic Policy Gradient）改進(jìn)PID算法的原理是通過DDPG算法內(nèi)部Actor-Critic網(wǎng)絡(luò)中的Actor網(wǎng)絡(luò)對PID參數(shù)進(jìn)行調(diào)整，控制系統(tǒng)利用調(diào)整后的PID參數(shù)結(jié)合翻堆機(jī)作業(yè)模型以及PID控制算法進(jìn)行運(yùn)行^[17]。獎(jiǎng)勵(lì)函數(shù)與Actor-Critic網(wǎng)絡(luò)中的Critic網(wǎng)絡(luò)會(huì)對控制系統(tǒng)運(yùn)行后得到的偏差以及PID算法輸出值進(jìn)行評(píng)價(jià)，若評(píng)價(jià)結(jié)果不滿足要求則會(huì)向Actor-Critic網(wǎng)絡(luò)輸入誤差值，使Actor-Critic網(wǎng)絡(luò)內(nèi)部學(xué)習(xí)參數(shù)進(jìn)行更新，再利用Actor網(wǎng)絡(luò)根據(jù)控制系統(tǒng)的輸入偏差對PID參數(shù)進(jìn)行重新調(diào)整^[18]。

DDPG改進(jìn)PID算法分為兩個(gè)關(guān)鍵部分。

1） 基于獎(jiǎng)勵(lì)函數(shù)更新Actor-Critic網(wǎng)絡(luò)學(xué)習(xí)參數(shù)。獎(jiǎng)勵(lì)函數(shù)的形式為所有輸入信號(hào)與對應(yīng)權(quán)重乘積之和，用于評(píng)價(jià)控制系統(tǒng)在當(dāng)前PID參數(shù)下控制系統(tǒng)運(yùn)行的效果。獎(jiǎng)勵(lì)函數(shù)的輸入值為控制系統(tǒng)運(yùn)行后得出的功率偏差以及PID算法的輸出結(jié)果，獎(jiǎng)勵(lì)函數(shù)計(jì)算后通過比較器將其輸出值與Critic網(wǎng)絡(luò)輸出的價(jià)值估計(jì)值（Value）進(jìn)行比較，將得出的誤差值送入到Actor-Critic網(wǎng)絡(luò)中用于Actor-Critic網(wǎng)絡(luò)學(xué)習(xí)參數(shù)的更新^[19]。

2） 基于Actor-Critic網(wǎng)絡(luò)訓(xùn)練PID參數(shù)。Actor-Critic網(wǎng)絡(luò)是一種深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，由動(dòng)作者（Actor）根據(jù)控制系統(tǒng)的輸入的偏差對PID參數(shù)進(jìn)行調(diào)整，評(píng)價(jià)者（Critic）根據(jù)PID參數(shù)調(diào)整后的控制系統(tǒng)運(yùn)行得到的偏差以及調(diào)整后的PID參數(shù)對該次調(diào)整效果進(jìn)行價(jià)值估計(jì)。當(dāng)滿足訓(xùn)練出的結(jié)果滿足設(shè)定要求后停止訓(xùn)練，將得到的PID參數(shù)作為最優(yōu)值輸出^[20]。具體訓(xùn)練流程如圖7所示。

4.2 翻堆機(jī)負(fù)荷控制模型

在同一批次產(chǎn)線下發(fā)酵堆的含水率相同，影響翻堆機(jī)作業(yè)狀態(tài)下影響翻堆滾筒電機(jī)功率的因素為翻堆機(jī)的前進(jìn)速度。因此需要構(gòu)建由翻堆滾筒電機(jī)功率作為反饋信號(hào)的行走輪驅(qū)動(dòng)電機(jī)速度控制模型，實(shí)現(xiàn)調(diào)節(jié)行走輪驅(qū)動(dòng)電機(jī)的轉(zhuǎn)速使?jié)L筒電機(jī)功率得到控制的目的。

根據(jù)翻堆機(jī)的減速箱減速比和行走輪的半徑，電機(jī)轉(zhuǎn)速與行走速度之間的轉(zhuǎn)化系數(shù)為0.003，換算后再將轉(zhuǎn)速換算成電機(jī)對應(yīng)的工作頻率，根據(jù)轉(zhuǎn)速與頻率計(jì)算公式進(jìn)行計(jì)算，先將行走速度轉(zhuǎn)換成行走輪驅(qū)動(dòng)電機(jī)轉(zhuǎn)速，再將式（1）與轉(zhuǎn)速、頻率計(jì)算公式結(jié)合可以得到翻堆滾筒電機(jī)功率P_roller與行走輪驅(qū)動(dòng)電機(jī)頻率f_mov關(guān)系如式（2）所示。

f_mov=2.665P_roller-0.859 7θ-12.877（2）

4.3 行走輪驅(qū)動(dòng)電機(jī)變頻控制模型

如圖8所示，變頻器可以簡化為由比例積分環(huán)節(jié)構(gòu)成的閉環(huán)反饋結(jié)構(gòu)模型。模型左端為輸入電壓V_in，通過比例放大環(huán)節(jié)將輸入電壓放大到K₀倍，再通過正反雙向限幅器對輸入電壓進(jìn)行限幅；使用積分環(huán)節(jié)來設(shè)置變頻器的加減速時(shí)間，σ為積分時(shí)間常數(shù)；K為比例放大系數(shù)，通過額定頻率與限幅電壓之間的比值來確定^[21]。

將上述結(jié)構(gòu)圖進(jìn)行數(shù)學(xué)描述可以得到基于平均控制滯后時(shí)間T₀的傳遞函數(shù)如式（3）所示。

G_fc（s）=KT₀s+1（3）

在使用變頻器對行走輪電機(jī)進(jìn)行驅(qū)動(dòng)時(shí)，為保證磁通不變會(huì)在頻率改變時(shí)同時(shí)對電壓進(jìn)行調(diào)節(jié)，因此可以將行走輪驅(qū)動(dòng)電機(jī)轉(zhuǎn)化為如圖9所示等效模型^[22]。

圖9中，K_f、A_m以及GD²的求解方程如式（4）～式（6）所示。

K_f=60p（4）

A_m=3p³U_N²K_I²I²n₀764 000π²f²K_JP_N（5）

GD²=4gJ（6）

式中：U_N——行走輪驅(qū)動(dòng)電機(jī)額定電壓，V；

I——行走輪驅(qū)動(dòng)電機(jī)定子線額定電流，A；

n₀——行走輪驅(qū)動(dòng)電機(jī)額定轉(zhuǎn)速，r/min；

f——行走輪驅(qū)動(dòng)電機(jī)工作頻率，Hz；

P_N——行走輪驅(qū)動(dòng)電機(jī)額定功，kW；

g——重力加速度，m/s²；

J——行走輪驅(qū)動(dòng)電機(jī)轉(zhuǎn)動(dòng)慣量，kg/m²；

K_I——行走輪驅(qū)動(dòng)電機(jī)啟動(dòng)電流倍數(shù)；

p——行走輪驅(qū)動(dòng)電機(jī)極對數(shù)；

K_J——行走輪驅(qū)動(dòng)電機(jī)起動(dòng)轉(zhuǎn)矩倍數(shù)。

將行走輪驅(qū)動(dòng)電機(jī)等效模型進(jìn)行整理后可以表示如式（7）所示。

G_mov（s）=K_fT_Ms+1（7）

T_M=GD²375A_m（8）

式中：T_M——行走輪驅(qū)動(dòng)電機(jī)的機(jī)電時(shí)間常數(shù)。

變頻器的額定頻率為50 Hz，積分時(shí)間常數(shù)為5 s，限幅電壓為10 V。行走輪驅(qū)動(dòng)電機(jī)具體參數(shù)為：極對數(shù)為2；啟動(dòng)電流倍數(shù)為7；額定電壓為380 V；額定電流為5 A；啟動(dòng)電流倍數(shù)為7；額定轉(zhuǎn)速為1 430 r/min；起動(dòng)轉(zhuǎn)矩倍數(shù)為2.2；額定功率為2.2 kW；額定頻率為50 Hz；轉(zhuǎn)動(dòng)慣量為0.089 kg/m²。根據(jù)上述參數(shù)可得到變頻調(diào)速傳遞函數(shù)如式（9）所示。

G（s）=G_mov（s）G_fc（s）

=150（0.139 9s+1）（3s+1）（9）

4.4 翻堆機(jī)負(fù)荷控制系統(tǒng)simulink搭建

1） 訓(xùn)練誤差允許范圍設(shè)定。根據(jù)翻堆機(jī)作業(yè)要求，翻堆滾筒電機(jī)的運(yùn)行功率應(yīng)維持在30 kW左右，因此設(shè)置超載裕量為1.1，當(dāng)實(shí)時(shí)反饋的功率低于33 kW時(shí)執(zhí)行單次訓(xùn)練，當(dāng)超過33 kW時(shí)停止單次訓(xùn)練，具體形式如式（10）所示。

r（t）=0y（t）≤33-1else（10）

2） 獎(jiǎng)勵(lì)函數(shù)設(shè)定。獎(jiǎng)勵(lì)函數(shù)需要計(jì)算每個(gè)事件步所獲得的獎(jiǎng)勵(lì)，輸入端分為三個(gè)部分：第一個(gè)部分是輸入端與輸出端的偏差信號(hào)θ_t′，第二個(gè)是輸出端信號(hào)B，第三個(gè)為PID控制器輸出信號(hào)x_t，偏差信號(hào)作為重要輸入，權(quán)重設(shè)為1，其次為PID控制器輸出信號(hào)權(quán)重設(shè)為0.1，輸出端信號(hào)主要用于觀察是否出現(xiàn)超載，因此該項(xiàng)作為懲罰項(xiàng)，權(quán)重設(shè)為50。根據(jù)上述描述獎(jiǎng)勵(lì)函數(shù)的具體形式如式（11）所示。

R_t=-θ_t′²-0.1x_t²-50B（11）

3） 翻堆機(jī)作業(yè)控制系統(tǒng)搭建。根據(jù)上述反饋控股之原理進(jìn)行翻堆機(jī)作業(yè)控制系統(tǒng)搭建，如圖10所示。

通過階躍信號(hào)發(fā)生器step控件設(shè)定輸入功率，與功率反饋信號(hào)相減后通過error observation將功率偏差進(jìn)行離散化輸入到智能體的observation輸入端中，智能體根據(jù)獎(jiǎng)勵(lì)函數(shù)（Calculate Reward）以及停止模塊（Stop Simulation）的輸出值調(diào)整比例、積分、微分的參數(shù)值并通過乘積模塊與偏差值相乘并輸入到翻堆機(jī)傳遞函數(shù)模型中進(jìn)行計(jì)算。

4） 訓(xùn)練網(wǎng)絡(luò)搭建。在進(jìn)行參數(shù)訓(xùn)練之前首先要建立評(píng)價(jià)者網(wǎng)絡(luò)（critic network）來對輸出動(dòng)作進(jìn)行評(píng)估。如圖11所示，該網(wǎng)絡(luò)框架包含一個(gè)狀態(tài)輸入（state），一個(gè)動(dòng)作輸入（action）以及一個(gè)評(píng)價(jià)輸出（common），狀態(tài)輸入端設(shè)置為雙層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

4.5 結(jié)果與分析

翻堆機(jī)作業(yè)控制系統(tǒng)的RLAgent訓(xùn)練如圖12所示，訓(xùn)練過程中給定的初始參數(shù)是30 kW；每個(gè)訓(xùn)練步數(shù)Episode的積分步長T_s設(shè)置為1，一個(gè)周期的積分時(shí)間設(shè)置為30。

在訓(xùn)練過程中，設(shè)置最大訓(xùn)練次數(shù)（maxEpisodes）設(shè)置為1 000，圖12為訓(xùn)練200次后平均獎(jiǎng)勵(lì)A(yù)verage Reward達(dá)到了設(shè)定值，此時(shí)停止訓(xùn)練。

根據(jù)DDPG訓(xùn)練得到的結(jié)果進(jìn)行轉(zhuǎn)速響應(yīng)曲線繪制，設(shè)置發(fā)酵堆的含水率為49.96%，當(dāng)行走輪驅(qū)動(dòng)電機(jī)的轉(zhuǎn)速為0 r/min時(shí)翻堆滾筒的初始功率為21.3 kW。如圖13所示，紫色曲線為DDPG改進(jìn)PID后得到的功率響應(yīng)曲線，藍(lán)色曲線為傳統(tǒng)PID控制得到的響應(yīng)曲線，從圖中可以看出傳統(tǒng)PID控制下功率響應(yīng)曲線的超調(diào)量高于DDPG-PID控制下的功率響應(yīng)曲線，并且在調(diào)節(jié)時(shí)間上相比DDPG-PID更長，具體參數(shù)如表1所示。

為了更加清晰地分析DDPG-PID控制方式相比傳統(tǒng)PID的優(yōu)越性，分別對系統(tǒng)進(jìn)行了抗擾動(dòng)和跟隨性能對比，如圖14所示。對兩種控制方式分別在系統(tǒng)運(yùn)行的第7 s處施加了3%的負(fù)荷擾動(dòng)持續(xù)1 s，可以看出DDPG改進(jìn)PID在調(diào)節(jié)時(shí)間上比傳統(tǒng)PID縮短了2 s，在跟隨性能同樣比傳統(tǒng)PID更好。

為了驗(yàn)證基于DDPG改進(jìn)PID控制方式的效果，通過翻堆機(jī)作業(yè)系統(tǒng)控制翻堆機(jī)以DDPG改進(jìn)PID調(diào)節(jié)、傳統(tǒng)PID調(diào)節(jié)以及人工調(diào)節(jié)三種不同控制方式進(jìn)行實(shí)際作業(yè)測試。所選擇的試驗(yàn)場地發(fā)酵堆料高1.2 m，含水率為50.1%，三種控制方式下均使行走輪驅(qū)動(dòng)電機(jī)從0 rad/min開始不斷加速并同步記錄翻堆滾筒電機(jī)功率的變化。如圖15所示，DDPG改進(jìn)PID控制下功率超調(diào)量相比傳統(tǒng)PID控制在實(shí)際作業(yè)下要降低4%，調(diào)節(jié)時(shí)間減少2 s；對于人工控制而言，雖然翻堆機(jī)沒有發(fā)生超調(diào)的情況，但需要耗費(fèi)13 s才能控制翻堆機(jī)達(dá)到穩(wěn)定狀態(tài)，而DDPG改進(jìn)PID控制的翻堆機(jī)僅耗費(fèi)了7 s就達(dá)到了穩(wěn)定狀態(tài)，提高了6 s的調(diào)節(jié)時(shí)間。

5 結(jié)論

針對目前人工操作翻堆機(jī)進(jìn)行作業(yè)時(shí)出現(xiàn)調(diào)控不精準(zhǔn)導(dǎo)致作業(yè)效率低、容易悶機(jī)等問題，本文設(shè)計(jì)了一套基于翻堆機(jī)負(fù)荷的翻堆作業(yè)反饋控制系統(tǒng)。

1） 搭建了翻堆機(jī)作業(yè)負(fù)荷反饋測控系統(tǒng)，通過試驗(yàn)測定了翻堆機(jī)在不同含水率和翻堆機(jī)行走速度下的翻堆滾筒電機(jī)功率情況構(gòu)建了不同含水率和行走速度的翻堆機(jī)負(fù)荷模型。

2） 通過翻堆機(jī)負(fù)荷模型與翻堆機(jī)變頻調(diào)速控制模型相結(jié)合，設(shè)計(jì)了基于DDPG改進(jìn)PID算法的翻堆機(jī)負(fù)荷反饋控制模型。經(jīng)過simulink仿真對比，DDPG改進(jìn)PID算法相比傳統(tǒng)PID算法在超調(diào)量上減少了6.7%，調(diào)節(jié)時(shí)間減少了2.5 s，并且抗擾動(dòng)與跟隨性能均更優(yōu)。

3） 在實(shí)際作業(yè)測試中，DDPG改進(jìn)PID算法的翻堆機(jī)作業(yè)控制相比傳統(tǒng)PID控制超調(diào)量降低4%、調(diào)節(jié)時(shí)間減少2 s，比人工控制13 s調(diào)節(jié)時(shí)間減少了6 s，效率提升接近1倍。

參 考 文 獻(xiàn)

[1]陶志影， 張林， 劉凱， 等. 農(nóng)業(yè)廢棄物有機(jī)肥發(fā)酵工藝研究現(xiàn)狀與展望[J]. 江蘇農(nóng)業(yè)科學(xué)， 2020， 48（10）： 69-72.

Tao Zhiying， Zhang Lin， Liu Kai， et al. Research current status and prospects of fermentation process of organic waste organic fertilizers [J]. Jiangsu Agricultural Sciences， 2020， 48（10）： 69-72.

[2]趙立欣， 孟海波， 沈玉君， 等. 中國北方平原地區(qū)種養(yǎng)循環(huán)農(nóng)業(yè)現(xiàn)狀調(diào)研與發(fā)展分析[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2017， 33（18）： 1-10.

Zhao Lixin， Meng Haibo， Shen Yujun， et al. Investigation and development analysis of planting-breeding circulating agriculture ecosystem in northern plains in China [J]. Transactions of the Chinese Society of Agricultural Engineering， 2017， 33（18）： 1-10

[3]孫永明， 李國學(xué)， 張夫道， 等. 中國農(nóng)業(yè)廢棄物資源化現(xiàn)狀與發(fā)展戰(zhàn)略[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2005， 21（8）： 169-173.

Sun Yongming， Li Guoxue， Zhang Fudao， et al. Status quo and developmental strategy of agricultural residues resources in China [J]. Transactions of the Chinese Society of Agricultural Engineering， 2005， 21（8）： 169-173.

[4]李海漪， 李云飛， 居玉坤. 基于數(shù)學(xué)模型對SACT工藝中刀具角度和翻堆距離關(guān)系的探討[J]. 中國農(nóng)機(jī)化學(xué)報(bào)， 2018， 39（4）： 25-27， 33.

Li Haiyi， Li Yunfei， Ju Yukun. Discussion on the relationship between blade angle and turning distance in SACT process based on mathematical model [J]. Journal of Chinese Agricultural Mechanization， 2018， 39（4）： 25-27， 33.

[5]沈德龍， 曹鳳明， 李力. 我國生物有機(jī)肥的發(fā)展現(xiàn)狀及展望[J]. 中國土壤與肥料， 2007（6）： 1-5.

Shen Delong， Cao Fengming， Li Li. Development status and prospect of microbial organic fertilizer in China [J]. Soil and Fertilizer Sciences in China， 2007（6）： 1-5

[6]樊潔， 王亞東， 左淑珍. 生物有機(jī)肥翻堆設(shè)備的現(xiàn)狀與發(fā)展[J]. 農(nóng)業(yè)機(jī)械， 2007（4）： 52.

[7]劉永超， 鐘波， 李維華， 等. 有機(jī)肥翻拋機(jī)研究現(xiàn)狀與發(fā)展趨勢分析[J]. 農(nóng)業(yè)機(jī)械， 2010（26）： 2-4.

[8]Rynk R. Innovations in windrow turners [J]. Biocycle， 2003， 44（7）： 50-50.

[9]田晉躍. 自行式垃圾翻堆機(jī)作業(yè)特性分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2002（3）： 24-26， 29.

Tian Jinyue. Analysis of working performance on self-moving compostinga aerators [J]. Transactions of the Chinese Society for Agricultural Machinery， 2002（3）： 24-26， 29

[10]彭寶良， 胡志超， 王海鷗， 等. FP2500A型有機(jī)肥翻拋機(jī)的研制[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2008， 24（11）： 126-129.

Peng Baoliang， Hu Zhichao， Wang Haiou， et al. Development of FP2500A type stack-turning machine for organic fertilizer [J]. Transactions of the Chinese Society of Agricultural Engineering， 2008， 24（11）： 126-129

[11]白威濤. 槽式翻拋機(jī)工作部件的研究與設(shè)計(jì)[D]. 杭州： 浙江理工大學(xué)， 2012.

Bai Weitao. Study and design of working parts of troughed compost turner [D]. Hangzhou： Zhejiang Sci-Tech University， 2012

[12]Fouda T Z. Effect of kinematic parameter on some performance lndces for the self-propelled compost turning machine [J]. Misr Journal of Agricultural Engineering， 2009， 26（1）： 56-68.

[13]Fouda T Z. Optimizing kinematic parameters for compos turning machine for minimum energy requirements [J]. Ama， Agricultural Mechanization in Asia， Africa & Latin America， 2010， 41（3）： 70.

[14]李成杰. 堆肥物料在滾筒式翻堆機(jī)作用下的阻力特性研究[D]. 北京： 機(jī)械科學(xué)研究總院， 2019.

Li Chengjie. Study on resistance characteristics of compost materials under the action of roller dumper [D]. Beijing： China Academy of Machinery Science and Technology， 2019.

[15]秦現(xiàn)增， 馬戎， 張華， 等. 新遠(yuǎn)東—圣甲蟲設(shè)備[J]. 農(nóng)機(jī)科技推廣， 2005（1）： 41.

[16]Schedler M， Ortner-Pichler A， Reitbauer E， et al. Interdisciplinary system simulation of a tracked compost turner [J]. Procedia Manufacturing， 2020， 51： 1005-1013.

[17]Qin Y， Zhang W， Shi J， et al. Improve PID controller through reinforcement learning [C]. 2018 IEEE CSAA Guidance， Navigation and Control Conference （CGNCC）， 2018： 1-6.

[18]Gheisarnejad M， Khooban M H. An intelligent non-integer PID controller-based deep reinforcement learning： Implementation and experimental results [J]. IEEE Transactions on Industrial Electronics， 2020， 68（4）： 3609-3618.

[19]Lu P， Huang W， Xiao J. Speed tracking of Brushless DC motor based on deep reinforcement learning and PID [C]. 2021 7th International Conference on Condition Monitoring of Machinery in Non-Stationary Operations （CMMNO）， 2021： 130-134.

[20]Carlucho I， De Paula M， Acosta G G. An adaptive deep reinforcement learning approach for MIMO PID control of mobile robots [J]. ISA Transactions， 2020， 102： 280-294.

[21]王宇慧， 李鐵鷹， 葛楠. 變論域自適應(yīng)控制下的礦井提升系統(tǒng)調(diào)速方案[J]. 煤礦機(jī)械， 2013， 34（7）： 52-55.

Wang Yuhui， Li Tieying， Ge Nan. Variable universe adaptive control of mine hoist system speed scheme [J]. Coal Mine Machinery， 2013， 34（7）： 52-55

[22]鄧麗娜. 交流異步電機(jī)變頻調(diào)速同步傳動(dòng)算法研究[D]. 長春： 吉林大學(xué)， 2008.

Deng Lina. The research of synchrodrive algorithms on asynchronous motors variable frequency speed regulation [D]. Changchun： Jilin University， 2008.