李方麗, 劉 杰, 王延波, 魏海峰, 李垣江,2

基于深度強(qiáng)化學(xué)習(xí)的PMSM匝間短路故障診斷方法

李方麗1, 劉 杰1, 王延波1, 魏海峰1, 李垣江1,2

(1. 江蘇科技大學(xué) 電子信息學(xué)院, 江蘇鎮(zhèn)江, 212003; 2. 江蘇仕凈環(huán)保科技股份有限公司, 江蘇蘇州, 215137)

永磁同步電機(jī)(PMSM)憑借其穩(wěn)定性強(qiáng)、損耗低、效率高、體積小、調(diào)速范圍寬等優(yōu)勢(shì)而廣泛應(yīng)用于水下航行推進(jìn)等領(lǐng)域。文中針對(duì)PMSM匝間短路故障, 采用深度強(qiáng)化學(xué)習(xí)方法中的Deep-Q-Net-work (DQN)算法進(jìn)行故障診斷。首先使用Maxwell軟件建立PMSM模型并分析電機(jī)不同狀態(tài)下三相電流、最低磁密度和電磁轉(zhuǎn)矩的相關(guān)變化, 采集上述五維特征分量構(gòu)建特征數(shù)據(jù)集并組成電機(jī)故障樣本, 然后使用深度強(qiáng)化學(xué)習(xí)DQN算法對(duì)樣本集和測(cè)試集進(jìn)行數(shù)據(jù)訓(xùn)練與分析, 通過(guò)調(diào)節(jié)神經(jīng)元節(jié)點(diǎn)數(shù)、迭代次數(shù)、學(xué)習(xí)率和經(jīng)驗(yàn)回放數(shù)等, 提高算法診斷準(zhǔn)確率, 最終得到該算法對(duì)PMSM故障診斷的準(zhǔn)確率高達(dá)99.61%, 從而驗(yàn)證了該算法在PMSM故障診斷方面的有效性。

永磁同步電機(jī); 匝間短路; 故障診斷; 深度強(qiáng)化學(xué)習(xí); Deep-Q-Network算法

0 引言

隨著經(jīng)濟(jì)的迅速發(fā)展, 海洋資源的開(kāi)發(fā)越來(lái)越受到重視, 水下航行器憑借其體積小、質(zhì)量輕、安全系數(shù)高、靈活度高等優(yōu)勢(shì), 在海洋資源開(kāi)發(fā)領(lǐng)域日益受到重視, 各國(guó)科學(xué)家已對(duì)其展開(kāi)了深入研究[1]。但是由于水下航行器運(yùn)行環(huán)境復(fù)雜且空間小, 采用體積小、速度快、高效率且成本效益好的推進(jìn)電機(jī)顯得尤為重要[2]。永磁同步電機(jī)(permanent magnet synchronous motor, PMSM)具有體積小、功率密度大、穩(wěn)定性高、調(diào)速范圍寬和效率高等優(yōu)勢(shì), 符合水下航行推進(jìn)的設(shè)計(jì)要求, 在水下航行推進(jìn)電機(jī)中占據(jù)優(yōu)勢(shì), 已逐步占據(jù)市場(chǎng)[3-5]。但是受限于電機(jī)工作環(huán)境的復(fù)雜多變和供電、負(fù)載情況的影響, 電機(jī)在長(zhǎng)期運(yùn)行后, 會(huì)發(fā)生各種故障, 常見(jiàn)的有電氣故障、機(jī)械故障和永磁體故障等, 其中繞組故障的發(fā)生率達(dá)到了30%～40%[6]。匝間短路通常是電機(jī)繞組故障的初期表現(xiàn), 如果電機(jī)發(fā)生匝間短路故障沒(méi)有及時(shí)被發(fā)現(xiàn)并處理, 通常會(huì)快速惡化, 短路電流會(huì)持續(xù)增大使電機(jī)過(guò)熱, 最終導(dǎo)致永磁體出現(xiàn)失磁現(xiàn)象, 使電機(jī)無(wú)法正常運(yùn)轉(zhuǎn), 甚至燒毀。

PMSM故障診斷通常是通過(guò)收集和處理電機(jī)運(yùn)行過(guò)程中發(fā)生的轉(zhuǎn)速、溫度、三相時(shí)域電流、最低磁密度和電磁轉(zhuǎn)矩等信號(hào)的變化, 判斷電機(jī)的運(yùn)行狀態(tài)[7-8]。但傳統(tǒng)的基于信號(hào)處理的故障診斷方法存在一定缺陷, 泛化能力弱, 無(wú)法及時(shí)解決復(fù)雜的現(xiàn)實(shí)分類(lèi)問(wèn)題。近年來(lái), 人工神經(jīng)網(wǎng)絡(luò)發(fā)展迅速, 基于人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)模型可以從數(shù)據(jù)中自動(dòng)學(xué)習(xí)到隱含的特征, 在多個(gè)領(lǐng)域都做出了優(yōu)秀的貢獻(xiàn), 在電機(jī)故障診斷領(lǐng)域也有很多文獻(xiàn)用強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)做出了解答[9-11]。

深度強(qiáng)化學(xué)習(xí)(deep reinforcement learning, DRL)將深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)相結(jié)合, 融合了深度學(xué)習(xí)強(qiáng)大的表征能力和強(qiáng)化學(xué)習(xí)有效的策略搜索能力[12]。DRL能夠構(gòu)建端到端的故障診斷體系結(jié)構(gòu), 直接將原始的數(shù)據(jù)結(jié)構(gòu)映射到相對(duì)應(yīng)的故障模式, 使人工代理能夠直接從原始數(shù)據(jù)中學(xué)習(xí)知識(shí)和經(jīng)驗(yàn), 獲得成功的診斷策略, 直接從原始輸入數(shù)據(jù)獲得最高的長(zhǎng)期回報(bào), 而不需要任何手動(dòng)設(shè)計(jì)的特征或領(lǐng)域啟發(fā)式, 提高了診斷準(zhǔn)確率且減少了環(huán)境依賴(lài)性[13]。深度強(qiáng)化學(xué)習(xí)在游戲、機(jī)器人、自然語(yǔ)言處理等領(lǐng)域已取得了令人矚目的成果[14-19]。

文中采用DRL中的經(jīng)典方法deep-Q-Net- work(DQN)算法針對(duì)PMSM的匝間短路故障進(jìn)行診斷。首先通過(guò)建模分析PMSM狀態(tài)的特征表示, 即電機(jī)的三相時(shí)域電流、最低磁密度和電磁轉(zhuǎn)矩與電機(jī)狀態(tài)的關(guān)系, 其次采集上述五維特征分量數(shù)據(jù), 構(gòu)建具有故障特征的數(shù)據(jù)集, 最后通過(guò)DQN算法對(duì)樣本集和測(cè)試集進(jìn)行數(shù)據(jù)分析, 并不斷優(yōu)化算法參數(shù), 調(diào)節(jié)神經(jīng)元節(jié)點(diǎn)數(shù)、經(jīng)驗(yàn)回放數(shù)和學(xué)習(xí)率等參數(shù), 達(dá)到對(duì)PMSM故障的有效診斷。

1 DRL算法

深度學(xué)習(xí)賦予主體感知環(huán)境的能力, 強(qiáng)化學(xué)習(xí)賦予主體學(xué)習(xí)處理現(xiàn)實(shí)世界復(fù)雜問(wèn)題、尋求最佳策略的能力, DRL結(jié)合二者優(yōu)點(diǎn), 可以直接將原始故障數(shù)據(jù)映射到對(duì)應(yīng)的故障模式, 使機(jī)器人實(shí)現(xiàn)真正的完全自主學(xué)習(xí), 能夠解決接近現(xiàn)實(shí)世界復(fù)雜度的問(wèn)題。

1.1 Q學(xué)習(xí)

圖1 強(qiáng)化學(xué)習(xí)基本結(jié)構(gòu)

學(xué)習(xí)算法能夠直接從原始的經(jīng)驗(yàn)數(shù)據(jù)中學(xué)習(xí), 而不需要?jiǎng)討B(tài)的環(huán)境模型, 其更新方式為

學(xué)習(xí)算法的主要優(yōu)勢(shì)是使用時(shí)間差分法進(jìn)行離線(xiàn)學(xué)習(xí), 使用Bellman方程對(duì)馬爾可夫過(guò)程求解問(wèn)題的最優(yōu)策略。

1.2 DQN算法

當(dāng)環(huán)境中的狀態(tài)不可控, 狀態(tài)數(shù)超過(guò)計(jì)算機(jī)容量時(shí),學(xué)習(xí)算法不再適應(yīng)。而且, 在現(xiàn)實(shí)環(huán)境中, 智能體必須面對(duì)連續(xù)狀態(tài), 連續(xù)變量和連續(xù)控制的問(wèn)題, 此時(shí)可用深度神經(jīng)網(wǎng)絡(luò)取代表, 把環(huán)境狀態(tài)映射為智能體非線(xiàn)性逼近。

DQN算法是典型的基于價(jià)值的DRL算法, 應(yīng)用深度神經(jīng)網(wǎng)絡(luò)來(lái)代替表, 進(jìn)行擬合值, 目標(biāo)是估計(jì)最優(yōu)策略的值。可以將狀態(tài)和動(dòng)作同時(shí)作為神經(jīng)網(wǎng)絡(luò)的輸入, 經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)分析訓(xùn)練后得到動(dòng)作對(duì)應(yīng)的值, 然后根據(jù)值來(lái)選擇動(dòng)作并進(jìn)入下一步狀態(tài)。也可以只有狀態(tài)值一個(gè)輸入, 動(dòng)作值作為輸出, 然后按照學(xué)習(xí)的原則, 直接選擇擁有最大獎(jiǎng)勵(lì)的動(dòng)作。DQN基本公式為

其損失函數(shù)

DQN算法的更新方式和學(xué)習(xí)一樣, 算法流程如圖2所示。相較學(xué)習(xí)算法, DQN算法使用深度神經(jīng)網(wǎng)絡(luò)來(lái)逼近值函數(shù), 使用目標(biāo)網(wǎng)絡(luò)來(lái)更新目標(biāo), 使用經(jīng)驗(yàn)回放對(duì)強(qiáng)化學(xué)習(xí)的學(xué)習(xí)過(guò)程進(jìn)行訓(xùn)練, 即用一個(gè)經(jīng)驗(yàn)池來(lái)儲(chǔ)存經(jīng)歷過(guò)的數(shù)據(jù), 每次更新參數(shù)時(shí)從經(jīng)驗(yàn)池中抽取一部分?jǐn)?shù)據(jù)用來(lái)更新, 以打破數(shù)據(jù)間的關(guān)聯(lián)性, 有效避免了參數(shù)的振蕩或發(fā)散, 使智能體能夠在學(xué)習(xí)過(guò)程中考慮自己的經(jīng)驗(yàn), 從而平滑學(xué)習(xí)過(guò)程。DQN的優(yōu)勢(shì)是可以很好地解決高維狀態(tài)空間問(wèn)題, 但由于DQN的隨用隨機(jī)策略, 考慮了所有可能動(dòng)作的概率并計(jì)算其價(jià)值, 對(duì)樣本量的需求較高, 且對(duì)連續(xù)動(dòng)作空間或者是動(dòng)作空間非常大的情況并不適用。

圖2 DQN算法流程圖

2 PMSM故障特征分析

2.1 三相電流

匝間短路故障發(fā)生時(shí), PMSM的三相電流幅值將隨著電機(jī)狀態(tài)的變化而變化, 當(dāng)電機(jī)發(fā)生A相匝間短路時(shí), 電機(jī)電流會(huì)隨之發(fā)生畸變, A相位的有效電流會(huì)有一定程度的增長(zhǎng), B、C相有效電流隨之減小, 如圖3(a)～(c)所示。但是由于電機(jī)負(fù)載等其他因素的存在, 也可能導(dǎo)致三相電流產(chǎn)生變化。因此, 在故障診斷時(shí), 聯(lián)合磁通密度和電磁轉(zhuǎn)矩作為故障特征, 可以有效提高故障診斷精度。

2.2 磁通密度與電磁轉(zhuǎn)矩

電機(jī)正常運(yùn)行時(shí), 磁密幅值和波動(dòng)幅度變化較小, 電機(jī)發(fā)生匝間短路故障后, 磁密變化幅值和波動(dòng)幅度顯著增大, 隨著短路匝數(shù)的增多, 相應(yīng)短路環(huán)流增大, 去磁磁場(chǎng)增強(qiáng), 轉(zhuǎn)子永磁體會(huì)發(fā)生不對(duì)稱(chēng)失磁, 短路匝數(shù)越多, 永磁體失磁的區(qū)域越大, 可能造成的不可逆失磁就越嚴(yán)重。退磁曲線(xiàn)(B-H)表示磁場(chǎng)強(qiáng)度與磁通密度之間的關(guān)系, 通常情況下, 退磁曲線(xiàn)呈直線(xiàn)狀[22], 即永磁體保持永久磁性, 電流增大產(chǎn)生的熱量導(dǎo)致的去磁效應(yīng)使直線(xiàn)下半部分徒然下降, 此零界點(diǎn)即為拐點(diǎn), 當(dāng)磁密度低于拐點(diǎn)時(shí), PMSM發(fā)生不可逆退磁現(xiàn)象[23]。

圖3 A、B、C相電流有效值

PMSM在正常運(yùn)行時(shí), 其氣隙磁勢(shì)表示為

在二維電磁場(chǎng)中, 電機(jī)的切向磁通密度為

PMSM在切向力作用下沿半徑為的圓積分, 則產(chǎn)生電磁轉(zhuǎn)矩為

電磁轉(zhuǎn)矩是電機(jī)的一個(gè)重要指標(biāo), 是旋轉(zhuǎn)磁場(chǎng)各極磁通和轉(zhuǎn)子電流相互作用在轉(zhuǎn)子上形成的旋轉(zhuǎn)力矩, 與電機(jī)安全性、工作效率和電機(jī)壽命相關(guān)。PMSM的電磁轉(zhuǎn)矩與磁場(chǎng)強(qiáng)度和繞組電流大小密切關(guān)聯(lián)[24]。在PMSM健康狀態(tài)下, 電磁轉(zhuǎn)矩在固定范圍內(nèi)規(guī)則波動(dòng), 但當(dāng)匝間短路故障發(fā)生時(shí), 波動(dòng)范圍變大且隨著短路匝數(shù)的升高, 波動(dòng)也越來(lái)越偏離正常曲線(xiàn), 電磁轉(zhuǎn)矩急速升高。

3 試驗(yàn)分析

通過(guò)Maxwell軟件建模仿真得到PMSM的故障數(shù)據(jù)樣本, 采集了三相電流幅值、最低磁密值和電磁轉(zhuǎn)矩等具有故障特征的參數(shù), 將其組成故障樣本集, 通過(guò)DQN算法對(duì)這五維特征分量進(jìn)行分析, 判斷其電機(jī)故障狀態(tài), 并優(yōu)化改進(jìn)算法參數(shù), 提高診斷精確度。

3.1 PMSM模型

使用Ansys Maxwell電磁仿真軟件搭建PMSM電機(jī)模型, 模型電機(jī)具體參數(shù)設(shè)置見(jiàn)表1。采用磁體材料為第3代稀土永磁釹鐵硼(NdFeB), 工作溫度150℃, 拐點(diǎn)值0.34 T, 額定轉(zhuǎn)速為1 500 r/min。

表1 PMSM模型參數(shù)

3.2 故障特征采集

針對(duì)PMSM在不同狀況下, 獲取對(duì)應(yīng)的三相電流幅值、最低磁密值和電磁轉(zhuǎn)矩五維特征分量。采集1 000組數(shù)據(jù), 組成故障樣本集, 經(jīng)過(guò)處理后的故障樣本集部分樣本如表2所示。

表2 故障樣本分析

3.3 算法參數(shù)調(diào)整與優(yōu)化

從DQN算法神經(jīng)網(wǎng)絡(luò)的神經(jīng)節(jié)點(diǎn)數(shù)、學(xué)習(xí)率以及經(jīng)驗(yàn)回放數(shù)進(jìn)行優(yōu)化, 使用RMSProp優(yōu)化算法調(diào)整參數(shù), 針對(duì)PMSM的數(shù)據(jù)集進(jìn)行訓(xùn)練診斷見(jiàn)表3, 尋求最佳故障診斷精確度。

表3 參數(shù)優(yōu)化

由表3可知, 神經(jīng)節(jié)點(diǎn)數(shù)為10, 學(xué)習(xí)效率為0.01時(shí), 故障診斷準(zhǔn)確率最高且診斷效果穩(wěn)定, 所以文中DQN算法網(wǎng)絡(luò)模型優(yōu)化調(diào)整后最終參數(shù)見(jiàn)表4。文中算法模型訓(xùn)練效果如圖4所示。

表4 DQN算法參數(shù)

圖4 故障診斷準(zhǔn)確率

3.4 與傳統(tǒng)方法對(duì)比

為了展示DRL的DQN算法在PMSM匝間短路故障診斷的有效性, 將文中所提方法與其他方法, 如反向傳播算法(backpropagation algorithm, BP)、循環(huán)神經(jīng)網(wǎng)絡(luò)算法(recurrent neural network, RNN)、自編碼算法(stacked autoencoder, SAE)、多層降噪自編碼器(stacked denoised autoencoder, SDAE)+SOFTMAX法做了對(duì)比, 結(jié)果如表5所示。

表5 不同診斷方法結(jié)果對(duì)比分析

顯示了所提方法對(duì)PMSM的匝間短路故障診斷準(zhǔn)確率有了顯著提高, 在故障診斷方向具有良好的研究及應(yīng)用價(jià)值。

4 結(jié)束語(yǔ)

文中提出了一種基于DRL的PMSM匝間短路故障診斷方法, 該方法采用DQN算法對(duì)PMSM的樣本數(shù)據(jù)集和測(cè)試數(shù)據(jù)集進(jìn)行分析, 使用2個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí), 尋找到最佳策略。并優(yōu)化網(wǎng)絡(luò)參數(shù), 如神經(jīng)元節(jié)點(diǎn)數(shù)、經(jīng)驗(yàn)回放數(shù)和學(xué)習(xí)率等, 故障診斷準(zhǔn)確率達(dá)到99.61%, 最終實(shí)現(xiàn)對(duì)PMSM狀態(tài)的有效預(yù)測(cè), 驗(yàn)證了所提方法在PMSM匝間短路故障診斷方面的有效性和可行性。

[1] 趙濤, 劉明雍, 周良榮. 自主水下航行器的研究現(xiàn)狀與挑戰(zhàn)[J]. 火力與指揮控制, 2010, 35(6): 1-6.

Zhao Tao, Liu Ming-yong, Zhou Liang-rong. A Survey of Autonomous Underwater Vehicle Recent Advances and Future Challenges[J]. Fire Control ＆ Command Control, 2010, 35(6): 1-6.

[2] 徐海珠, 謝順依, 連軍強(qiáng), 等. 對(duì)轉(zhuǎn)魚(yú)雷永磁同步推進(jìn)電機(jī)直接轉(zhuǎn)矩控制系統(tǒng)設(shè)計(jì)[J]. 魚(yú)雷技術(shù), 2012, 20(1): 51-55.

Xu Hai-zhu, Xie Shun-yi, Lian Jun-qiang, et al. A Direct Torque Control System of Counter-rotating PMSM for Torpedo Prolulsion[J]. Torpedo Technology, 2012, 20(1): 51-55.

[3] 錢(qián)鑫, 王崇武, 于琨琨, 等. 基于遞推最小二乘法的永磁同步電機(jī)參數(shù)辨識(shí)[J]. 魚(yú)雷技術(shù), 2014, 22(6): 452- 456.

Qian Xin, Wang Chong-wu, Yu kun-kun, et al. Parameters Identification of Permanent Magnet Synchronous Motor Based on Recursive Least Squares[J]. Torpedo Technology, 2014, 22(6): 452-456.

[4] 陳進(jìn). 機(jī)械設(shè)備振動(dòng)監(jiān)測(cè)與故障診斷[M]. 上海: 上海交通大學(xué)出版社, 1999.

[5] 徐海珠, 謝順依, 崔維開(kāi), 等. 基于脈振高頻電壓注入的對(duì)轉(zhuǎn)永磁同步電機(jī)無(wú)位置傳感器控制[J]. 魚(yú)雷技術(shù), 2012, 20(4): 290-294.

Xu Hai-zhu, Xie Shun-yi, Cui Wei-kai, et al. Non-position-sensor Control for Counter-rotating PMSM Based on High Frequency Voltage Pulse Injection[J]. Torpedo Tech- nology, 2012, 20(4): 290-294.

[6] Wang Z, Yang J, Ye H, et al. A Review of Permanent Magnet Synchronous Motor fault Diagnosis[C]//IEEE Conference and Expo Transportation Electrification Asia- Pacific(ITEC Asia-Pacific). Beijing: IEEE, 2014.

[7] Elbouchikhi E, Choqueuse V, Auger F, et al. Motor Current Signal Analysis Based on a Matched Subspace Detector[J]. IEEE Transactions on Instrumentation and Mea- surement, 2017, 66(12): 3260-3270.

[8] Immovilli F, Bianchini C, Cocconcelli M, et al. Bearing Fault Model for Induction Motor with Externally Induced Vibration[J]. IEEE Transactions on Industrial Electronics, 2013, 60(8): 3408-3418.

[9] 李垣江, 張周磊, 李夢(mèng)含, 等. 采用深度學(xué)習(xí)的永磁同步電機(jī)匝間短路故障診斷方法[J]. 電機(jī)與控制學(xué)報(bào), 2020, 24(9): 173-180.

Li Yuan-jiang, Zhang Zhou-lei, Li Meng-han, et al. Fault Diagnosis of Inter-turn Short Circuit of Permanent Magnet Synchronous Motor Based on Deep Learning[J]. Electric Machines and Control, 2020, 24(9): 173-180.

[10] 羅燁鋒. 雙繞組永磁同步電機(jī)伺服控制技術(shù)研究[D]. 杭州: 浙江大學(xué), 2019.

[11] Kim K, Lim S, Koo D, et al. The Shape Design of Permanent Magnet for Permanent Magnet Synchronous Motor Considering Partial Demagnetization[J]. IEEE Transactions on Magnetics, 2006, 42(10): 3485-3487.

[12] 梁星星, 馮旸赫, 馬揚(yáng), 等. 多Agent深度強(qiáng)化學(xué)習(xí)綜述[J]. 自動(dòng)化學(xué)報(bào), 2020, 46(12): 2537-2557.

Liang Xing-xing, Feng Yang-he, Ma Yang, et al. Deep Multi-Agent Reinforcement Learning: a Survey[J]. Acta Automatica Sinca, 2020, 46(12): 2537-2557.

[13] Ding Y, Ma L, Ma J, et al. Intelligent Fault Diagnosis for Rotating Machinery Using Deep Q-network Based Health State Classification: A Deep Reinforcement Learning Approach[J]. Advanced Engineering Informatics, 2019, 42: 100977.

[14] Wang Q, Zhao X, Huang J, et al. Addressing Complexities of Machine Learning in Big Data: Principles, Trends and Challenges from Systematical Perspectives[EB/OL]. [2017-10-17]. https://www.preprints.org/manuscript/2017 10.0076/v1.

[15] Mnih V, Kavukcuoglu K, Silver D, et al. Human-level Control through Deep Reinforcement Learning[J]. Nature, 2015, 518: 529-533.

[16] 趙冬斌, 邵坤, 朱圓恒, 等. 深度強(qiáng)化學(xué)習(xí)綜述: 兼論計(jì)算機(jī)圍棋的發(fā)展[J]. 控制理論與應(yīng)用, 2016, 33(6): 701-717.

Zhao Dong-bin, Shao Kun, Zhu Yuan-heng, et al. Review of Deep Reinforcement Learning and Discussions on the Development of Computer Go[J]. Control Theory & Applications, 2016, 33(6): 701-717.

[17] Silver D, Schrittwieser J, Simonyan K, et al. Mastering the Game of Go Without Human Knowledge[J]. Nature, 2017, 550: 354-359.

[18] Graves A, Wayne G, Reynolds M, et al. Hybrid Computing Using A Neural Network with Dynamic External Mem- ory[J]. Nature, 2016, 538: 471-476.

[19] Wang Z, Schaul T, Hessel M, et al. Dueling Network Architectures for Deep Reinforcement Learning[C]//Proceedings of The 33rd International Conference on Machine Learning. New York, JMLR: W&CP, 2016.

[20] Sutton R, Barto A. Introduction to Reinforcement Learning[J]. Machine Learning, 2005, 16(1): 285-286.

[21] Peuget R, Courtine S, Rognon J. Fault Detection and Isolation on A PWM Inverter by Knowledge-based Model[J]. IEEE Transactions on Industry Applications, 1998, 34(6): 1318-1326.

[22] 曹衛(wèi)東, 施衛(wèi)東. 退磁曲線(xiàn)法和磁導(dǎo)法的磁力泵耦合器轉(zhuǎn)矩分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2004, 32(2): 145-149.

Cao Wei-dong, Shi Wei-dong. Analysis on Torque of Magnetic-force Pump Coupler Based on Demagnetization Curve and Magnet Conductivity Methodology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2004, 32(2): 145-149.

[23] 伍召莉. 永磁同步電機(jī)失磁分析及在線(xiàn)監(jiān)測(cè)[D]. 北京: 北京交通大學(xué), 2012.

[24] Guo H, Xu J. Fault Tolerant Control with Torque Limitation Based on Fault Mode for Ten-phase Permanent Magnet Synchronous Motor[J]. Chinese Journal of Aeronautics, 2015, 28(5): 1464-1475.

[25] 史麗萍, 湯家升, 王攀攀, 等. 采用最優(yōu)小波樹(shù)和改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的感應(yīng)電動(dòng)機(jī)定子故障診斷[J]. 電工技術(shù)學(xué)報(bào), 2015, 30(24): 38-45.

Shi Li-ping, Tang Jia-sheng, Wang Pan-pan, et al. Stator Fault Diagnosis of Induction Motors Using the Optimal Wavelet Tree and Improved BP Neural Network[J]. Transactions of China Electrotechnical Society, 2015, 30(24): 38-45.

[26] Gritli Y, Rossi C, Casadei D, et al. Demagnetizations Diagnosis for Permanent Magnet Synchronous Motors Based on Advanced Wavelet Analysis[C]//2012 International Conference on Electrical Machines. Marseille: IEEE, 2012: 2397-2403.

[27] 孫文珺, 邵思羽, 嚴(yán)如強(qiáng). 基于稀疏自動(dòng)編碼深度神經(jīng)網(wǎng)絡(luò)的感應(yīng)電動(dòng)機(jī)故障診斷[J]. 機(jī)械工程學(xué)報(bào), 2016, 52(9): 65-71.

Sun Wen-jun, Shao Si-yu, Yan Ru-qiang. Induction Motor Fault Diagnosis Based on Deep Neural Network of Sparse Auto-encoder[J]. Journal of Mechanical Engineering, 2016, 52(9): 65-71.

[28] Wang L, Xie Y, Zhang Y, et al. A Fault Diagnosis Method for Asynchronous Motor using Deep Learning[J]．Journal of Xi’an Jiaotong University, 2017, 51(10): 128-134．

Fault Diagnosis Method of PMSM Inter Turn Short Circuit Based on Deep Reinforcement Learning

LI Fang-li1, LIU Jie1, WANG Yan-bo1, WEI Hai-feng1, LI Yuan-jiang1,2

(1. School of Electronic Information, Jiangsu University of Science and Technology, Zhenjiang 212003, China; 2. Jiangsu Shijing Environmental Protection Technology Co., Ltd, Suzhou 215137, China)

Permanent magnet synchronous motors(PMSMs) have been widely used in the field of underwater navigation and propulsion due to their advantages of strong stability, low loss, high efficiency, small size, and wide speed range. In this study, the deep Q network(DQN) algorithm in the deep reinforcement learning method is used to diagnose the inter turn short circuit fault of the PMSM. First, Maxwell software is used to establish the PMSM model and analyze the relevant changes in the three-phase domain current, minimum magnetic density, and electromagnetic torque under different states, and the five dimensional characteristic components are collected to construct the characteristic data set and form the motor fault samples. Then, the DQN algorithm is used to train and analyze the data of the sample and test sets. By adjusting the number of neuron nodes, iteration, learning rate, and number of experience playbacks, the accuracy rate obtained of the algorithm for PMSM fault diagnosis is as high as 99.61%, which verifies the effectiveness of the algorithm in the diagnosis of PMSM faults

permanent magnet synchronous motor; interturn short circuit; fault diagnosis; deep reinforcement learning; Deep-Q-Network Algorithm

TM351

A

2096-3920(2021)06-0733-06

10.11993/j.issn.2096-3920.2021.06.013

李方麗, 劉杰, 王延波, 等. 基于深度強(qiáng)化學(xué)習(xí)的PMSM匝間短路故障診斷方法[J]. 水下無(wú)人系統(tǒng)學(xué)報(bào), 2021, 29(6): 733-738.

2021-01-18;

2021-02-06.

國(guó)家自然科學(xué)基金項(xiàng)目(51977101); 江蘇省研究生科研創(chuàng)新計(jì)劃項(xiàng)目資助(KYCX21_3479).

李方麗(1990-), 女, 碩士, 主要研究方向?yàn)樯疃葟?qiáng)化學(xué)習(xí)、故障診斷.

(責(zé)任編輯: 許 妍)