鄧偉林 姜程 林森彬

摘 要：在已知模型系統(tǒng)中，采用基于模型的方法可以較好解決概率離散事件系統(tǒng)錯誤診斷問題。然而在某些實際系統(tǒng)中，要得到完備的概率模型非常困難。關(guān)于不完備系統(tǒng)的診斷問題，業(yè)內(nèi)主流解決方案是采用基于數(shù)據(jù)方法，如關(guān)鍵觀察方法和關(guān)鍵樹方法。卷積神經(jīng)網(wǎng)絡(luò)是一個非常好的數(shù)據(jù)擬合工具。因此，首先將錯誤診斷問題轉(zhuǎn)化為文本分類問題，然后應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)求解該問題。仿真實驗結(jié)果表明，在可診斷概率系統(tǒng)中，該方法在仿真數(shù)據(jù)集上的平均診斷準(zhǔn)確率比關(guān)鍵樹方法高出15%。

關(guān)鍵詞：概率離散事件系統(tǒng);錯誤診斷;卷積神經(jīng)網(wǎng)絡(luò)

DOI：10. 11907/rjdk. 201676 開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

中圖分類號：TP303文獻標(biāo)識碼：A 文章編號：1672-7800（2020）008-0010-04

Abstract：The fault diagnosis in a complete model can be well done by means of the model-based approaches. However， in some practical systems， it is hard to obtain their complete model. For the fault diagnosis of incomplete systems， the data-based approaches， such as the critical observations approach and critical tree approach， are popular. As an excellent fitting tool， convolutional neural network has been successfully applied to solve many pattern recognition issues. In this paper， we transfer？the issue of fault diagnosis to？the issue of text classification firstly， and then apply the convolutional neural network to solve this problem. The simulation？experiments are performed in diagnosable systems and the results show that the diagnosis accuracy？of this approach exceeds？15 percents of that of critical trees approach on average.

Key Words：probabilistic discrete event systems; fault diagnosis; convolutional neural network

0 引言

離散事件系統(tǒng)（Discrete Event Systems，DES）是具有離散狀態(tài)空間，并且系統(tǒng)狀態(tài)演化由不定時發(fā)生的事件驅(qū)動的一類系統(tǒng)[1]。DES是生活中很常見的一類系統(tǒng)，如在邏輯層面，柔性制造系統(tǒng)、通信系統(tǒng)、排隊系統(tǒng)及交通系統(tǒng)都屬于DES[2]。在許多實際的DES系統(tǒng)建模過程中往往需要刻畫系統(tǒng)的不確定性。系統(tǒng)不確定性分為主觀不確定性與客觀不確定性。DES主觀不確定性用模糊離散事件系統(tǒng)（Fuzzy Discrete Event Systems，F(xiàn)DES）刻畫;DES客觀不確定性用概率離散事件系統(tǒng)（Probabilistic Discrete Event Systems，PDES）刻畫。近年陸續(xù)建立起FDES的基礎(chǔ)理論[3-6]和PDES的監(jiān)督控制[7-8]、錯誤診斷[9]理論等。

值得注意的是，現(xiàn)有DES基礎(chǔ)理論研究基本上是在完備模型下討論的，即假設(shè)系統(tǒng)模型可完全被相關(guān)智能體（如監(jiān)控器、診斷器、預(yù)測器）獲取。然而，隨著科學(xué)技術(shù)的發(fā)展，特別是信息技術(shù)的日新月異，現(xiàn)代系統(tǒng)越來越大，結(jié)構(gòu)也越來越復(fù)雜，獲取系統(tǒng)的完備模型也變得越來越困難。因此，建立不完備DES系統(tǒng)相關(guān)理論是一個緊迫任務(wù)，同時也是一個巨大挑戰(zhàn)[10-11]。

本文主要關(guān)注不完備PDES系統(tǒng)錯誤診斷問題。不完備系統(tǒng)在本文的內(nèi)涵主要包括：①已知系統(tǒng)可以建模為PDES;②具體的系統(tǒng)模型（概率自動機及其生成的概率語言）不可知;③已知系統(tǒng)（足夠大的）帶標(biāo)簽的運行記錄集。

錯誤診斷的基本任務(wù)是在系統(tǒng)發(fā)生錯誤后，診斷器能及時發(fā)現(xiàn)和定位系統(tǒng)錯誤，以防止系統(tǒng)在錯誤狀態(tài)下長期運行給系統(tǒng)帶來重大破壞。一個系統(tǒng)被稱為是可診斷（Diagnosable），當(dāng)且僅當(dāng)診斷器可在任何系統(tǒng)錯誤發(fā)生后的有限延遲內(nèi)發(fā)現(xiàn)并隔離該錯誤。Sampath等 [12]最早在DES框架下給出可診斷性的形式化定義、驗證算法和診斷器構(gòu)造方法。考慮到Sampath提出的可診斷性驗證算法指數(shù)復(fù)雜，Jiang等[13]進一步提出一種基于雙樹的可診斷性驗證算法，該算法擁有多項式復(fù)雜度。在PDES框架下，David等 [9]提出一種概率意義下的可診斷性：A-可診斷性。A-可診斷性是一種弱化的可診斷性，其概率系統(tǒng)可以包含不可診斷的字符串，這些字符串概率趨于0。

針對不完備的DES系統(tǒng)，Christopher等 [10]提出一種基于關(guān)鍵觀察（critical observations）的DES診斷方法。關(guān)鍵觀察指一類特殊的字符模式，只有包含特定錯誤類型的字符串才能匹配該模式;Christopher等 [10]提出關(guān)鍵觀察的求解算法，遺憾的是該算法復(fù)雜度非常高;文獻[11]提出一種基于關(guān)鍵樹的DES診斷方法。關(guān)鍵樹是一種特殊的決策樹，給出多項式時間的關(guān)鍵樹構(gòu)造算法。通過搜索關(guān)鍵樹，可在線性時間復(fù)雜度內(nèi)完成錯誤診斷。關(guān)鍵樹方法[10]在診斷器的構(gòu)造復(fù)雜度及錯誤診斷準(zhǔn)確率上均明顯優(yōu)于關(guān)鍵觀察法[11]。由于文獻[10]和文獻[11]的方法只依賴系統(tǒng)運行記錄，因此這兩種方法也可用于不完備PDES系統(tǒng)的錯誤診斷。

關(guān)鍵樹方法提出一種可證明運行記錄上的錯誤診斷的正確性算法，也即在理論上證明給定運行記錄集上生成的關(guān)鍵樹，對該運行記錄集中的任何一條記錄均可給出正確的診斷結(jié)果。然而，從機器學(xué)習(xí)觀點看，關(guān)鍵樹方法在訓(xùn)練數(shù)據(jù)集上過度擬合，可能會在一定程度上影響算法的泛化能力[14]。另一方面，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network）在圖片識別、機器視覺、文本分類等模式識別問題中展現(xiàn)出良好的擬合能力和泛化能力[14]。因此，本文首先將錯誤診斷問題轉(zhuǎn)化為文本分類問題，然后應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)求解此問題，該方法可在一定程度上改善前期工作[11]出現(xiàn)的過擬合現(xiàn)象。

1 完備DES及PDES系統(tǒng)可診斷性

定義2說明在概率系統(tǒng)中，A-可診斷性允許出現(xiàn)不可診斷的字符串[st]。隨著系統(tǒng)持續(xù)運行，錯誤字符串[s]的同長度不可診斷后繼概率趨于零。

在完備的DES系統(tǒng)和PDES系統(tǒng)中，Sampath等 [9]和David等 [11] 分別給出可診斷性和A-可診斷性的判定算法，及相應(yīng)診斷器構(gòu)造方法，此處不再贅述，具體方法請查看文獻[9]、文獻[11]。

2 不完備系統(tǒng)運行記錄及關(guān)鍵觀察

針對完備PDES系統(tǒng)，學(xué)者已經(jīng)建立相對成熟的錯誤診斷理論。然而，在實際系統(tǒng)中通常很難獲取完備的系統(tǒng)模型。因此，不完備系統(tǒng)上的錯誤診斷是一個亟待解決的問題。不完備系統(tǒng)診斷主要依賴系統(tǒng)的運行記錄集（running-record set）。

定義3：一個運行記錄集[L]是二元組[l=（ω，tag）]的集合，該二元組滿足以下兩個條件：① 存在一個系統(tǒng)行為[s∈LG]使得[ω=P（s）];②[tag]為錯誤類型標(biāo)簽，表示串[s]中發(fā)生了[tag]對應(yīng)的錯誤類型事件，[tag=fi]，[i>0]，表示觀察到[ω]時系統(tǒng)發(fā)生第[i]類錯誤，[tag=f0]代表沒有發(fā)生錯誤。

定義4：運行記錄集[L]是正確的，當(dāng)[L]中任意一個運行記錄[l=（ω，tag）]滿足以下兩個條件： ①[tag=fi，i>0？][（？s∈LG，fi∈Efi）][P（s）=ω∧fi∈s];②[tag=t0？（？s∈LG）] [P（s）=ω∧Ef？s=？]。

假設(shè)運行記錄[L]總是滿足正確性的，否則基于數(shù)據(jù)的診斷方法準(zhǔn)確率將無法保證。另外需要說明的是，在廣義情形下系統(tǒng)是可以同時發(fā)生多種錯誤的?？紤]到多種錯誤的疊加，可以定義為另一種新的錯誤類型。因此，本文只考慮錯誤不疊加情形。

除保證運行記錄集正確性外，運行記錄集大小、運行記錄長度對基于數(shù)據(jù)的診斷方法（如關(guān)鍵觀察法[12、關(guān)鍵樹法[13）非常敏感。在不充分大的記錄集或不足夠長的運行記錄上都很難保證診斷的準(zhǔn)確率。本文前期工作[13]中就運行記錄集的大小及運行記錄的長度對診斷算法準(zhǔn)確率的影響問題作了較詳細的實驗研究。

3 不完備概率離散事件系統(tǒng)錯誤診斷

隨著計算機算力的提升及深度學(xué)習(xí)理論的提出，人工神經(jīng)網(wǎng)絡(luò)模型能夠很好地完成模型學(xué)習(xí)任務(wù)，特別是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）。許多研究者發(fā)現(xiàn)CNN非常適合從訓(xùn)練數(shù)據(jù)中提取模型特征。CNN廣泛應(yīng)用于計算機視覺、自然語言處理、 語音識別、文本序列分類等眾多問題[14]。

在不完備PDES系統(tǒng)中，如果能夠得到一個足夠大、充分長且符合系統(tǒng)概率特征的運行記錄集，則可很自然地將錯誤診斷問題轉(zhuǎn)換為文本序列分類問題求解。信息記錄集[L]可看作帶分類標(biāo)簽的文本數(shù)據(jù)集，通過將[L]輸入到CNN進行網(wǎng)絡(luò)參數(shù)訓(xùn)練和測試，從而得到一個滿意的網(wǎng)絡(luò)結(jié)構(gòu)診斷器。

3.1 仿真數(shù)據(jù)集生成及預(yù)處理

為驗證該方法的有效性，需構(gòu)造出一個足夠大、充分長且符合系統(tǒng)概率特征的運行記錄集。因此，首先隨機構(gòu)造出若干個概率自動機，然后根據(jù)文獻[11]提出的驗證算法對概率自動機進行A-可診斷性驗證。僅保留滿足A-可診斷性的PDES模型，因為在一個不可診斷的系統(tǒng)中進行錯誤診斷是沒有意義的。

模擬運行該可診斷的PDES模型，在運行過程中僅記錄其可觀字符，并根據(jù)實際情況對運行記錄打上標(biāo)簽，生成一個帶標(biāo)簽運行記錄集。為生成錯誤的運行記錄集，在隨機構(gòu)造概率自動機時，首先生成[k]類錯誤狀態(tài)子集和1個正常狀態(tài)子集，同時只生成從正常狀態(tài)到錯誤狀態(tài)的跳轉(zhuǎn)（由相應(yīng)的類型錯誤事件驅(qū)動），以及同一類錯誤狀態(tài)間的跳轉(zhuǎn)（僅有正確事件或相應(yīng)類型的錯誤事件驅(qū)動）。

仿真數(shù)據(jù)集生成后需要對其進行以下預(yù)處理：

（1） 刪除標(biāo)簽沖突記錄。

（2） 記錄字符編碼： 首先根據(jù)字符出現(xiàn)頻率從高到低對字符排序，然后按照排序結(jié)果依次將字符編碼為：11， 101，1001，10001，……。這種編碼方式的優(yōu)點：①字符的編碼不互為前綴，可簡化解碼、檢索等后續(xù)處理;②基于哈夫曼思想的編碼壓縮率高，可減少CNN訓(xùn)練的收斂時間[14]。

根據(jù)上述方法構(gòu)造如表1所示的若干個數(shù)據(jù)集。

3.2 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

本文采用的fdConv1d 模型是一個典型的卷積網(wǎng)絡(luò)，具有3個卷積層，1個匯聚層，1個丟棄層，2個全連接層。由于本文研究的問題可以轉(zhuǎn)化為序列多標(biāo)簽分類問題，因此模型最后的全連接層使用 softmax 作為激活函數(shù)。結(jié)構(gòu)使用單個通道，模型的輸入是一個序列向量。卷積層中的filters和kernel size等參數(shù)的調(diào)優(yōu)從一組默認值開始，每次固定其中一個參數(shù)取值，然后選擇另一個參數(shù)的一組取值進行測試。對于一對參數(shù)組合進行多次實驗，經(jīng)測試發(fā)現(xiàn)，當(dāng)filters取值64，kernel_size取值29、33及37時，卷積模型均能很好地擬合數(shù)據(jù)。取值過大，卷積運算需要更多的時間，模型隨參數(shù)增加變得更復(fù)雜。

本文編程軟件包含Java、Python 3.7及Tensorflow 2.0， 操作系統(tǒng)是 Ubuntu 18.04，主要硬件為：Intel i7 9700 CPU、 Nvidia GTX 960M 2G顯卡及16G內(nèi)存。隨機選取80%的樣本作為訓(xùn)練數(shù)據(jù)，剩下20%樣本作為測試數(shù)據(jù)。模型在數(shù)據(jù)集上的訓(xùn)練時間以及測試精度如表2所示。

3.3 實驗結(jié)果及分析

在數(shù)據(jù)集Data_20_4_30和Data_40_8_30上做CNN方法與 F-正確關(guān)鍵樹方法[9]（以下簡寫為 FCCtT）的診斷準(zhǔn)確率與運行記錄集大小及運行記錄的最小長度之間關(guān)系實驗（取平均準(zhǔn)確率）。在第一個實驗中選取長度在30～200之間的運行記錄，實驗結(jié)果如圖1（a）所示;在第二個實驗中，選取滿足條件的大小為50 000的運行記錄子集，實驗結(jié)果如圖1（b）所示。

從圖1可以看出，總體運行記錄集越大，記錄長度越長，基于CNN和關(guān)鍵樹的算法診斷準(zhǔn)確率越高。但是當(dāng)集合大小和記錄長度達到一定程度后，準(zhǔn)確率改善不再明顯。另外，基于CNN的診斷方法總體上好于基于關(guān)鍵樹的診斷方法。同時，隨著運行記錄集合及最大記錄長度的提升，CNN算法相對于關(guān)鍵樹算法優(yōu)勢逐漸減弱，這與預(yù)估匹配。因為關(guān)鍵樹算法優(yōu)勢在于可以完全擬合所有給定的運行記錄集，運行記錄集增大意味著測試案例來自于學(xué)習(xí)案例的可能性越大，準(zhǔn)確率就越高。關(guān)鍵樹算法在一定程度上展現(xiàn)的是“存儲器”功能，但實際上始終無法創(chuàng)建一個無限大的“存儲器”。因此，處理一個大規(guī)模不完備模型的錯誤診斷，機器學(xué)習(xí)方法也許能提供一個更加有效的解決方案。

4 結(jié)語

本文將不完備PDES模型的錯誤診斷問題轉(zhuǎn)化為文本標(biāo)簽分類問題，并采用CNN求解該問題。CNN網(wǎng)絡(luò)在PDES模型的運行記錄集上具備良好的學(xué)習(xí)和泛化能力，通過較短的時間學(xué)習(xí)就可得到一個準(zhǔn)確率較高的診斷器。仿真實驗結(jié)果表明，該方法的診斷準(zhǔn)確率優(yōu)于關(guān)鍵樹診斷方法。未來工作是對CNN網(wǎng)絡(luò)結(jié)構(gòu)進一步優(yōu)化和改進，使其能有效求解規(guī)模更大、錯誤類型更多的不完備PDES模型錯誤診斷問題。

參考文獻：

[1] CASSANDRAS CG， LAFORTUNE S. Introduction to discrete event systems[M]. ?New York， NY， USA： Springer， 2008.

[2] 鄭大鐘，趙千川. 離散事件動態(tài)系統(tǒng)[M]. 北京：清華大學(xué)出版社， 2001.

[3] LIN F， YING H. Modeling and control of fuzzy discrete event systems [J]. ?IEEE Transactions on Systems， Man， and Cybernetics， Part B， 2002， 32（4）：408-415.

[4] QIU D. Supervisory control of fuzzy discrete event systems： a formal approach[J]. ?IEEE Transactions on Systems， Man， and Cybernetics， Part B， 2005， 35（1）：72-88.

[5] DENG W， QIU D. State-based decentralized diagnosis of bi-fuzzy discrete event systems [J]. ?IEEE Transactions on Fuzzy Systems， 2017， 25（4）：854-867.

[6] DENG W， QIU D， YANG J. Opacity measures of fuzzy discrete event systems [J]. ?IEEE Transactions on Fuzzy Systems， 2020，33（9）：481-495.

[7] PANTELIC V， LAWFORD M， POSTMA S. A framework for supervisory control of probabilistic discrete event systems [J]. ?IFAC Proceedings Volumes， 2014， 47（2）： 477-484.

[8] DENG W， YANG J，QIU D. Supervisory control of probabilistic discrete event systems under partial observation[J]. ?IEEE Transactions on Automatic Control， 2019， 64（12）： 5051-5065.

[9] DAVID T，DEMOSTHENIS T. Diagnosability of stochastic discrete-event systems [J]， IEEE Transactions on Automatic Control， 2005， 50（4）： 476-492.

[10] CHRISTOPHER C J， GRASTIEN A. Formulating event-based critical observations in diagnostic problems [C]. ?The IEEE Conference on Decision and Control （CDC）， 2015： 4462-4467.

[11] JIANG C， DENG W， QIU D. Fault diagnosis in unknown discrete event systems via critical tree [C]. ?The Chinese Control and Decision Conference （CCDC）， 2019： 1846-1851.

[12] SAMPATH M， SENGUPTA R， LAFORTUNE S， et al. Diagnosability of discrete-event systems[J]. ?IEEE Transactions on Automatic Control， 1995， 40（9）： 1555-1575.

[13] JIANG S， HUANG Z， CHANDRA V， et al. A polynomial algorithm for testing diagnosability of discrete-event systems [J]. ?IEEE Transactions on Automatic Control， 2001， 46（8）： 1318-1321.

[14] GU J， WANG Z， KUEN J， et al. Recent advances in convolutional neural networks [J]. ?Pattern Recognition， 2018， 77（6）： 354-377.

[15] MARINHO W， MARTí L， SANCHEZ-PI N. A compact encoding for efficient character-level deep text classification [C]. ?The International Joint Conference on Neural Networks （IJCNN）， 2018： 1-8.

（責(zé)任編輯：杜能鋼）