Design and Verification of Aeronautical Fault Reasoning Algorithm for Integrated Avionics Information System

GAO Yongmei1 HUANG Chengwenyuan2 WEN Jia2 （1. China Productivity Center for Machinery Co.，Ltd.; 2.The 10th Research Institute ofChina Electronics Technology Group Corporation）

Abstract： Aimingat the problemthatthefaultdiagnosis ofintegratedavionics informationsystem depends on theexperience ofmaintenancepersonnel，withinsufcientdegreeofintelligenceandlowaccuracyoffaultisolation，thepaperdesignsan avionics fault reasoning algorithm based on fusion BERT model. First， the BERT ⁺ CRF algorithm is used to extract and disambiguatetheentityof thefeldfaultdescriptiontext，andlocatethefaulttothemoduleobject.Then，theBERTsemantic similaritymodel is usedtoaccurately matchthefaulttothe standard failuremode，andthe troubleshooting scheme inthe historicalfaultdatabaseismatchedtoguidethemaitenancepersonneltotroubleshoot.Finallybyconstructingrealdata set，itisverifedtatteccuracycallandFsoreofteeasoningalgorithaegreatlyimproved，omparedwiththe three intelligent algorithms ofBiLSTM，LSTMand cosine similarity.

Keywords：fault library; knowledge reasoning; entity extraction; semantic similarity;BERTmodel

0 引言

綜合化和一體化的方向發(fā)展，系統(tǒng)內(nèi)功能子系統(tǒng)間的界限日益模糊，設(shè)備與模塊間數(shù)字和射頻信號(hào)交聯(lián)復(fù)雜，使得系統(tǒng)故障表現(xiàn)出復(fù)雜性、層次性、現(xiàn)代航空綜合電子信息系統(tǒng)的設(shè)計(jì)不斷朝著相關(guān)性和不確定性的特征]。傳統(tǒng)故障排查方法受限于維修人員經(jīng)驗(yàn)，不同人員排故水平參差不齊導(dǎo)致航空綜合電子信息系統(tǒng)故障隔離定位準(zhǔn)確率低，返修模塊內(nèi)場(chǎng)故障不復(fù)現(xiàn)來(lái)回周轉(zhuǎn)，進(jìn)而增加了維修周期和備件成本。故障推理是通過(guò)構(gòu)建融合設(shè)計(jì)師知識(shí)、故障案例數(shù)據(jù)、維修人員經(jīng)驗(yàn)等多種知識(shí)的故障庫(kù)，以故障現(xiàn)象為索引，采用智能推理算法，向用戶推薦最佳排故步驟，引導(dǎo)維修人員快速、準(zhǔn)確定位和排除故障。這種方式極大地降低了故障定位對(duì)單個(gè)維修人員經(jīng)驗(yàn)知識(shí)的依賴，可有效提高排故效率[2]。

然而，故障推理的難點(diǎn)在于知識(shí)庫(kù)中故障案例條目多、現(xiàn)象描述主觀性強(qiáng)、完整性差，不同案例紀(jì)錄之間甚至存在矛盾，使得故障知識(shí)準(zhǔn)確匹配和推理難度大。傳統(tǒng)基于數(shù)據(jù)庫(kù)的檢索方法對(duì)于原始文本字詞差異大但語(yǔ)義相似的情況容易出現(xiàn)誤判，無(wú)法滿足現(xiàn)場(chǎng)維修故障快速、準(zhǔn)確定位的需求。因此，業(yè)內(nèi)引入智能算法、分詞等方法，以解決故障案例匹配、知識(shí)推薦的準(zhǔn)確率問(wèn)題。祖月芳提出了一種融合詞性、語(yǔ)義及詞序因子的裝備故障文本相似度計(jì)算方法。該方法將中在余弦公式的基礎(chǔ)上，通過(guò)裝備故障文本中的詞匯之間的相似度與詞性權(quán)重的關(guān)聯(lián)關(guān)系，改進(jìn)相似度計(jì)算方法，并引入詞序相似度進(jìn)一步優(yōu)化文本相似度。王少麗4設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)航空裝備故障管理與分析平臺(tái)，該平臺(tái)擁有故障案例分析能力，主要是在大數(shù)據(jù)的基礎(chǔ)上通過(guò)Redis數(shù)據(jù)庫(kù)緩存，實(shí)現(xiàn)對(duì)用戶搜索信息做智能推薦相關(guān)的航空裝備故障案例的分析功能。賈寶惠提出了一種基于民航維修文本數(shù)據(jù)的BERT-LightGBM故障診斷模型，該模型使用BERT分類模型與LightGBM網(wǎng)絡(luò)相結(jié)合，從而實(shí)現(xiàn)對(duì)上下文的雙向語(yǔ)義的充分捕捉，將故障描述分類定位到專家整理的幾十種故障原因類型上。上述研究主要采用了基于大數(shù)據(jù)搜索或傳統(tǒng)自然語(yǔ)言處理的方法，在面向航空綜合電子信息系統(tǒng)多層次、強(qiáng)相關(guān)、不確定的故障情況時(shí)，推理算法的精度無(wú)法滿足排故的需求。

本文提出了一種基于融合BERT模型的故障推理算法，將高語(yǔ)義理解能力的深度神經(jīng)網(wǎng)絡(luò)與故障診斷業(yè)務(wù)流程深度融合，構(gòu)建了標(biāo)準(zhǔn)故障模式庫(kù)，通過(guò)故障實(shí)體抽取、消歧、信息重組、語(yǔ)義相似度計(jì)算和故障模式排序等步驟，實(shí)現(xiàn)了故障現(xiàn)象完整、準(zhǔn)確描述以及故障模式精準(zhǔn)、可靠的匹配，提升了故障推理的準(zhǔn)確度，能夠?yàn)楹娇站C合電子信息系統(tǒng)故障定位提供技術(shù)支撐。

故障推理算法設(shè)計(jì)

1.1算法流程

航空綜合電子信息系統(tǒng)故障傳遞和耦合關(guān)系復(fù)雜，故障行為描述涉及產(chǎn)品組成結(jié)構(gòu)、功能信號(hào)、發(fā)生時(shí)機(jī)、故障條件、故障表現(xiàn)、測(cè)試指標(biāo)等多個(gè)要素，如何引導(dǎo)維修人員將不完整、不規(guī)范的故障現(xiàn)象文本準(zhǔn)確映射到故障空間中某個(gè)標(biāo)準(zhǔn)故障模式，是故障推理算法設(shè)計(jì)的難點(diǎn)。本文采用基于BERT的實(shí)體抽取和相似度算法，從海量文本數(shù)據(jù)中提取語(yǔ)義信息，彌補(bǔ)數(shù)據(jù)不完整性和非結(jié)構(gòu)化的缺陷；同時(shí)，利用BERT的語(yǔ)義理解能力和擅長(zhǎng)處理上下文相關(guān)的語(yǔ)義信息方面的優(yōu)勢(shì)，挖掘故障記錄中的潛在規(guī)律和關(guān)聯(lián)，精準(zhǔn)識(shí)別故障模式，從而提高故障推理的準(zhǔn)確性和效率。

基于融合BERT模型的故障推理算法流程如圖1所示。

第一步：故障實(shí)體抽取。將飛行員的故障描述文本輸人到BERT的實(shí)體抽取模型，提取出模塊信息、關(guān)鍵詞和相關(guān)的描述詞匯。

第二步：模塊實(shí)體消歧。消除提取出來(lái)的模塊、關(guān)鍵詞和相關(guān)的描述詞匯的歧義。舉例來(lái)說(shuō)，超短波又有收發(fā)信機(jī)、電臺(tái)和UV等別稱，但由于模塊和功能在航空系統(tǒng)種類在兩位數(shù)以內(nèi)，而他們的別稱一般也不超過(guò)十個(gè)，數(shù)據(jù)量并不算大，可以將別稱存人字典中，直接使用字典搜索對(duì)應(yīng)匹配到模塊的標(biāo)準(zhǔn)名稱，從而再對(duì)應(yīng)到該模塊的若干條標(biāo)準(zhǔn)故障模式。

第三步：信息重組。將提取出來(lái)的模塊、關(guān)鍵詞和相關(guān)的描述詞匯組成一個(gè)新的更為精簡(jiǎn)的句子，提高后續(xù)匹配精度。

第四步：語(yǔ)義相似度計(jì)算。將新的句子和匹配到的若干條標(biāo)準(zhǔn)故障模式組成句子對(duì)作為BERT相似度計(jì)算模型的輸入，計(jì)算出相似度分?jǐn)?shù)后，如果分?jǐn)?shù)超過(guò)設(shè)定值，則進(jìn)人結(jié)果庫(kù)。

第五步：排序。在對(duì)故障描述與該模塊所有標(biāo)準(zhǔn)故障模式進(jìn)行相似度計(jì)算后，把存入結(jié)果庫(kù)的標(biāo)準(zhǔn)故障模式及相關(guān)排故方案進(jìn)行排序，推薦給維修人員指導(dǎo)排故。

1.2基于BERT CRF的實(shí)體抽取

故障匹配任務(wù)中，對(duì)故障描述文本進(jìn)行實(shí)體抽取主要實(shí)現(xiàn)以下2個(gè)自的：（1）從故障描述的文本中查找故障模塊或功能的實(shí)體，通過(guò)字典消歧后快速定位到標(biāo)準(zhǔn)故障庫(kù)中該模塊的名稱，以便后續(xù)與該模塊的標(biāo)準(zhǔn)故障模式進(jìn)行匹配，否則直接與整個(gè)庫(kù)的標(biāo)準(zhǔn)模式進(jìn)行匹配需要的運(yùn)算量巨大；（2）提取與故障推理相關(guān)的字詞和句子，去除無(wú)關(guān)干擾信息，提高后續(xù)匹配精度。

在BERT模型之前，自然語(yǔ)言處理常使用的神經(jīng)網(wǎng)絡(luò)（如：LSTM等）大多數(shù)都只考慮單向文本信息，而B(niǎo)ERT模型使用雙向Transformer結(jié)構(gòu)，所有層的特征表示依賴于左右兩側(cè)的上下文，因此在自然語(yǔ)言處理的各種任務(wù)中都有非常優(yōu)秀的表現(xiàn)。

圖2為BERT模型的總體結(jié)構(gòu)圖，可以發(fā)現(xiàn)BERT最關(guān)鍵的結(jié)構(gòu)是Transformer的Encoder，Transformer是一種圖神經(jīng)網(wǎng)絡(luò)，Encoder是Transformer網(wǎng)絡(luò)的編碼器結(jié)構(gòu)，如圖3所示。Transformer利用了自注意力機(jī)制，通過(guò)詞與詞之間的關(guān)聯(lián)程度來(lái)調(diào)整權(quán)重參數(shù)來(lái)獲取詞的表征[8]：

在文本相似度計(jì)算任務(wù)中，需要先構(gòu)建一個(gè)包含句子對(duì)和標(biāo)簽信息的數(shù)據(jù)集，標(biāo)簽只有0和1，0代表語(yǔ)義相似，1代表不相似，如圖5所示。從而，相似度計(jì)算被轉(zhuǎn)化為了一個(gè)二分類問(wèn)題。

然后，將句子對(duì)輸入到Tokenization層進(jìn)行分詞和拼接，分詞需要到單個(gè)字的細(xì)粒度，然后使用分隔符【CLS】作為句子對(duì)的開(kāi)頭，分隔符【SEP】作為句子對(duì)的拼接符和結(jié)束符。經(jīng)過(guò)分詞和拼接后，再將處理后的句子輸入到Embedding層進(jìn)行編碼，在編碼過(guò)程中，由于BERT的雙向Attention機(jī)制，互為上下文的兩個(gè)句子會(huì)相互影響，最終就可以學(xué)習(xí)到兩個(gè)句子的相似程度。通過(guò)Bert模型進(jìn)行計(jì)算后，可以在輸出層得到拼接句子的最終編碼，將結(jié)果輸入進(jìn)Dropout層，抑制算法的過(guò)擬合。在Dropout之后連接一個(gè)輸出維度為2的全連接層，再使用計(jì)算得到相似和不相似的概率。相似度計(jì)算模型如圖6所示。

最終進(jìn)行相似度計(jì)算預(yù)測(cè)時(shí)，主要利用每個(gè)句子首部的[CLS]標(biāo)簽，設(shè)[CLS]對(duì)應(yīng)的Embedding為c，W為softmax分類器的輸入矩陣，則相似度計(jì)算可以表示為[10]：

P=_{softmax（cW）}

由于這是一個(gè)二分類模型，因此P是一個(gè)長(zhǎng)度為2的向量，向量?jī)?nèi)第一個(gè)值表示句子對(duì)標(biāo)簽為0的概率，第二個(gè)值表示句子對(duì)標(biāo)簽為1的概率。

2 算法驗(yàn)證

2.1標(biāo)準(zhǔn)故障庫(kù)的構(gòu)建

航空綜合電子信息系統(tǒng)在維護(hù)和返修的過(guò)程中，積累了大量的維修和排故記錄，但目前這些記錄往往還是以手冊(cè)的形式存在，載體往往也只是孤立的文檔或者表格，并沒(méi)有構(gòu)建成一個(gè)系統(tǒng)的數(shù)據(jù)庫(kù)，人工查閱所需時(shí)間很長(zhǎng)。故障庫(kù)匹配功能，就是要在輸入一段故障描述后，匹配到某一個(gè)標(biāo)準(zhǔn)的故障模式，從而為保障人員推送此類標(biāo)準(zhǔn)故障模式對(duì)應(yīng)的故障原因、維修記錄和排故方法等有用的信息。而這一切的前提，是要構(gòu)建一個(gè)標(biāo)準(zhǔn)的故障庫(kù)，這需要專業(yè)人員通過(guò)總結(jié)和提煉大量的故障案例。舉例來(lái)說(shuō)，本文超短波話音功能對(duì)應(yīng)的故障案例可能就有上千條，但總結(jié)后在功能級(jí)上其故障模式僅有23條。部分功能故障記錄和故障模式統(tǒng)計(jì)見(jiàn)表1。

2.2實(shí)體抽取

深度學(xué)習(xí)算法模型在使用前必須先在特定的數(shù)據(jù)集上進(jìn)行訓(xùn)練，因此需要對(duì)航空故障推理任務(wù)中實(shí)體抽取的數(shù)據(jù)集進(jìn)行收集和標(biāo)注。本文采用的實(shí)體抽取數(shù)據(jù)集是大量的外場(chǎng)真實(shí)故障描述記錄文本，標(biāo)注后實(shí)體規(guī)模見(jiàn)表2。

需要標(biāo)記和識(shí)別的3種實(shí)體類型：模塊、關(guān)鍵詞和描述，采用BIO體系對(duì)數(shù)據(jù)庫(kù)進(jìn)行打標(biāo)簽，因此共有7種標(biāo)簽類型：“O”“B-MK”“I-MK”“B-GJC”“I-GJC”“B-MS”和“I-MS”。

本實(shí)驗(yàn)是基于Pytorch對(duì)模型進(jìn)行搭建，具體配置和參數(shù)設(shè)置見(jiàn)3。

本文采用精確度、召回率、值3個(gè)指標(biāo)來(lái)評(píng)判實(shí)體抽取模型的性能\"\"：

式中， a 是識(shí)別的正確的實(shí)體數(shù)，A是總實(shí)體個(gè)數(shù)。 B 是識(shí)別出的實(shí)體數(shù)。

本文將LSTM、LSTM-CRF、BERT3種模型與本文所用的BERT-CRF算法進(jìn)行比較，結(jié)果見(jiàn)表4。

最后，對(duì)于實(shí)體抽取后的模塊信息，在建立的字典中直接查詢其標(biāo)準(zhǔn)的名稱，最終就可以定位到故障的模塊信息，然后使用相似度計(jì)算模型來(lái)匹配到正確的故障模式。

2.3語(yǔ)義相似度計(jì)算

要構(gòu)建相似度計(jì)算的數(shù)據(jù)，需要人工構(gòu)建將外場(chǎng)故障描述與標(biāo)準(zhǔn)故障模式一一對(duì)應(yīng)的數(shù)據(jù)集。針對(duì)每一條該集合中的故障描述，將實(shí)體抽取算法抽取出模塊、關(guān)鍵詞和描述信息組成去除干擾信息后的故障描述，并與正確匹配的故障模式組成句子對(duì)并標(biāo)記為“1”，作為一條正樣本；同時(shí)，隨機(jī)抽取同模塊四條非正確匹配的標(biāo)準(zhǔn)故障模式，標(biāo)記為“0”，作為負(fù)樣本。雖然這樣會(huì)導(dǎo)致負(fù)例：正例 =4：1 ，但由于此任務(wù)是在庫(kù)中匹配正確的故障模式，實(shí)驗(yàn)證明，在本文所提案例中，負(fù)樣本高于正樣本一定比例能減少誤匹配現(xiàn)象。最終構(gòu)建的語(yǔ)義相似度計(jì)算的樣本規(guī)模見(jiàn)表5。

相似度計(jì)算的具體分?jǐn)?shù)合理性難以用指標(biāo)評(píng)價(jià)，因此，用句子對(duì)的二分類問(wèn)題的評(píng)價(jià)指標(biāo)來(lái)評(píng)價(jià)算法的性能。對(duì)于二分類問(wèn)題的精確率，召回率和F1分?jǐn)?shù)值具體計(jì)算公式如下：

式中， T_p 表示算法預(yù)測(cè)值為正類，真實(shí)值也是正類的個(gè)數(shù)； T_N 表示算法預(yù)測(cè)值為負(fù)類，真實(shí)值也是負(fù)類的個(gè)數(shù)； F_N 表示算法預(yù)測(cè)值為負(fù)類，真實(shí)值是正類的個(gè)數(shù)； F_p 表示算法預(yù)測(cè)值為正類，真實(shí)值是負(fù)類的個(gè)數(shù)。

本文將BERT相似度計(jì)算模型與余弦相似度，LSTM，BiLSTM進(jìn)行對(duì)比，其中，余弦相似度并非基于分類模型而是直接計(jì)算文本相似度，因此設(shè)定為相似度高于0.7則判定為相似，結(jié)果見(jiàn)表6。

2.4結(jié)果分析

對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析，針對(duì)表3的實(shí)驗(yàn)結(jié)果，可以發(fā)現(xiàn)基于BERT的實(shí)體抽取模型在精確度、召回率和F1得分上都遠(yuǎn)高于傳統(tǒng)的LSTM實(shí)體抽取模型，其中BERT模型相對(duì)于LSTM模型在 P R 和F₁3 項(xiàng)指標(biāo)上分別提升了 13.81% ， 17.67% ， 15.73% ，BERT-CRF模型相對(duì)于LSTM-CRF模型在 P，R 和F₁3 項(xiàng)指標(biāo)上分別提升了 13.21% ， 14.94% ， 14.07% 可以發(fā)現(xiàn)由于BERT預(yù)訓(xùn)練模型可以充分利用上下文文本信息，提取出更為準(zhǔn)確的字詞間語(yǔ)義特征，實(shí)體識(shí)別的精度會(huì)比常規(guī)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)高很多；同時(shí)，由于CRF模塊能夠充分利用彼此相鄰標(biāo)簽的關(guān)聯(lián)性，加入CRF模塊后兩種算法的精度都有所提升，其中BERT模型在加入CRF模塊后在 P R 和 F₁3 項(xiàng)指標(biāo)上分別提升了 0.74% 0.82% ， 0.77% 。

針對(duì)表5的實(shí)驗(yàn)結(jié)果，基于BERT的相似度模型相比于余弦相似度算法、LSTM、BiLSTM在精確度、召回率和F1得分上都取得了很大的提升，其中，在 P 指標(biāo)上，相比于余弦相似度、LSTM、BiLSTM分別提升了 29.94% ， 13.30% ， 8.74% ，在R指標(biāo)上，相比于余弦相似度、LSTM、BiLSTM分別提升了31.84% ， 18.28% ， 9.70% ，在 F₁ 指標(biāo)上，相比于余弦相似度、LSTM、BiLSTM分別提升了 30.90% ，15.79% ， 8.84% 。實(shí)驗(yàn)結(jié)果證明BERT模型在中文語(yǔ)義相似度計(jì)算上仍有很明顯的優(yōu)越性，加人神經(jīng)網(wǎng)絡(luò)提取語(yǔ)義特征后在3項(xiàng)指標(biāo)上都比只計(jì)算原始文本相似度的余弦相似度算法模型高了 30% 左右，而由于BERT預(yù)訓(xùn)練模型對(duì)文本語(yǔ)義特征的提取更加準(zhǔn)確，因此比LSTM和BiLSTM的精確度仍然高很多，這說(shuō)明了基于BERT的航空故障文本匹配算法具有較強(qiáng)的實(shí)用性。

3結(jié)語(yǔ)

本文建立了航空綜合電子信息系統(tǒng)模塊級(jí)和功能級(jí)的標(biāo)準(zhǔn)故障庫(kù)，解決了主觀故障描述的完整性和不一致問(wèn)題。采用BERT-CRF模型對(duì)外場(chǎng)故障文本進(jìn)行了實(shí)體抽取，將提取到的模塊級(jí)實(shí)體進(jìn)行語(yǔ)義消歧后即可定位到故障模塊，再使用BERT語(yǔ)義相似度計(jì)算模型計(jì)算模塊的標(biāo)準(zhǔn)故障模式與故障描述的文本相似度，提高了故障案例匹配的準(zhǔn)確度。通過(guò)基于真實(shí)故障記錄數(shù)據(jù)集對(duì)算法進(jìn)行驗(yàn)證和測(cè)試表明：BERT預(yù)訓(xùn)練模型在兩個(gè)NLP任務(wù)中有較強(qiáng)的特征提取和推理能力，算法準(zhǔn)確度可滿足航空綜合電子信息系統(tǒng)故障定位的要求。

參考文獻(xiàn)

[1]文佳.基于多信號(hào)模型的綜合化航電系統(tǒng)故障診斷算法設(shè)計(jì)[J].電訊技術(shù)，2014，54（3）：361-367.

[2] 徐丹丹，張帝.基于數(shù)據(jù)驅(qū)動(dòng)和本體建模的數(shù)控機(jī)床主軸故障診斷與推理[J].機(jī)床與液壓，2024，52（12）：244-252.

[3]祖月芳，凌海風(fēng)，呂永順.基于NLP技術(shù)的裝備故障文本匹配算法研究[J].兵器裝備工程學(xué)報(bào)，2021，42（11）：204-208.

[4] 王少麗.航空裝備故障管理與分析平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].大連：大連理工大學(xué)，2021.

[5] 賈寶惠，姜番，王玉鑫，王杜.基于民機(jī)維修文本數(shù)據(jù)的故障診斷方法研究[J/OL].航空學(xué)報(bào)：1-15[2022-10-09].http：//kns.cnki.net/kcms/detail/11.1929.V.20220304.1727.008.html.

[6]Devlin J，Chang MW，Lee K，etal.Bert：Pre-trainingof deep bidirectional transformers forlanguageunderstanding[J]. arXiv preprint arXiv：1810.04805，2018.

[7].Zeng，Donghuo，Chengjie，et al.Entropy[J].LSTM-CRFforDrug-Named Entity Recognition. 2017（19）：283.

[8] VaswaniA，ShazeerN，ParmarN，etal.Attentionisallyou need[C]//Advances in Neural Information ProcessingSystems.2017：5998-6008.

[9] 田梓函，李欣.基于BERT-CRF模型的中文事件檢測(cè)方法研究[J].計(jì)算機(jī)工程與應(yīng)用，2021，57（11）：135-139.

[10]吳炎，王儒敬.基于BERT的語(yǔ)義匹配算法在問(wèn)答系統(tǒng)中的應(yīng)用[J].儀表技術(shù)，2020（6）：19- -22+30

[11]謝騰，楊俊安，劉輝.基于BERT-BiLSTM-CRF模型的中文實(shí)體識(shí)別[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2020，29（7）：48-55.