李 強,王國輝,陳海鵬,陸浩然
(北京宇航系統(tǒng)工程研究所,北京,100076)
運載火箭研制是一項復(fù)雜的系統(tǒng)工程,產(chǎn)品的復(fù)雜性以及航天發(fā)射任務(wù)的重要性都對運載火箭的質(zhì)量檢測提出了較高的要求,質(zhì)量檢測任務(wù)貫穿了運載火箭的制造、測試以及發(fā)射的整個生命周期。中國運載火箭要求“零缺陷”發(fā)射,在多型號并舉、研制與批產(chǎn)并重,尤其是高強密度發(fā)射的背景下,如何在全生命周期提高產(chǎn)品質(zhì)量檢測的覆蓋性和可靠性是運載火箭研制過程中需首要解決的問題。
傳統(tǒng)的產(chǎn)品檢測技術(shù)中,需要在系統(tǒng)中增加信號采集的測點,通過內(nèi)置式傳感器獲取代表物理特征的信息。無論是敏感壓力還是采集電流,這種檢測方法除了存在“盲腸”外,很難獲取全面的產(chǎn)品質(zhì)量信息。聲音和圖像作為系統(tǒng)工作時的固有特征,具有一定的辨識性,能夠從一定程度上反映產(chǎn)品的狀態(tài),然而這些信息在現(xiàn)有運載火箭研制過程中并未進行有效的采集與處理。信號采集技術(shù)、信號處理技術(shù)和人工智能算法的快速發(fā)展,為采用聲音和圖像對產(chǎn)品進行檢測提供了一定的技術(shù)支撐,由智能算法代替人工完成產(chǎn)品檢測將成為未來運載火箭檢測技術(shù)發(fā)展的必然趨勢。
本文首先對航天運載器智能檢測的需求進行了分析,研究基于聲音的非接觸檢測技術(shù)和基于深度學習的X 光片智能檢測技術(shù),并在電磁閥門測試和火工品檢測中開展了一定的試驗驗證,探索智能技術(shù)在航天運載器質(zhì)量控制中的應(yīng)用。
航天技術(shù)發(fā)展至今,產(chǎn)品測試的理念和方法大多沿用了傳統(tǒng)的技術(shù)手段,沒有突破性進展。運載火箭傳統(tǒng)檢測方法中仍采用多重人員確認的方式。產(chǎn)品檢測始終無法實現(xiàn)質(zhì)量隱患的充分挖掘及零隱患飛行的目標?,F(xiàn)有測試中存在的主要問題有:
a)人工確認環(huán)節(jié)多,存在漏判、誤判的風險。
現(xiàn)有檢測中,無論是產(chǎn)品外觀、X 光片或電信號采集結(jié)果,所有檢測結(jié)果都需要人工進行最終確認,主觀不確定性導(dǎo)致了測試結(jié)果的不確定性,存在一定隱患。
b)產(chǎn)品狀態(tài)信息提取有限,無法杜絕質(zhì)量隱患。
運載火箭總裝完成后,產(chǎn)品狀態(tài)僅靠個別的內(nèi)置傳感器對部分信息進行采集,無法做到對產(chǎn)品狀態(tài)綜合全面的判斷與確認,而聲音和圖像等其它形式的產(chǎn)品信息往往能更全面地反應(yīng)產(chǎn)品狀態(tài)。由于檢測手段的限制,現(xiàn)有測試并未將聲音信號列入檢測對象,圖像方面也僅在單件產(chǎn)品檢測中由人工對產(chǎn)品外觀或透視光片進行檢查,未形成高可靠、高效率的自動化檢測手段。
c)判讀規(guī)則簡單,無法預(yù)測和挖掘故障。
現(xiàn)有測試參數(shù)判讀中,往往通過設(shè)置門限范圍或與標準值比較的方法進行確認,而測試數(shù)據(jù)中的微小波動以及一些門限范圍內(nèi)變化的規(guī)律并未進行有效的分析與確認,無法對產(chǎn)品可能出現(xiàn)的故障跡象進行挖掘。
a)測試可靠性更高。
傳統(tǒng)檢測項目中,產(chǎn)品質(zhì)量很大程度上依靠檢測評估人員的工作經(jīng)驗和責任心,檢測的準確性與可靠性在一定程度上受到人為因素的影響,歷史上曾多次出現(xiàn)漏判、誤判的事故,風險始終存在。通過智能檢測由機器代替人工開展產(chǎn)品檢測工作,可以減少由于人為因素出現(xiàn)漏判、誤判的可能性,提高運載火箭產(chǎn)品測試、測發(fā)監(jiān)控的可靠性。
b)測試效率更高。
在數(shù)字信號處理與故障特征提取技術(shù)較為成熟的條件下,對運載火箭工作過程中聲音和圖像信號的高效采集與處理已經(jīng)成為現(xiàn)實,同時采集過程更方便、快捷,采集設(shè)備簡單可靠、易于實現(xiàn),這些條件都為通過非接觸信號采集對火箭進行智能化檢測奠定了基礎(chǔ)。實現(xiàn)智能化測試后,可以減少人為參與測試的過程,自動化的方式可大大縮短測試時間,提高測試效率。
c)測試覆蓋性更好。
傳統(tǒng)檢測方法中,由于可靠性和復(fù)雜程度的限制,僅選取系統(tǒng)中具有代表性的測點作為產(chǎn)品特征提取的對象,很難覆蓋全部的產(chǎn)品狀態(tài)信息,在出現(xiàn)問題或存在隱患的情況下無法及時做出診斷。而聲音和圖像等以“場”形式存在的信息能以更全面的表征產(chǎn)品狀態(tài),為產(chǎn)品測試提供更充分的數(shù)據(jù)。獲得產(chǎn)品缺陷的動態(tài)信息、并對缺陷的危害程度進行評價、預(yù)測使用壽命,適用于過程監(jiān)控以及故障的預(yù)報。通過智能檢測技術(shù),可以突破檢測方法的限制,挖掘深層次的產(chǎn)品信息,提高產(chǎn)品測試的覆蓋性。
d)測試帶來的損傷更小。
傳統(tǒng)測試方法中,為了獲取產(chǎn)品狀態(tài)信息需要在產(chǎn)品中嵌入測試通路,將內(nèi)部的壓力、溫度、電流電壓信號引出進行采集診斷。一方面測試通路為非必須的飛行功能,另一方面測試通路潛在的故障有引起飛行功能故障的風險。而智能檢測的檢測信號均來自被測產(chǎn)品本身,不需要外界施加激勵信號,采用非接觸的測試方法,不損傷被測產(chǎn)品,不影響正常的飛行功能。
聲音檢測是指通過采集被測設(shè)備的聲音并對聲音特性進行分析、比對,判斷設(shè)備狀態(tài)的方法。主要包含兩個類型的應(yīng)用:a)通過聲音頻率特性建模及判斷設(shè)備是否出現(xiàn)故障;b)通過多個測點的聲音采集判斷異常聲音產(chǎn)生的位置。聲音檢測算法中可以通過小波變換與特征提取對初始聲音信號進行消噪處理,再通過短時傅里葉分析提取關(guān)鍵信號特征。聲音定位算法主要用于對故障或發(fā)出特征聲音信號的位置進行確認,包括傳統(tǒng)的波束形成算法和通過卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)訓(xùn)練獲取的聲音定位算法。
a)小波變換與特征提取。
對于采集到的信號,需要對其進行快速的時域與頻域分析,為下一步的工作狀態(tài)檢測與故障定位檢測提供分析依據(jù)。因此,首先需要通過小波變換的手段對信號進行消噪處理。
消噪的目的是去除得到的聲音信號中的環(huán)境噪聲和傳感器背景噪聲,保留更多系統(tǒng)工作的聲音信號。由于環(huán)境噪聲與傳感器背景噪聲頻率成分豐富,而電磁閥工作信號中存在一些奇異點,若采用傳統(tǒng)方法對檢測信號去噪,會影響電磁閥工作脈沖的波形。因此考慮采用小波閾值消噪的方法進行去噪處理。
任意函數(shù)對小波函數(shù)的連續(xù)小波變換定義為Ψ
式中 a,b 分別控制小波的兩個變換,對系數(shù)a 或b或a 與b 同時做離散化,可以得到離散小波變換。離散小波函數(shù)表示為式(2)。離散小波分解得到的小波系數(shù)表示為式(3)。小波重構(gòu)得到的函數(shù)由式(4)計算:
b)短時傅里葉分析與特征提取。
在傅里葉變換的基礎(chǔ)上,將非平穩(wěn)信號看作由一系列短時平穩(wěn)信號組成,通過加窗實現(xiàn)短時性,并通過平移參數(shù)覆蓋整個時域。即采用窗函數(shù)與待分析的非平穩(wěn)信號的乘積,實現(xiàn)窗口附近的開窗與平移,再進行傅里葉變換。其基本原理如下:
設(shè) (s)τ 為非平穩(wěn)信號, h (t) 為窗函數(shù),通過窗函數(shù)定義的新信號 st(τ)滿足:
新信號為t 的函數(shù),是原信號 (s)τ 在t 時刻附近τ 時間段的成分。對新信號 st(τ)進行傅里葉變換,結(jié)果即為短時傅里葉變換。其表達式為
連續(xù)信號的短時傅里葉變換對信號理論分析具有重要意義,但在實際應(yīng)用中常需要分析處理離散信號,即離散化時間序列。設(shè) s ( n) 為非平穩(wěn)離散序列,其離散短時傅里葉變換為
式中 n 為采樣個數(shù);m 為離散時間;N 為序列個數(shù)。
采用短時傅里葉變換可以使信號同時顯現(xiàn)出時域特征和頻域特征,有利于進一步得出有效的時頻綜合識別特征。對檢測信號進行消噪處理之后,可以根據(jù)系統(tǒng)的時序命令信號對已經(jīng)得到的信號進行分幀,分別對其進行短時傅里葉分析,可以在時域、頻域上分別提取出不同的特征。短時傅里葉變換波形如圖1 所示。
圖1 短時傅里葉變換波形Fig.1 Short Time Fourier Transform Waveform
a)波束形成算法。
平面波假設(shè)的理論示意如圖2 所示。
圖2 平面波假設(shè)的理論示意Fig.2 Theoretical Schematic Diagram of Plane Wave Hypothesis
圖2 中, k0為平面波傳播方向的波數(shù)向量,κ 為聚焦方向的單位向量,k=-kκ 為聚焦方向的波數(shù)向量,其中:ω=2πf為聲音的圓頻率;c 為聲速。rm為m 號傳聲器的坐標向量;m 為傳聲器序號,m = 1,2,… ,M。設(shè)原點為參考位置, P0為該位置的聲壓信號,為聲壓幅值,則陣列各傳聲器接收到的聲壓信號為
當波束形成的聚焦方向為κ 方向時,m 號傳聲器相對于原點的時間延遲量 Δm( κ )為
根據(jù)延遲求和,按M 個傳聲器歸一化的波束形成輸出結(jié)果 B ( κ ,ω)為
時間延遲量 Δm( κ )取決于波束形成的聚焦方向κ,以此量對各傳聲器的聲壓信號進行相位校正,在實際計算過程中,掃描可能的聚焦方向(0~360°),當聚焦方向恰好等同于聲波來向 k0時,校正后各傳聲器聲壓信號一致,波束形成幅值等于平面波幅值,形成“主瓣”,當聚焦方向不同于聲波來向時,校正后各傳聲器聲壓信號的相位仍存在差異,疊加求和時幅值被衰減,形成“旁瓣”如圖3 所示,從而有效識別聲源。
圖3 波束形成示意Fig.3 Beamforming Diagram
b)基于CNN 的聲音定位算法。
深度神經(jīng)網(wǎng)絡(luò)在計算機視覺、語音識別和自然語言處理等諸多領(lǐng)域均取得了突破性研究進展,隨著標注數(shù)據(jù)的積累和GPU 計算性能的提升,卷積神經(jīng)網(wǎng)絡(luò)的研究迅速涌現(xiàn),并取得了各種最新成果。一般的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中主要由3 種層結(jié)構(gòu)組成:卷積層、池化層和全連接層,如圖4 所示。
圖4 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Convolutional Neural Network Structure
卷積層由多組可學習的卷積核組成。每個卷積核對前一層中相鄰的神經(jīng)元進行加權(quán)求和得到下一層中新的神經(jīng)元表達,對所有區(qū)域進行計算則得到一個新的特征映射圖。多組卷積核對應(yīng)多個新的特征映射圖,輸入圖像的每一個局部區(qū)域都共享一個相同的卷積核,每一局部區(qū)域為一個預(yù)設(shè)的感受野范圍,該過程可表示為
池化層是卷積神經(jīng)網(wǎng)絡(luò)中較為重要的一個模塊。它通過減少輸入尺寸來降低可計算的連接權(quán)數(shù)目,池化操作可以理解為局部區(qū)域內(nèi)相鄰特征的統(tǒng)計輸出,例如最大池化的輸出是相鄰矩形區(qū)域內(nèi)特征的最大值,可表示為
式中 Ri,j為以(i, j )為中心的局部相鄰區(qū)域;為最大池化的輸出結(jié)果。
全連接層是在多層卷積和池化層之后用以學習高層表達和輸出的模塊。它將前一層所有神經(jīng)元和下一層的神經(jīng)元進行連接,從而產(chǎn)生全局的語義信息。
傳統(tǒng)基于深度神經(jīng)網(wǎng)絡(luò)的通用物體檢測方法中,面向檢測精度的方法最為通用。這類方法主要由候選區(qū)域生成、分類及邊界框回歸2 個階段組成。而現(xiàn)有的基于深度神經(jīng)網(wǎng)絡(luò)的通用物體檢測方法,大部分檢測錯誤來源于對候選區(qū)域的錯誤分類,所以本文提出的方法主要利用關(guān)鍵點信息提升候選區(qū)域分類的準確度。針對典型運載器產(chǎn)品X 光片檢測中異常區(qū)域無固定形狀、無固定大小、色差分布不可控等問題,采用一種固定點檢測的方式,利用關(guān)鍵點信息提升候選區(qū)域分類的準確度。
圖5 為基于關(guān)鍵點的圖像檢測算法框架。如圖5所示,首先開展“關(guān)鍵點預(yù)測”,給出整張圖片中的關(guān)鍵點;再通過“關(guān)聯(lián)編碼”的方法建立關(guān)鍵點之間的關(guān)聯(lián)信息;最后利用關(guān)鍵點和關(guān)聯(lián)編碼這兩種信息,采用“結(jié)構(gòu)化評分方法”,同時考慮關(guān)鍵點的置信度以及關(guān)鍵點之間的關(guān)聯(lián)信息,為X 光片中每個區(qū)域生成類別分數(shù),確認是否出現(xiàn)故障以及故障的位置。
圖5 基于關(guān)鍵點的圖像檢測算法框架Fig.5 Algorithm Framework of Key Points Based on Image Detection
為了預(yù)測全圖關(guān)鍵點,以共享特征圖為輸入,預(yù)測每個位置關(guān)鍵點的置信度。具體來說,假設(shè)有N 個需檢測的物體類別,每個類別的物體有ki 個預(yù)定義的關(guān)鍵點,那么總共有K 個關(guān)鍵點。為了預(yù)測全圖的關(guān)鍵點,將該預(yù)測過程建模為一個像素級分類問題,共有K+1 個類別。對于共享特征圖的每一個位置,其應(yīng)當屬于K 類關(guān)鍵點之一或是屬于背景類。關(guān)鍵點預(yù)測類似基于全卷積網(wǎng)絡(luò)(Fully Convolutional Networks,F(xiàn)CN)的語義分割。
關(guān)聯(lián)編碼可以用來建模關(guān)鍵點之間的關(guān)系,有效的編碼相對位置和視覺線索。首先將二維平面空間劃分為扇形網(wǎng)格,對于共享特征圖的每個位置,首先取出該位置的特征,然后通過變換T 將該特征向量變換為向量E。
通過使用具有較大感受野的深度卷積神經(jīng)網(wǎng)絡(luò)特征,特征圖的每個位置可以包含來自大面積圖片區(qū)域的信息,從而引入更多的視覺線索。扇形網(wǎng)格設(shè)計也合理地將相對位置分解為兩個正交的因素,即方向和距離。扇形網(wǎng)格的特點是距離中心越遠,其網(wǎng)格越大,這個性質(zhì)與距離越遠的關(guān)鍵點越難估計是一致的。關(guān)聯(lián)編碼不直接接受監(jiān)督,而是通過結(jié)構(gòu)化得分方法反向傳播回來的信號進行學習。
基于關(guān)鍵點預(yù)測和關(guān)聯(lián)編碼,通過一種結(jié)構(gòu)化評分方法來計算每個候選區(qū)域的類別得分。該方法由2 個階段構(gòu)成:關(guān)鍵點定位和結(jié)構(gòu)化評分。
對于一個給定的候選區(qū)域,結(jié)構(gòu)化評分方法首先在關(guān)鍵點預(yù)測得到的關(guān)鍵點響應(yīng)圖上,對每一類關(guān)鍵點尋找最高響應(yīng),具體為
式中 feature 為關(guān)鍵點預(yù)測模塊輸出的關(guān)鍵點響應(yīng)函數(shù);代表在給定的候選區(qū)域RoI 內(nèi),關(guān)鍵點類別c的最大響應(yīng)值;代表在給定的候選區(qū)域RoI 內(nèi),關(guān)鍵點類別c 的最大響應(yīng)值對應(yīng)的位置。即作為對應(yīng)候選區(qū)域RoI 內(nèi)關(guān)鍵點類別c 的預(yù)測結(jié)果?;陉P(guān)鍵點預(yù)測的位置以及關(guān)聯(lián)編碼模塊的輸出,可以得到關(guān)鍵點之間的關(guān)聯(lián)信息。
這種結(jié)構(gòu)化評分方法對每個候選區(qū)域的物體類別進行評分,并通過多分類進行監(jiān)督學習。訓(xùn)練過程中的損失可以通過結(jié)構(gòu)化評分方法反向傳播到和上,同時調(diào)整關(guān)鍵點預(yù)測模塊并訓(xùn)練關(guān)聯(lián)編碼模塊。
運載火箭各項控制機構(gòu)的安裝極性一直是型號風險聚焦區(qū)域,由于整條通路環(huán)節(jié)較多,涉及各系統(tǒng)間接口,極性安裝檢測工作大多采用分段檢查和人工確認的方式進行。極性錯誤曾導(dǎo)致多次飛行失利:2013年7 月,俄羅斯質(zhì)子號火箭因為速率陀螺極性錯誤起飛后爆炸;2016 年4 月,日本X 射線衛(wèi)星瞳也因為消旋噴管極性錯誤而失控。如何在型號研制中杜絕由于人工確認環(huán)節(jié)導(dǎo)致的故障是解決極性隱患需要解決的首要問題,通過聲音定位由機器自動確認可大幅提高產(chǎn)品可靠性,電磁閥定位測試如圖6 所示。
圖6 電磁閥定位測試示意Fig.6 Solenoid Valve Positioning Test Schematic
結(jié)合某型運載火箭總裝測試環(huán)節(jié)開展了輔助動力系統(tǒng)電磁閥安裝極性檢查,確認工作工程中具體動作的電磁閥極性位置,如圖7 所示。測試過程中,麥克風陣列支架擺放在二級尾端正對面約8 m 處,被測電磁閥位于麥克風陣列中的攝像頭視場內(nèi)。根據(jù)現(xiàn)場指揮口令對18 個電磁閥依次進行開閉操作,通過聲音定位確認工作電磁閥與口令中的極性是否一致。測試結(jié)果表明,通過基于CNN 的聲音定位算法可以準確根據(jù)閥門工作時的聲音給出電磁閥動作的位置,完成極性的確認。
圖7 電磁閥極性測試結(jié)果Fig.7 Solenoid Valve Polarity Test Results
另外,對測試過程中電磁閥產(chǎn)生的聲音進行了分析,電磁閥聲音特性存在以下規(guī)律:
a)可根據(jù)聲音信號在時域上的持續(xù)時間和強度,區(qū)分電磁閥的開關(guān)狀態(tài);
b)頻域上,電磁閥在開通時和關(guān)斷時所發(fā)出的聲音頻率成分不重疊,能更準確的判斷電磁閥的工作狀態(tài);
c)不同電磁閥開閉的聲音存在一定差異,可以通過聲音對電磁閥種類進行判別。
火工品主要用于實現(xiàn)航天運載器的發(fā)動機點火、分離、起旋、拋撒、展開、彈射、起爆等功能?;鸸て饭δ苁欠裾M苯佑绊戯w行任務(wù)的成敗。按要求火工品必須100%開展射線檢測工作,以確保產(chǎn)品結(jié)構(gòu)與裝配的完整性、一致性與正確性。目前中國火工品檢測方法中仍完全依靠人工完成結(jié)果的評估與檢測,為了盡可能降低受評估人員主觀因素影響導(dǎo)致的漏判、誤判,需要引入人工智能技術(shù)對火工品射線檢測結(jié)果進行輔助識別。
現(xiàn)有的雷管射線檢測中由翻拍的X 光照相機直接輸出電子圖片至臺式計算機,并在顯示器上顯示。待檢測的火工品X 光片如圖8 所示。圖像顯示隨著每批雷管產(chǎn)品的出廠進行更新,檢測員需要通過肉眼對顯示屏上的X 光圖片進行確認。
圖8 待檢測的火工品X 光片F(xiàn)ig.8 Pyrotechnic X-ray Film to be Tested
采用智能算法檢測X 光片,首先讀取電子圖像的信息,按照圖片預(yù)處理、圖片分割、數(shù)字識別和異常檢測4 個步驟完成圖像的自動化檢測:
a)圖片預(yù)處理。
輸入的圖片中包含大量與檢測結(jié)果無關(guān)的信息,開始檢測之前需要將非檢測區(qū)域從圖片中清除,將剩下的部分在內(nèi)存中拼接成新的圖片。
b)圖片分割。
根據(jù)輸入圖片中每一行像素值和的大小,可以判斷出輸入圖片中數(shù)字標號存在的位置,根據(jù)標號的位置將圖片分割成一段一段的圖片,每一段圖片中含有多個數(shù)字標號。
由于每一段圖片中包含多行列需要檢測的雷管圖像,并且圖像位置在每一段圖片中并不固定,需要根據(jù)亮度分割出每一段的圖片中每一枚雷管的圖片,分割后的圖片可以作為異常檢測部分的輸入圖片。
c)數(shù)字識別。
由于需要根據(jù)圖片中的數(shù)字標號為每一根線分配一個對應(yīng)的ID,故而需要通過數(shù)字識別技術(shù)識別圖片中的數(shù)字標號。此處將每一段圖片中數(shù)字標號的部分分割出來。在識別之前需要對分割出的數(shù)字標號的圖片進行放大處理,目的是獲得更準確的數(shù)字識別結(jié)果。
c)異常檢測。
采用基于關(guān)鍵點的X 光片智能檢測技術(shù),結(jié)合標定數(shù)據(jù)的訓(xùn)練生成自動檢測的網(wǎng)絡(luò)模型,圖9 為計算機自動檢測的結(jié)果,當出現(xiàn)裝藥分層或分布不均勻、裝填順序錯誤時,可以準確判斷采集到的X 光片故障,并給出故障的種類和位置。
圖9 X 光片自動化檢測結(jié)果Fig.9 X-ray Film Automated Test Results
針對運載火箭研制過程中易出現(xiàn)問題的質(zhì)量環(huán)節(jié),結(jié)合產(chǎn)品測試特點,創(chuàng)新提出了基于聲音和圖像的智能檢測方法,采用非接觸的無損測試方式在產(chǎn)品工作過程中實時對產(chǎn)品狀態(tài)進行檢驗。該方法不僅能檢測產(chǎn)品的故障類型,同時能夠定位故障位置,可對產(chǎn)品的安裝極性進行確認。在型號測試中的應(yīng)用表明,智能檢測技術(shù)可以有效代替人工完成測試,提高檢測效率的同時也降低了漏檢和誤檢的風險。未來隨著人工智能技術(shù)的不斷成熟,智能檢測技術(shù)將在更多產(chǎn)品的測試項目中得到推廣,逐步代替人工檢測的工作。