符　嬈，陳　釗，左思佳

(中國(guó)飛行試驗(yàn)研究院，陜西西安710089)

?

一致性檢驗(yàn)在試飛數(shù)據(jù)有效性評(píng)定中的應(yīng)用

符嬈，陳釗，左思佳

(中國(guó)飛行試驗(yàn)研究院，陜西西安710089)

摘要：為了評(píng)定新研裝機(jī)設(shè)備在試飛中的工作可靠性，引入基準(zhǔn)設(shè)備或測(cè)試方法的測(cè)量結(jié)果，對(duì)新研設(shè)備測(cè)量結(jié)果的一致性進(jìn)行檢驗(yàn)，判定其測(cè)試數(shù)據(jù)的有效性是實(shí)現(xiàn)這一目的的一項(xiàng)重要技術(shù)手段。從幾種常見一致性檢驗(yàn)方法的原理出發(fā)，比較其優(yōu)缺點(diǎn)及適應(yīng)性，提出了針對(duì)不同類型測(cè)試數(shù)據(jù)有效性評(píng)定的一致性檢驗(yàn)方法，通過真實(shí)試飛數(shù)據(jù)驗(yàn)證了該方法的工程使用價(jià)值，為新研設(shè)備裝機(jī)可靠使用提供依據(jù)。

關(guān)鍵詞：航空發(fā)動(dòng)機(jī)狀態(tài)監(jiān)視系統(tǒng)一致性檢驗(yàn)數(shù)據(jù)分析

0引言

飛行試驗(yàn)既是探索航空新概念、新理論，突破關(guān)鍵技術(shù)，驗(yàn)證關(guān)鍵系統(tǒng)的重要手段，也是為新機(jī)投產(chǎn)提供決策依據(jù)的重要驗(yàn)證過程和為新機(jī)投入使用摸索經(jīng)驗(yàn)的必經(jīng)途徑。保證試驗(yàn)數(shù)據(jù)真實(shí)有效是進(jìn)行試飛研究的先決條件，無效數(shù)據(jù)不僅會(huì)導(dǎo)致試飛工程師做出錯(cuò)誤的判斷和決策，影響試飛目標(biāo)的達(dá)成，也是對(duì)試飛資源的極大浪費(fèi)。尤其隨著現(xiàn)代科學(xué)技術(shù)的發(fā)展，越來越多的新方法/新技術(shù)被應(yīng)用到飛行試驗(yàn)研究中，這在提高試飛效率的同時(shí)，試飛數(shù)據(jù)有效性檢驗(yàn)的問題也越來越突出。

試飛工程師在對(duì)數(shù)據(jù)的有效性進(jìn)行判斷時(shí)，實(shí)驗(yàn)室標(biāo)定是經(jīng)常使用的方法之一，但由于實(shí)驗(yàn)室環(huán)境往往不能完全真實(shí)地模擬工程應(yīng)用的實(shí)際情況，因此具有一定的局限性。工程師也可以根據(jù)自身經(jīng)驗(yàn)對(duì)數(shù)據(jù)是否真實(shí)有效做出判斷，但判斷結(jié)果也會(huì)因自身認(rèn)識(shí)水平的局限性而出現(xiàn)偏差。針對(duì)該問題，本文研究了基于一致性檢驗(yàn)的試飛數(shù)據(jù)有效性評(píng)定方法，從幾種常用的一致性檢驗(yàn)方法的計(jì)算原理出發(fā)，探討了一致性檢驗(yàn)在試飛數(shù)據(jù)有效性評(píng)定應(yīng)用中的可行性，通過真實(shí)試飛數(shù)據(jù)證明了一致性檢驗(yàn)方法的工程應(yīng)用價(jià)值。

1幾種常用一致性檢驗(yàn)方法的分析

一致性檢驗(yàn)的基本研究思路是：針對(duì)研究對(duì)象的某一特定過程，同時(shí)使用A方法(基準(zhǔn)方法)和B方法(被評(píng)定方法)進(jìn)行測(cè)量，如果可以確認(rèn)A方法的測(cè)量結(jié)果是真實(shí)的，并且B方法和A方法的測(cè)量結(jié)果一致，則可以證明B方法的測(cè)量結(jié)果也是有效的。可見，確定評(píng)定基準(zhǔn)是進(jìn)行一致性檢驗(yàn)的前提條件，這也是在工程實(shí)踐中進(jìn)行一致性檢驗(yàn)必須要關(guān)注的問題。目前較為常用的一致性檢驗(yàn)方法有配對(duì)t檢驗(yàn)，Kappa檢驗(yàn)，組內(nèi)相關(guān)系數(shù)法(ICC)、Bland-Altman圖等，以下分別進(jìn)行討論。

(1)配對(duì)t檢驗(yàn)

配對(duì)t檢驗(yàn)是常用的假設(shè)檢驗(yàn)方法之一，是小概率反證法思想在統(tǒng)計(jì)學(xué)中的具體應(yīng)用。計(jì)算公式為[6]：

(1)

(2)Kappa檢驗(yàn)

利用Kappa統(tǒng)計(jì)量作為評(píng)定一致性程度的指標(biāo)是1960年由Cohen等人最先提出的，這種評(píng)定方法也被稱為Kappa檢驗(yàn)，其結(jié)果證明的是兩種方法測(cè)定結(jié)果實(shí)際一致率和隨機(jī)一致率之間的差別是否具有顯著性意義，主要適用于離散型統(tǒng)計(jì)數(shù)據(jù)。以二分類統(tǒng)計(jì)數(shù)據(jù)為例，Kappa統(tǒng)計(jì)量的計(jì)算公式為[7]：

寧波諾丁漢大學(xué)成立于2004年，2013年英國(guó)高等教育質(zhì)量保證機(jī)構(gòu)QAA對(duì)其質(zhì)量評(píng)定，認(rèn)為學(xué)生水平與學(xué)生質(zhì)量與諾丁漢大學(xué)一致。束定芳等[4]通過跟蹤調(diào)查2005年到2008年大學(xué)英語的教學(xué)情況，認(rèn)為其成功的要素有六點(diǎn)：1.學(xué)校定位清楚，英語教學(xué)明確；2.需求分析到位；3.課程設(shè)計(jì)合理；4.學(xué)習(xí)資料豐富教材選用科學(xué)；5.課堂教學(xué)有效；6.教師專業(yè)敬業(yè)具有良好的自主意識(shí)。其中，建立在準(zhǔn)確需求分析下的課程設(shè)置是其成功的重要原因。課程設(shè)置的特色為語言技能與核心課程和基礎(chǔ)課程相結(jié)合，體現(xiàn)強(qiáng)化訓(xùn)練，突出學(xué)習(xí)策略。

(2)

(3)

(4)

式中：P0為實(shí)際一致率，Pe為理論一致率，a、b、c、d、n 的數(shù)學(xué)含義詳見表1。

表1

二分類Kappa檢驗(yàn)的數(shù)據(jù)結(jié)構(gòu)

Kappa檢驗(yàn)的一般經(jīng)驗(yàn)法則為：Kappa>0則證明檢驗(yàn)有意義，Kappa值越大，則一致程度越理想，Kappa>0.75為相當(dāng)滿意的一致程度，Kappa<0.4為一致性較差[8]。值得注意的是，Kappa檢驗(yàn)的數(shù)學(xué)原理決定了該方法并不適用于連續(xù)性樣本數(shù)據(jù)的一致性檢驗(yàn)，這也限制了該方法在工程中的使用范圍。

(3)組內(nèi)相關(guān)系數(shù)法(ICC法)

通過計(jì)算個(gè)體間變異度除以總變異度所得的ICC值判斷測(cè)量方式間的一致性。ICC取值介于0～1之間，該值越大，證明個(gè)體間變異在總變異中的作用越大，因而測(cè)量方式間的一致性越好[9]。ICC法的計(jì)算公式為[10]：

(5)

(6)

則定義ICC為：

(7)

可見，與Kappa檢驗(yàn)不同，ICC法更適用于連續(xù)性樣本數(shù)據(jù)的一致性檢驗(yàn)。在應(yīng)用ICC法時(shí)需要注意的是，如果觀測(cè)樣本數(shù)據(jù)的差異較小，將會(huì)導(dǎo)致計(jì)算所得的ICC值誤差增大甚至完全失真，所以平穩(wěn)態(tài)的試驗(yàn)數(shù)據(jù)不宜利用ICC法進(jìn)行分析。

⑷Bland-Altman圖法

Bland-Altman圖法是由Bland JM和Altman GD共同提出的一種數(shù)據(jù)一致性檢驗(yàn)方法[11]，該方法的特殊之處在于它以圖形的方式反映一致性界限，而不是以統(tǒng)計(jì)量的數(shù)值大小確定一致性的程度。Bland-Altman圖的繪制方法是[12]：

設(shè)針對(duì)n個(gè)被測(cè)對(duì)象，使用兩種不同測(cè)量方式測(cè)量所得的結(jié)果分別為x11，x12，… ，x1n和x21，x22，…，x2n則規(guī)定偏差d為：

di=x1i-x2i，i=1，2，…，n

(8)

(9)

在抽取的樣本數(shù)量較多時(shí)(n≥30)，一般認(rèn)為偏差d遵從標(biāo)準(zhǔn)正態(tài)μ分布，d的區(qū)間估計(jì)則為：

(10)

根據(jù)公式(9)或公式(10)即可繪制Bland-Altman圖，示例如圖1所示。

圖1　Bland-Altman圖示例

從以上的分析可知，每種一致性檢驗(yàn)方法都有不同的使用特點(diǎn)，也存在著使用限制，沒有一種方法可以應(yīng)對(duì)所有的工程實(shí)際情況。在工程實(shí)踐中，使用何種一致性檢驗(yàn)方法需要根據(jù)對(duì)象數(shù)據(jù)的特點(diǎn)進(jìn)行分析。在飛行試驗(yàn)中，按數(shù)據(jù)類型劃分，試驗(yàn)數(shù)據(jù)主要分為兩大類，即連續(xù)型試驗(yàn)數(shù)據(jù)和離散型試驗(yàn)數(shù)據(jù)。例如，飛機(jī)的飛行高度、速度，發(fā)動(dòng)機(jī)的振動(dòng)、壓力、溫度等數(shù)據(jù)即為連續(xù)型試驗(yàn)數(shù)據(jù)，而離散型試驗(yàn)數(shù)據(jù)主要是信號(hào)量數(shù)據(jù)，比如各類告警信號(hào)、開關(guān)信號(hào)等。在對(duì)不同類型的試驗(yàn)數(shù)據(jù)進(jìn)行一致性檢驗(yàn)時(shí)，應(yīng)選用不同的評(píng)定方法：Kappa檢驗(yàn)適用于離散型試飛數(shù)據(jù)，而波動(dòng)較大的連續(xù)型試飛數(shù)據(jù)應(yīng)使用ICC法，較為平穩(wěn)的連續(xù)型試飛數(shù)據(jù)可以使用Bland-Altman圖進(jìn)行一致性檢驗(yàn)。

2一致性檢驗(yàn)方法在試飛數(shù)據(jù)分析中的應(yīng)用驗(yàn)證

在某預(yù)研項(xiàng)目中，試飛工程師研制開發(fā)了一種全新的發(fā)動(dòng)機(jī)狀態(tài)監(jiān)視系統(tǒng)(A系統(tǒng))，為評(píng)定其工作可靠性，將其安裝于某型發(fā)動(dòng)機(jī)參與飛行試驗(yàn)，以發(fā)動(dòng)機(jī)自帶的狀態(tài)監(jiān)視系統(tǒng)(B系統(tǒng))的測(cè)試數(shù)據(jù)為基準(zhǔn)對(duì)A系統(tǒng)進(jìn)行裝機(jī)考核。通過飛行試驗(yàn)，共隨機(jī)采集到數(shù)據(jù)樣本各258個(gè)(組)，如表2所示。

表2飛行試驗(yàn)中A系統(tǒng)和B系統(tǒng)采集到的數(shù)據(jù)樣本

序號(hào)數(shù)據(jù)類型測(cè)試參數(shù)A系統(tǒng)樣本數(shù)B系統(tǒng)樣本數(shù)123456789101112離散型連續(xù)型加力信號(hào)46個(gè)46個(gè)磁性屑末告警信號(hào)34個(gè)34個(gè)防喘信號(hào)38個(gè)38個(gè)消喘信號(hào)28個(gè)28個(gè)應(yīng)急輔起信號(hào)42個(gè)42個(gè)信號(hào)處理板故障信號(hào)16個(gè)16個(gè)切斷渦輪起動(dòng)機(jī)信號(hào)22個(gè)22個(gè)滑油回油溫度5組5組振動(dòng)速度總量11組11組風(fēng)扇進(jìn)口壓力6組6組高壓渦輪出口溫度4組4組可調(diào)靜子葉片位置6組6組

根據(jù)表中各類型測(cè)試參數(shù)的不同特點(diǎn)，分別使用不同方法對(duì)兩套裝機(jī)測(cè)試系統(tǒng)的試飛數(shù)據(jù)進(jìn)行一致性檢驗(yàn)。

(a)基于Kappa檢驗(yàn)的離散型數(shù)據(jù)一致性分析

對(duì)所有離散型樣本進(jìn)行分析和統(tǒng)計(jì)，構(gòu)造的二分類結(jié)果表如表3所示[13]。

表3

離散型樣本的二分類結(jié)果表

根據(jù)公式(2)-(4)，計(jì)算可得Kappa=0.913，證明A系統(tǒng)和B系統(tǒng)在離散型參數(shù)測(cè)量方面具有良好的一致性。

(b)基于Bland-Altman圖法的緩變連續(xù)型數(shù)據(jù)一致性分析

對(duì)于波動(dòng)程度較小的連續(xù)型樣本數(shù)據(jù)，宜采用Bland-Altman圖法。以一組發(fā)動(dòng)機(jī)穩(wěn)定工作時(shí)的滑油回油溫度數(shù)據(jù)樣本為例，其測(cè)試結(jié)果的時(shí)間歷程圖如圖2所示。

圖2　發(fā)動(dòng)機(jī)穩(wěn)定工作時(shí)的滑油回油溫度測(cè)試結(jié)果

圖3　滑油回油溫度Bland-Altman圖

從圖3可以看出，A系統(tǒng)和B系統(tǒng)測(cè)試的滑油回油溫度的平均值差別較小，測(cè)量值的偏差基本位于95%的置信區(qū)間內(nèi)，A系統(tǒng)和B系統(tǒng)測(cè)試的滑油回油溫度具有良好的一致性。

(c)基于組內(nèi)相關(guān)系數(shù)法(ICC法)的瞬變連續(xù)型數(shù)據(jù)一致性分析

對(duì)于波動(dòng)程度較大的連續(xù)型樣本數(shù)據(jù)，應(yīng)采用ICC法。以發(fā)動(dòng)機(jī)過渡態(tài)的振動(dòng)數(shù)據(jù)樣本為例，其測(cè)試結(jié)果的時(shí)間歷程圖如圖4所示。

圖4　發(fā)動(dòng)機(jī)過渡態(tài)的振動(dòng)測(cè)試結(jié)果

由圖可見在發(fā)動(dòng)機(jī)過渡工作狀態(tài)時(shí)，振動(dòng)出現(xiàn)了劇烈的變化，波動(dòng)幅度較大。應(yīng)用ICC法對(duì)其一致性進(jìn)行檢驗(yàn)，將測(cè)試數(shù)據(jù)輸入SPSS軟件[14-15]，計(jì)算其ICC值為0.978。證明A系統(tǒng)和B系統(tǒng)測(cè)量的振動(dòng)值具有“極強(qiáng)”的一致性。

3結(jié)論

通過以上方法，分別對(duì)采集自A系統(tǒng)和B系統(tǒng)的隨機(jī)數(shù)據(jù)樣本各258個(gè)(組)，選取適應(yīng)其數(shù)據(jù)類型的一致性檢驗(yàn)方法進(jìn)行數(shù)據(jù)分析，結(jié)果顯示兩個(gè)系統(tǒng)的測(cè)試結(jié)果具有較高的一致性，據(jù)此可以說明，試飛工程師自主研發(fā)的發(fā)動(dòng)機(jī)狀態(tài)監(jiān)視系統(tǒng)(A系統(tǒng))采集輸出的測(cè)試結(jié)果真實(shí)有效，系統(tǒng)工作可靠，可以裝機(jī)使用于某型發(fā)動(dòng)機(jī)飛行試驗(yàn)。

本文介紹幾種常用一致性檢驗(yàn)方法的原理及適用性，將一致性檢驗(yàn)方法引入到飛行試驗(yàn)試飛數(shù)據(jù)有效性評(píng)定的具體工程實(shí)踐中，明確了其必要性，并驗(yàn)證了其實(shí)用性和有效性，為今后新方法應(yīng)用于試飛研究、新設(shè)備裝機(jī)使用提供必要依據(jù)。

參考文獻(xiàn)

[1]吳旭光,楊惠珍,王新民. 計(jì)算機(jī)仿真技術(shù)[M]. 北京:化學(xué)工業(yè)出版社,2005.

[2]魏華梁,李鐘武. 灰色關(guān)聯(lián)分析及其在導(dǎo)彈系統(tǒng)仿真模型驗(yàn)證中的應(yīng)用[J]. 系統(tǒng)工程與電子技術(shù),1997 ,19 (2) : 55-61.

[3]孫勇成,周獻(xiàn)中,李桂芳,等. 基于灰色關(guān)聯(lián)分析的仿真模型驗(yàn)證及其改進(jìn)[J]. 系統(tǒng)仿真學(xué)報(bào),2005 ,17 (3) :522-524.

[4]傅惠民,陳建偉. 動(dòng)態(tài)仿真結(jié)果距離檢驗(yàn)方法[J]. 機(jī)械強(qiáng)度,2007 ,29 (2) :206-211.

[5]陳建偉. 仿真結(jié)果動(dòng)態(tài)一致性檢驗(yàn)方法研究進(jìn)展[J]. 河北理工大學(xué)學(xué)報(bào)(自然科學(xué)版), 2011,33(3) :87-93.

[6]劉慶武,張小清,羅玉玲,等. 如何用SPSS、SAS進(jìn)行t檢驗(yàn)的運(yùn)算[J]. 湘南學(xué)院學(xué)報(bào)(自然科學(xué)版) ,2004,6(04)：49-51.

[7]Viera A J, Garrett J M. Understanding interobserver agreement: the kappa statistic [J]. Family Medicine,2005,37(5):360-363.

[8]侯宜廣,趙瑾,董玉昆,等. 利用kappa統(tǒng)計(jì)值研究多種空氣質(zhì)量預(yù)報(bào)方法的一致性[J]. 氣象,2011,37(2):232-236.

[9]張群巖,趙述元,李飛行. 航空發(fā)動(dòng)機(jī)試飛振動(dòng)實(shí)時(shí)監(jiān)視技術(shù)研究[J]. 噪聲與振動(dòng)控制, 2011,31(02)：159-162.

[10]米紅,張文璋. 實(shí)用現(xiàn)代統(tǒng)計(jì)分析方法與SPSS應(yīng)用[M]. 北京:當(dāng)代中國(guó)出版社,2004.

[11]Bland J M, Alman D G. Statistical methods for assessing agreement between two methods of clinical measurement[J]. Lancet,1986,327(8476):307-310.

[12]朱令宇,李永杰,張蒙生,等. Bland-Altman法在煙草測(cè)量?jī)x器一致性評(píng)價(jià)中的應(yīng)用[J]. 中國(guó)儀器儀表,2009(05)82-84.

[13]姜玉玲. 基于EXCEL對(duì)KAPPA的研究與應(yīng)用[J]. 才智,2012.

[14]姜忠尉. 統(tǒng)計(jì)分析軟件SPSS的特點(diǎn)和應(yīng)用分析[J]. 中國(guó)證券期貨,2012(04)291.

[15]蘇金明,傅榮華,周建斌，等. SPSS for Windows實(shí)用指南[M]. 北京:電子工業(yè)出版社, 2001.

The application of consistency check in the effectiveness evaluation of flight test data

FU Rao, CEHN Zhao, ZUO Sijia

Abstract:In order to implement the VVA(verification, validation, accreditation) of a newly developed equipment in flight test, it’s important to have the effectiveness of the data gathered from the new equipment evaluated based on consistency check comparing to the data gathered from standard equipment or method. In this paper, several common methods of consistency check were described in detail, and their advantages, disadvantages and adaptability were compared. Then we put forward a consistency check method for different types of test data, and verified its practical value in engineering with actual flight test data. This study provided basis for the reliability of newly developed equipment.

Keywords:aircraft engine; monitoring system; consistency check; data analysis

收稿日期：2015-10-14

作者簡(jiǎn)介：符嬈(1985-)，女，陜西武功人，工程師，碩士研究生，研究方向：動(dòng)力裝置與結(jié)構(gòu)強(qiáng)度特性飛行試驗(yàn)。

中圖分類號(hào)：V217

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1002-6886(2016)02-0073-05