孫文龍

(中國民航大學(xué)飛行技術(shù)學(xué)院，天津 300300）

0 引言

隨著我國民航事業(yè)的快速發(fā)展，民航飛機(jī)的安全性也越來越高，并且以其快捷、舒適的優(yōu)勢逐漸成為人們出行最受歡迎的交通工具之一。但一些不安全事件、事故征候還是時有發(fā)生，特別是航空事故還是無法徹底避免，在航空事故發(fā)生后必須要進(jìn)行事故調(diào)查，民航事故調(diào)查的目的是為了防止事故/事件的再次發(fā)生，為了達(dá)到這一目的，事故調(diào)查方在調(diào)查的過程中和最終調(diào)查報告發(fā)布時都會針對調(diào)查過程中發(fā)現(xiàn)的安全系統(tǒng)的缺陷發(fā)布各種安全建議。

聚類分析是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)中常見的技術(shù)，在學(xué)術(shù)和工業(yè)領(lǐng)域被大量使用，因此本研究運用聚類技術(shù)對這些安全建議進(jìn)行處理，充分發(fā)揮計算機(jī)強大的計算能力，利用聚類技術(shù)實現(xiàn)安全建議文本數(shù)據(jù)的自動分類，能夠給民航事故調(diào)查員提供思路以及各單位人員在安全管理中作為參考依據(jù)，最終提高中國民航的安全水平。

1 研究方法

文本挖掘主要涉及到數(shù)據(jù)挖掘、自然語言的處理、模式識別、信息檢索等技術(shù)。本研究中利用的文本聚類分析方法是文本挖掘技術(shù)的一種，在數(shù)據(jù)挖掘方面特別是在對大數(shù)據(jù)的分析與處理方面應(yīng)用廣泛，是一個非常有效的數(shù)據(jù)處理分析方法。聚類分析有以下特點：

（1）聚類是在對數(shù)據(jù)沒有深入了解的情況下，通過聚類算法自動把數(shù)據(jù)集劃分為多個類別，每一個類別稱為簇。

（2）聚類的目標(biāo)是：在同一個類別中的數(shù)據(jù)相似度比較高，而在不同類別中的數(shù)據(jù)相似度比較低。聚類和分類不同，它是一個無監(jiān)督學(xué)習(xí)的過程。

（3）聚類分析是一個逐步試探的過程，它根據(jù)數(shù)據(jù)集本身的特點進(jìn)行自動的分類，與事先設(shè)定好的分類規(guī)則無關(guān)。

安全建議是文本的一種，因此本研究運用文本聚類的方法對中美航空事故調(diào)查報告中的安全建議進(jìn)行文本聚類的處理，最終實現(xiàn)安全建議的自動分類。

安全建議的文本聚類處理流程圖如圖1所示。

在對安全建議文本集進(jìn)行文本聚類的過程中，從“中英文分詞”到“特征權(quán)重表示”階段處理是通過編寫Python語言代碼來實現(xiàn)；“聚類算法的選擇”以及“聚類結(jié)果的輸出”階段是借助于MATLAB工具來實現(xiàn)。

圖1 文本聚類過程

表1 部分中英文安全建議特征詞

2 數(shù)據(jù)來源

本研究收集了中國民航在2017年發(fā)布的事故/事故征候/不安全事件調(diào)查報告130份，在這些報告中共發(fā)布了安全建議319條；美國NTSB在2013-2017年發(fā)布的航空類安全建議302條，針對這兩組數(shù)據(jù)進(jìn)行了分析。

3 研究過程

3.1 中英文分詞

分詞指的是將一些漢字序列或者是英文的句子切分成一個個單獨的詞，然后把這些詞與機(jī)器詞典中的詞條進(jìn)行匹配，如果在詞典中能夠找到上面切分出的單個詞，說明匹配成功（識別出一個詞）。對于本研究來說，分詞結(jié)束以后，每一條安全建議就被切分成了多個詞組的形式。

3.2 停用詞過濾以及特征降維

由表1可知，分詞結(jié)束后也產(chǎn)生了很多無意義的詞，比如中文的像“的”、“后”、等等，英文的像“of”、“to”等等，把類似這種無意義的詞歸結(jié)為停用詞，因此為了提高最終聚類結(jié)果的準(zhǔn)確性有必要把這些停用詞過濾掉，這時本研究引入了中英文的停用詞表，其中包括中文的停用詞3832個，英文的停用詞891個。

通過以上的分詞以及停用詞過濾，把最終得到的詞稱為安全建議的特征詞，Python運行后最終得到了1740個中文特征詞，1638個英文特征詞。部分特征詞如表1所示。

3.3 建立特征空間

建立安全建議文本的特征空間是進(jìn)行安全建議文本聚類分析的重要組成部分，本研究采用的是應(yīng)用最廣泛的向量空間模型。向量空間模型的原理是把一組文檔的集合表示成向量空間中的多個向量，在本研究中也就是把每條安全建議用一個向量來表示，每個特征詞對應(yīng)一個坐標(biāo)軸，將每個安全建議特征詞的權(quán)重大小作為對應(yīng)每個坐標(biāo)軸上的值，假設(shè)用Weight來表示權(quán)重的大小，有N個特征詞，則某一條安全建議d對應(yīng)的向量為：

其中，

WeightN

表示在安全建議d中第N個特征詞的權(quán)重大小。這樣安全建議之間的相似度計算就轉(zhuǎn)變?yōu)镹維向量之間的相似度計算。對于本研究來說，Python運行后得到的中文安全建議N的取值為1740，英文的為1638。

3.4 特征權(quán)重表示

在權(quán)重大小的計算方面，本研究采用的是詞頻－反文檔頻率（TF-IDF）算法。

對于在某一文檔

d

里的詞語

t

來說，

t

的詞頻可表示為：

其中

n

是詞語

t

在文檔

d

中的所出現(xiàn)的次數(shù)大小，分母是在文件

d

中所有的詞語所出現(xiàn)的次數(shù)之和。IDF衡量的是某一個詞在整個文本集中的重要程度。IDF的公式表示如下：

其中|

D

|是文本集中所有文檔的總數(shù)，分母是其中包含詞語

t

的所有文檔的數(shù)目。本研究通過計算某個安全建議特征詞的tf*idf來作為該特征詞的權(quán)重。最終得到了中英文安全建議的權(quán)重矩陣。

3.5 聚類算法的選擇

本研究采用的是k-means聚類算法。在完成對安全建議數(shù)據(jù)的結(jié)構(gòu)化轉(zhuǎn)換之后，需要根據(jù)每條安全建議間的相似度進(jìn)行聚類。在k-means聚類算法中，對于每條安全建議間的距離運算過程，本研究采用的是“歐式距離”和“余弦距離”。

歐氏距離是應(yīng)用最常見的距離度量，它衡量的是向量空間中各個點之間的絕對距離（直線距離）。公式如下：

其中，

X

、

Y

分別指某一個文檔，

x

、

y

分別是對應(yīng)文檔中某個特征詞的權(quán)重大小，

n

是特征詞的個數(shù)。

余弦距離用向量空間中兩個向量夾角的余弦值作為衡量兩個個體間差異的大小。相比距離度量，余弦相似度更加注重兩個向量在方向上的差異，而非距離或長度上。公式如下：

其中，

X

、

Y

分別指某一條安全建議，

x

、

y

分別是對應(yīng)安全建議中某個特征詞的權(quán)重大小，

n

是特征詞的個數(shù)。

3.6 聚類結(jié)果的輸出

本研究把Python處理得到的中英文權(quán)重矩陣分別導(dǎo)入MATLAB軟件，調(diào)用其中的聚類處理模塊，分別選擇“歐式距離”和“余弦相似度”進(jìn)行聚類。由于k-means算法需要事先設(shè)定k的大小，因此本研究設(shè)置初始簇個數(shù)分別為3、4、5，探究不同的k值對聚類結(jié)果的影響，然后根據(jù)聚類的結(jié)果統(tǒng)計每一個聚集中的中英文安全建議數(shù)目

通過分析得出：“余弦距離”在對中美安全建議的處理方面效果更好，主要基于以下評價標(biāo)準(zhǔn)：

（1）類簇的數(shù)量是否合理：用“余弦距離”對安全建議進(jìn)行聚類，每一類中的數(shù)量分布相對“歐氏距離”更加均衡。

（2）類簇的可解釋程度高低方面：通過對以上不同類別中的安全建議內(nèi)容進(jìn)行分別閱讀認(rèn)知，發(fā)現(xiàn)用“余弦距離”處理得到的結(jié)果中，每一類中的安全建議相對“歐氏距離”更像一個整體，相似度更高一些，可解釋程度也更高。

一般以類中數(shù)量適中，類簇可解釋程度較高作為聚類效果較好的標(biāo)志。

4 結(jié)語

在研究過程中，得出以下結(jié)論：（1）由于安全建議中也存在較多的民航專業(yè)詞匯，如果單獨用jieba詞庫進(jìn)行分詞會產(chǎn)生較多有歧義的詞，因此如果在jieba詞庫里面再加入民航專業(yè)詞匯，這樣最終的分詞效果會更好；（2）中美航空事故調(diào)查報告中的安全建議作為短文本的一種，每條安全建議大約都是幾十個詞最多也就一百個詞左右，并且安全建議的數(shù)量相對較多，中美安全建議的總詞數(shù)都分別達(dá)到了兩萬多字，經(jīng)過文本的預(yù)處理過程最終篩選出的特征詞分別高達(dá)一千多個，與每條安全建議詞的數(shù)量相差巨大，這樣會導(dǎo)致權(quán)重表格比較稀疏，最終會影響聚類的效果；（3）歐氏距離衡量的是空間各點的絕對距離，跟各個點所在的位置坐標(biāo)直接相關(guān)；而余弦距離衡量的是空間向量的夾角，更加體現(xiàn)在方向上的差異，而對絕對的數(shù)值不敏感。因此造成了聚類結(jié)果的差異。