李煜甫，黃蔚，胡國超

（華北計算技術(shù)研究所北京100083）

隨著信息指揮系統(tǒng)的廣泛應(yīng)用，軍事文本的撰寫、傳遞、審閱、管理、批閱、展示等各個環(huán)節(jié)已經(jīng)基本實(shí)現(xiàn)了電子化，極大地提高了指揮的效率。但是，現(xiàn)有系統(tǒng)無法對記述式的軍事文本進(jìn)行深層的語義解析，極大地限制了信息指揮系統(tǒng)決策功能的發(fā)揮。通過識別軍事文本中的軍事命名實(shí)體，并抽取其相互關(guān)系，自動解析信息指揮系統(tǒng)中軍事文本的語義，從而構(gòu)建軍事知識庫，輔助指揮人員進(jìn)行更有效的決策。

目前國內(nèi)的實(shí)體關(guān)系識別研究方向主要集中在有監(jiān)督[1]和弱監(jiān)督機(jī)器學(xué)習(xí)上[2]。有監(jiān)督關(guān)系識別[3]中，肜博輝等在2017年提出一種基于多通道卷積神經(jīng)網(wǎng)絡(luò)模型[4]。甘麗新等在2016年提出依存句法關(guān)系進(jìn)行組合獲取關(guān)系特征和句法依賴動詞特征，再使用SVM進(jìn)行關(guān)系抽取[5]。弱監(jiān)督關(guān)系抽取[6]中，賈真等在2015年提出一種基于自擴(kuò)展和樸素貝葉斯的句子分類器，然后利用條件隨機(jī)場模型訓(xùn)練關(guān)系抽取器[7]。張春云等在2015年提出一種語義最短依存路徑模式的bootstrapping模型，用觸發(fā)詞[8]的模式識別實(shí)體關(guān)系[9]。

由于軍事文本自身特殊性，不能依據(jù)大量人工進(jìn)行標(biāo)注，這就極大地限制了使用傳統(tǒng)有監(jiān)督機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法對軍事文本中命名實(shí)體關(guān)系識別研究。且現(xiàn)有實(shí)體關(guān)系特征詞提取方式較為單一，僅僅將實(shí)體前后若干詞作為特征詞。并不能依據(jù)海量文本提取出目標(biāo)實(shí)體對之間的潛在特征信息。于是，本文提出一種基于Word2vec和FPGrowth相結(jié)合的弱監(jiān)督軍事實(shí)體關(guān)系識別技術(shù)。通過自擴(kuò)展技術(shù)進(jìn)行關(guān)系詞擴(kuò)充，使用FPGrowth方法挖掘?qū)嶓w關(guān)系的潛在特征詞，并用Word2vec模型表征關(guān)鍵詞與特征詞之間的關(guān)系。最后提出一種淺層關(guān)系矩陣對實(shí)體關(guān)系進(jìn)行分類。

1 關(guān)系識別準(zhǔn)備工作

1.1 設(shè)計框架

軍事文本有著行文標(biāo)準(zhǔn)，措辭嚴(yán)謹(jǐn)，語義二義性少的特點(diǎn)。對與實(shí)體關(guān)系的描述中不會存在著正反相差特別大的詞語。由于本文主要處理的實(shí)體是人員，艦船，飛機(jī)，機(jī)構(gòu)等。故提出3種實(shí)體關(guān)系：“敵對”，“協(xié)同”和“伴隨”。

基于上述特點(diǎn)，文中提出一種基于word2vec和FPGrowth的弱監(jiān)督軍事實(shí)體關(guān)系識別方法。具體流程分為獲取軍事文本數(shù)據(jù)、數(shù)據(jù)預(yù)處理、訓(xùn)練word2vec、初始關(guān)系種子詞選擇、找出關(guān)系特征詞、判斷實(shí)體關(guān)系、擴(kuò)充關(guān)系種子詞。其中，關(guān)系特征詞是用來進(jìn)行關(guān)系識別的特征詞，關(guān)系種子詞是用來判斷特征詞的分類情況。方法流程圖如圖1所示。

圖1 方法流程圖

1.2 種子詞選擇

Word2vec模型[10]是一種能夠?qū)⒃~表征為詞向量的高效模型。通過訓(xùn)練后可以將詞語映射成一個K維的實(shí)數(shù)向量，最主要的是能夠通過詞語之間的距離（一般使用余弦距離）來判斷它們在語義層面的相近程度。因此，文中使用word2vec模型訓(xùn)練出來的詞向量進(jìn)行語義層面的分析。

對于word2vec模型中任意兩個詞向量，一般來說只要余弦距離大于0.5，就可以認(rèn)為這兩個詞有一定關(guān)系。若大于0.6，這兩個詞就是近義詞。若大于0.7，這兩個詞就是同義詞。

本文提出的方法支持自定義多種關(guān)系。由于本文主要處理的實(shí)體是人員，艦船，飛機(jī)，機(jī)構(gòu)等。故提出 3 種實(shí)體關(guān)系[11]：“敵對”，“協(xié)同”和“伴隨”?！皵硨Α标P(guān)系是不同派系之間因?yàn)榱龅牟煌a(chǎn)生的關(guān)系；“協(xié)同”關(guān)系是同級別之間的相同立場的關(guān)系；而“伴隨”關(guān)系是上下級之間關(guān)系。其他的關(guān)系都是在此3種關(guān)系之下延伸出的子關(guān)系，例如：“A飛機(jī)”是隸屬于“B艦船”，它們之間是隸屬關(guān)系，也是伴隨關(guān)系?！癆人員”是“B艦船”的指揮長，它們之間是指揮關(guān)系，也屬于伴隨關(guān)系。故給軍事實(shí)體設(shè)定敵對、協(xié)同和伴隨著3種關(guān)系。

敵對關(guān)系中：以“對立”作為起始種子詞，通過word2vec模型化為向量后余弦距離最近的10個詞分別是：“還擊”，“沖突”，“敵對”，“打擊”，“矛盾”，“對立”，“制衡”，“孤立”，“對抗”，“抵抗”等。將這十個詞作為敵對關(guān)系的初始種子詞。

協(xié)同關(guān)系：以“與”作為起始種子詞，通過word2vec模型化為向量后余弦距離最近的10個詞分別是：“與”，“同時”，“及其”，“、”，“及”，“和”，“以及”，“一起”，“共同”，“攜手”等。將這 10 個詞作為協(xié)同關(guān)系的初始種子詞。

伴隨關(guān)系：以“指揮”作為起始種子詞，通過word2vec模型化為向量后余弦距離最近的10個詞分別是：“指揮”，“調(diào)度”，“指令”，“調(diào)集”，“協(xié)同作戰(zhàn)”，“護(hù)送”，“巡防”，“命令”，“調(diào)遣”，“救援”等。將這 10個詞作為伴隨關(guān)系的初始種子詞。

1.3 關(guān)系特征詞提取

頻繁項(xiàng)集發(fā)掘算法[12]用于發(fā)掘多個集合中經(jīng)常出現(xiàn)在同一個集合中的頻繁項(xiàng)。對于實(shí)體關(guān)系對來說，可以用找出符合條件的最大頻繁項(xiàng)作為此實(shí)體對間的關(guān)系特征詞。從而能將僅僅依靠句子級別的實(shí)體關(guān)系識別轉(zhuǎn)化為依靠多文章、多特征的關(guān)系識別[13]。

首先對一篇文章來說。先找出其中含有的所有實(shí)體。再找出其中實(shí)體與實(shí)體之間可能包含關(guān)系的短語，對其中的短語進(jìn)行分詞和去停用詞處理，得到多個（實(shí)體A，實(shí)體B，實(shí)體特征詞）三元組。

以“A艦船對位于太平洋的B艦船進(jìn)行了警告?！睘槔赫页銎渲械膶?shí)體A艦船，B艦船。接著根據(jù)實(shí)體將句子進(jìn)行短語劃分。將實(shí)體A之后，實(shí)體B之前的特征短語劃分到當(dāng)前實(shí)體下，并對特征短語進(jìn)行去分詞與去停用詞，如圖2所示。

圖2 實(shí)體關(guān)系候選詞

此句構(gòu)成3元組（A艦船，B艦船，{對，位于，太平洋，進(jìn)行，警告}）。此三元組分別表示實(shí)體A，實(shí)體B，以及實(shí)體之間特征詞。

通過得到的初始三元組，找出其中實(shí)體對一致的三元組，使用FPGrowth算法找出其中的潛在特征詞。以“A艦船對位于太平洋的B艦船進(jìn)行了警告?！焙汀癆艦船對B艦船進(jìn)行了警告和驅(qū)趕?！睘槔??？梢缘玫絻蓚€三元組：

（A艦船，B艦船，{對，位于，太平洋，進(jìn)行，警告}）

（A艦船，B艦船，{對，進(jìn)行，警告，驅(qū)趕}）

此時符合支持率的最大頻繁項(xiàng)是{對，進(jìn)行，警告}?？梢越M成一個三元組（A艦船，B艦船，{警告，對，進(jìn)行}）?？梢钥闯觯M中的第三項(xiàng)就是此實(shí)體對間的關(guān)系詞集合，也就是A艦船與B艦船之間的關(guān)系特征詞。

2 軍事實(shí)體關(guān)系識別

2.1 構(gòu)建關(guān)系矩陣

找出軍事實(shí)體三元組后，就可以進(jìn)行實(shí)體關(guān)系識別。文中提出了一種非傳統(tǒng)機(jī)器學(xué)習(xí)的分類方法，通過計算得到一個關(guān)系分類矩陣，然后通過判斷矩陣中最大項(xiàng)來進(jìn)行種子詞擴(kuò)充和關(guān)系識別。

對于三元組中關(guān)系集合的每個詞語，可以看成一個K維的向量。用αi來表示第i個詞語的詞向量。而對于“敵對”關(guān)系，可以用矩陣表示，其中βj表示敵對簇中第j個詞語的詞向量。然后計算αi與矩陣每一列的余弦角。也就是：

可以得到一個表示詞αi與關(guān)系簇的關(guān)系向量，用[μi1,μi2,…,μik]表示。對于實(shí)體與實(shí)體之間的多個詞語求與此關(guān)系簇之間的平均余弦距離，得到向量，其中，n是實(shí)體對間詞語的個數(shù)。并且其中的每一項(xiàng)的平均值μˉi=(μi1+μi2+…μik)k，表示實(shí)體對間第i詞語對該關(guān)系簇的平均余弦距離（0～1之間）。

當(dāng)已知向量μ，η和θ。首先要先找到此實(shí)體與實(shí)體間的所有關(guān)系詞中最能代表此關(guān)系的詞。此時需要對向量μ，η和θ做加法，得到一個新的向量δ=μ+η+θ。分別用μ，η和θ除以δ對應(yīng)列。即：

找出矩陣M中值最大的一項(xiàng)，以ηiδi為例：ηiδi對應(yīng)的列，也就是第i列所對應(yīng)的詞，就是此實(shí)體對關(guān)系詞中最能表示關(guān)系的詞，且其對應(yīng)的行，也就是對應(yīng)的η，即“協(xié)同”關(guān)系。

找出向量η對應(yīng)的ηi，若ηi的值大于0.5，則將ηi對應(yīng)的詞wi添加到“協(xié)同”關(guān)系種子備選詞中。進(jìn)一步判斷是否將此關(guān)系詞加入到“協(xié)同”種子中。

對于實(shí)體關(guān)系的程度，可以依據(jù)可靠度可以判斷實(shí)體關(guān)系的程度。對于實(shí)體關(guān)系的可靠度，用最終選取的關(guān)系詞對應(yīng)的來表示。

2.2 種子關(guān)系詞擴(kuò)充

Bootstrapping是一種自擴(kuò)展技術(shù)[14]，通過少量標(biāo)注信息[15]，不斷得到新的信息[16]。首先，選出不同關(guān)系的關(guān)系種子詞各十個。然后依據(jù)關(guān)系種子詞來進(jìn)行軍事實(shí)體對間關(guān)系判別。

對于這些種子備選詞，計算其中的熵。用關(guān)系詞αk與“敵對”關(guān)系的關(guān)系向量[μk1,μk2,…,μkn]為例。

其中：

若Entropy（W）的值大于等于0.9*log2n，則將此詞語添加到當(dāng)前關(guān)系種子詞中。因?yàn)閚個情況的最大熵[17]就是log2n，如果當(dāng)前加入的這個詞的信息熵不小于0.9倍的最大熵，則說明這個關(guān)系詞不會使此關(guān)系種子偏差過大。

3 實(shí)驗(yàn)及分析

選取30萬篇軍事文本。通過分詞器對30萬篇軍事文章進(jìn)行分詞，然后寫入到一個文檔中。文檔中的每一行就是一篇已經(jīng)分好詞的文章，詞與詞之間以空格隔開。最后通過word2vec模型對此處理好的文檔進(jìn)行計算。將詞向量模型維度設(shè)為256，窗口大小設(shè)為5，迭代次數(shù)設(shè)為10次。訓(xùn)練好的word2vec模型可以得到一個有202 196個詞和202 196個256維的詞向量文本。

雖然本文提出的方法支持自定義多種關(guān)系。但是由于本文主要處理的實(shí)體是人員，艦船，飛機(jī)，機(jī)構(gòu)等。故提出3種實(shí)體關(guān)系[5“]：敵對”“，協(xié)同”和“伴隨”。

表1 關(guān)系種子詞

對表1中提出的30個不同關(guān)系種子詞的詞向量通過PCA降維，可以得到一個2*30的矩陣，通過可視化可以看出這30個詞的分布情況。

圖3 訓(xùn)練前的種子詞分布情況

如圖3所示，其中圓形的點(diǎn)是協(xié)同關(guān)系詞，正方形點(diǎn)是伴隨關(guān)系詞，星形的點(diǎn)是敵對關(guān)系詞。可以看出，這三種關(guān)系的關(guān)系詞很清晰的劃分成了3個簇[7]。

圖4 訓(xùn)練后的種子詞分布情況

通過本文提出的方法對1 000篇軍事文本進(jìn)行測試，可以得到3個被擴(kuò)充的種子詞簇。對這些種子詞進(jìn)行可視化。通過PCA算法將種子詞的維度降到3維，如圖4所示。可以看出其中分成了3個簇。其中十字的點(diǎn)是敵對種子簇，圓形的點(diǎn)是協(xié)同種子簇，星形的點(diǎn)是伴隨種子簇。

表2 word2vec模型訓(xùn)練語料對關(guān)系識別的影響

由表2數(shù)據(jù)來看，通過Word2vec模型與Bootstrapping和FPGrowth方法進(jìn)行實(shí)體關(guān)系識別。其中對Word2vec模型訓(xùn)練有兩種方式，一種是通過30萬篇各類別文章進(jìn)行訓(xùn)練，最終得到的關(guān)系識別準(zhǔn)確率為85.3%，一種是通過30萬篇軍事文本進(jìn)行的訓(xùn)練，得到的準(zhǔn)確率為92.1%。

雖然通過各類型的文本進(jìn)行訓(xùn)練的word2vec模型具有一定的泛化能力，但是對于軍事領(lǐng)域的實(shí)體關(guān)系識別，選擇帶有針對性的軍事文本訓(xùn)練的模型效果更為理想。

表3 頻繁項(xiàng)集詞語選擇對關(guān)系識別的影響

由表3數(shù)據(jù)來看，通過Word2vec模型與Bootstrapping和FPGrowth方法進(jìn)行實(shí)體關(guān)系識別。其中對FPGrowth的頻繁項(xiàng)的提取有3種方法，一種是提取實(shí)體與實(shí)體之間的詞與作為一個集合，最終得到的準(zhǔn)確率為90.2%，效果相對較差。一種是提取實(shí)體之間的詞與實(shí)體之后的所有詞語作為一個集合，最終得到的準(zhǔn)確率為92.1%，效果最好。一種是選取全句中所有詞語作為一個集合，最終得到的準(zhǔn)確率為91.9%，效果也不錯?？梢钥闯?，選擇實(shí)體間詞語和實(shí)體后詞語作為頻繁項(xiàng)集中一項(xiàng)進(jìn)行特征詞提取效果最好，但是與其他方法相差不大。

表4 實(shí)體關(guān)系識別評價表

由表4數(shù)據(jù)來看，通過牟晉娟提出的BootStrapping與SVM方法的F值為82%。通過BootStrapping與KNN的識別方法F值為78.6%。BootStrapping與SVM的識別方法F值為82.0%。文本提出的通過BootStrapping與FPGrowth識別方法的F值為89.2%。

可以看出，通過一次FPGrowth方法可以準(zhǔn)確表征出軍事實(shí)體之間關(guān)系特征詞，并且由于軍事文本的表述嚴(yán)謹(jǐn)，措詞嚴(yán)格，語義二義性少。依據(jù)關(guān)系分類矩陣進(jìn)行判斷，能極大地提高實(shí)體關(guān)系識別的準(zhǔn)確率。

表5 與卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行比較

由表5可以看出，本文提出的方法與肜博輝等提出的多通道卷積模型進(jìn)行對比。若不進(jìn)行FPGrowth提取特征詞，單純的依靠實(shí)體前后個兩個詞進(jìn)行卷積的效果并不是很理想。通過卷積神經(jīng)網(wǎng)絡(luò)和FPGrowth進(jìn)行的實(shí)體關(guān)系識別，與本文提出的方法準(zhǔn)確率相差不大，但是卻需要大量人手進(jìn)行標(biāo)注。而本文提出的弱監(jiān)督軍事實(shí)體關(guān)系識別并不需要手工標(biāo)注，只需要給出少量的初始種子詞即可。這種方式可以應(yīng)用于許多沒有標(biāo)注語料的新領(lǐng)域中。

4 結(jié)束語

文中提出一種基于word2vec和FPGrowth的弱監(jiān)督實(shí)體關(guān)系識別技術(shù)。通過自擴(kuò)展技術(shù)進(jìn)行關(guān)系詞擴(kuò)充，使用word2vec模型表征關(guān)鍵詞與特征詞之間的關(guān)系，并用FPGrowth方法對實(shí)體關(guān)系進(jìn)行潛在特征詞抽取。最后依據(jù)關(guān)系分類矩陣對實(shí)體對關(guān)系進(jìn)行分類。其中，改變了實(shí)體關(guān)系特征詞提取的方式，由取出實(shí)體前后若干詞作為特征詞改為依靠FPGrowth提取最大頻繁項(xiàng)作為特征詞；還有就是能夠處理自定義的多種關(guān)系，不僅僅限于本文提出的“協(xié)同”，“伴隨”，“敵對”。最終通過與同類弱監(jiān)督和深度學(xué)習(xí)之間的對比實(shí)驗(yàn)可以看出，文中提出的方法有效。

[1]周亦，周明全，王學(xué)松，等.大數(shù)據(jù)環(huán)境下歷史人物知識圖譜構(gòu)建與實(shí)現(xiàn)[J].系統(tǒng)仿真學(xué)報，2016，28（10）:2560-2566.

[2]Surdeanu M，Tibshirani J，Nallapati R ，et al.Multi-instancemulti-lable learning for relation extraction[C]//Proc of the EMNLP 2012//Stoudsburg，PA:ACL，2012:455-465.

[3]Li L，Jin L，Jiang Z，et al.Biomedical named entity recognition based on extended Recurrent Neural Networks[C]// IEEE International Conference on Bioinformatics and Biomedicine.IEEE，2015:649-652.

[4]肜博輝，付琨，黃宇，等.基于多通道卷積神經(jīng)網(wǎng)的實(shí)體關(guān)系抽取[J].計算機(jī)應(yīng)用研究，2017（3）:689-692.

[5]甘麗新，萬常選，劉德喜，等.基于句法語義特征的中文實(shí)體關(guān)系抽取[J].計算機(jī)研究與發(fā)展，2016，53（2）:284-302.

[6]秦兵，劉安安，劉挺.無指導(dǎo)的中文開放式實(shí)體關(guān)系抽取[J].計算機(jī)研究與發(fā)展，2015，52（5）:1029-1035.

[7]賈真，何大可，楊燕，等.基于弱監(jiān)督學(xué)習(xí)的中文網(wǎng)絡(luò)百科關(guān)系抽取[J].智能系統(tǒng)學(xué)報，2015（1）:113-119.

[8]牟晉娟，包宏.中文實(shí)體關(guān)系識別研究[J].計算機(jī)工程與設(shè)計，2009，30（15）:3587-3590.

[9]段利國，徐慶，李愛萍，等.實(shí)體詞語義信息對中文實(shí)體關(guān)系抽取的作用研究[J].計算機(jī)應(yīng)用研究，2017，34（1）:141-146.

[10]Zhang D，Xu H，Su Z，et al.Chinese comments sentiment classification based on word2vec and SVM perf[J].Expert Systems with Applications，2015，42（4）:1857-1863.

[11]劉華偉.基于神經(jīng)網(wǎng)絡(luò)的物聯(lián)網(wǎng)實(shí)體信息交互關(guān)系識別[J].電腦知識與技術(shù)，2017，13（4）:175-177.

[12]J.Suresh1 P R C T.Generating associations rule mining using，Apriori and FPGrowth Algorithms[J].International Journal of Computer Trends&Technology，2013，4（4）：887-892.

[13]楊宇飛，戴齊，賈真，等.基于弱監(jiān)督的屬性關(guān)系識別方法[J].計算機(jī)應(yīng)用，2014，34（1）:64-68.

[14]張奇，金培權(quán)，岳麗華.基于CRF的網(wǎng)頁動態(tài)關(guān)系抽取研究[J].中國科學(xué)技術(shù)大學(xué)學(xué)報，2010，40（11）:1197-1202.

[15]張素香，李蕾，秦穎，等.基于Boot Strapping的中文實(shí)體關(guān)系自動生成[J].微電子學(xué)與計算機(jī)，2006，23（12）:15-18.

[16]段宇鋒，朱雯晶，陳巧，等.樸素貝葉斯算法與Bootstrapping方法相結(jié)合的中文物種描述文本語義標(biāo)注研究[J].現(xiàn)代圖書情報技術(shù)，2014，30（5）:83-89.

[17]王風(fēng)娥，譚紅葉，錢揖麗.基于最大熵的句內(nèi)時間關(guān)系識別[J].計算機(jī)工程，2012，38（4）:37-39.