陳洪雁,張大偉,楊歡,齊宏為
(北京跟蹤與通信技術研究所,北京100094)
近年來,中國航天蓬勃發(fā)展,面對日益發(fā)達的航天軍事物聯(lián)網(wǎng)、航天大數(shù)據(jù),各類數(shù)字化信息資源不斷涌現(xiàn)和普及,快速獲取、深入挖掘和有效利用數(shù)字化、網(wǎng)絡化信息,正在成為促進國防知識服務能力躍升的強有力手段。航天軍事涉及的知識層面繁多、知識結構分散、知識獲取成本高、知識共享困難,目前的軍事管理平臺缺乏智慧知識大數(shù)據(jù)服務支撐?;跀?shù)字信息的知識獲取、知識加工、知識抽取及圖譜化知識服務,已成為軍事知識服務能力的重要內(nèi)容,成為國防創(chuàng)新的新型能力基礎。
航天軍事涉及的知識領域包括軍事理論、軍事科技、航天科技、戰(zhàn)爭戰(zhàn)役實例及未來戰(zhàn)爭構想等等,其內(nèi)容交錯復雜,不可能將全部相關知識都記入人腦,也不可能依靠人類的計算和推理能力進行快速判斷。深度機器學習模型能夠?qū)教燔娛骂I域龐大的知識進行抽取與表示,知識推理能夠?qū)教燔娛轮R進行快速推理,知識問答能夠準確地獲取航天軍事知識。本文面向航天軍事應用,消除地域、時間、機構及業(yè)務系統(tǒng)之間的邊界,結合以深度機器學習模型、知識推理、智能問答、智能決策為核心的人工智能技術,構建現(xiàn)代軍事領域信息智能化的航天軍事專家智能知識服務系統(tǒng),作為軍事領域內(nèi)創(chuàng)新發(fā)展能力的關鍵組成部分,可以實現(xiàn)對航天軍事數(shù)據(jù)的智能統(tǒng)籌分析與知識推理,可以為業(yè)務人員提供全面的航天專家知識和決策數(shù)據(jù)支撐。
基于深度機器學習模型的軍事專家系統(tǒng)對各個領域的巨大戰(zhàn)略作用,目前國內(nèi)外都對深度機器學習模型展開了如火如荼的研究。在科技領域,科技部牽頭的科技知識組織體系建設項目是針對科研的科技深度機器學習模型,深度機器學習模型建設和應用示范取得了豐碩成果。在國防領域的深度機器學習模型建設也悄然興起,但處于起步階段,規(guī)模比較小,僅限于滿足本部門或本單位使用。構建深度機器學習模型的核心就是抽取三元組,三元組的抽取是深度機器學習模型構建的關鍵性問題。目前主流的抽取方式是基于規(guī)則與深度學習的方式,基于規(guī)則的抽取準確率低,嚴重依賴工作人員定義大量規(guī)則。
隨著人工智能的飛速發(fā)展,自動問答已經(jīng)成為倍受關注且發(fā)展前景廣泛的研究方向。以深度問答技術為核心的IBM Watson自動問答機器人在美國智力競賽節(jié)目Jeopardy中戰(zhàn)勝人類選手,引起了業(yè)內(nèi)的巨大轟動。由軍委裝備發(fā)展部、中國電子科技集團有限公司與軍委裝備發(fā)展部中國電科聯(lián)合基金資助舉辦的中國電科X+AI系列全國第二屆“軍事智能·機器閱讀”挑戰(zhàn)賽,致力于顛覆以往情報整編工作以人工分析提煉為主的模式,逐步實現(xiàn)由機器替代繁瑣、重復性情報整編業(yè)務流程。已有自動問答技術大致可以分為三類:檢索式問答、社區(qū)問答、知識庫問答,由于沒有三元組式結構化的知識支撐,這三種方式都面臨著準確率低與答非所問的問題,而且面臨著邏輯推理與知識推理的難點。
本文通過研究航天軍事領域三元組知識抽取,融合認知計算、知識表示與推理、信息檢索與抽取、自然語言處理與語義Web、數(shù)據(jù)挖掘與機器學習等方向的交叉研究,構建航天軍事深度機器學習模型,組織、管理和理解航天軍事領域海量信息。通過研究航天知識服務智能問答與推理技術,不僅能為航天軍事領域提供分析、推理、發(fā)現(xiàn)、洞察能力,同時可實現(xiàn)航天知識動態(tài)、高效、直觀數(shù)據(jù)呈現(xiàn)效果。
通過研究航天軍事專家系統(tǒng)建設中的關鍵技術:深度機器學習模型構建、知識推理、智能問答與決策支持技術,基于構建業(yè)務模型和決策支持模型庫,通過多源、多類型數(shù)據(jù)融合構建航天軍事專家系統(tǒng)模型架構,進行數(shù)據(jù)分析、推理和關聯(lián),固化航天軍事專家系統(tǒng)業(yè)務應用功能,通過多渠道為業(yè)務用戶提供即時、高效決策支持服務,實現(xiàn)航天軍事專家智能知識服務系統(tǒng)的建設。
2.1.1 大數(shù)據(jù)采集與智能融合
航天軍事數(shù)據(jù)種類繁多、類型不統(tǒng)一、存儲方式不同,比如互聯(lián)網(wǎng)上的咨詢信息、檔案館中的產(chǎn)品資料,不同業(yè)務系統(tǒng)中存儲的產(chǎn)品資料、歷史會議資料、設備工藝或理論文獻資源等。如果要全面統(tǒng)一應用,則需要規(guī)劃設計航天軍事知識庫,進行數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)對齊和集中存儲。建立統(tǒng)一數(shù)據(jù)處理方法和標準,統(tǒng)一存儲在數(shù)據(jù)倉庫內(nèi),提供統(tǒng)一應用。
2.1.2 三元組知識抽取與存儲
航天軍事數(shù)據(jù)中實體與關系有著多種類型,包括一個主實體對應多個關系與多個客實體,多個主實體對應一個關系與一個客實體,一個主實體與關系對應多個客實體以及主實體與客實體重合類型。對數(shù)據(jù)中的知識進行表示,需要從數(shù)據(jù)中抽取出三元組知識,使用圖數(shù)據(jù)庫進行存儲,用于后續(xù)進行知識融合,構建深度機器學習模型。
2.1.3 業(yè)務模型智能梳理與管理
航天軍事領域涉及的數(shù)據(jù)模型非常復雜,比如:組織架構模型、理論知識模型、設備產(chǎn)品模型、業(yè)務流程模型或從業(yè)人員信息模型等,目前都分布在不同業(yè)務系統(tǒng)或人腦中,甚至都有些事物尚未模型化(例如:項目論證模型等)。研究并梳理決策支持應用的關系模型、層次模型、網(wǎng)絡模型、規(guī)則模型,建立決策支持知識庫,按深度機器學習模型架構建立決策支持關聯(lián)關系,根據(jù)決策支持任務和特點確定決策支持知識粒度、維度與網(wǎng)狀關系結構,形成動態(tài)網(wǎng)絡深度機器學習模型,為決策支持知識展示提供底層數(shù)據(jù)整合。
2.1.4 知識推理與智能問答
航天軍事領域涉及的數(shù)據(jù)模型類型繁多、結構復雜,需要研究并梳理業(yè)務模型類型,按模型的類型構建深度機器學習模型關系。比如:理論方法深度機器學習模型、產(chǎn)品設備深度機器學習模型、空間結構深度機器學習模型、應急響應深度機器學習模型等。業(yè)務模型知識庫支持新關系發(fā)現(xiàn)和新模型智能建議,支持動態(tài)數(shù)據(jù)加載,可從指定的知識存儲介質(zhì)上直接抽取知識,呈現(xiàn)航天軍事數(shù)據(jù)的表現(xiàn)狀態(tài)。
2.1.5 決策支持模型智能化
研究并梳理決策支持應用的關系模型、層次模型、網(wǎng)絡模型、規(guī)則模型,建立決策支持知識庫,按深度機器學習模型架構建立決策支持關聯(lián)關系,根據(jù)決策支持任務和特點確定決策支持知識粒度、維度與網(wǎng)狀關系結構,形成動態(tài)網(wǎng)絡深度機器學習模型,為決策支持知識展示提供底層數(shù)據(jù)整合,為航天軍事人員決策提供理論、數(shù)據(jù)上的專家支撐。
航天軍事專家智能知識服務系統(tǒng)的架構主要包含基礎層、數(shù)據(jù)層、平臺層、應用層、用戶層,支撐環(huán)境由數(shù)據(jù)采集同步、網(wǎng)絡傳輸、系統(tǒng)軟硬件組成,并且由基于業(yè)務、技術、管理等方面的標準規(guī)范體系、安全保障體系和運維管理體系作為整體架構上的支撐和保障。該系統(tǒng)的總體架構如圖1所示。
圖1 系統(tǒng)的總體架構圖
通過對航天軍事領域三元組知識的抽取、深度機器學習模型建設、知識推理、智能問答、決策支持的深刻研究,將其應用于航天軍事專家系統(tǒng)建設,實現(xiàn)三庫、三渠道、一體系的統(tǒng)一應用服務。
1)一體系是指航天軍事專家系統(tǒng)知識服務體系。
2)三渠道是指可視化數(shù)據(jù)展示、智能應答數(shù)據(jù)展示和APP數(shù)據(jù)展示。
3)三庫是指多源多類型基礎知識庫、業(yè)務模型知識庫和決策支持模型知識庫。
上述三大指標可以考核系統(tǒng)的多源數(shù)據(jù)處理能力,數(shù)據(jù)模型算法和處理能力及數(shù)據(jù)應用展示能力。實現(xiàn)航天軍事專家系統(tǒng)的快速、便捷、精準的知識服務應用。
構建深度機器學習模型的核心就是抽取三元組。三元組是對各種實體或概念及其關系的表示,表示形式為主實體(s)-關系(p)-客實體(o)?;谏疃葘W習的抽取三元組方式有兩種方案:一種是先抽取實體,然后構建實體對,最后對實體對進行關系抽取。然而這種方式無法抽取一個實體對對應多種關系的三元組;另一種是將整個三元組抽取作為整體的序列標注,但這種設計不能很好地處理同時有多個主實體(s)、多個客實體(o)的情況,并且需要“就近原則”,而無一例外地,這些方法都不能解決主實體(s)、客實體(o)有重疊的情況。因此,為了解決航天軍事領域?qū)嶓w與關系一對多的情況,本文設計了基于深度學習的三元組抽取方式,可以覆蓋三元組抽取的所有類型。三元組知識抽取模型的設計圖如圖2所示。
圖2 三元組知識抽取模型示意圖
1)膨脹門卷積神經(jīng)網(wǎng)絡
在卷積處理上,這里的卷積不再使用傳統(tǒng)的卷積而是設計了一種膨脹卷積,用來增加感受野。當輸入輸出維度一樣時,膨脹門卷積神經(jīng)網(wǎng)絡可以加上殘差與注意力。它體現(xiàn)了信息的選擇性多通道傳輸。通過門機制使得卷積能夠像循環(huán)神經(jīng)網(wǎng)絡(LSTM)有了記憶與忘記功能。最后的模型共使用了12層神經(jīng)網(wǎng)絡,在實驗過程中,這種新型的卷積相對傳統(tǒng)卷積準確率有了極大提升。
2)基于概率圖的抽取
在抽取方式上,即先抽取主實體,然后基于主實體抽取客實體并進行關系分類。此抽取方案極大地提升了三元組抽取效率,解決了深度機器學習模型構建的關鍵性問題,為深度機器學習模型構建奠定了堅實的基礎。
經(jīng)過實驗驗證,這種三元組知識抽取模型可以很好地抽取航天軍事領域?qū)嶓w對應多種關系的知識,極大地提升了航天軍事深度機器學習模型構建效率。
知識推理與智能問答技術是通過系統(tǒng)智能化數(shù)據(jù)分析和推理,規(guī)劃設計業(yè)務場景,設置業(yè)務主題,應用自然語言理解技術實現(xiàn)航天軍事專家系統(tǒng)智能服務。針對航天軍事領域知識體系龐大復雜,研究設計了適用于航天軍事領域的知識推理與智能問答模型。
1)智能機器學習
采用機器自主學習、未知問題自動聚類、知識庫維護方便和針對問題精準化引導四步來實現(xiàn)智能機器學習。機器學習模型使用膨脹門卷積神經(jīng)網(wǎng)絡,并且加上了殘差與注意力。模型共使用了五層DGCNN,問句處理思路是先對問句基于DGCNN進行編碼,學習出句子的語義表達。再對句子進行分類,識別出問句的所屬類別,對問句總體進行整體劃分,提升問句與答案的準確匹配。然后對問句進行命名實體識別,識別出問句包含的具體實體,輸入深度機器學習模型進行知識推理。機器學習算法設計如圖3所示。
圖3 機器學習算法設計示意圖
2)智能分析
推理、分析、挖掘服務數(shù)據(jù)價值,驅(qū)動業(yè)務決策,基于用戶的業(yè)務問題及查詢請求書深度挖掘,基于認知計算,從業(yè)務數(shù)據(jù)中獲得更深層的洞察。情感分類:從文本、語音中識別用戶情感,真正讀懂人心。敏感分析:超越關鍵字匹配,從語義實時分析敏感數(shù)據(jù)。會話分類:自動為服務會話、專家業(yè)務及決策分析等數(shù)據(jù)打標簽歸類,為業(yè)務人員提供精煉內(nèi)容,快速把握重點的知識服務。
航天軍事專家智能知識服務系統(tǒng)是航天軍事領域內(nèi)業(yè)務知識診斷、推理和知識發(fā)現(xiàn)的業(yè)務輔助決策系統(tǒng),目標是為航天軍事領域的知識進行統(tǒng)籌分析與推理,為工作人員提供即時、高效的航天專家知識與決策支持服務。航天軍事專家系統(tǒng)的知識抽取與知識推理及智能問答是必要需求,深度機器學習模型技術的應用則是最佳選擇,這三大指標可以全面提升系統(tǒng)的多源數(shù)據(jù)處理能力,數(shù)據(jù)模型算法和處理能力及數(shù)據(jù)應用展示能力,實現(xiàn)航天軍事專家系統(tǒng)的快速、便捷、精準的知識服務應用。
此外,由于航天軍事專家智能知識服務系統(tǒng)的知識是成體系的,由架構層級指引,業(yè)務人員可以通過本系統(tǒng)進行知識補充,為業(yè)務人員提供知識學習、知識共享、知識發(fā)現(xiàn)、聯(lián)合作戰(zhàn)等決策支撐服務。