郭 策，高躍清,2，沈宇婷，杜 楚，陳路路，趙會盼

(1.中國電子科技集團(tuán)公司 第五十四研究所，石家莊 050081; 2.北京交通大學(xué)，北京 100091)

0 引言

第五屆世界人工智能大會提出，新一代人工智能正在逐步從感知智能向認(rèn)知智能轉(zhuǎn)化[1-2]。感知智能是機器具備了視覺、聽覺、觸覺等感知能力，將多元數(shù)據(jù)結(jié)構(gòu)化，并用人類熟悉的方式去溝通和互動；認(rèn)知智能則是從類腦的研究和認(rèn)知科學(xué)中汲取靈感，結(jié)合跨領(lǐng)域的知識圖譜、因果推理、持續(xù)學(xué)習(xí)等，賦予機器類似人類的思維邏輯和認(rèn)識能力，特別是理解、歸納和應(yīng)用知識的能力[3]。隨著感知智能水平的日趨成熟，相關(guān)研究呈現(xiàn)出由感知智能向認(rèn)知智能發(fā)展的態(tài)勢。

在感知智能發(fā)展階段，人工智能學(xué)習(xí)算法以數(shù)據(jù)為基礎(chǔ)，通過計算機強大的算力尋找樣本間的共性，從而找出隱藏在數(shù)據(jù)背后的客觀規(guī)律[4]。但這種規(guī)律是通過參數(shù)間接體現(xiàn)的，仍然不能為人類完全所知，這就導(dǎo)致了人類的知識難以與機器共用，而對于一個人類已知的規(guī)律，算法仍需要大量運算才能得到一個近似解，這個近似解還往往達(dá)不到人類要求的精度[5]。參數(shù)背后的規(guī)律不能具體化就意味著不同參數(shù)網(wǎng)絡(luò)之間不能很好地建立語義關(guān)聯(lián)，進(jìn)而造成現(xiàn)如今的不同參數(shù)網(wǎng)絡(luò)各自相對獨立，難以相互溝通形成認(rèn)知。

人類知識難以與機器共用、機器之間知識通用性不強的問題已經(jīng)成為人工智能算法走向認(rèn)知智能的重要障礙。因此提出一種新的框架，引入知識圖譜，通過圖譜中的關(guān)聯(lián)與搜索，有選擇性的調(diào)用深度學(xué)習(xí)算法，提高通用性；通過結(jié)構(gòu)化的知識存儲與迭代式的知識更新，使知識可以人機共用。

圖像目標(biāo)檢測與識別應(yīng)用廣泛，相較于文本信息，語義更加準(zhǔn)確，具有典型性[6]，因此在圖像方面對上述框架進(jìn)行驗證。

1 基于知識的多目標(biāo)關(guān)聯(lián)判別框架

1.1 問題的提出

1.1.1 知識在機器之間以及人機之間不通用

目前主流的圖像目標(biāo)識別算法采用基于深度學(xué)習(xí)的端到端訓(xùn)練模式，模型訓(xùn)練結(jié)果以參數(shù)的方式呈現(xiàn)[7-10]。這些參數(shù)可以看作機器通過大量數(shù)據(jù)訓(xùn)練得到的規(guī)律性知識，而這些知識卻只能應(yīng)用于其訓(xùn)練樣本中的目標(biāo)分類，既不能與另一個模型中的知識建立聯(lián)系，也無法將人類已有的知識加入其中。

1.1.2 識別分類可拓展性低

在實際應(yīng)用中，圖像目標(biāo)識別往往需要得到多種類目標(biāo)，而且對目標(biāo)種類的需求是不斷增長和變化的[11]?；谏疃葘W(xué)習(xí)訓(xùn)練的模型能夠識別的目標(biāo)類別在訓(xùn)練之初就確定了，訓(xùn)練完成后，難以增加或更改分類列表[12-15]，只能耗費大量資源重新訓(xùn)練，因此該模型難以根據(jù)需求的發(fā)展及時做出調(diào)整。

1.2 總體思路

這些問題難以在深度學(xué)習(xí)網(wǎng)絡(luò)內(nèi)部解決，因此在基于深度學(xué)習(xí)的圖像目標(biāo)識別模塊之上，加入知識庫模塊，負(fù)責(zé)結(jié)構(gòu)化地存儲各個渠道獲取的知識，并根據(jù)知識做出推理判斷，按需調(diào)用各個識別網(wǎng)絡(luò)。

圖1 模塊關(guān)系示意圖

知識庫模塊的引入，打通了人類與機器之間的知識交流障礙，也為不同識別網(wǎng)絡(luò)的知識之間建立聯(lián)系提供了通道?；谏疃葘W(xué)習(xí)的識別網(wǎng)絡(luò)模塊由多個識別網(wǎng)絡(luò)組成，每個識別網(wǎng)絡(luò)只識別較少種類的目標(biāo)，當(dāng)一個分類需要調(diào)整時，只需要替換該分類所在的識別網(wǎng)絡(luò)，其他識別網(wǎng)絡(luò)不受影響。各個識別網(wǎng)絡(luò)靈活調(diào)整，之間互不干擾，解決因單個分類的變化造成全局重新訓(xùn)練的問題，增強了圖像目標(biāo)識別的可擴展性。

1.3 框架的設(shè)計

整個系統(tǒng)包含基于深度學(xué)習(xí)的識別模塊與基于知識圖譜的知識庫模塊，其中識別模塊又分為通用識別模塊和專用識別模塊。由于知識具有領(lǐng)域特征，不同領(lǐng)域具有不同實體群落，因此通用識別模塊的主要作用是判斷圖像內(nèi)容屬于哪個領(lǐng)域，而專用識別模塊只識別單類目標(biāo)，其訓(xùn)練成本與準(zhǔn)確度均高于通用模塊，起到一錘定音的作用?？傮w流程圖如圖2所示，輸入單幅圖像，首先進(jìn)入通用識別模塊并識別圖中關(guān)鍵性且具有強代表性的實體，識別結(jié)果送入基于知識圖譜的目標(biāo)關(guān)聯(lián)判別模塊，該模塊會把識別到的圖像目標(biāo)類別與知識圖譜中的實體比對，通過聚類和計算歐氏距離等方法，確定圖像中目標(biāo)所屬領(lǐng)域，找出與已識別到目標(biāo)相關(guān)聯(lián)的目標(biāo)種類，從而有選擇性的調(diào)用對應(yīng)領(lǐng)域的專用識別模塊，進(jìn)一步發(fā)掘圖像中的目標(biāo)信息。當(dāng)識別模塊識別到的結(jié)果中含有超出知識圖譜知識范圍的新信息時，則通過規(guī)則式的更新，將新知識加入到知識圖譜中?？梢?，識別模塊與知識庫模塊是相輔相成的關(guān)系，識別模塊在知識庫的指導(dǎo)下工作，為知識庫提供新知識，使其更加完善，而更加完善的知識庫可以更好地指導(dǎo)識別模塊進(jìn)行工作，知識學(xué)習(xí)是在一輪輪的迭代中不斷積累的。

圖2 總體流程圖

2 知識圖譜的構(gòu)建與迭代更新

2.1 知識圖譜的初步構(gòu)建

建立最初的知識圖譜，解決的是知識圖譜從無到有的問題。采用先由人工建立一個由專家知識組成的初始圖譜，然后通過迭代更新逐漸向圖譜中補充知識的方法。

知識圖譜的構(gòu)建基礎(chǔ)是知識的表示與存儲[16]。知識表示方面，最常見的方案是采用事實(Fact)三元組G={E,R,F}的形式表示[17-18]。其中，E表示所有實體的集合{e1,e2,…,en}，集合中的e為實體，是知識圖譜中最基本的組成元素，其在圖譜中體現(xiàn)為知識圖譜的節(jié)點，表示不同目標(biāo)的名稱；R表示所有關(guān)系的集合{r1,r2,…,rn}，集合中的r為關(guān)系，其在圖譜中體現(xiàn)為連接實體的邊，表示不同名稱的目標(biāo)之間的聯(lián)系；F表示事實的集合{f1,f2,…,fn}，集合中的f表示事實，事實f可以用三元組(h,r,t)∈f定義，每一個事實f可以表示為頭實體h，尾實體t，以及兩實體之間的關(guān)系r[19-20]。例如，對于事實“船屬于碼頭”，頭實體h為目標(biāo)名稱“船”，尾實體t為目標(biāo)名稱“碼頭”，關(guān)系r為從屬關(guān)系。

最初的知識圖譜由人工建立，采用目標(biāo)種類名稱作為實體，不同目標(biāo)間的邏輯關(guān)系作為實體之間的聯(lián)系，建立基于知識圖譜的知識庫。

2.2 知識圖譜的迭代更新

盡管通過人工初步建立的知識圖譜是由專家知識組成的，具有比較權(quán)威可信度，但隨著時間的推移知識的內(nèi)容會發(fā)生變化，最初建立的專家知識如果不能與時俱進(jìn)，就不能為基于知識的決策提供可靠支撐，且人工建立知識庫的規(guī)模受到客觀因素限制，不能做到每個領(lǐng)域全面覆蓋。因此，引入知識圖譜的迭代更新，這樣既能保證知識庫中知識的時效性，又能擴充基于知識圖譜的知識庫的內(nèi)容規(guī)模。

知識圖譜的迭代更新，是目標(biāo)識別與知識圖譜互相促進(jìn)，迭代上升的過程。在這個過程中，目標(biāo)識別的信息是知識圖譜的內(nèi)容來源，使知識圖譜越來越豐富，同時更加豐富的知識圖譜可以為目標(biāo)識別提供更加準(zhǔn)確的指導(dǎo)。知識圖譜的迭代更新示意圖如圖3所示。

圖3 知識圖譜迭代更新示意圖

根據(jù)更新對象，迭代更新過程可分為關(guān)系更新與實體更新兩大類[21]。關(guān)系更新的對象是現(xiàn)有實體之間關(guān)系，涉及到關(guān)系的新建與刪除，以及對頭實體和尾實體的修改；實體更新是對實體本身的增添、刪除或修改。

對以上兩類更新制定知識圖譜更新規(guī)則。采用頻數(shù)閾值的方法，根據(jù)事先設(shè)定好的閾值，當(dāng)頻數(shù)高于閾值時，則觸發(fā)知識圖譜的更新。對于關(guān)系更新，可由機器根據(jù)更新規(guī)則自動更新；對于實體更新，由于每個實體都有其對應(yīng)的目標(biāo)識別算法，故實體的新增是與目標(biāo)識別算法成對新增的，其刪除和修改都會牽涉到知識圖譜內(nèi)容的邏輯結(jié)構(gòu)，需要慎重，且改動頻率較低，故通過人工核驗的方式進(jìn)行更新。

具體更新規(guī)則如表1所示。

表1 知識圖譜更新規(guī)則

圖譜的迭代更新是基于知識圖譜的知識庫逐漸擴充規(guī)模，保持時效性的基礎(chǔ)，而知識圖譜的規(guī)模和時效性直接影響到多目標(biāo)識別準(zhǔn)確度和效率，因此知識圖譜的迭代更新是一個非常重要的過程。

3 圖像多目標(biāo)關(guān)聯(lián)判別方法

3.1 多類目標(biāo)的獲取

通過基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法，獲取多類別目標(biāo)。訓(xùn)練多個基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)網(wǎng)絡(luò)，可分為兩大模塊：一類是能夠識別多類目標(biāo)的通用識別模塊；另一類只識別一種目標(biāo)，且精度更高效果更好的專用識別模塊。通用識別模塊的類別來自該領(lǐng)域知識圖譜中出現(xiàn)概率較高的若干類別，對于實體較多的領(lǐng)域，可以根據(jù)需要訓(xùn)練多個。通用模塊對訓(xùn)練樣本要求較高，需要多類目標(biāo)在同一張圖中出現(xiàn)，然而戰(zhàn)場圖像情報資源有限，往往只有少量訓(xùn)練樣本，因此通用模塊具有識別準(zhǔn)確度低，在高難度情況下存在漏檢或錯檢的問題。專用識別模塊只識別一類目標(biāo)，訓(xùn)練樣本相對更加容易獲取，因此可以利用更多時間和空間資源，通過較多的迭代次數(shù)，使其識別精度更高，對難以識別的目標(biāo)也有較強的辨識度。

在進(jìn)行目標(biāo)識別時，首先由若干通用識別模塊對關(guān)鍵類別進(jìn)行初步識別，確定圖像內(nèi)容所屬領(lǐng)域，為基于知識圖譜的關(guān)聯(lián)判別提供依據(jù)，之后專用識別模塊對該領(lǐng)域中的關(guān)鍵目標(biāo)種類以及與已識別到的目標(biāo)相關(guān)聯(lián)的目標(biāo)種類進(jìn)行檢測，從而準(zhǔn)確的檢測出圖像中的各類目標(biāo)。

3.2 基于知識圖譜的多目標(biāo)關(guān)聯(lián)判別

關(guān)聯(lián)判別是在知識圖譜中通過實體之間的多維聯(lián)系，檢索與圖像中已識別目標(biāo)類別相關(guān)聯(lián)的目標(biāo)類別，從而達(dá)到引導(dǎo)專用識別模塊進(jìn)一步對圖像檢測的目的。

提出一種基于實體間歐氏距離的判別方法，對K-Means算法[22]進(jìn)行改造，對知識圖譜中有關(guān)聯(lián)的實體進(jìn)行聚類。

K-Means算法是最常用的聚類算法之一，其原理比較簡單，容易實現(xiàn)，收斂速度快，聚類效果較優(yōu)，并且算法可解釋度比較高。聚類示意圖如圖4所示。

圖4 實體群的聚類

假設(shè)知識圖譜在某領(lǐng)域有實體集D={x1,x2,…,xm}，而該領(lǐng)域的通用識別模塊能夠識別K類目標(biāo)，以這K類目標(biāo)在知識圖譜中所對應(yīng)的實體為初始聚類中心，將其他實體聚類為K類，經(jīng)過聚類之后，得到的簇為C={C1,C2,…,Ck}，而這K個聚類的中心為{μi}。定義如下的損失函數(shù)：

(2)

具體算法如下：

Repeat

{

fori=1 tom

①

fork=1 toK

②

}

其中：①是計算每個實體xi到中心節(jié)點μk最近的距離，并將此實體劃分到該中心節(jié)點所對應(yīng)的實體聚類中。②是對每個實體群的聚類cj重新計算中心節(jié)點。

不斷的重復(fù)①和②，最終得到實體群的聚類。

相較于傳統(tǒng)K-Means算法隨機選擇初始聚類中心，選用通用識別模塊的目標(biāo)類別所對應(yīng)的實體作為聚類中心一定程度上提高了算法收斂的速度。

在實體群聚類的基礎(chǔ)上，進(jìn)行基于歐氏距離的關(guān)聯(lián)判別。

定義關(guān)聯(lián)距離R:

(3)

R表示xm與xn關(guān)聯(lián)路徑上所有節(jié)點的歐氏距離之和最小的路徑距離。當(dāng)R的值較小時，認(rèn)為實體xm與xn之間的關(guān)系較為緊密，意味著更有可能出現(xiàn)在同一幅圖像中，此時的閾值稱為鄰居閾值；而當(dāng)R值大于一定的閾值時，則認(rèn)為實體xm與xn相關(guān)度較低，此時的閾值稱為熔斷閾值。

多目標(biāo)關(guān)聯(lián)判別時，判定兩目標(biāo)有關(guān)聯(lián)具有兩條觸發(fā)規(guī)則，一是處于同一聚類中，且關(guān)聯(lián)距離R小于預(yù)先設(shè)定好的熔斷閾值；二是無論這兩個實體是否在同一個聚類中，若其關(guān)聯(lián)距離R小于預(yù)先設(shè)定好的鄰居閾值，則認(rèn)為這兩個實體有關(guān)聯(lián)。

同時，對于新加入到知識圖譜中，與其他節(jié)點聯(lián)系較少的節(jié)點，識別該種類目標(biāo)的專用模塊會在其所在領(lǐng)域被通用識別模塊激活后運行一次，從而方便其通過迭代更新與更多節(jié)點建立聯(lián)系，提高其下次被調(diào)用的幾率。

4 模擬實驗與分析

4.1 實驗描述

知識圖譜采用Neo4j搭建，目標(biāo)識別算法采用YOLO-V5，計算設(shè)備采用單塊GTX1080(8GB)GPU。

為驗證理論的可行性，實驗采用了小規(guī)模訓(xùn)練數(shù)據(jù)，數(shù)據(jù)由1 600張包含船、碼頭、集裝箱、油罐、輸油管、汽車、塔吊、飛機等目標(biāo)的遙感圖像組成，圖像分辨率為1 200*900左右。部分訓(xùn)練數(shù)據(jù)如圖5所示。

圖5 部分訓(xùn)練數(shù)據(jù)

為驗證理論可行性，并結(jié)合現(xiàn)有數(shù)據(jù)集特點，在初步人工構(gòu)建圖譜時，從圖中選取6類有代表性的目標(biāo)，分別是油罐、輸油管、船、集裝箱、以及碼頭和塔吊。將這6類目標(biāo)作為互相關(guān)聯(lián)的6種實體，其中油罐、碼頭、船相互關(guān)聯(lián)，船與集裝箱關(guān)聯(lián)，油罐與輸油管關(guān)聯(lián)，碼頭與塔吊關(guān)聯(lián)。

初步建立知識圖譜如圖6所示。

圖6 初步建立的知識圖譜

圖譜中，飛機代表另一個領(lǐng)域的節(jié)點與本領(lǐng)域?qū)嶓w沒有直接或間接的聯(lián)系，作為一個單獨節(jié)點存在。

目標(biāo)識別算法采用YOLO-V5，采用預(yù)訓(xùn)練模型YOLOV5S，分別訓(xùn)練通用識別模塊和專用識別模塊。

其中通用識別模塊的目標(biāo)類別來源于數(shù)據(jù)集中最常見的三種目標(biāo)：油罐、船、碼頭。

每個專用識別模塊只識別一種目標(biāo)，故共訓(xùn)練了7個網(wǎng)絡(luò)，分別識別油罐、船、碼頭、飛機、輸油管、集裝箱以及塔吊。

為了驗證整個系統(tǒng)的可拓展性，額外訓(xùn)練了一個專用識別模塊，用于識別汽車。

通用識別模塊在batch=10，epoch=100的參數(shù)下訓(xùn)練；專用識別模塊在batch=10，epoch=1000的參數(shù)下訓(xùn)練，結(jié)果如表2所示。

表2 各個識別網(wǎng)絡(luò)訓(xùn)練結(jié)果

通過對比參數(shù)可以看出，相較于通用識別模塊，專用識別模塊的識別精度更高，分類十分準(zhǔn)確。

4.2 基于知識的多目標(biāo)關(guān)聯(lián)判別

目標(biāo)關(guān)聯(lián)判別旨在發(fā)現(xiàn)通用識別模塊錯檢、漏檢的目標(biāo)。并不是每幅圖像都會出現(xiàn)錯檢、漏檢的情況，故從大量實驗圖像中選擇了一張具有代表性的圖像作為示例，如圖7所示。

圖7 通用模塊對示例圖像檢測結(jié)果

通用模塊識別三類目標(biāo)，故K=3，根據(jù)聚類算法將圖譜聚為3類。聚類結(jié)果如下：

類別1：{船，集裝箱}；類別2：{碼頭，塔吊}；類別3：{油罐，輸油管}；飛機與其他實體之間沒有直接或間接的聯(lián)系，歐氏距離為無窮大，故不屬于任何一類。設(shè)定鄰居閾值Rc=1，熔斷閾值Rf=3。

通用識別模塊識別出了碼頭，根據(jù)知識圖譜中已有的知識，油罐、船、碼頭三個實體的關(guān)聯(lián)距離R小于等于鄰居閾值Rc，因此判斷這三者互相關(guān)聯(lián)，圖中碼頭的周圍很可能有船和油罐，故調(diào)用專用識別模塊，分別對船、油罐識別。此外，根據(jù)聚類結(jié)果，在知識圖譜已有的關(guān)系中，碼頭與塔吊存在關(guān)聯(lián)關(guān)系，故調(diào)用識別塔吊的專用識別模塊。

經(jīng)過關(guān)聯(lián)判別，調(diào)用多個專用識別模塊后該圖像識別結(jié)果如圖8所示。

圖8 最終檢測結(jié)果

可見，選擇性的調(diào)用專用識別模塊可以十分有效的識別出圖中關(guān)聯(lián)目標(biāo)，且未調(diào)用識別飛機及其相關(guān)領(lǐng)域的算法，節(jié)省了不必要的識別時間，提高了圖像目標(biāo)識別工作的效率。

4.3 基于知識圖譜的知識迭代更新

知識的迭代更新是指目標(biāo)識別模塊獲得的知識根據(jù)規(guī)則轉(zhuǎn)化為知識圖譜中知識的過程。

實驗中，假設(shè)實體“汽車”剛剛收錄到知識圖譜的當(dāng)前領(lǐng)域，與該領(lǐng)域其他節(jié)點之間暫無聯(lián)系，屬于較為“孤立”的節(jié)點。為了方便其通過迭代更新與更多節(jié)點建立聯(lián)系，識別汽車目標(biāo)的專用模塊會在其所在領(lǐng)域被通用識別模塊激活后運行一次。在識別工作中，識別“汽車”的同時常常會識別到船，根據(jù)知識迭代更新規(guī)則，“汽車”與“碼頭”同框出現(xiàn)的頻數(shù)高于預(yù)先設(shè)定的更新頻數(shù)，故認(rèn)為實體“汽車”與實體“碼頭”之間十分可能有關(guān)聯(lián)，并在知識圖譜中創(chuàng)建“汽車”實體與“碼頭”實體之間的聯(lián)系。

經(jīng)過迭代更新后的知識圖譜如圖9所示。

圖9 迭代更新后的知識圖譜

5 結(jié)束語

由感知智能轉(zhuǎn)向認(rèn)知智能的道路很長，圖像識別領(lǐng)域相較于其他領(lǐng)域，如自然語言處理，更加直觀，人機之間沒有語義鴻溝，是人工智能轉(zhuǎn)型中一個具有潛力的突破點。通過將知識圖譜與基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)圖像目標(biāo)識別算法相結(jié)合，為探索應(yīng)用前景更加廣闊的圖像目標(biāo)識別方式提供了新思路。模塊化設(shè)計使得整個系統(tǒng)靈活多變，除通用識別模塊在更新時需要重新訓(xùn)練外，各類專用識別模塊都不需要重新訓(xùn)練，只需要根據(jù)實際需要擴充識別新型目標(biāo)類別的模塊即可，基于知識圖譜的知識庫會統(tǒng)籌規(guī)劃，按需調(diào)用這些模塊。

相較于僅僅使用基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)圖像目標(biāo)識別算法，知識圖譜的引入有效提高了圖像目標(biāo)識別算法的知識通用性以及拓展性，同時知識圖譜可以利用圖像目標(biāo)識別結(jié)果中的知識不斷豐富自己，從而能夠更好的指導(dǎo)下一次識別任務(wù)。這種知識和數(shù)據(jù)相輔相成，互相促進(jìn)，迭代式上升的良性循環(huán)，可以使整個系統(tǒng)常用常新，在實踐中積累知識，更貼近于人的認(rèn)知規(guī)律。

基于聚類和歐氏距離的關(guān)聯(lián)判別方法只實現(xiàn)了一級關(guān)聯(lián)，在進(jìn)一步的研究中可以對新識別到的目標(biāo)的關(guān)聯(lián)目標(biāo)進(jìn)行檢測，實現(xiàn)多級關(guān)聯(lián)，層層推進(jìn)的效果。此外，知識圖譜+深度學(xué)習(xí)的思路也可以應(yīng)用到圖像目標(biāo)識別以外的領(lǐng)域，從而建立一個跨領(lǐng)域的大規(guī)模知識庫，為探索通用化人工智能提供新的解決思路。