蘇蕊，王亞婷，閆潤珍，王悅

（1.國網(wǎng)甘肅省電力公司互聯(lián)網(wǎng)事業(yè)部，甘肅蘭州 730000；2.國網(wǎng)甘肅省電力公司天水供電公司，甘肅天水 741000）

電網(wǎng)工程建設(shè)屬于高風(fēng)險行業(yè)，在明線工程中，其安全控制涉及范圍較廣。電網(wǎng)在各個領(lǐng)域廣泛應(yīng)用，市場規(guī)模也逐漸擴大，相應(yīng)產(chǎn)生的數(shù)據(jù)也越來越多，大量的文字、圖片、音頻、視頻等數(shù)據(jù)被收集起來。由于數(shù)據(jù)多模態(tài)、數(shù)量龐大，給數(shù)據(jù)檢索帶來極大困難。傳統(tǒng)文本檢索、圖像檢索等檢索技術(shù)常常將某些模態(tài)下的相似數(shù)據(jù)匹配，獲得的數(shù)據(jù)也大多是相似度較高的同態(tài)數(shù)據(jù)。因此，對電網(wǎng)多模態(tài)數(shù)據(jù)檢索是具有必要性的。

文獻[1]提出了深度學(xué)習(xí)驅(qū)動的檢索方法，構(gòu)建人工卷積神經(jīng)網(wǎng)絡(luò)模型。利用深度學(xué)習(xí)強大表征能力，提取文本特征，依據(jù)條件熵概念度量多標(biāo)簽相似度，由此實現(xiàn)多模態(tài)數(shù)據(jù)檢索。文獻[2]提出了基于鏈上鏈下相結(jié)合的檢索方法，將區(qū)塊鏈和分布式存儲技術(shù)相結(jié)合，以達到分散數(shù)據(jù)存儲的目的。對外向管理人員提供數(shù)據(jù)檢索接口，實現(xiàn)數(shù)據(jù)完整性檢索。由于不同模態(tài)數(shù)據(jù)之間相互關(guān)聯(lián)，上述兩種方法雖然能夠有效檢索數(shù)據(jù)，但忽略了檢索過程中模態(tài)之間的相似性，導(dǎo)致檢索結(jié)果重復(fù)性數(shù)據(jù)較多。

為了解決這個問題，文中提出了基于近似匹配模型的電網(wǎng)多模態(tài)數(shù)據(jù)檢索研究。

1 建立映射關(guān)系

引入樹匹配原理，建立了一種多層次、多模態(tài)的近似匹配模型。應(yīng)用樹匹配原理，通過對兩棵樹之間的節(jié)點映射處理，實現(xiàn)不同數(shù)據(jù)的模態(tài)匹配。結(jié)合電網(wǎng)多模態(tài)數(shù)據(jù)結(jié)構(gòu)特征，提出了基于結(jié)構(gòu)搜索和語義搜索概念，再引入親和度約束原則，構(gòu)造了如圖1 所示的近似匹配模型檢索框架。

圖1 近似匹配模型的多模態(tài)數(shù)據(jù)檢索框架

圖1 中按照結(jié)構(gòu)和功能可劃分為三個層次。第一層是應(yīng)用層，為用戶提供了一個可訪問接口，可以采取多模態(tài)查詢[3]。第二層是服務(wù)性層面，在多模態(tài)數(shù)據(jù)的檢索過程中，使用多個服務(wù)器組織方式，定義了用戶訪問權(quán)限，保證了網(wǎng)絡(luò)安全，并設(shè)置了身份登記接口，提供了數(shù)據(jù)備份和管理功能[4]。第三層是數(shù)據(jù)層，包括多種注冊代理的數(shù)據(jù)信息，多模態(tài)數(shù)據(jù)的表達方式多元化，其在多模態(tài)數(shù)據(jù)檢索框架下，利用近似匹配原理，通過數(shù)據(jù)關(guān)聯(lián)方式，計算出查詢樹數(shù)據(jù)和標(biāo)準(zhǔn)樹多模態(tài)數(shù)據(jù)之間的聯(lián)系值，計算公式如下：

式中，x、y分別表示查詢樹橫向和縱向的數(shù)據(jù)值；φ表示多模態(tài)數(shù)據(jù)；θ表示查詢樹和多模態(tài)數(shù)據(jù)之間的偏轉(zhuǎn)角度[5-6]。針對數(shù)據(jù)實際需求，采用標(biāo)準(zhǔn)化描述方法，對多模態(tài)數(shù)據(jù)標(biāo)準(zhǔn)樹展開分析，設(shè)定標(biāo)準(zhǔn)閾值范圍，統(tǒng)一歸類多種模態(tài)數(shù)據(jù)，確定了查詢樹數(shù)據(jù)和標(biāo)準(zhǔn)樹多模態(tài)數(shù)據(jù)之間的聯(lián)系[7]。

2 多模態(tài)數(shù)據(jù)檢索

2.1 近似匹配過程

由于電網(wǎng)多模態(tài)數(shù)據(jù)庫中的信息對象是以相同電網(wǎng)多模式數(shù)據(jù)規(guī)范來描述的，所以在不同情況下，各信息對象電網(wǎng)多模態(tài)數(shù)據(jù)標(biāo)準(zhǔn)樹的內(nèi)部節(jié)點都屬于電網(wǎng)多模態(tài)數(shù)據(jù)規(guī)范的一部分，不同之處在于葉節(jié)點上的元素值[8]。電網(wǎng)多模態(tài)數(shù)據(jù)近似匹配過程如圖2 所示。

圖2 電網(wǎng)多模態(tài)數(shù)據(jù)近似匹配過程

如圖2 所示，將查詢樹與標(biāo)準(zhǔn)樹對比分析發(fā)現(xiàn)，在多模態(tài)數(shù)據(jù)標(biāo)準(zhǔn)樹上節(jié)點h1 對應(yīng)的節(jié)點是h11 和h12，在查詢樹上節(jié)點H′對應(yīng)的節(jié)點是h′1 和h′2 。根據(jù)這些可知，匹配查詢樹與標(biāo)準(zhǔn)樹數(shù)據(jù)，就沒有必要必須將對象O2 的元數(shù)據(jù)與查詢樹數(shù)據(jù)相匹配。當(dāng)查詢樹與O3 的元數(shù)據(jù)樹相匹配時，由于沒有該子樹上的節(jié)點可以與查詢樹中的節(jié)點相匹配，所以無需考慮以節(jié)點h3 為根節(jié)點的子樹匹配情況[9-10]。

設(shè)H 和H′是兩顆無序標(biāo)簽樹，兩者之間編輯距離為：

式中，α為編輯序列映射。因此，在查詢前，將查詢樹與資源目標(biāo)庫的多模態(tài)數(shù)據(jù)標(biāo)準(zhǔn)方案樹匹配，將關(guān)聯(lián)節(jié)點的匹配信息（即預(yù)處理信息）記錄下來[11]。對所得的信息分析，可以避免在以后查詢樹與多模態(tài)數(shù)據(jù)標(biāo)準(zhǔn)樹的匹配中出現(xiàn)大量非關(guān)聯(lián)節(jié)點的匹配，避免了不必要的重復(fù)。

2.2 電網(wǎng)多模態(tài)數(shù)據(jù)檢索

在電網(wǎng)多模態(tài)數(shù)據(jù)近似匹配過程支持下，設(shè)計多模態(tài)數(shù)據(jù)檢索過程如下：用戶在查詢樹中指定匹配類型，預(yù)處理后，利用所需要預(yù)處理信息，對對應(yīng)匹配算法調(diào)用，以找到與標(biāo)準(zhǔn)樹相匹配的代價[12]。將匹配成本小于設(shè)定閾值的結(jié)果反饋給用戶，閾值可設(shè)定為：

式中，γ表示近似匹配代價；label(vi)表示節(jié)點權(quán)值；i表示節(jié)點數(shù)量；v表示標(biāo)簽值。該閾值相當(dāng)于將整個查詢樹移除所需費用的二分之一，是一個預(yù)設(shè)門限[13]。在沒有指定特定類型情況下，使用資源目標(biāo)元數(shù)據(jù)規(guī)范方案樹來預(yù)處理查詢樹。對檢索樹和標(biāo)準(zhǔn)樹近似匹配，將其與查詢樹嵌入結(jié)果比較，并將結(jié)果反饋給用戶[14]。

在給定電網(wǎng)多模態(tài)數(shù)據(jù)集合中，依據(jù)極大似然估計原則，可得到對數(shù)似然函數(shù)：

式中，Xm、Ym分別表示圖片和文本兩種模態(tài)數(shù)據(jù)；Sm表示數(shù)據(jù)集合；m表示訓(xùn)練數(shù)據(jù)文檔總數(shù)；p語義概念先驗分布[15]。通過最大化式（4）可以得到先驗參數(shù)最優(yōu)估計結(jié)果，由于數(shù)據(jù)集合服從先驗參數(shù)多項式分布，依據(jù)拉格朗日算子可以得到先驗參數(shù)估計值：

式中，mj表示數(shù)據(jù)集合中第j個語義概念生成的文檔數(shù)量。為使多模態(tài)數(shù)據(jù)生成過程能得到高效估計，需要在語義矢量生成多模態(tài)數(shù)據(jù)時遵循高斯分布。在所有數(shù)據(jù)集中，語義概念都遵循著高斯分布，而這些特征協(xié)方差矩陣與集合協(xié)方差矩陣相符合，由此保證檢索過程出現(xiàn)最優(yōu)解。

在多模態(tài)聯(lián)合檢索中，所獲取的文檔和被搜索的文檔都是多模態(tài)的。在含有圖像和文字的檔案材料中，文本材料可以起到輔助作用[16]。

設(shè)查詢數(shù)據(jù)集an是由n個數(shù)據(jù)組成的，待檢索文檔bk是由k個文檔組成的，an和bk之間相似度可用如下公式計算：

式中，ak表示由k個數(shù)據(jù)組成；bn表示由n個文檔組成；p(an,bk,ak,bn)表示數(shù)據(jù)和文檔是相同內(nèi)容的概率。當(dāng)獲取目標(biāo)檢索數(shù)據(jù)與查詢數(shù)據(jù)之間關(guān)系后，按照相似度由大到小的順序?qū)?shù)據(jù)排序，不具有重復(fù)性且排名前幾項的數(shù)據(jù)即為檢索結(jié)果。

3 實驗

3.1 數(shù)據(jù)采集

數(shù)據(jù)采集主要包括現(xiàn)場端和通信端兩部分?，F(xiàn)場端是用來采集和傳送現(xiàn)場數(shù)據(jù)的，通信端負責(zé)對現(xiàn)場數(shù)據(jù)處理和后臺數(shù)據(jù)交互，其架構(gòu)如圖3 所示。

圖3 實驗數(shù)據(jù)采集架構(gòu)

在現(xiàn)場端可以利用監(jiān)控攝像頭、定位網(wǎng)絡(luò)系統(tǒng)等對基礎(chǔ)設(shè)施實時采集，并將采集到的信息上傳到通信端的服務(wù)器端，為基礎(chǔ)設(shè)施管理提供了良好數(shù)據(jù)支撐。

3.2 數(shù)據(jù)集和指標(biāo)

實驗采用了一組公開的電網(wǎng)數(shù)據(jù)集，共有3 000個文檔，每個文檔都含有一張圖片，并附有相應(yīng)說明。每一張圖片和一組文件都對應(yīng)一個具體的分類目錄，而該分類目錄中所有信息可以分成20 個類別。利用SIFT 特征描述方法，將圖像描述為128 bit 的特征矢量。針對電網(wǎng)數(shù)據(jù)集的文字，利用LDA 模型，以10 個主題的形式呈現(xiàn)文字。在實驗測試過程中，將2/3 數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，將1/3 數(shù)據(jù)作為測試數(shù)據(jù)。

將多模態(tài)數(shù)據(jù)檢索精準(zhǔn)度和精準(zhǔn)率作為實驗指標(biāo)，電網(wǎng)多模態(tài)數(shù)據(jù)采集結(jié)果如表1 所示。

表1 電網(wǎng)多模態(tài)數(shù)據(jù)采集結(jié)果

將表1 數(shù)據(jù)作為標(biāo)準(zhǔn)數(shù)據(jù)，采取實驗驗證分析。精準(zhǔn)率實驗指標(biāo)計算公式為：

式中，Xm、Ym、Zm分別表示圖片模態(tài)數(shù)據(jù)、文本模態(tài)數(shù)據(jù)和其他種類數(shù)據(jù)的大小。

3.3 結(jié)果與分析

對于多模態(tài)數(shù)據(jù)檢索精準(zhǔn)度驗證，分別使用文獻[1]方法、文獻[2]方法和文中研究方法完成電網(wǎng)多模態(tài)數(shù)據(jù)的檢索，結(jié)果如圖4 所示。

圖4 三種方法數(shù)據(jù)檢索結(jié)果

由圖4（a）可知，使用文獻[1]方法、文獻[2]方法檢索多模態(tài)數(shù)據(jù)結(jié)果與表1 數(shù)據(jù)不一致，且在電力線路#1 編號下與實際數(shù)據(jù)相差最大，分別存在最大為7.0 kB、8.0 kB 的誤差。使用文中研究方法檢索多模態(tài)數(shù)據(jù)結(jié)果與表1 數(shù)據(jù)基本一致，只在電力線路#1 編號下與實際數(shù)據(jù)存在最大為0.5 kB 的誤差。由圖4（b）可知，使用文獻[1]方法、文獻[2]方法在電力線路#2 編號下與實際數(shù)據(jù)相差最大，分別存在最大為2.2 kB、1.9 kB 的誤差，使用文中研究方法與表1 數(shù)據(jù)一致。

對于多模態(tài)數(shù)據(jù)檢索精準(zhǔn)率驗證，分別使用文獻[1]方法、文獻[2]方法和文中研究方法，對比分析檢索精準(zhǔn)率，結(jié)果如圖5 所示。

圖5 三種方法檢索精準(zhǔn)率對比分析

由圖5 可知，使用文獻[1]方法、文獻[2]方法的檢索精準(zhǔn)率均低于75%，使用文中研究方法檢索精準(zhǔn)度高于85%，且最高為98%。由此可知，使用文中研究方法檢索結(jié)果精準(zhǔn)。

4 結(jié)束語

對文本與圖像聯(lián)合檢索研究，并在此基礎(chǔ)上提出了一種基于近似匹配模型的電網(wǎng)多模態(tài)數(shù)據(jù)檢索研究方法。在電網(wǎng)中文件往往含有多模態(tài)資料，在相同語義空間中，假定相同文件中有多模態(tài)數(shù)據(jù)。運用近似匹配方法，根據(jù)用戶不同需求，設(shè)計檢索過程。通過實驗證實使用所研究方法的正確性。