付連宇
(1.天津工業(yè)大學(xué),天津 300000;2.國網(wǎng)天津市電力公司信息通信公司,天津 300000)
由于智能電網(wǎng)不斷發(fā)展,電力通信網(wǎng)絡(luò)規(guī)模迅速變大,因此產(chǎn)生了很多通信線纜配線標(biāo)簽,電力通信線纜作為數(shù)據(jù)信息交互的重要介質(zhì),對其配線標(biāo)簽進行管理至關(guān)重要,對通信資源的合理調(diào)度和管理具有重要影響。一般通過配線標(biāo)簽對人工進行排查和校驗,因為網(wǎng)絡(luò)資源種類多、線纜數(shù)量多且基站分布廣,所以采用傳統(tǒng)的識別方法進行標(biāo)簽排查和校驗會浪費較多的人工和時間成本。將人工智能技術(shù)和標(biāo)簽識別相結(jié)合,可以有效提高標(biāo)簽文本的識別精度和識別效率,并降低人工成本。為了保證充分利用電力通信數(shù)據(jù),提高通信數(shù)據(jù)信息的質(zhì)量,實現(xiàn)通信資源管理的信息化和精益化,需要對電力通信線纜配線標(biāo)識進行智能化識別技術(shù)研究,保障電力通信網(wǎng)運行安全[1]。
基于對神經(jīng)網(wǎng)絡(luò)技術(shù)的深入研究,對數(shù)據(jù)信息的深度學(xué)習(xí)可以采用神經(jīng)元模擬的方法來實現(xiàn),各個隱含層間的密切關(guān)系為多層感知學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建提供了條件,為了提取數(shù)據(jù)特征,采用基于神經(jīng)網(wǎng)絡(luò)的方法對數(shù)據(jù)維度進行調(diào)整,從而刷新數(shù)據(jù)表達方式。
LSTM采用連接眾多小模塊的方式來構(gòu)建時間遞歸神經(jīng)網(wǎng)絡(luò),通過數(shù)據(jù)訓(xùn)練提取時間序列中的延遲事件,并依托神經(jīng)網(wǎng)絡(luò)存儲相關(guān)事件。LSTM通過引入遺忘門和輸入門為子模塊的長期記憶功能提供保障,輸入門可以對RNN輸入補充新記憶,遺忘門可以遺忘沒有價值的信息,通過遺忘門和輸入門的協(xié)作更新和剔除數(shù)據(jù)信息,從而實現(xiàn)遺忘和保留的功能。
對LSTM進行專業(yè)設(shè)計,可以使輸入門、輸出門、遺忘門和更新門相互交互,LSTM對上述門結(jié)構(gòu)進行組合,形成1個稱為cell的處理器。
當(dāng)輸入門有外界數(shù)據(jù)進入時,cell根據(jù)一定的規(guī)則對進入cell的數(shù)據(jù)信息進行判定,并對其進行保留或者遺忘,即1個輸入對應(yīng)2個輸出,通過多次計算可以有效避免發(fā)生神經(jīng)網(wǎng)絡(luò)自有的長序依賴現(xiàn)象。LSTM的適應(yīng)性較強并且具有較高的靈活性,LSTM依托模型中各個cell間的結(jié)構(gòu)實現(xiàn)了長時間記憶,可以保證數(shù)據(jù)信息和誤差信號的無衰減傳遞,數(shù)據(jù)經(jīng)過長時間訓(xùn)練后仍然可以通過LSTM進行保留,同時可以實現(xiàn)對當(dāng)前狀態(tài)進行更改的功能[2]。
LSTM單元結(jié)構(gòu)如圖1所示,當(dāng)數(shù)據(jù)信息特征差異較大時,LSTM單元在多次計算后可以明顯改善特征值,具有較好的效果。
圖1 LSTM單元結(jié)構(gòu)
通過上述介紹可知,LSTM能適應(yīng)各種數(shù)據(jù)結(jié)構(gòu),具有很高的靈活性,為了開發(fā)一種與LSTM單元結(jié)構(gòu)匹配的訓(xùn)練算法,引入反向傳播算法(Back Propagation Through Time,BPTT),當(dāng)該算法的回傳特性應(yīng)用于數(shù)據(jù)訓(xùn)練過程時,可以為數(shù)據(jù)信息的完整傳遞提供重要保證。當(dāng)誤差數(shù)據(jù)在cell間傳遞時,當(dāng)前cell會保存其數(shù)據(jù)信息,并朝更前的時間狀態(tài)反向傳播數(shù)據(jù)[3]。
當(dāng)輸入/輸出門以及cell輸入有誤差數(shù)據(jù)時,繼續(xù)以反向傳播的方式進行數(shù)據(jù)傳遞,為了達到理想的數(shù)據(jù)訓(xùn)練目的,還需要對當(dāng)前cell的各模塊的權(quán)值進行修正。
標(biāo)簽在通信線纜的端子處粘貼,容易受軟體線纜的影響而出現(xiàn)扭曲和層疊現(xiàn)象,同時受環(huán)境因素、標(biāo)簽文本方向不同和文本變形等干擾因素的影響,現(xiàn)有的標(biāo)簽識別技術(shù)性能發(fā)揮受到限制,因此需要開發(fā)一種基于深度學(xué)習(xí)的智能識別技術(shù)。
基于LSTM實現(xiàn)電力通信線纜配線標(biāo)簽識別需要對其識別模型進行構(gòu)建,主要包括文本檢測和文本識別。首先,對標(biāo)簽矩形區(qū)域的文本信息進行提取,從而實現(xiàn)定位任意區(qū)域文本信息的功能。其次,對任意區(qū)域的文本信息進行識別,從而實現(xiàn)獲取文本信息的功能。最后,對文本信息進行校準(zhǔn),以獲取準(zhǔn)確的標(biāo)簽信息。
采用YOLO v5版對文本進行預(yù)檢測,包括文本框選取和坐標(biāo)點選取。通過文本框選取識別標(biāo)簽信息所在區(qū)域,并對該區(qū)域的圖像進行剪切,文本框包括除了文本外的其他變形的圖像信息。坐標(biāo)點選取可以定位文本框區(qū)域的圖像坐標(biāo)。
通過獲取圖像的左上、左下、右上和右下4個點坐標(biāo)來確定圖像所在矩形區(qū)域的位置,并對其長度、寬度和高度進行測量,從而構(gòu)建新圖像的4個坐標(biāo)點,將其視為所要識別的圖像矩形區(qū)域坐標(biāo)。通過變換矩陣將源圖像所在區(qū)域透視化處理為目標(biāo)圖像所在的矩形區(qū)域,從而生成校準(zhǔn)后的圖像。
數(shù)據(jù)預(yù)處理是進行文本檢測的關(guān)鍵步驟,采集文本信息對正確識別標(biāo)簽具有重大影響。該文采用近鄰補全算法對缺失的數(shù)據(jù)和質(zhì)量差的數(shù)據(jù)進行修正。序列數(shù)據(jù)具有相鄰數(shù)據(jù)相似的特點,如果序列中的一段數(shù)據(jù)丟失,該段數(shù)據(jù)的前后具有連續(xù)性,定義一個中間變量,并提取相鄰的k個數(shù)據(jù)信息,對其求平均值并用該值替換丟失的數(shù)據(jù)[4]。
為了獲取缺失數(shù)據(jù)在數(shù)據(jù)序列中的距離,采用歐式距離法判斷數(shù)據(jù)遠近,如公式(1)所示。
式中:Xi為第i個樣本點前m維數(shù)據(jù),Xi={xi1,xi2,xi3,...,xim};Xj為第j個樣本點前m維數(shù)據(jù),Xj={xj1,xj2,xj3,...,xjm};xjn為第j個樣本點的第n維屬性;xin為第i個樣本點的第n維屬性。
通過上述計算完成數(shù)據(jù)遠近判斷后,需要對數(shù)據(jù)序列進行為歸一化處理,從而使數(shù)據(jù)在[0,1]變化,如公式(2)所示。
式中:yi為經(jīng)過歸一化處理后的輸出值;xi為輸入值;max(x)為數(shù)組的最大值;min(x)為數(shù)組的最小值。
完成LSTM單元的輸入數(shù)據(jù)預(yù)處理后,需要對輸入量進行挑選,合理選擇數(shù)據(jù)及標(biāo)簽是搭建線纜標(biāo)簽識別模型的重要步驟,通過選取輸入量來實現(xiàn)重復(fù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的功能。影響線纜標(biāo)簽識別的因素有很多,對傳統(tǒng)的物理識別方法來說,其輸入量通常選擇眾多因素中最關(guān)鍵的一個,采用基于深度學(xué)習(xí)的方法識別線纜標(biāo)簽,不需要對大量的數(shù)據(jù)進行篩選,減少了工作量。LSTM網(wǎng)絡(luò)在數(shù)據(jù)進行迭代計算的過程中會遺忘權(quán)重影響小的特征值。
采用PSEnet模型定位任意形狀文本框并提取圖像特征,通過分割特征圖得到多個預(yù)測區(qū)域,采用擴展算法對較大區(qū)域的像素進行擴展,從而實現(xiàn)文本檢測的功能[5]。
如果線纜標(biāo)簽所處的環(huán)境相對復(fù)雜,那么對其進行檢測時同一個文本行會被分成多個區(qū)域,存在多次檢測現(xiàn)象,為了解決上述問題,需要對這些區(qū)域進行合并,避免發(fā)生過分割現(xiàn)象。
對上述若干個小區(qū)域進行合并需要滿足以下2個條件:1) 要保證所合并的文本區(qū)域行高接近。2) 要保證所合并的文本區(qū)域距離相近。
文本區(qū)域的行高是否接近可以通過公式(3)進行度量。
式中:D(M)為M元素的方差;q為文本行的區(qū)域個數(shù);Mi為待合并的一個小區(qū)域的上、下邊緣線的中位數(shù);Mj為待合并的另一個小區(qū)域的上下邊緣線的中位數(shù)。
其中,Mi上、下邊緣線中位數(shù)如公式(4)所示。
式中:Tyj、Byj分別為小區(qū)域的上邊緣和下邊緣線的Y坐標(biāo)。
文本區(qū)域的距離是否接近可以通過公式(5)進行度量。
式中:ωw為文本區(qū)域一個字的寬度;T1為某區(qū)域上邊緣的坐標(biāo);T'100為該區(qū)域上邊緣的右坐標(biāo);B1為某區(qū)域下邊緣的左坐標(biāo);B'100為該區(qū)域下邊緣的坐標(biāo)。
根據(jù)上述條件對多個小區(qū)域進行合并,通過線性插值的方法對出現(xiàn)斷層的區(qū)域進行補齊修復(fù),對交叉的區(qū)域來說,采用MeanShift方法對該區(qū)域進行融合處理。在合并文本行多個小區(qū)域后,根據(jù)薄板樣條插值原理(Thin Plate Spline,TPS)和變換矩陣對圖像進行矯正,從而通過提高像素值實現(xiàn)對文本行進行水平矯正的功能。
LSTM模型可以對字符序列進行推理并對其特征進行提取,該文通過密集神經(jīng)網(wǎng)絡(luò)對預(yù)測的文本框區(qū)域的圖像特征進行提取,通過Seq2Seq提取相鄰像素間的特征,并在Attention中引入額外權(quán)重信息,從而建立文本識別模型[6]。
LSTM通過反向傳播算法對循環(huán)神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練,為了提高文本識別的精度,同時兼顧LSTM模型的復(fù)雜度,對模型的相關(guān)參數(shù)進行優(yōu)化配置,主要參數(shù)包括單神經(jīng)元的偏置和多神經(jīng)元間的連接權(quán)重,利用梯度下降算法對其進行調(diào)整,如公式(6)所示。
式中:C為代價;a為神經(jīng)元輸出值;y為實際值;ω為神經(jīng)元間連接權(quán)重;b為神經(jīng)元偏置;x為序列數(shù)據(jù)樣本;z為神經(jīng)元輸入;σ為激活函數(shù)[7]。
為了保證識別標(biāo)簽信息的正確性,通過糾錯模型對文本進行糾錯,包括傳統(tǒng)的糾錯模型和深度學(xué)習(xí)糾錯模型。其中,常見的低級別錯誤通過傳統(tǒng)模型進行糾正,而復(fù)雜的高級別錯誤通過深度學(xué)習(xí)模型進行糾正。文本糾錯模型如圖2所示。
圖2 文本糾錯模型
糾錯模型主要由N-gram模型、Seq2Seq_Attention模型和Transformer模型構(gòu)成,N-gram模型主要是對常見的低級別錯誤進行糾正,模型表達式如公式(7)所示。
式中:l為文本總詞數(shù);n為參考的詞數(shù);w為各個詞;P(w)為詞概率。
由圖2可知,文本糾錯模型中的Seq2Seq_Attention模型是基于Seq2Seq模型實現(xiàn)Attention功能的,模型收斂效果好,并且更適用于對長文本進行糾錯;Transformer模型采用Attention結(jié)構(gòu),與LSTM結(jié)構(gòu)相比,它可以更好地提取文本信息特征。分別通過Seq2Seq_Attention模型和Transformer模型對文本信息進行糾正并各自生成備選句子,再通過N-gram模型對上述備選句子的疑難度進行分析,最終的文本糾正結(jié)果以疑難度最低的備選句子為準(zhǔn)。
為了驗證該文提出的配線標(biāo)簽識別算法的可行性,以某變電站的現(xiàn)場文本數(shù)據(jù)為支撐,對其進行建模并識別標(biāo)簽。首先,采集數(shù)據(jù)集中的圖像樣本,包括文字方向不一致、變形扭曲以及光照不均等文本。其次,根據(jù)數(shù)據(jù)集對所建標(biāo)簽識別模型進行訓(xùn)練,結(jié)合現(xiàn)場實際情況,提取60個歷史數(shù)據(jù)作為1個批處理進行預(yù)測,并對其輸入層維度進行確定,該文輸出層采用單維度,LSTM識別模型的輸出為單通道,結(jié)合統(tǒng)計方法并通過深度學(xué)習(xí)算法建立電力通信線纜配線標(biāo)簽識別模型,配線標(biāo)簽識別模型的計算流程如圖3所示。
圖3 標(biāo)簽識別模型計算流程圖
挑選1 000個數(shù)據(jù)序列的圖像樣本,經(jīng)分析發(fā)現(xiàn),樣本中數(shù)據(jù)信息變化較大,因此需要采用Adam優(yōu)化器對標(biāo)簽識別模型進行優(yōu)化處理,以保證識別精度。首先,對采集的樣本數(shù)據(jù)進行清洗。其次,按照6∶4的比例進行拆分,將歸一化處理后的圖像數(shù)值作為LSTM的輸入,模型學(xué)習(xí)率設(shè)為0.001,時序隱藏元個數(shù)設(shè)為59,隱藏層數(shù)設(shè)為3,批尺寸設(shè)為30?;诮⒌淖R別模型對電力通信線纜配線標(biāo)簽進行識別,通過實際文本信息與識別結(jié)果的對比驗證了該文提出的通信電纜配線標(biāo)簽識別方法的可行性和準(zhǔn)確性[8]。
配線標(biāo)簽的準(zhǔn)確識別可以充分利用電力通信數(shù)據(jù)信息,實現(xiàn)精益化管理通信資源的目標(biāo)。該文基于深度學(xué)習(xí)對電力通信線纜配線標(biāo)簽識別方法進行研究,詳細介紹了深度學(xué)習(xí)網(wǎng)絡(luò)模型,分析了影響標(biāo)簽識別結(jié)果的各種因素。為了滿足文本檢測和文本識別的需求,該文基于LSTM算法對標(biāo)簽識別模型進行建模并驗證了其功能,該識別技術(shù)為標(biāo)簽的自動化和智能化識別提供了數(shù)據(jù)支撐,有利于提高電力通信的運行管理效率,該技術(shù)還可以推廣應(yīng)用到物流包裹等領(lǐng)域,具有一定的通用性。