◆孫凱 林強 陳良潔

基于分塊雙向2DPCA及ResNet的景象區(qū)域適配性分析

◆孫凱1林強1陳良潔2

（1.國防科技大學信息通信學院綜合信息服務系 湖南 410073；2.63770部隊 陜西 710106）

基準圖的適配性是影響景象匹配輔助導航系統(tǒng)性能的重要因素，通過景象區(qū)域適配性分析可以篩選出匹配性能較高的基準圖進而保證導航系統(tǒng)的精度和可靠性。本文提出了基于分塊雙向2DPCA及ResNet的適配性分析方法：通過分塊雙向2DPCA提取圖像的局部降維信息，再將圖像的局部降維信息輸入ResNet并訓練神經(jīng)網(wǎng)絡(luò)得到適配性評估模型。實驗結(jié)果表明該方法在圖像適配性的預測方面表現(xiàn)優(yōu)異。

分塊雙向2DPCA；景象匹配；景象區(qū)域適配性；殘差網(wǎng)絡(luò)

1 景象區(qū)域適配性常見分析方法

景象區(qū)域適配性常見分析方法可分為以下三大類：

（1）建立圖像基本特征指標與景象區(qū)域適配性基本指標的映射模型。圖像基本特征指標包括圖像灰度方差、邊緣密度和Gabor小波特征向量等。通過多屬性決策等方法來建立圖像特征與適配性基本指標之間的映射模型。這類方法需要人工設(shè)計和挑選圖像基本特征指標，具有較大的主觀不確定性，而且圖像基本特征僅適用于某些特定環(huán)境下的景象匹配，當任務環(huán)境發(fā)生變化時模型的可靠性和精度難以保證。

（2）建立圖像綜合特征指標與景象區(qū)域適配性基本指標的映射模型。選取分別代表圖像信息量、穩(wěn)定性和區(qū)域唯一性的圖像基本特征指標，并通過智能計算方法（如遺傳算法）等方法將挑選出來的圖像基本特征指標構(gòu)成復雜的綜合性特征指標，再建立綜合特征指標與景象適配性基本指標之間的映射關(guān)系。這類方法同樣由于人為挑選圖像基本特征指標而給適配性評估模型引入了人為不確定性，并且當景象匹配環(huán)境變化時可能需要重新挑選指標。

（3）建立專家系統(tǒng)模型。這類方法需要預先獲取大量的專家知識，條件較為苛刻。當任務環(huán)境發(fā)生變化而缺乏相關(guān)情景下的專家知識時，這類方法就會失效。

2 基于分塊雙向2DPCA及ResNet的景象區(qū)域適配性分析方法

為避免過度依賴先驗知識和人工選取圖像基本特征帶來的主觀不確定性、工作量大及適用范圍較窄等問題，本文提出了基于分塊雙向2DPCA及ResNet的景象區(qū)域適配性分析方法。首先在2DPCA的基礎(chǔ)上提出了分塊雙向2DPCA，將通過分塊雙向2DPCA提取到的圖像局部降維信息輸入ResNet神經(jīng)網(wǎng)絡(luò)，訓練神經(jīng)網(wǎng)絡(luò)得到適配性評估模型。

2.1 分塊雙向2DPCA

則訓練集的協(xié)方差矩陣可以表示為：

如圖1所示，分塊雙向2DPCA在圖像訓練集{A}（=1）的每幅圖像上滑動選取大小為×的小采樣塊p，∈R×s，然后對采樣塊進行求均值、計算協(xié)方差矩陣得到該采樣塊對應區(qū)域圖像的行方向投影矩陣X，和列方向投影Z，矩陣，然后計算該采樣塊的聯(lián)合投影結(jié)果：

其中為保留的特征向量數(shù)。

2.2 ResNet原理及分析

ResNet在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上增加了跳躍連接結(jié)構(gòu)，從而解決了深度網(wǎng)絡(luò)訓練困難的問題，主要包含了卷積層、池化層和殘差學習模塊：

（1）卷積層。卷積神經(jīng)網(wǎng)絡(luò)通過卷積操作獲取空間局部信息。對于圖像而言，第一個卷積層提取線條、邊緣和拐角等低級特征，之后的卷積層就能提取紋理等高級特征。每一個卷積層后都會連接一個激勵函數(shù)，對卷積層的輸出做非線性映射。（2）池化層。池化層的每一個神經(jīng)元對局部感知進行池化操作，起到了二次提取特征的作用。（3）殘差學習模塊。假設(shè)某一段人工神經(jīng)網(wǎng)絡(luò)的輸入和期望輸出分別為、（），若直接將輸入輸出作為初始結(jié)果，則此時網(wǎng)絡(luò)需要學習的目標為（）=（）-。

傳統(tǒng)的全連接層或卷積層在信息傳遞的過程中會出現(xiàn)不同程度的信息丟失和損耗等問題，而ResNet則在一定程度上解決了這一問題：將信息直接繞道傳到輸出保護了信息的完整性，并且網(wǎng)絡(luò)學習目標變?yōu)檩斎牒洼敵龅牟顒e，從而簡化了學習目標和難度。

2.3 分塊雙向2DPCA + ResNet適配性分析模型構(gòu)建

基于分塊雙向2DPCA + ResNet的景象區(qū)域適配性分析模型如圖2所示。首先，將圖像數(shù)據(jù)集通過分塊雙向2DPCA處理得到包含局部降維后的圖像數(shù)據(jù)；然后通過多次模擬匹配實驗得到匹配概率作為將圖像的適配性基本指標；最后將降維后的圖像數(shù)據(jù)作為ResNet網(wǎng)絡(luò)的輸入，將適配性基本指標經(jīng)二值化處理后作為圖像的網(wǎng)絡(luò)標簽，訓練神經(jīng)網(wǎng)絡(luò)得到景象區(qū)域適配性評估模型。模型將圖像分為適配性較強可用于景象匹配和適配性較差不適用于景象匹配兩類。

圖2 分塊雙向2DPCA + ResNet適配性評估模型示意圖

3 分析與總結(jié)

將待評估圖像輸入基于分塊雙向2DPCA及ResNet的景象區(qū)域適配性評估模型即可得到該圖像的適配性分類結(jié)果。對測試圖像進行窗口大小為的滑動窗口塊采樣，然后通過適配性評估模型對各個采樣塊進行適配性分析。

將結(jié)果與傳統(tǒng)方法對比，結(jié)論如表1所示。

表1 適配性分析方法效果對比

模型模型預測準確率模型訓練耗時 Vgg-16[11]92.5%4.85h A-convNets[12]91.1%0.3h Ours92%0.33h

從對比結(jié)果可知，新的分析方法在測試集上有較高的預測準確率的同時，模型訓練耗時也較短，表明該方法能較為快速、可靠地預測景象區(qū)域的適配性。

基于分塊雙向2DPCA及ResNet的景象區(qū)域適配性分析方法可用于挑選出景象匹配輔助導航的基準圖，在對網(wǎng)絡(luò)標簽計算方式進行修改后也可用于其他圖像質(zhì)量評估的任務，例如人臉識別中的人臉模板的篩選等等。

[1]彭允祥. 捷聯(lián)慣導與導航衛(wèi)星組合技術(shù)的發(fā)展趨勢[J]. 導彈與航天運載技術(shù)，1999（4）：58-62.

[2]劉揚，趙峰偉，金善良. 景象匹配區(qū)的選擇方法[J]. 紅外與激光工程，2001，30（3）：168-170，229.

[3]劉中華，王暉，陳寶國. 景象匹配區(qū)選取方法研究[J]. 計算機技術(shù)與發(fā)展，2013（12）：128-133.