回立川，李萬(wàn)禹，陳藝琳

（遼寧工程技術(shù)大學(xué) 電氣與控制工程學(xué)院，遼寧 葫蘆島 125105）（?通信作者電子郵箱670252229@qq.com）

基于Order-Aware網(wǎng)絡(luò)內(nèi)點(diǎn)篩選網(wǎng)絡(luò)的電力巡線航拍圖像拼接

回立川，李萬(wàn)禹*，陳藝琳

（遼寧工程技術(shù)大學(xué) 電氣與控制工程學(xué)院，遼寧 葫蘆島 125105）（?通信作者電子郵箱670252229@qq.com）

電力巡線圖像紋理復(fù)雜且具有視差變化，針對(duì)傳統(tǒng)算法獲取成對(duì)匹配點(diǎn)數(shù)量較少、配準(zhǔn)精度較低，嚴(yán)重影響電力巡線無(wú)人機(jī)圖像拼接效果等問(wèn)題，提出了一種基于改進(jìn)OANet的圖像拼接算法。首先，借助加速“風(fēng)”（AKAZE）算法對(duì)待拼接電力巡線圖像進(jìn)行粗匹配；其次，對(duì)OANet中Order-Aware模塊添加擠壓和激勵(lì)網(wǎng)絡(luò)（SENet），從而增強(qiáng)網(wǎng)絡(luò)對(duì)局部和全局上下文信息的抓取能力，得到更精確的成對(duì)匹配點(diǎn)；然后，通過(guò)MPA算法配準(zhǔn)待拼接圖像；最后，借助內(nèi)容壓縮感知算法計(jì)算重疊區(qū)域的最佳縫合線以完成圖像拼接。改進(jìn)OANet相較原OANet的正確匹配點(diǎn)數(shù)量增加了10%左右，耗時(shí)平均增加了10 ms；與APAP算法、AANAP算法、MPA算法等配準(zhǔn)拼接算法相比，所提算法的拼接質(zhì)量最好，其待拼接圖像的重疊區(qū)域的均方根誤差為0，非重疊區(qū)域未發(fā)生畸變。實(shí)驗(yàn)結(jié)果表明，所提算法可快速、穩(wěn)定地拼接電力巡線航拍圖像。

電力巡線；圖像拼接；OANet；擠壓和激勵(lì)網(wǎng)絡(luò)；MPA算法；內(nèi)容壓縮感知算法

0 引言

為了保障輸電線路的正常運(yùn)行，需要定期對(duì)輸電線路巡檢。輸電線路走廊范圍較大且距離長(zhǎng)，線路的地形往往十分復(fù)雜，可能跨越江河或者山嶺等，這些區(qū)域借助交通工具行駛是十分不便的。隨著無(wú)人機(jī)技術(shù)的發(fā)展，借助無(wú)人機(jī)完成電力巡線已成為一個(gè)熱門研究方向［1-3］。限于無(wú)人機(jī)機(jī)載相機(jī)的畫幅，需要多次拍攝拼接合成才能得到完整的輸電線路走廊局部圖像。

電力巡線無(wú)人機(jī)輸電線路走廊地圖制作主要分為兩個(gè)環(huán)節(jié)：特征匹配和圖像配準(zhǔn)融合。特征匹配主要通過(guò)局部特征點(diǎn)匹配算法完成，成對(duì)特征點(diǎn)的質(zhì)量和數(shù)量直接影響到形變矩陣配準(zhǔn)的精度；圖像配準(zhǔn)融合通過(guò)成對(duì)特征點(diǎn)的空間位置關(guān)系得到待拼接圖像的位置信息，形變拼接圖像完成配準(zhǔn)，并融合重疊區(qū)域圖像。

成對(duì)特征點(diǎn)的質(zhì)量和數(shù)量直接影響電力線走廊地圖質(zhì)量的好壞，為了得到較好質(zhì)量的成對(duì)匹配點(diǎn)完成圖像拼接，有研究者提出了一種基于改進(jìn)尺度不變特征變換（Scale Invariant Feature Transform， SIFT）算法［4-5］的柱面全景拼接算法，先使用改進(jìn)SIFT算法完成圖像粗匹配，然后借助隨機(jī)采樣一致性（RANdom SAmple Consensus， RANSAC）算法篩選特征點(diǎn)，最后根據(jù)點(diǎn)與點(diǎn)的關(guān)系計(jì)算空間變換矩陣完成圖像拼接。SIFT算法借助高斯函數(shù)構(gòu)建尺度空間，會(huì)導(dǎo)致尺度圖像的角與邊緣信息丟失，造成匹配算法的魯棒性下降。為了進(jìn)一步提高匹配點(diǎn)的質(zhì)量，有研究者提出了一種基于“風(fēng)”算法（KAZE，“風(fēng)”的日文發(fā)音）［6-7］的無(wú)人機(jī)圖像拼接方法，KAZE算法使用非線性濾波構(gòu)建尺度空間，有助于提高成對(duì)特征點(diǎn)的質(zhì)量。SIFT和KAZE算法的描述符均為浮點(diǎn)型，需要使用歐氏距離衡量不同描述符的相似性，耗時(shí)較長(zhǎng)，圖像拼接算法效率較低。有研究者提出了基于加速“風(fēng)”（Accelerated KAZE， AKAZE）算法［8-9］的圖像拼接算法，AKAZE算法匹配點(diǎn)耗時(shí)較少、魯棒性較好，使得圖像配準(zhǔn)精度進(jìn)一步提高。上述幾種方法均通過(guò)RANSAC算法篩選特征點(diǎn)，該算法主要通過(guò)迭代計(jì)算得到最佳的參數(shù)模型，但易把正確匹配點(diǎn)誤判為外點(diǎn)，致使成對(duì)特征點(diǎn)數(shù)量減少。有研究者提出了基于漸進(jìn)一致采樣算法［10-11］的無(wú)人機(jī)航拍圖像拼接算法，漸進(jìn)一致采樣算法篩選內(nèi)點(diǎn)時(shí)根據(jù)匹配結(jié)果由高到低的得分進(jìn)行排序，有助于更好更快地得到參數(shù)模型。有研究者提出了基于網(wǎng)格運(yùn)動(dòng)統(tǒng)計(jì)（Grid-based Motion Statistics， GMS）算法［12-13］的最佳縫合線的密集重復(fù)結(jié)構(gòu)圖像快速拼接方法，該算法首先使用ORB（Oriented FAST（Features from Accelerated Segment Test） and Rotated BRIEF（Binary Robust Independent Elementary Features））算法［14］匹配特征點(diǎn)，然后借助運(yùn)動(dòng)網(wǎng)格算法篩選特征點(diǎn)，最后采用動(dòng)態(tài)規(guī)劃計(jì)算最佳縫合線完成圖像拼接。有研究者提出了基于向量場(chǎng)一致性（Vector Field Consistency， VFC）算法［15-16］的圖像拼接方法，先對(duì)傳統(tǒng)SIFT算法改進(jìn)，然后借助向量場(chǎng)一致性篩選內(nèi)點(diǎn)，最后計(jì)算單應(yīng)性矩陣完成圖像拼接。

綜上所述，成對(duì)匹配點(diǎn)質(zhì)量和數(shù)量直接影響待拼接圖像配準(zhǔn)精度，而常用特征點(diǎn)篩選算法魯棒性較差，保留內(nèi)點(diǎn)數(shù)較少，為了得到更好的電力線走廊地圖，本文提出了一種基于改進(jìn)OANet（Order-Aware Network）［17］的航拍圖像拼接算法。首先，借助AKAZE算法完成圖像粗匹配；然后，對(duì)OANet添加擠壓和激勵(lì)網(wǎng)絡(luò)（Squeeze-and-Excitation Network， SENet）［18］篩選正確匹配點(diǎn)；最后，借助MPA（Mesh-based Photometric Alignment）算法［19］配準(zhǔn)待拼接圖像，并使用內(nèi)容壓縮感知算法［20］對(duì)兩張待拼接圖像重疊區(qū)域分別保留重要度較高和較低區(qū)域，以此為最佳縫合線完成圖像拼接。

1 相關(guān)工作

1.1 OANet內(nèi)點(diǎn)篩選網(wǎng)絡(luò)

OANet會(huì)對(duì)每一對(duì)匹配點(diǎn)的匹配精度添加權(quán)重值，利用這個(gè)權(quán)重值計(jì)算兩張待匹配圖像形變關(guān)系。有若干成對(duì)具有重疊區(qū)域的訓(xùn)練圖像，其中成對(duì)匹配點(diǎn)的關(guān)系為：

或者可用幾何損失函數(shù)表示為：

OANet主要包含四大模塊，分別為：PointCN（Point Context Normalization）網(wǎng)絡(luò)模塊、可微池化（Differentiable Pooling， DiffPool）網(wǎng)絡(luò)模塊、Order-Aware濾波器模塊、Order-Aware Differentiable Unpooling網(wǎng)絡(luò)模塊，如圖1所示。

圖1 OANet結(jié)構(gòu)Fig. 1 OANet structure

1）PointCN網(wǎng)絡(luò)模塊。PointCN網(wǎng)絡(luò)是在點(diǎn)云網(wǎng)絡(luò)（PointNet）的基礎(chǔ)上改進(jìn)得到的，PointNet經(jīng)證明可擬合任意輸入數(shù)據(jù)集合，為了更好得到圖像點(diǎn)在上下文的信息，PointCN提出了上下文歸一化層（Context Normalization）用于提取圖像的全局特征，引入共同感知機(jī)（Shared Perceptron）可更快速有效地提取，如圖2所示。

2）DiffPool網(wǎng)絡(luò)模塊。PointCN盡管可以捕捉圖像的全局信息，但是局部點(diǎn)信息容易丟失，因?yàn)槿鄙冱c(diǎn)與點(diǎn)之間的相互作用，因此在網(wǎng)絡(luò)中添加DiffPool網(wǎng)絡(luò)。DiffPool網(wǎng)絡(luò)可以將無(wú)序的節(jié)點(diǎn)信息聚類采樣，構(gòu)建成M個(gè)類。DiffPool網(wǎng)絡(luò)具有排列不變性，表明不同序列的數(shù)據(jù)輸入都可聚類成一種可學(xué)習(xí)的規(guī)范順序。

3）Order-Aware濾波器模塊，如圖3所示。經(jīng)過(guò)DiffPool網(wǎng)絡(luò)后，匹配點(diǎn)被聚類且是空間有序的，直接使用PointCN網(wǎng)絡(luò)處理，并不能很好地利用空間順序信息，因?yàn)樗雎粤它c(diǎn)與點(diǎn)的空間位置關(guān)系，同時(shí)也不能很好地對(duì)全局上下文信息提取。

圖2 PointCN網(wǎng)絡(luò)Fig. 2 PointCN network

圖3 Order-Aware濾波器模塊Fig. 3 Order-Aware filter module

為了更好地提取點(diǎn)空間和全局上下文信息，OANet借助空間相關(guān)性層（Spatial Correlation）捕捉全局上下文信息。在多層感知機(jī)前后，添加轉(zhuǎn)換層，將通道維度轉(zhuǎn)換為空間維度，使得共享感知機(jī)在空間維度遍歷點(diǎn)與點(diǎn)的聯(lián)系，從而更加高效地捕捉全局上下文信息。在PointCN層是對(duì)通道維度處理，空間相關(guān)性層是對(duì)空間維度處理，加入注意力層（Transpose）可快速提取所需信息，故這兩個(gè)層是正交互補(bǔ)的。

4）Order-Aware Differentiable Unpooling網(wǎng)絡(luò)模塊。DiffPool網(wǎng)絡(luò)被用來(lái)預(yù)測(cè)整個(gè)圖網(wǎng)絡(luò)的標(biāo)簽值，但不適用于稀疏匹配問(wèn)題。因?yàn)樾枰獙?duì)所有的成對(duì)匹配點(diǎn)添加權(quán)重，所以需要在DiffPool網(wǎng)絡(luò)后添加上采樣網(wǎng)絡(luò)。在經(jīng)過(guò)Order-Aware濾波器模塊后，點(diǎn)與點(diǎn)之間丟失了空間順序，所以單純地對(duì)DiffPool網(wǎng)絡(luò)反操作不能恢復(fù)訓(xùn)練數(shù)據(jù)的空間順序，故使用Order-Aware Differentiable Unpooling網(wǎng)絡(luò)模塊輸出的權(quán)重參數(shù)一一對(duì)應(yīng)。

1.2 MPA算法

圖4 網(wǎng)格形變對(duì)光流的校準(zhǔn)Fig. 4 Calibration of optical flow by mesh deformation

2 本文算法

基于局部特征點(diǎn)的圖像拼接算法主要分為三個(gè)部分：特征粗匹配、內(nèi)點(diǎn)篩選和圖像配準(zhǔn)融合。本文先借助AKAZE算法完成特征粗匹配；其次對(duì)OANet的Order-Aware濾波器模塊添加SENet，篩選較好的成對(duì)匹配點(diǎn)；然后借助MPA算法完成圖像配準(zhǔn)，并通過(guò)內(nèi)容壓縮感知算法計(jì)算最佳縫合線，完成圖像拼接，具體流程如圖5所示。

AKAZE算法主要分為三個(gè)部分：非線性尺度空間、特征點(diǎn)提取和MLDB（Modified-Local Difference Binary）描述符構(gòu)建，具體參見(jiàn)文獻(xiàn)［8］。

2.1 改進(jìn)OANet內(nèi)點(diǎn)篩選網(wǎng)絡(luò)

圖1中OANet共有6層Order-Aware濾波器模塊，Order-Aware網(wǎng)絡(luò)結(jié)構(gòu)由兩個(gè)點(diǎn)卷積網(wǎng)絡(luò)和一個(gè)空間相關(guān)性網(wǎng)絡(luò)組成，點(diǎn)卷積網(wǎng)絡(luò)主要對(duì)通道維度處理數(shù)據(jù)，空間相關(guān)性網(wǎng)絡(luò)主要對(duì)空間維度處理數(shù)據(jù)。訓(xùn)練數(shù)據(jù)較多，勢(shì)必有很多冗余信息，為了更好地學(xué)習(xí)樣本特征點(diǎn)的上下文信息，本文提出在Order-Aware網(wǎng)絡(luò)中引入SENet，具體如圖6所示。

圖5 本文算法流程Fig. 5 Flow chart of proposed algorithm

圖6 具有SENet的Order-Aware網(wǎng)絡(luò)Fig. 6 Order-Aware network with SENet

SENet主要分為擠壓（Squeeze）和激勵(lì)（Excitation）操作兩大階段。擠壓主要是將一個(gè)通道上所有空間特征編碼為全局特征，可通過(guò)全局平均池化層得到，表示為：

把原OANet中的Order-Aware結(jié)構(gòu)替換成本文所提的具有SENet的Order-Aware結(jié)構(gòu)，可有效增加網(wǎng)絡(luò)的擬合能力，得到更多穩(wěn)定的正確匹配點(diǎn)。

2.2 航拍圖像計(jì)算最佳縫合線拼接

成對(duì)特征點(diǎn)送入改進(jìn)OANet網(wǎng)絡(luò)后，可得到成對(duì)正確匹配點(diǎn)，根據(jù)成對(duì)匹配點(diǎn)分布可計(jì)算得到兩張航拍圖像的單應(yīng)性矩陣，把單應(yīng)性矩陣代入MPA算法中，通過(guò)最大期望值算法得到最優(yōu)光流網(wǎng)格形變參數(shù)，完成相鄰航拍圖像配準(zhǔn)。對(duì)重疊區(qū)域較為復(fù)雜的航拍圖像，若對(duì)重疊區(qū)域融合，勢(shì)必會(huì)有重影；為了使重疊區(qū)域更加美觀，提出借助內(nèi)容壓縮感知算法計(jì)算最佳縫合線完成圖像拼接。

3 實(shí)驗(yàn)與結(jié)果分析

本文實(shí)驗(yàn)主要分為兩個(gè)部分，驗(yàn)證AKAZE+改進(jìn)OANet算法對(duì)電力巡線航拍圖像的穩(wěn)定性和所提算法對(duì)電力線圖像的拼接效果。為了得到更好的改進(jìn)OANet模型，本文借助University1652-Baseline航拍數(shù)據(jù)集［21］訓(xùn)練OANet和改進(jìn)OANet。

3.1 實(shí)驗(yàn)過(guò)程

圖7為電力訓(xùn)練無(wú)人機(jī)在不同高度拍攝的輸電線路走廊圖片，圖像尺寸均為。實(shí)驗(yàn)分為兩部分：第一部分，借助RANSAC算法、VFC算法、GMS算法、OANet算法與本文所提改進(jìn)OANet算法對(duì)圖7進(jìn)行匹配實(shí)驗(yàn)，驗(yàn)證內(nèi)點(diǎn)篩選數(shù)量和算法耗時(shí)；第二部分，借助APAP（As-Projective-As-Possible）算法［22］、AANAP（Adaptive As-Natural-As-Possible）算法［23］、MPA算法與本文算法進(jìn)行對(duì)比實(shí)驗(yàn)，判斷圖像拼接質(zhì)量。

3.2 結(jié)果分析

本文實(shí)驗(yàn)主要分為特征匹配部分和圖像拼接部分兩部分，從而驗(yàn)證特征匹配過(guò)程的穩(wěn)定性和圖像拼接質(zhì)量。

1）特征匹配部分：先借助AKAZE算法對(duì)待拼接輸電線路航拍圖像完成粗匹配，然后分別通過(guò)VFC、RANSAC、GMS、OANet等算法篩選內(nèi)點(diǎn)，依次與本文所提改進(jìn)OANet算法對(duì)比。

2）圖像拼接部分：APAP、MPA、AANAP等算法使用SIFT算法完成圖像粗匹配，并通過(guò)RANSAC算法篩選匹配點(diǎn)，本文算法按照?qǐng)D5的流程完成。

圖7 實(shí)驗(yàn)圖像示例Fig. 7 Experimental image examples

3.2.1 內(nèi)點(diǎn)篩選效果評(píng)價(jià)

使用AKAZE算法與VFC、GMS、RANSAC、OANet、改進(jìn)OANet算法等內(nèi)點(diǎn)篩選算法對(duì)圖7的實(shí)驗(yàn)圖像中匹配點(diǎn)進(jìn)行統(tǒng)計(jì)，如表1所示。由表1可知，所提改進(jìn)OANet對(duì)電力巡線航拍圖像內(nèi)點(diǎn)篩選效果最好，每一組圖像均保留了大量成對(duì)匹配點(diǎn)，相較原OANet算法匹配點(diǎn)數(shù)量增加了10%左右，由此表明所提算法的適應(yīng)性強(qiáng)、魯棒性好；VFC內(nèi)點(diǎn)篩選算法的穩(wěn)定性最差，對(duì)圖7（b）、（c）組中圖像保留內(nèi)點(diǎn)數(shù)為0；RANSAC算法對(duì)7（a）圖像僅有9個(gè)成對(duì)匹配點(diǎn)，表明該算法適應(yīng)性欠佳；GMS算法對(duì)圖7（a）圖像得到內(nèi)點(diǎn)數(shù)為0，其他組得到匹配點(diǎn)數(shù)也較少，表明其穩(wěn)定性不及改進(jìn)OANet算法。

表1 不同算法的匹配點(diǎn)數(shù)量對(duì)比Tab. 1 Comparison of number of matching points of different algorithms

航拍無(wú)人機(jī)高空拍攝易受到空氣對(duì)流影響，導(dǎo)致相鄰航拍圖像的角度和仿射性發(fā)生變化，為了驗(yàn)證改進(jìn)OANet算法是否具有較好抗角度不變性和抗仿射不變性，改變圖7（a）中目標(biāo)匹配圖像的角度和仿射。

對(duì)圖7（a）中目標(biāo)圖像添加15°和30°的角度旋轉(zhuǎn)，然后進(jìn)行圖像匹配實(shí)驗(yàn)，以檢測(cè)特征點(diǎn)篩選算法的旋轉(zhuǎn)不變性，數(shù)據(jù)結(jié)果如表2所示。VFC算法得到的匹配點(diǎn)數(shù)最多，但正確點(diǎn)數(shù)較少，平均匹配正確率僅為28.39%；RANSAC和GMS算法得到的匹配點(diǎn)較少，在15°變換時(shí)，GMS算法得到的匹配點(diǎn)數(shù)為0；本文所提改進(jìn)OANet算法得到的匹配點(diǎn)數(shù)多于OANet算法，正確匹配點(diǎn)數(shù)也較多，匹配正確率提高了2.86個(gè)百分點(diǎn)。表2結(jié)果表明，所提改進(jìn)OANet算法具有較好的旋轉(zhuǎn)不變性。

對(duì)圖7（a）中的目標(biāo)圖像添加不同程度的仿射變化，以檢測(cè)算法的抗仿射不變性，匹配實(shí)驗(yàn)數(shù)據(jù)結(jié)果如表3所示。第一組實(shí)驗(yàn)中，VFC算法得到的匹配點(diǎn)數(shù)最多，但匹配正確率僅為37.37%，第二組匹配點(diǎn)數(shù)為0，表明VFC算法的魯棒性較差。RANSAC和GMS算法得到的匹配點(diǎn)數(shù)較少，算法適應(yīng)性較差。本文所提改進(jìn)OANet算法得到的匹配點(diǎn)數(shù)比原OANet算法多，匹配正確率提高了0.6個(gè)百分點(diǎn)，表明所提算法具有較強(qiáng)的抗仿射不變性。

表2 不同算法的角度變化匹配數(shù)據(jù)對(duì)比Tab. 2 Angle change matching data comparison of different algorithms

表3 不同算法的仿射變化匹配數(shù)據(jù)對(duì)比Tab. 3 Affine change matching data comparison of different algorithms

圖8為AKAZE+改進(jìn)OANet算法特征匹配效果，線條連接同一對(duì)匹配點(diǎn)。

為了更好地衡量不同算法的效率，AKAZE、VFC、RANSAC、GMS、OANet和改進(jìn)OANet算法均在CPU上運(yùn)行，不同算法的耗時(shí)如表4所示。

表4 不同算法的匹配耗時(shí)對(duì)比 單位： msTab. 4 Matching time consumption comparison of different algorithms unit： ms

由表4可知，GMS內(nèi)點(diǎn)篩選算法耗時(shí)最少，其次是RANSAC算法、VFC算法以及RANSAC算法，本文所提改進(jìn)OANet算法的內(nèi)點(diǎn)篩選速度最慢。

GMS、RANSAC、VFC算法的內(nèi)點(diǎn)篩選效率均較快，但魯棒性較差，VFC算法對(duì)圖7（b）、（c）的內(nèi)點(diǎn)保有量為0，GMS算法對(duì)圖7的內(nèi)點(diǎn)保有量也較少。本文提出的改進(jìn)OANet算法，雖效率較低，但魯棒性較好，能得到大量?jī)?yōu)質(zhì)的成對(duì)特征點(diǎn)。

3.2.2 拼接效果評(píng)價(jià)

APAP算法、AANAP算法、MPA算法和本文算法對(duì)圖7（b）的拼接效果如圖9所示，對(duì)電力塔、建筑物和公路區(qū)域進(jìn)行了局部放大。

圖8 AKAZE+改進(jìn)OANet算法匹配效果（線條連接同一對(duì)匹配點(diǎn)）Fig. 8 AKAZE+improved OANet algorithm matching effect （lines connecting same pairs of matching points）

圖9 不同算法對(duì)圖7（b）的拼接局部放大圖比較Fig. 9 Partial enlarged stitched images comparison of different algorithms on fig. 7（b）

圖9（a）為APAP算法拼接效果，APAP算法借助網(wǎng)格形變配準(zhǔn)對(duì)重疊區(qū)域拼接效果較好，無(wú)明顯重影，但未對(duì)非重疊區(qū)域限制，造成了電力塔絕緣子出現(xiàn)扭曲。AANAP算法先借助APAP算法局部調(diào)整重疊區(qū)域，然后再借助全局最優(yōu)相似變換矩陣限定非重疊區(qū)域，并在邊緣處設(shè)定錨點(diǎn)，防止出現(xiàn)畸變。圖9（b）中，建筑物區(qū)域未出現(xiàn)重影，電力塔也未出現(xiàn)失真，但圖像邊緣區(qū)域出現(xiàn)嚴(yán)重畸變，MPA算法把圖像配準(zhǔn)轉(zhuǎn)化為最小化光流配準(zhǔn)能量函數(shù)，借助最大期望值算法得到最優(yōu)配準(zhǔn)參數(shù)。圖9（c）中，非重疊區(qū)電力塔未出現(xiàn)失真，重疊區(qū)域內(nèi)建筑物和電力塔絕緣子的邊緣區(qū)域紋理較為復(fù)雜，故有輕微重影。本文算法在MPA算法基礎(chǔ)上，提出了對(duì)重疊區(qū)域通過(guò)內(nèi)容壓縮感知計(jì)算最佳縫合線，對(duì)兩張待拼接圖像重疊區(qū)域分別保留重要度較低和較高區(qū)域，拼接得到完整圖像。圖9（d）中，非重疊區(qū)域未出現(xiàn)畸變，重疊區(qū)域內(nèi)建筑物和公路拼接效果很好，未出現(xiàn)重影，拼接效果很符合原始場(chǎng)景。

圖10為本文算法對(duì)圖7（a）、（c）和（d）的拼接效果圖，重疊區(qū)域未出現(xiàn)重影，非重疊區(qū)域沒(méi)有失真，拼接圖像很好地復(fù)原了原始場(chǎng)景。

本文通過(guò)兩張待拼接圖像重疊區(qū)域的均方根誤差（Root Mean Square Error， RMSE）判斷不同的算法拼接質(zhì)量，均方根誤差的計(jì)算式為：

圖10 本文算法對(duì)圖7（a）、（c）和（d）的拼接效果Fig. 10 Stitching effects of proposed algorithm on fig. 7（a）、（c） and （d）

表5為APAP、AANAP、MPA和本文算法對(duì)圖7電力線航拍圖像得到的均方根誤差。由表5可知，AANAP算法的均方根值誤差最大，APAP算法次之。由于APAP算法和AANAP算法配準(zhǔn)依靠成對(duì)特征點(diǎn)的數(shù)量和質(zhì)量，若是成對(duì)特征點(diǎn)數(shù)量較少或者存在錯(cuò)誤匹配點(diǎn)，會(huì)嚴(yán)重影響配準(zhǔn)精度；MPA算法先利用成對(duì)特征點(diǎn)計(jì)算單應(yīng)性矩陣，然后把圖像配準(zhǔn)轉(zhuǎn)化為光流最優(yōu)化問(wèn)題，對(duì)成對(duì)特征點(diǎn)要求較低，因此，成對(duì)特征點(diǎn)中存在少量錯(cuò)誤匹配點(diǎn)，不會(huì)對(duì)MPA算法配準(zhǔn)造成影響。由于本文借助內(nèi)容壓縮感知算法計(jì)算重疊區(qū)域最佳縫合線，對(duì)兩張待拼接圖像分別保留重要度較高和較低區(qū)域拼接，故配準(zhǔn)均方根誤差均為0。

表5 不同算法的配準(zhǔn)均方根誤差對(duì)比Tab. 5 Root mean square error comparison of registration of different algorithms

表6為不同算法的配準(zhǔn)耗時(shí)（未統(tǒng)計(jì)匹配算法和特征點(diǎn)篩選算法耗時(shí)）。由表6可知，APAP算法配準(zhǔn)最快，AANAP算法最慢；本文所提算法在使用MPA配準(zhǔn)后，需借助內(nèi)容壓縮感知算法計(jì)算最佳縫合線，故拼接時(shí)間多于MPA算法。

綜上所述，本文算法對(duì)電力線圖像的拼接效果最好，可最大限度地還原真實(shí)電力線走廊場(chǎng)景，待拼接圖像的重疊區(qū)域均方根誤差最小，配準(zhǔn)精度最高，拼接效果較好。所提算法可快速有效地構(gòu)建輸電線路走廊地圖，廣泛應(yīng)用于無(wú)人機(jī)電力巡線。

表6 不同算法的配準(zhǔn)耗時(shí)對(duì)比 單位：sTab. 6 Registration time consumption comparison of different algorithms unit：s

4 結(jié)語(yǔ)

本文提出了一種基于改進(jìn)OANet的電力巡線無(wú)人機(jī)航拍圖像拼接算法。首先，使用AKAZE算法完成圖像粗匹配；然后，對(duì)OANet添加SENet，更好地?cái)M合了網(wǎng)絡(luò)模型，得到了更多穩(wěn)定成對(duì)匹配點(diǎn)；最后，借助MPA算法配準(zhǔn)電力巡線圖像，并對(duì)重疊區(qū)域計(jì)算最佳縫合線完成圖像拼接。實(shí)驗(yàn)結(jié)果表明，本文算法可保留大量匹配內(nèi)點(diǎn)，拼接效果較好還原了現(xiàn)實(shí)場(chǎng)景。在接下來(lái)的研究中，將著重提高特征粗匹配魯棒性，使用深度學(xué)習(xí)方法完成圖像匹配。

[1] 郭一江，王衛(wèi)紅，鄭潔，等.基于無(wú)人機(jī)巡線數(shù)據(jù)的電力走廊可視化研究［J］.西南科技大學(xué)學(xué)報(bào)，2020，35（3）：92-96.（GUO Y J， WANG W H，ZHENG J， et al. Research on power corridor visualization based on UAV line inspection data ［J］. Journal of Southwest University of Science and Technology， 2020， 35（3）： 92-96.）

[2] 鄭貴林，張麗.自旋翼飛機(jī)電力巡線技術(shù)研究與應(yīng)用［J］.中國(guó)電力，2014，47（7）：26-31.（ZHENG G L， ZHANG L. Research and application of auto-gyro power line inspection technology ［J］. Electric Power， 2014， 47（7）： 26-31.）

[3] 羅昊，蘇盛，楊浩，等.基于FPGA的電力巡線無(wú)人機(jī)硬件加密通信方法［J］.中國(guó)電力，2019，52（7）：11-16.（LUO H， SU S， YANG H， et al. FPGA-based hardware encryption of power line patrol drones ［J］. Electric Power，2019， 52（7）： 11-16.）

[4] 朱慶輝，尚媛園，邵珠宏，等.局部特征及視覺(jué)一致性的柱面全景拼接算法［J］.中國(guó)圖象圖形學(xué)報(bào)，2016，21（11）：1523-1529.（ZHU Q H， SHANG Y Y，SHAO Z H， et al. Cylindrical panorama stitching algorithm based on local features and vision consistence ［J］. Journal of Image and Graphics， 2016， 21（11）： 1523-1529.）

[5] LOWE D G. Distinctive image features from scale-invariant keypoints ［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[6] 韓敏，閆闊，秦國(guó)帥.基于改進(jìn)KAZE的無(wú)人機(jī)航拍圖像拼接算法［J］.自動(dòng)化學(xué)報(bào)，2019，45（2）：305-314.（HAN M， YAN K， QIN G S. A mosaic algorithm for UAV aerial image with improved KAZE ［J］. Acta Automatica Sinica， 2019， 45（2）： 305-314.）

[7] ALCANTARILLA P F， BARTOLI A， DAVISON A J. KAZE features ［C］// Proceedings of the 2012 European Conference Computer Vision， LNCS 7577. Berlin： Springer， 2012： 214-227.

[8] 閆璠，張瑩，高贏，等.基于AKAZE算法的圖像拼接研究［J］.電子測(cè)量與儀器學(xué)報(bào)，2017，31（1）：36-44.（YAN F， ZHANG Y， GAO Y， et al. Research of image stitching based on AKAZE algorithm ［J］. Journal of Electronic Measurement and Instrumentation， 2017， 31（1）： 36-44.）

[9] ALCANTARILLA P F， NUEVO J， BARTOLI A. Fast explicit diffusion for accelerated features in nonlinear scale spaces ［C］// Proceedings of the 2013 British Machine Vision Conference. Durham： BMVA Press， 2013：Article No.13.

[10] 李振宇，田源，陳方杰，等.基于改進(jìn)ORB和PROSAC的無(wú)人機(jī)航拍圖像拼接算法［J］.激光與光電子學(xué)進(jìn)展，2019，56（23）：83-91.（LI Z Y， TIAN Y， CHEN F J，et al. Aerial image stitching algorithm for unmanned aerial vehicles based on improved ORB and PROSAC ［J］. Laser and Optoelectronics Progress， 2019， 56（23）： 83-91.））

[11] CHUM O， MATAS J. Matching with PROSAC — progressive sample consensus ［C］// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2005： 220-226.

[12] 牟琦，唐洋，李占利，等.基于網(wǎng)格運(yùn)動(dòng)統(tǒng)計(jì)算法和最佳縫合線的密集重復(fù)結(jié)構(gòu)圖像快速拼接方法［J］.計(jì)算機(jī)應(yīng)用，2020，40（1）：239-244.（MU Q， TANG Y， LI Z L， et al. Fast stitching method for dense repetitive structure images based on grid-based motion statistics algorithm and optimal seam ［J］. Journal of Computer Applications， 2020， 40（1）： 239-244.）

[13] BIAN J W， LIN W Y， MATSUSHITA Y， et al. GMS： grid-based motion statistics for fast，ultra-robust feature correspondence ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2828-2837.

[14] RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： an efficient alternative to SIFT or SURF ［C］// Proceedings of the 2011 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2011： 2567-2571.

[15] 張進(jìn)，趙相偉，欒吉山，等.改進(jìn)FAST和對(duì)立顏色特征的向量場(chǎng)一致性匹配［J］.測(cè)繪通報(bào)，2020（11）：50-54.（ZHANG J， ZHAO X W， LUAN J S， et al. The vector field consistent matching of FAST and opposite color features is improved ［J］. Bulletin of Surveying and Mapping， 2020（11）： 50-54.）

[16] MA J Y， ZHAO J， TIAN J W， et al. Robust point matching via vector field consensus ［J］. IEEE Transactions on Image Processing， 2014， 23（4）： 1706-1721.

[17] ZHANG J H， SUN D W， LUO Z X， et al. Learning two-view correspondences and geometry using Order-Aware Network ［EB/OL］. ［2020-02-10］. https：//arxiv.org/pdf/1908.04964.pdf.

[18] HU J， SHEN L， ALBANIE S， et al. Squeeze-and-excitation networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（8）： 2011-2023.

[19] LIN K M， JIANG N J， LIU S C， et al. Direct photometric alignment by mesh deformation ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2701-2709.

[20] 胡浩慧，倪蓉蓉，趙耀.圖像內(nèi)容感知縮放的檢測(cè)方法研究［J］.軟件學(xué)報(bào)，2018，29（4）：1002-1016.（HU H H， NI R R， ZHAO Y. Research on detection method of content-aware image resizing ［J］. Journal of Software， 2018， 29（4）： 1002-1016.）

[21] ZHENG Z D， WEI Y C， YANG Y. University-1652： a multi-view multi-source benchmark for drone-based geo-localization ［C］// Proceedings of the 2020 28th ACM International Conference on Multimedia. New York： ACM， 2020： 1395-1403.

[22] ZARAGOZA J， CHIN T J， BROWN M S， et al. As-projective-as-possible image stitching with moving DLT ［C］// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2013： 2339-2346.

[23] LIN C C， PANKANTI S U， RAMAMURTHY K N， et al. Adaptive as-natural-as-possible image stitching ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1155-1163.

Power line inspection aerial image stitching based on Order-Aware network internal point screening network

HUI Lichuan， LI Wanyu*， CHEN Yilin

（Faculty of Electrical and Control Engineering，Liaoning Technical University，Huludao Liaoning125105，China）

The texture of power line inspection images with parallax variation is complex， the number of paired matching points obtained by traditional algorithms is less and the registration accuracy is low， which seriously affect the stitching effect of power line inspection unmanned aerial vehicle image. In order to solve the problems， a new image stitching method based on improved Order-Aware Network （OANet） was proposed. Firstly， the Accelerated KAZE （AKAZE） algorithm was adopted to match the power line inspection images to be stitched roughly. Secondly， the Squeeze-and-Excitation Networks （SENet） was added to the Order-Aware module in OANet， which helped to enhance the grasping ability of the network for both the local and global context information， and more accurate paired matching points were obtained. Then，the Mesh-based Photometric Alignment （MPA） algorithm was used to register the images to be stitched. Finally， the optimal suture line in the overlapping area was calculated by the content compressed sensing algorithm to complete image stitching. The number of correct matching points of the improved OANet network is about 10% higher than that of the original OANet network with time consumption increased by 10 ms on average. Compared with the registration stitching algorithms such as As-Projective-As-Possible （APAP） algorithm， Adaptive As-Natural-As-Possible （AANAP） algorithm and MPA algorithm， the proposed algorithm has the highest stitching quality with the root mean square error of the overlapping area of the images to be stitched is 0 and no distortion in the non-overlapping area. Experimental results show that， the proposed algorithm can stitch the aerial images of power line inspection quickly and stably.

power line; inspection image stitching; Order-Aware Network (OANet); Squeeze-and-Excitation Network (SENet); Mesh-based Photometric Alignment (MPA) algorithm; content compressed sensing algorithm

TP391

A

1001-9081（2022）05-1583-08

10.11772/j.issn.1001-9081.2021030493

2021?04?01；

2021?05?18；

2021?05?18。

遼寧省教育廳科學(xué)研究項(xiàng)目（LJ2017QL009）。

回立川（1980—），男，河北邢臺(tái)人，副教授，博士，主要研究方向：電力系統(tǒng)運(yùn)行監(jiān)測(cè)； 李萬(wàn)禹（1993—），男，遼寧大連人，碩士研究生，主要研究方向：電力系統(tǒng)運(yùn)行監(jiān)測(cè)； 陳藝琳（1994—），女，河北阜城人，碩士研究生，主要研究方向：電力系統(tǒng)運(yùn)行監(jiān)測(cè)。

This work is partially supported by Scientific Research Project of Educational Department of Liaoning Province （LJ2017QL009）.

HUI Lichuan， born in 1980， Ph. D.， associate professor. His research interests include power system operation monitoring.

LI Wanyu， born in 1993， M. S. candidate. His research interests include power system operation monitoring.

CHEN Yilin， born in 1994， M. S. candidate. Her research interests include power system operation monitoring.