亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于深度學(xué)習(xí)的輸配電線路巡檢無人機(jī)自定位技術(shù)研究

        2024-01-01 00:00:00周帥于虹張馳沈鋒
        關(guān)鍵詞:無人機(jī)深度學(xué)習(xí)

        摘 要:精確的位姿信息是保障巡檢無人機(jī)高效運(yùn)行的關(guān)鍵要素,但是由于輸配電線路分布廣泛,傳統(tǒng)基于GNSS的無人機(jī)定位方式極易因受到遮擋而難以提供穩(wěn)定的位姿信息。本文利用了機(jī)巡無人機(jī)平臺(tái)搭載的單目相機(jī)和IMU,在傳統(tǒng)基于卷積神經(jīng)網(wǎng)絡(luò)的視覺里程計(jì)模型基礎(chǔ)上,結(jié)合長短期記憶神經(jīng)網(wǎng)絡(luò)和IMU信息,提出了基于視覺慣性實(shí)例分割的深度學(xué)習(xí)模型,有效提升了系統(tǒng)的魯棒性和運(yùn)動(dòng)解算精度,通過對提出的自定位模型進(jìn)行實(shí)驗(yàn)評估,展示了模型的訓(xùn)練效果,并針對無人機(jī)的應(yīng)用環(huán)境設(shè)計(jì)了現(xiàn)場實(shí)驗(yàn),最終VIPS-Mono模型下的平均定位誤差為0.058m,優(yōu)于CNN-LSTM-VO模型下的0.234m。結(jié)果表明,本文所提的模型可為輸電線路巡檢無人機(jī)的自定位提供有效支撐。

        關(guān)鍵詞:無人機(jī);深度學(xué)習(xí);自定位技術(shù)

        DOI:10.15938/j.jhust.2024.04.014

        中圖分類號(hào): O348.8

        文獻(xiàn)標(biāo)志碼: A

        文章編號(hào): 1007-2683(2024)04-0123-09

        Research on Self-positioning Technology of Overhead Transmission Line Robot

        ZHOU Shuai1,2, YU Hong1, ZHANG Chi2, SHEN Feng2

        (1.Electric Power Research Institute, Yunnan Power Grid Co., Ltd., Kunming 650217, China;

        2.School of Instrumentation Science and Engineering, Harbin Institute of Technology, Harbin 150006, China)

        Abstract:Accurate position information is a key element to ensure the efficient operation of inspection UAVs, but due to the widespread distribution of transmission and distribution lines, the traditional GNSS-based UAV positioning method is very likely to be obstructed and difficult to provide stable position information. In this paper, the monocular camera and IMU carried by the machine patrol UAV platform are utilized. Based on the traditional visual odometry model utilizing convolutional neural network, combined with the long and short-term memory neural network and IMU information, a deep learning model based on the segmentation of visual inertial instances is proposed, which effectively improves the robustness of the system and the accuracy of the motion solution. Through experimental evaluation of the proposed self-localization model, the training effectiveness of the model is demonstrated. Field experiments are designed to address the application environment of UAVs. The final average localization error under the VIPS-Mono model is 0.058m, which is better than that under the CNN-LSTM-VO model of 0.234m. The results show that the model proposed in this paper can provide effective support for the self-localization of the UAVs for power transmission line inspections.

        Keywords:UAV; deep learning; self-positioning technology

        0 引 言

        隨著電網(wǎng)建設(shè)的大規(guī)模開展,電網(wǎng)基礎(chǔ)建設(shè)朝著智能化、大容量、大跨度輸送電力方向發(fā)展。輸配電線路的運(yùn)行維護(hù)任務(wù)強(qiáng)度也逐漸加大。由于客觀原因,大量的輸配電線路都分布在戶外,并且覆蓋面積廣,極易受到惡劣自然環(huán)境和人為因素影響,進(jìn)而產(chǎn)生重大的安全隱患。因此,開展輸配電線路狀態(tài)監(jiān)測研究工作具有重要意義[1-8。目前,云南電網(wǎng)公司在輸配電線路巡檢方面部署了大量機(jī)載平臺(tái),極大的提高了輸配電線路巡檢效率,但是,當(dāng)前在實(shí)際應(yīng)用方面仍有較大提升空間。

        無人機(jī)運(yùn)行在輸電線路上,高空環(huán)境下背景較為單一,加之在室外較強(qiáng)光照的影響下,通過幾何變換求解視覺里程計(jì)的方法無法取得較好的效果[9-13。本章節(jié)研究一種通過深度學(xué)習(xí)的方式來求解無人機(jī)自身的位姿變化,實(shí)現(xiàn)自定位。

        傳統(tǒng)的視覺里程計(jì)方法中,特征點(diǎn)法需要人為設(shè)計(jì)特征,在特征提取時(shí)計(jì)算較為復(fù)雜,導(dǎo)致效率較低;直接法不需要提取特征點(diǎn),但是在相機(jī)運(yùn)動(dòng)較快,光照條件較為惡劣等情況下,表現(xiàn)效果較差[14。隨著深度學(xué)習(xí)的不斷發(fā)展,人們將深度學(xué)習(xí)方法引入到視覺里程計(jì)(visual odometry, VO)中,改善了傳統(tǒng)方法的弊端。

        2015年,KONDA 等[15借助卷積神經(jīng)網(wǎng)絡(luò)提出一種端到端的相機(jī)位姿估計(jì)方法,驗(yàn)證了使用深度學(xué)習(xí)方法進(jìn)行相機(jī)位姿估計(jì)的可行性。同年,PoseNet方法由Kendall 等[16-18提出,通過運(yùn)動(dòng)結(jié)構(gòu)(Structure from Motion, SfM)生成樣本標(biāo)簽,使用卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)的方式進(jìn)行訓(xùn)練,可以較為準(zhǔn)確的估計(jì)出相機(jī)的方向和速度。而后Wang等[19提出一種DeepVO網(wǎng)絡(luò),在卷積神經(jīng)網(wǎng)絡(luò)后引入循環(huán)神經(jīng)網(wǎng)絡(luò)處理圖像序列問題,在相機(jī)位姿估計(jì)方面取得了較好的實(shí)驗(yàn)效果,后續(xù)的應(yīng)用循環(huán)卷積神經(jīng)網(wǎng)絡(luò)求解單目相機(jī)位姿的方法大都參考了該方法的網(wǎng)絡(luò)框架。

        2018年,Costante等[20使用了三種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)用于學(xué)習(xí)視覺里程計(jì)的特征,網(wǎng)絡(luò)的輸入為稠密光流,這種方式增加了該方法在光照惡劣與畫質(zhì)不清晰情況下的魯棒性,由于缺少相機(jī)高速運(yùn)動(dòng)的樣本用于模型訓(xùn)練,當(dāng)兩幀圖像相差較大時(shí),估計(jì)結(jié)果較差。

        2020年,Pang等[21-23提出一種多模態(tài)學(xué)習(xí)網(wǎng)絡(luò)CLOCs,同時(shí)學(xué)習(xí)雷達(dá)與圖像兩種數(shù)據(jù)集,相較于僅對圖像進(jìn)行學(xué)習(xí)的方式,在穩(wěn)定性與位姿估計(jì)精度方面均取得了不錯(cuò)的效果。

        當(dāng)下,視覺里程計(jì)方法在機(jī)器人研究領(lǐng)域得到了廣泛的應(yīng)用,以深度學(xué)習(xí)方法為代表的視覺里程計(jì)研究取得了較大的發(fā)展,在背景單一、光照惡劣等情況下彌補(bǔ)了傳統(tǒng)方法的不足,但是相較于傳統(tǒng)的研究方法,在整體效果上還有一定的距離。本文用卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)卷積神經(jīng)網(wǎng)絡(luò)和單目視覺慣性測量單元(inertial measurement unit, IMU)語義融合系統(tǒng)三種方法對無人機(jī)自定位問題展開研究,探究三種方法對于無人機(jī)應(yīng)用自定位的實(shí)驗(yàn)效果。

        1 基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的視覺里程計(jì)模型

        傳統(tǒng)基于卷積神經(jīng)網(wǎng)絡(luò)的視覺里程計(jì)模型僅僅利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)相鄰兩張圖片之間的幾何變化關(guān)系,考慮到網(wǎng)絡(luò)的輸入為序列圖片,即連續(xù)多幀圖片,研究引入循環(huán)神經(jīng)網(wǎng)絡(luò)充足利用時(shí)間序列的輸入圖片。根據(jù)前文對循環(huán)神經(jīng)網(wǎng)絡(luò)的介紹,最終選擇長短期記憶(long short-term memory, LSTM)連接在CNN-VO網(wǎng)絡(luò)之后,形成CNN-LSTM-VO網(wǎng)絡(luò)來解決多幀圖片之間位姿估計(jì)問題。

        循環(huán)神經(jīng)網(wǎng)絡(luò)(rerrent neural network, RNN)主要被用于處理序列相關(guān)的問題,視覺里程計(jì)的輸入為連續(xù)的多幀圖像,因此考慮引入循環(huán)神經(jīng)網(wǎng)絡(luò)來解決多幀圖片之間的序列問題。RNN模型結(jié)構(gòu)如圖1所示,可用式(1)表示:

        ht=f(ht-1,xt)(1)

        其中:x=(x1,x2,…,xn)標(biāo)志輸入序列,上標(biāo)代表序列時(shí)間;y=(y1,y2,…,yn)表示每個(gè)時(shí)刻對應(yīng)的輸出序列;h=(h1,h2,…,hn)表示RNN內(nèi)部隱藏狀態(tài)。

        RNN所代表的循環(huán)層內(nèi)部運(yùn)算如圖2所示。其中,虛線部分表示循環(huán)層中的運(yùn)算,以第t+1個(gè)循環(huán)單元為例,W表示權(quán)重參數(shù),選擇tanh函數(shù)作為激活函數(shù),則運(yùn)算流程可由式(2)表示。

        Ht+1=tanh(HtWHH+Xt+1WXH)(2)

        若在RNN中使用了偏置,計(jì)算式由式(2)變?yōu)槭剑?),最后的輸出結(jié)果由式(4)獲得。

        Ht+1=tanh(HtWHH+bHH+Xt+1WXH+bXH)(3)

        Yt+1=Ht+1WHY(4)

        盡管循環(huán)神經(jīng)網(wǎng)絡(luò)已經(jīng)能夠很好地對輸入的序列數(shù)據(jù)進(jìn)行處理,但它有一個(gè)弊端,就是不能進(jìn)行長期記憶,其帶來的影響就是如果近期輸入的數(shù)據(jù)發(fā)生了變化,則會(huì)對當(dāng)前的輸出結(jié)果產(chǎn)生重大影響。為了避免這種情況的出現(xiàn),Hochreiter與Schmidhuber在1997年提出了LSTM [24類型的循環(huán)神經(jīng)網(wǎng)絡(luò)模型。

        LSTM由一系列LSTM單元組成,其具體結(jié)構(gòu)如圖3所示。LSTM采用了三個(gè)門(gate)分別處理輸入信號(hào)、內(nèi)部狀態(tài)以及輸出信號(hào),其中輸入門對輸入有選擇性地進(jìn)行“記憶”,決定有多少輸入信號(hào)xt可以保存到單元狀態(tài)ct;遺忘門對上一個(gè)節(jié)點(diǎn)傳進(jìn)來的單元狀態(tài)ct-1進(jìn)行過濾,決定遺忘多少信息;輸出門控制單元狀態(tài)ct有多少輸出到LSTM的輸出值ht。

        門其實(shí)是一層全連接層,輸入是一個(gè)向量,輸出是一個(gè)0到1之間的實(shí)數(shù)向量。門的計(jì)算方程由式(7)~(8)表示。其中,Wc,Wi,Wf與Wo分別表示單元狀態(tài)、輸入門、遺忘門與輸出門的權(quán)重矩陣,[ht-1,xt]表示把兩個(gè)向量連接成一個(gè)更長的向量,b代表每一項(xiàng)對應(yīng)的偏置,σ代表sigmoid函數(shù)。

        at=tanh(Wc·[ht-1,xt]+ba)=tanh(t)(5)

        it=σ(Wi·[ht-1,xt]+bi)=σ(i^t)(6)

        ft=σ(Wf·[ht-1,xt]+bf)=σ(f^t)(7)

        ot=σ(Wo·[ht-1,xt]+bo)=σ(t)(8)

        在不考慮偏置與非線性環(huán)節(jié)的情況下,有:

        zt=ti^tf^tt=

        WcWiWfWo[ht-1 xt]=WIt(9)

        LSTM單元狀態(tài)的更新方程由式(10)表示,隱節(jié)點(diǎn)的輸出ht可由式(11)計(jì)算得出,其中⊙表示向量點(diǎn)乘運(yùn)算。

        ct=it⊙a(bǔ)t+ft⊙ct-1(10)

        ht=ot⊙tanh(ct)(11)

        LSTM按時(shí)間展開的結(jié)構(gòu)如圖所示。相鄰兩個(gè)時(shí)刻的數(shù)據(jù)在LSTM方法中通過狀態(tài)c和h進(jìn)行傳遞25。

        CNN-LSTM-VO網(wǎng)絡(luò)框架如圖5所示,與經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)的預(yù)處理過程一致,將輸入圖片微調(diào)大小至1280×384。將輸入的n+1張圖片(t0~tn)組成n組圖片對輸入給卷積層進(jìn)行特征提??;在CNN層后面引入一層最大池化層,降低特征圖譜的維度,從而大大減少了LSTM層需要訓(xùn)練的參數(shù)量;池化層輸出大小為10×3×1024的張量數(shù)據(jù),輸入至兩層LSTM層,每個(gè)時(shí)刻LSTM輸出的數(shù)據(jù)再經(jīng)過全連接層降維,最后經(jīng)過特征濃縮得到6維表示相互鄰近圖片之間的相對位置姿態(tài)變化,即(Δx,Δy,Δz,Δφ,Δχ,Δ)。

        2 單目視覺IMU語義融合系統(tǒng)

        在以上基礎(chǔ)上,本文額外引入IMU信息,提出VIPS-Mono系統(tǒng),框架[26如圖6所示。IMU信息源于KITTI數(shù)據(jù)集,KITTI數(shù)據(jù)集是一個(gè)用于自動(dòng)駕駛場景下的計(jì)算機(jī)視覺算法測評數(shù)據(jù)集,數(shù)據(jù)集包含場景有市區(qū)、鄉(xiāng)村和高速公路等,KITTI數(shù)據(jù)集由立體圖像、光流圖、視覺測距序列、3D標(biāo)注物體的圖像等內(nèi)容組成。在數(shù)據(jù)集中,IMU(其實(shí)應(yīng)該是IMU+GPS或者慣性導(dǎo)航系統(tǒng)INS)數(shù)據(jù)的30個(gè)字段值,包含有空間位置(緯度lat、經(jīng)度lon、海拔高度alt)、姿態(tài)(橫滾角roll、俯仰角pitch、航向角yaw)、位置精度pos_accuracy、導(dǎo)航狀態(tài)navstat、速度模式velmode和方位模式orimode等多個(gè)信息。如圖中綠色區(qū)域,利用圖像池技術(shù),使得系統(tǒng)不會(huì)立刻處理當(dāng)前輸入幀,而是將當(dāng)前輸入幀置于序列之后。當(dāng)語義分割進(jìn)程處理完上一分割幀時(shí),把當(dāng)前圖像池中的最后幀設(shè)置為分割幀。VIPS-Mono以單目相機(jī)與IMU測量為輸入。利用BlendMask 輸出了(1)每一個(gè)備選運(yùn)動(dòng)物體的錨定框(Bounding box)。(2)每一個(gè)備選運(yùn)動(dòng)物體的掩膜(Mask)。

        系統(tǒng)結(jié)合了IMU的測量數(shù)據(jù)求解了相機(jī)運(yùn)動(dòng)尺度與重力矢量,為了削弱運(yùn)動(dòng)物體在初始化過程中對于結(jié)果的影響,我們剔除了運(yùn)動(dòng)物體掩膜上所有特征。除此之外,由于KITTI中目標(biāo)在高速運(yùn)動(dòng),所以我們直接利用KITTI 數(shù)據(jù)中的GPS/IMU 數(shù)據(jù)作為輸入,并將輸出結(jié)果給到滑動(dòng)窗口中。藍(lán)色模塊利用圖像池中數(shù)據(jù)與 BlendMask 輸出的掩膜分割備選運(yùn)動(dòng)物體.利用運(yùn)動(dòng)物體判定算法篩選目標(biāo)。最后跟蹤運(yùn)動(dòng)物體。并根據(jù)每個(gè)運(yùn)動(dòng)物體上的特征點(diǎn)解算物體運(yùn)動(dòng),其中平移量為相機(jī)運(yùn)動(dòng)與物體運(yùn)動(dòng)的綜合,且無尺度約束。橙色區(qū)域利用BlendMask輸出的錨定框解算當(dāng)前坐標(biāo)系下目標(biāo)物體的相對位置,并根據(jù)物體深度高度聯(lián)合優(yōu)化算法進(jìn)行優(yōu)化.計(jì)算目標(biāo)的運(yùn)動(dòng)尺度。最后結(jié)合CNN-LSTM-VO與IMU計(jì)算部分的輸出結(jié)果獲得真實(shí)世界尺度下的載體自運(yùn)動(dòng)參數(shù)。

        3 無人機(jī)自定位實(shí)驗(yàn)驗(yàn)證

        本文選擇KITTI數(shù)據(jù)集中帶定位真值的前11個(gè)場景序列,其中,訓(xùn)練集選自序列00,01,02,05,08,09,測試集選自序列03,04,06,07,10。在模型訓(xùn)練過程中,驗(yàn)證集從訓(xùn)練集序列中隨機(jī)挑選,并采用不放回抽樣的方式保證驗(yàn)證集與訓(xùn)練集的不同。

        3.1 視覺里程計(jì)訓(xùn)練過程

        模型訓(xùn)練時(shí),具體參數(shù)設(shè)置如表1所示。整個(gè)訓(xùn)練過程花費(fèi)12 h達(dá)到一個(gè)較小的訓(xùn)練誤差,為避免過擬合,在表1的Conv6_1與第一層全連接層之間,第一層與第二層全連接層之間分別加入Dropout,同時(shí)引入early stopping技術(shù),在過擬合之前停止訓(xùn)練。

        如圖7所示,圖中誤差表示loss值,通常數(shù)據(jù)集會(huì)被劃分成三部分,訓(xùn)練集(training dataset)、驗(yàn)證集(validation dataset)、測試集(test dataset)。訓(xùn)練模型時(shí)也經(jīng)常會(huì)根據(jù)訓(xùn)練集的loss和驗(yàn)證集loss來診斷模型,從而期望能夠優(yōu)化參數(shù)訓(xùn)練出一個(gè)更好的模型,即泛化能力(generalization)強(qiáng)的模型。在loss曲線上的特點(diǎn)是training loss和validation loss都已經(jīng)收斂并且之間相差很小很小。

        如圖7所示,模型在20輪過后,兩個(gè)loss曲線都開始收斂,而且兩者之間并沒有肉眼的差距模型訓(xùn)練誤差曲線(藍(lán)色)與驗(yàn)證誤差曲線(橙色)隨著迭代次數(shù)的增加,在對應(yīng)批次數(shù)據(jù)上的誤差逐漸收斂,最終兩者的誤差達(dá)到一個(gè)較小的范圍。

        3.2 視覺慣性里程計(jì)訓(xùn)練過程

        模型訓(xùn)練時(shí),本文隨機(jī)選取序列圖像中的一幀圖像作為起始幀,向后連續(xù)取出一定數(shù)量的圖片作為一個(gè)樣本序列,為減少樣本圖片之間的大量重疊,鄰近的兩組樣本序列中,使用間隔多幀的方式選取起始幀。該模型訓(xùn)練的優(yōu)化算法選擇批量梯度下降法,優(yōu)化器選擇自適應(yīng)矩陣計(jì),初始學(xué)習(xí)率設(shè)置為0.0001。該模型CNN部分參數(shù)選擇CNN-VO訓(xùn)練好的模型參數(shù)進(jìn)行初始化,LSTM的參數(shù)隨機(jī)初始化。為避免過擬合,本文在VIPS-Mono中加入Dropout,同樣引入early stopping技術(shù)。

        模型訓(xùn)練時(shí),設(shè)置樣本序列長度為2,4,8,分別間隔1,2,4幀選取樣本起始幀,LSTM的批量大小設(shè)置為4,網(wǎng)絡(luò)批量大小依次為80,40,20。

        如圖8所示,VIPS-Mono訓(xùn)練過程曲線中,訓(xùn)練集誤差曲線(藍(lán)色)與驗(yàn)證集誤差曲線(橙色)隨著迭代次數(shù)的增加,在對應(yīng)批次數(shù)據(jù)上的誤差逐漸收斂,并且兩者之間相差較小,達(dá)到完美擬合狀態(tài)。對比圖7可以看出,引入IMU信息的VIPS-Mono系統(tǒng)模型精度較CNN-LSTM-VO精度高。

        4 實(shí)驗(yàn)結(jié)果與分析

        本文將CNN-VO、CNN-LSTM-VO和VIPS-Mono三種方法與VISO-S、VISO-M以及KITTI數(shù)據(jù)集提供的真實(shí)軌跡進(jìn)行對比,VISO-S為經(jīng)典的雙目VO方法,VISO-M為經(jīng)典的單目VO方法。從圖9可以看出,VIPS-Mono在序列03和序列04的表現(xiàn)效果相較于CNN-LSTM-VO與VISO-M方法較好,說明加入Dropout的VIPS-Mono模型在直線與曲線的運(yùn)動(dòng)場景效果可以很好的預(yù)測相機(jī)運(yùn)動(dòng)軌跡。

        從上圖各模型在測試集對相機(jī)運(yùn)動(dòng)軌跡的預(yù)測結(jié)果來看,VIPS-Mono模型對于位移的估計(jì)效果較好,在序列03,序列04與序列10上僅低于雙目方法VISO-S,這三個(gè)運(yùn)動(dòng)場景角度變化較小,因此具有較好的運(yùn)動(dòng)軌跡擬合效果;而CNN-LSTM-VO模型在角度變化較大的運(yùn)動(dòng)場場景中表現(xiàn)了較好的定位效果,從序列06與序列07中可以看出,該方法的相機(jī)運(yùn)動(dòng)軌跡擬合程度僅次于雙目方法VISO-S,在這種閉合曲線運(yùn)動(dòng)軌跡體現(xiàn)出較強(qiáng)的定位效果。

        VIPS-Mono與CNN-LSTM-VO方法與VISO-M、VISO-S方法在不同長度下子序列的平均平移誤差、不同長度子序列的平均旋轉(zhuǎn)誤差、不同時(shí)速下的平均平移誤差與不同時(shí)速下的平均旋轉(zhuǎn)誤差四個(gè)指標(biāo)的對比如圖10所示。從圖中可以看出,VIPS-Mono模型在平移誤差好于VISO-M與CNN-LSTM-VO模型,低于VISO-S;而在旋轉(zhuǎn)誤差方面,加入循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的CNN-LSTM-VO模型更受一籌。

        綜合運(yùn)動(dòng)軌跡圖與評價(jià)指標(biāo),本文基于深度學(xué)習(xí)提出的模型在測試效果上,基本勝于單目VISO-M方法,證明了深度學(xué)習(xí)應(yīng)用于視覺里程計(jì)的可行性。無論是VIPS-Mono還是CNN-LSTM-VO模型,其效果較雙目算法VISO-S都還有提升空間。

        為驗(yàn)證本文提出的算法在無人機(jī)應(yīng)用環(huán)境下的自定位效果,通過全站儀與無人機(jī)單目相機(jī)同步采集無人機(jī)在模擬線路環(huán)境下的運(yùn)動(dòng)數(shù)據(jù)與單目視頻數(shù)據(jù)。全站儀的采集精度為 ,動(dòng)態(tài)采集頻率最高可以設(shè)置為10幀,因此,為保證采集效果,單目相機(jī)與全站儀采集頻率均設(shè)置為10幀。

        由上一小結(jié)分析,VIPS-Mono模型對于直線運(yùn)動(dòng)有較好的擬合效果,因此,采用VIPS-Mono模型預(yù)測輸電場景下的無人機(jī)自定位實(shí)現(xiàn)。無人機(jī)在模擬場地的自定位實(shí)驗(yàn)效果如圖12所示,圖中黑色曲線為全站儀給定的真值軌跡,紅色曲線為VIPS-Mono方法對單目相機(jī)數(shù)據(jù)預(yù)測的軌跡曲線。

        除此之外,我們比較了架空巡檢機(jī)器人的真實(shí)軌跡、CNN-LSTM-VO模型軌跡和VIPS-Mono模型軌跡的結(jié)果,如圖13所示。

        圖13中藍(lán)色為CNN-LSTM-VO模型下的軌跡,綠色代表目標(biāo)的真實(shí)軌跡,而紅色軌跡則由VIPS-Mono模型算法估計(jì)。由圖可以看出,KITTI tracking training數(shù)據(jù)中的真值軌跡估計(jì)非常不穩(wěn)定,這可能源于該數(shù)據(jù)集中的目標(biāo)軌跡估計(jì)也源于只是對錨定框進(jìn)行了簡單處理與計(jì)算。而由VIPS-Mono模型優(yōu)化算法的軌跡明顯比CNN-LSTM-VO模型數(shù)據(jù)更為平滑。

        由表2可知,針對3次實(shí)驗(yàn),CNN-LSTM-VO模型的誤差分別為0.131m、0.122m和0.068m。而VIPS-Mono模型下的實(shí)驗(yàn)誤差為0.072m、0.063m和0.033m。通過總體平均誤差可以看出,VIPS-Mono模型下的定位誤差小于CNN-LSTM-VO模型,驗(yàn)證了VIPS-Mono模型的定位精度,在輸配電線路巡檢無人機(jī)自定位問題上的提升。

        5 結(jié) 論

        針對無人機(jī)在輸電線路的自定位問題,對比分析了本文提出的CNN-VO、CNN-LSTM-VO和VIPS-Mono模型在KITTI數(shù)據(jù)集的自定位效果,并將語義分割信息融合到初始化進(jìn)程中,避免了運(yùn)動(dòng)特征點(diǎn)在視覺SFM過程中對初始化結(jié)果產(chǎn)生干擾,增強(qiáng)了VIPS-Mono在初始化過程中的魯棒性以及提高了尺度計(jì)算的精度。針對以上述創(chuàng)新點(diǎn),本文在KITTI數(shù)據(jù)集中進(jìn)行了實(shí)驗(yàn)對比,最終結(jié)果驗(yàn)證了VIPS-Mono系統(tǒng)的優(yōu)越性。

        參 考 文 獻(xiàn):

        [1] 歐發(fā)斌, 廖偉寧, 何邦權(quán),等. 輸電線路清障裝置機(jī)械結(jié)構(gòu)設(shè)計(jì)[J]. 現(xiàn)代商貿(mào)工業(yè), 2015,12(14):216.

        OU Fabin, LIAO Weining, HE Bangquan, et al.Mechanical Structure Design of Transmission Line Clearing Device[J]. Modern Business Trade Industry, 2015,12(14):216.

        [2] 李梁. 變電站巡檢機(jī)器人視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 上海:上海交通大學(xué), 2013.

        [3] 蔡煥青,邵瑰瑋,胡霽,等.變電站巡檢機(jī)器人應(yīng)用現(xiàn)狀和主要性能指標(biāo)分析[J].電測與儀表,2017,54(14):117.

        CAI Huanqing,SHAO Guiwei,HU Ji,et al.Analysis of the Main Performance Index and Application Status of Inspection Robot in Substation[J].Electrical Measurement amp; Instrumentation,2017,54(14):117.

        [4] 羅宇亮,沈潔.智能機(jī)器人巡檢系統(tǒng)在輸變電工程中的應(yīng)用研究[J].電測與儀表,2020,57(23):17.

        LUO Yuliang,SHEN Jie.Application Research of Intelligent Robot Inspection System in Power Transmission and Transformation Engineering[J].Electrical Measurement amp; Instrumentation,2020,57(23):17.

        [5] LI X,OERTEL N, HUTTER A, et al. Laplace Distribution Based Lagrangian Rate Distortion Optimization for Hybrid Video Coding[J]. IEEE Transactions on Circuits and Systems for Video Technology,2009,19(2):193.

        [6] 柯清派,史訓(xùn)濤,袁智勇,等.基于改進(jìn)遺傳算法的變電站巡檢機(jī)器人路徑規(guī)劃[J].電測與儀表,2023,60(8):144.

        KE Qingpai,SHI Xuntao,YUAN Zhiyong,et al.Route Planning for Substation Patrol Robot Based on Improved Genetic Algorithms[J].Electrical Measurement amp; Instrumentation,2023,60(8):144.

        [7] 馬鋒,高明亮,許崇耀,等,高際惟.基于仿真優(yōu)化智能變電站巡檢機(jī)器人路徑研究[J].電測與儀表,2023,60(9):14.

        MA Feng,GAO Mingliang,XU Chongyao,et al.Research on path optimization of intelligent substation inspection robot based on simulation[J].Electrical Measurement amp; Instrumentation,2023,60(9):14.[8] 王魯單, 王洪光, 房立金,等. 一種輸電線路巡檢機(jī)器人控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 機(jī)器人,2007,2(1):9.

        WANG Ludan, WANG Hongguang, FANG Lijin, et al. Design and Implementation of the Control System of a Transmission Line Inspection Robot[J]. Robot,2007,2(1):9.

        [9] 繆航. 架空輸電線智能巡檢機(jī)器人控制系統(tǒng)設(shè)計(jì)[D]. 南昌:南昌大學(xué), 2017.

        [10] 王萬國,張晶晶,韓軍,等.基于無人機(jī)圖像的輸電線斷股與異物缺陷檢測方法[J].計(jì)算機(jī)應(yīng)用,2015,35(8):2404.

        WANG Wanguo, ZHANG Jingjing, HAN Jun, et al. Broken Strand and Foreign Body Fault Detection Method for Power Transmission Line Based on Unmanned Aerial Vehicle Image[J]. Journal of Computer Applications,2015,35(8):2404.

        [11] 沙偉燕,何寧輝,丁培,等.基于無人機(jī)圖像處理的輸電線路提取技術(shù)研究[J].電測與儀表,2022,59(5):158.

        SHA Weiyan,HE Ninghui,DING Pei,et al.Research on UAV Image Extraction Technology of Transmission Line[J].Electrical Measurement amp; Instrumentation,2022,59(5):158.

        [12] 董靈鵬,鄒國平,楊仕友.電力巡檢無人機(jī)電磁場測距及校準(zhǔn)技術(shù)研究[J].電測與儀表,2023,60(9):1.

        DONG Lingpeng,ZOU Guoping,YANG Shiyou.Research on Electromagnetic Field Ranging and Calibration Technology of Electric Patrol UAV[J].Electrical Measurement amp; Instrumentation,2023,60(9):1.

        [13] 羅顯躍,周敬余,禹天潤,等.基于四旋翼無人機(jī)的二次屏柜巡檢系統(tǒng)[J].電測與儀表,2022,59(7):175.

        LUO Xianyue,ZHOU Jingyu,YU Tianrun,et al.Secondary Screen Inspection System Based on Quadrotor UAV[J].Electrical Measurement amp; Instrumentation,2022,59(7):175.

        [14]張桂南, 劉志剛. 基于角點(diǎn)匹配與譜聚類的接觸網(wǎng)絕緣子破損/夾雜異物故障檢測[J]. 儀器儀表學(xué)報(bào), 2014, 35(6):8.

        ZHANG Guinan, LIU Zhigang. Fault Detection of Catenary Insulator Damage/Foreign Material Based on Corner Matching and Spectral Clustering[J]. Chinese Journal of Scientific Instrument, 2014, 35(6):8.

        [15]KONDA K R,MEMISEVIC R. Learning Visual Odometry with a Convolutional Network[C]//Proceedings of International Conference on Computer Vision Theory and Applications.Washington D. C.,USA:IEEE Press,2015:486.

        [16]KENDALL A,GRIMES M,CIPOLLA R.PoseNet: a Convolutionalnetwork for Real-time 6-DOF Camera Relocalization[C] IEEE International Conference on Computer Vision ( IC-CV) ,2015:2938.

        [17]WANG S,CLARK R,WEN H K,et al.Deep VO: Towards End-to-end Visual Odometry with Deep Recurrent Convolutionalneural Networks[C]∥IEEE International Conference on Robotics and Automation ( ICRA),2017:2043.

        [18]COSTANTE G,CIARFUGLIA T A.LS-VO: Learning Dense Opticalsubspace for Robust Visual Odometry Estimation[J]. IEEE Robotics and Automation Letters,2018,3(3):1735.

        [19]PANG S,MORRIS D,RADHA H. CLOCs:Camera-LiDARobject Candidates Fusion for 3D Object Detection[EB/OL].[2021-01-01].

        [20]GODARD C,AODHA O M,BROSTOW G J.Unsupervised Monoc-ular Depth Estimation with Left-right Consistency[C]∥IEEE Conference on Computer Vision and Pattern Recog-nition (CVPR),2017:270.

        [21]ZHOU T H,BROWN M,SNAVELY N,et al.Unsupervised Learn-ing of Depth and Ego-motion from Video[C]∥IEEE Con-ference on Computer Vision and Pattern Recognition (CVPR),2017:6612.

        [22]LIU Q,LI R H,HU H S,et al.Using Unsupervised Deeplearning Technique for Monocular Visual Odometry[J].IEEE Access,2019,7:18076.

        [23]YANG N,STUMBERG L V,WANG R,et al. D3VO:Deepdepth,Deep Pose and Deep Uncertainty for Monocular Visualodometry[C] Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington D. C.,USA:IEEE Press,2020:1281.

        [24]HOCHREITER, SEPP, SCHMIDHUBER, et al. Long Short-term Memory[J]. Neural Computation,1997.

        [25]FISCHER P, DOSOVITSKIY A, IlG E, et al. FlowNet: Learning Optical Flow with Convolutional Networks[C] 2015 IEEE International Conference on Computer Vision (ICCV). IEEE, 2016.

        [26]盧曉昀. 動(dòng)態(tài)環(huán)境下的單目視覺同時(shí)定位與建圖[D].西安:中國科學(xué)院大學(xué),2021.

        (編輯:溫澤宇)

        猜你喜歡
        無人機(jī)深度學(xué)習(xí)
        有體驗(yàn)的學(xué)習(xí)才是有意義的學(xué)習(xí)
        電子商務(wù)中基于深度學(xué)習(xí)的虛假交易識(shí)別研究
        MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場域建構(gòu)
        大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
        深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
        高職院校新開設(shè)無人機(jī)專業(yè)的探討
        人間(2016年26期)2016-11-03 17:52:40
        利用無人機(jī)進(jìn)行航測工作的方式方法
        基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實(shí)現(xiàn)
        軟件工程(2016年8期)2016-10-25 15:47:34
        一種適用于輸電線路跨線牽引無人機(jī)的飛行方案設(shè)計(jì)
        科技視界(2016年22期)2016-10-18 14:30:27
        淺析無人機(jī)技術(shù)在我國的發(fā)展前景
        校园春色人妻激情高清中文字幕| 激情 一区二区| 天堂av在线播放观看| 精品一区二区三区蜜桃麻豆| 亚洲av日韩综合一区二区三区| 欧美性猛交xxxx乱大交丰满| 亚洲无线码1区| 亚洲熟女熟妇另类中文| 国产又猛又黄又爽| 欧美成人一区二区三区在线观看| 国产码欧美日韩高清综合一区 | 日韩精品人妻系列无码专区免费| 久久亚洲国产精品123区| 国产精品髙潮呻吟久久av| 欧美大胆性生话| 无码久久精品国产亚洲av影片| 亚洲国产成人资源在线桃色| 国产精品日韩亚洲一区二区| 国产乱人对白| 亚洲精品久久久久中文字幕二区| 国产极品视觉盛宴在线观看| 国产精品毛片av毛片一区二区 | 午夜成人精品福利网站在线观看| 久久精品国产亚洲综合色| 亚洲精彩av大片在线观看| 蜜臀亚洲av无码精品国产午夜.| 婷婷综合缴情亚洲| 亚洲av福利天堂在线观看| 亚洲中文字幕剧情类别| 欧美黑人xxxx又粗又长| 亚洲AⅤ精品一区二区三区| 亚洲一区二区三区av天堂| 亚洲成a人片在线观看无码专区| 97精品依人久久久大香线蕉97| 麻豆久久久国内精品| 国产一区白浆在线观看| 人人妻人人澡人人爽欧美精品| 免费无码中文字幕A级毛片| 极品少妇一区二区三区四区视频| 无码人妻丰满熟妇区bbbbxxxx| 粉嫩少妇内射浓精videos|