亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于區(qū)域卷積神經(jīng)網(wǎng)絡的空中飛行物識別算法*

        2021-12-30 05:36:44劉聰聰楊海馬
        傳感器與微系統(tǒng) 2021年1期
        關鍵詞:候選框飛行物準確率

        劉聰聰, 應 捷, 楊海馬, 劉 瑾, 李 筠

        (1.上海理工大學 光電信息與計算機工程學院, 上海 200093; 2.上海工程技術大學 電子電氣工程學院, 上海 201620)

        0 引 言

        空中飛行物識別在禁飛區(qū)動態(tài)監(jiān)視、空域交通安全管理等實際問題中有重要應用??罩酗w行物主要包括無人機(UAV)、飛機(plane)、飛鳥(bird)三種類型。隨著無人機日益增多,無序飛行嚴重影響了空域交通秩序。通過準確識別空中飛鳥,能夠為后續(xù)驅(qū)趕飛鳥提供準確的信息,保障飛機飛行安全。如何提高空中飛行物的識別效率,是空管部門亟待解決的問題。

        國內(nèi)外眾多學者對目標識別方法做了深入研究,這些方法大致可分為傳統(tǒng)的目標識別方法[1,2]和基于深度學習的目標識別方法[3,4]。文獻[1]利用正則化成對約束組件對無人機目標進行識別,并利用擴頻通信傳輸重要數(shù)據(jù),提高系統(tǒng)魯棒性。文獻[2]使用Hebbian規(guī)則訓練的自組織神經(jīng)網(wǎng)絡來提取主成分特征,然后采用基于有向無環(huán)圖支持向量機(directed acyclic graph support vector machine,DAGSVM)的分類器來識別飛行目標。文獻[3]提出用雙通道卷積神經(jīng)網(wǎng)絡離線訓練,對目標進行檢測和實時跟蹤。文獻[4]采用改進的LeNet-5模型構建無人機特征學習網(wǎng)絡。

        針對飛行目標識別的準確率低、效率低等問題,本文提出改進的基于區(qū)域卷積神經(jīng)網(wǎng)絡的空中飛行物識別方法,采集空中飛行物圖片并構建數(shù)據(jù)集,利用卷積神經(jīng)網(wǎng)絡結構對數(shù)據(jù)集進行訓練和測試,利用ETX80攝像頭和PC搭建空中飛行物識別系統(tǒng),能夠?qū)崿F(xiàn)空中飛行物的準確快速分類、識別和定位,有效保障空域安全。

        1 深度學習簡介

        在過去幾年中,深度學習已經(jīng)在各種問題上取得了很好的表現(xiàn),其中在圖像和視頻處理領域,有大量學者對卷積神經(jīng)網(wǎng)絡進行了研究。卷積神經(jīng)網(wǎng)絡利用注釋數(shù)據(jù)量的快速增長和圖形處理器單元強度的巨大改進,在目標識別的任務上取得了先進的結果[5]。

        針對目標檢測提出了許多深度學習模型,例如VGGNet[6],GoogleNet[7],ResNet[8],Faster R-CNN[11],YOLO,SSD[12]等。VGGNet[6]將網(wǎng)絡深度推至19個重疊層,并在每個卷積層中使用非常小的3×3濾波器。GoogleNet[7]增加了網(wǎng)絡的深度和寬度。ResNet[8]提出深度殘差網(wǎng)絡的概念,在一定程度上解決了網(wǎng)絡層加深時梯度爆炸的問題。目標檢測的最新進展是由區(qū)域建議網(wǎng)絡RPN和基于區(qū)域的卷積神經(jīng)網(wǎng)絡R-CNN成功驅(qū)動的[9],F(xiàn)ast R-CNN[10]和Faster R-CNN[11]表明,使用RPN能夠提高區(qū)域建議的質(zhì)量,從而提高整體的目標檢測精度。YOLO可以通過直接預測邊界框的方法提高目標檢測系統(tǒng)的速度,但目標位置過于粗糙。為此,SSD[12]進行了改進,將不同規(guī)模的滑動窗口用于不同深度的網(wǎng)絡層回歸,但其對小目標的檢測效果仍然次于Faster R-CNN。本文在經(jīng)典的Faster R-CNN算法基礎上進行改進,構建空中飛行物識別系統(tǒng),對無人機、飛機、飛鳥三種飛行物進行識別、分類和定位。

        2 系統(tǒng)構成

        本文構建的空中飛行物識別系統(tǒng)的主要流程如圖1所示,首先采集圖片構建數(shù)據(jù)集,并按照一定比例劃分為訓練集和測試集,然后在Faster R-CNN模型的基礎上構建深度學習模型,初始化模型參數(shù)并利用訓練集對構建好的模型進行訓練,在訓練的過程中采用反向傳播的方式對各層的權重參數(shù)進行調(diào)整。

        圖1 空中飛行物識別流程圖

        2.1 構建、劃分數(shù)據(jù)集

        實驗數(shù)據(jù)有無人機、飛機、飛鳥三類圖像,均通過網(wǎng)絡進行采集,并通過鏡像翻轉(zhuǎn)方式進行擴充,最終每類圖像采集數(shù)量為600張,數(shù)據(jù)集一共1 800張圖像,在完成數(shù)據(jù)采集的基礎上,對數(shù)據(jù)集進行以下預處理:

        1)尺度規(guī)整與重命名:由于數(shù)據(jù)來源均從網(wǎng)絡得到,圖片分辨率不同,因此對圖片尺度進行規(guī)整,設定圖片尺度最大為1 000×1 000,如果圖片小于該尺寸,進行邊緣補0操作。除此之外,為了方便數(shù)據(jù)集的劃分和模型的訓練,本實驗將所有圖片按照“000***”的方式進行命名,圖片名稱為“000001”~“001800”。

        2)保存圖像標注信息:在模型訓練時,需要訓練圖像的邊界框信息作為監(jiān)督,所以要將數(shù)據(jù)集的圖片中所有物體使用框進行標注,并生成XML格式的文件,保存圖像的地址、尺寸、目標物體所在矩形框坐標信息,以及目標物體種類等信息。

        3)數(shù)據(jù)集劃分:對數(shù)據(jù)集類別標簽進行劃分,分為4個.txt文件,其中train.txt存放訓練數(shù)據(jù),比例為64 %;val.txt中存放驗證數(shù)據(jù),比例為16 %;trainval.txt將上面兩個進行合并,所占比例為80 %;test.txt中存放測試數(shù)據(jù),比例為20 %。

        2.2 構建深度學習模型

        Fatser R-CNN[11]是繼R-CNN[9],F(xiàn)ast R-CNN[10]之后,由Ross Girshick團隊提出的經(jīng)典模型,在目標檢測方面具有檢測速度快、精度高的特點。

        本文針對研究目標的特點,在此模型基礎上進行以下改動:將特征提取網(wǎng)絡VGG-16轉(zhuǎn)換成深度殘差網(wǎng)絡ResNet;針對數(shù)據(jù)集特點,更改網(wǎng)絡批次數(shù)據(jù)量、迭代次數(shù)等參數(shù);飛行物識別網(wǎng)絡輸出的類別數(shù)為3類,因此將輸出層神經(jīng)元個數(shù)改為3。模型結構如圖2所示,主要包括特征提取層、區(qū)域建議網(wǎng)絡(region proposal network,RPN)、感興趣區(qū)域池化(ROI pooling)層、分類層。

        圖2 模型結構

        1)特征提取首先利用全卷積網(wǎng)絡對圖像進行處理,提取特征作為RPN模塊的輸入。本文使用深度殘差網(wǎng)絡ResNet101來代替VGG16。殘差網(wǎng)絡通過增加殘差塊解決了深度增加帶來的退化問題,因此更容易優(yōu)化,通過增加網(wǎng)絡深度來提高準確率,比VGG16能達到更好的效果[8]。ResNet101和VGG16的卷積網(wǎng)絡結構對比如表1所示。

        表1 VGG16與ResNet卷積網(wǎng)絡結構對比

        2)區(qū)域建議網(wǎng)絡

        傳統(tǒng)的區(qū)域建議(region proposal)生成方法都是比較費時的,在Fater R-CNN中,RPN被用來生成區(qū)域建議,極大地縮短了運行時間。首先在特征圖上滑動一個3×3大小的窗口,將當前3×3區(qū)域的中心點映射回原圖,然后將錨點(anchor)面積為{1282,2562,5122},面積為{1:1,1:2,2:1}的候選框放置在原始圖上,因此每個像素對應9個錨點。接著將這些候選框輸入2個同級的邊框回歸層和分類層,邊框回歸層用于調(diào)整候選框的位置,分類層用于判斷框中物體是否是目標(目標還是背景)。最后,保存候選框信息,輸入感興趣區(qū)域池化層做進一步的處理。

        3)感興趣區(qū)域池化層和分類層

        通過區(qū)域建議網(wǎng)絡提取的候選框存在大小不一的問題,感興趣區(qū)域池化層就是為了解決這一問題。感興趣區(qū)域池化層收集ResNet101卷積網(wǎng)絡得到的特征圖和區(qū)域建議網(wǎng)絡得到的候選框信息,如果候選框坐標為(x0,y0,x1,y1),那么尺寸為(y1-y0)×(x1-x0),如果要求輸出尺寸為heightpool×widthpool,那么候選框中滑動核的大小應為

        (1)

        在感興趣區(qū)域池化層之后,提取候選框特征圖作為分類的輸入。利用邊框回歸使檢測到的目標更加準確。邊框回歸輸出為

        (2)

        (3)

        (4)

        (5)

        式中x,xa和x*分別為預測框、候選框和真實框的中心x坐標;y,ya和y*表示中心y坐標;w,wa和w*表示寬;h,ha和h*表示高。圖像的損失函數(shù)定義為

        (6)

        2.3 模型測試

        1)圖像獲取裝置

        本文采用的圖像獲取裝置為ETX80消色差折射式望遠鏡,包含一個兩片式消色差物鏡,可以減少光線通過透鏡后行程的色差,采用雙光路設計,能夠在不同目標間輕松切換,配置9.7 mm和6 mm目鏡,滿足觀測所需的高低倍率,配置紅點尋星鏡能夠快速鎖定觀察的目標。

        2)SoftMax分類器

        將ETX80攝像頭采集到的圖像輸入訓練好的改進Faster R-CNN模型中,對圖像類別UAV,plane,bird進行判斷,對目標進行邊界回歸計算,如式(2)~式(5)所示,同時利用SoftMax算法計算目標所屬類別的概率值為

        (7)

        3 實驗結果與分析

        1)實驗環(huán)境與參數(shù)設置

        Intel?Xeon?CPU,運行環(huán)境為8 GB的Win10 64位系統(tǒng),編程環(huán)境為PyCharm2017,編程語言為Python3.5.2,深度學習框架為Tensorflow1.4.0。

        實驗過程中的參數(shù)設置如下:訓練圖片和測試圖片的最長邊像素最大值為1 000;迭代次數(shù)為40 000次;權重衰減值設置為0.000 5;學習率設置為0.001;網(wǎng)絡每批次輸入數(shù)據(jù)量設置為16。

        2)實驗結果與分析

        實驗一共進行了40 000次迭代,每經(jīng)過10次迭代,記錄一次Loss值,如圖3所示,為了直觀地顯示訓練過程中的損失值的變化情況,采用Polyfit函數(shù)對曲線進行擬合,可以清楚地看到隨著迭代次數(shù)的增加,損失值不斷減少直至趨于平緩。

        圖3 Loss曲線圖

        測試過程中的檢測結果如圖4所示,飛行物位置用矩形框表示,飛行物類別和所屬類別的概率值用白字表示,從實驗結果可以看到,本文提出的算法對UAV、plane、bird在不同的復雜背景下都能夠達到很好的識別效果,輸出概率值在98 %以上,除此之外,考慮到鳥類經(jīng)常以群體姿態(tài)活動,當采集到的圖片中出現(xiàn)多個目標或者圖像不完整時,本文算法也能夠很好地進行識別。

        圖4 實驗效果

        對分類算法進行評價的常用指標有混淆矩陣(confusion matrix)、ROC曲線和AUC面積,本文采用可視化程度高的混淆矩陣對算法進行評價。在如圖5所示的混淆矩陣中,行表示圖片實際所屬的類別Actual class,列表示通過算法預測出來的類別Predicted class,對角線值表示正確識別的飛行物的數(shù)量,而非對角線值表示誤識別的飛行物的數(shù)量。

        圖5 混淆矩陣

        本文使用的測試圖片數(shù)量一共是360張,每類圖片120張,由混淆矩陣可以直觀地看出以下信息:對于AUV類,120張圖片中有117張識別正確,3張被誤識別為plane類,準確率為97.5 %;對于plane類,120張圖片中有115張識別正確,4張被誤識別為AUV類,1張被誤識別為bird類,準確率為95.8 %;對于bird類,120張圖片中有116張識別正確,3張被誤識別為AUV,3張被誤識別為plane類,準確率為96.7 %。本文方法的平均準確率為96.7 %。使用FasterR-CNN方法對UAV,plane,bird識別的準確率分別為93.3 %,95 %,92.5 %,平均準確率為93.6 %。將本文改進的方法與FasterR-CNN方法得到的實驗結果進行對比,準確率提高了3.1 %。

        4 結 論

        為了有效管理空域交通,本文針對空中飛行物識別準確率低的問題,使用改進的Faster R-CNN算法對不同背景下多種姿態(tài)的UAV、plane、bird三種飛行目標進行識別,實驗平均準確率達到96.7 %,具有良好的識別效果。由于網(wǎng)絡結構的復雜性,在達到高識別率的同時使識別效率降低,后期將繼續(xù)對網(wǎng)絡結構進行研究,目的在于提高網(wǎng)絡模型的工作效率。另外,在實際運用中,后期將不斷對圖像采集系統(tǒng)結構進行改進。

        猜你喜歡
        候選框飛行物準確率
        重定位非極大值抑制算法
        面向自然場景文本檢測的改進NMS算法
        乳腺超聲檢查診斷乳腺腫瘤的特異度及準確率分析
        健康之家(2021年19期)2021-05-23 11:17:39
        不同序列磁共振成像診斷脊柱損傷的臨床準確率比較探討
        基于Soft-NMS的候選框去冗余加速器設計*
        2015—2017 年寧夏各天氣預報參考產(chǎn)品質(zhì)量檢驗分析
        高速公路車牌識別標識站準確率驗證法
        一種針對特定目標的提議算法
        不明“飛行物”
        少妇无码太爽了不卡视频在线看| 国产又大大紧一区二区三区| 久久av不卡人妻出轨一区二区| 亚洲精品天天影视综合网| 亚洲人成无码www久久久| 韩国女主播一区二区在线观看 | 国农村精品国产自线拍| 久久99精品波多结衣一区| 91亚洲免费在线观看视频| 国产成人亚洲综合| 亚洲乱码国产一区三区| 久久久久久久久久免免费精品| 人妻在线中文字幕| 国产精品三级自产拍av| 国产高清在线精品一区二区三区| 日韩精品无码一区二区三区四区| 中国老妇女毛茸茸bbwbabes| 精品国产品欧美日产在线| 日本在线观看三级视频| 国产麻豆精品传媒av在线| 国产网红主播无码精品| 亚洲综合色自拍一区| 亚洲一区二区三区久久不卡| 中文字幕一区二区三区| 久久精品国产亚洲av久| 久久中文精品无码中文字幕| 国产对白刺激在线观看| 国语对白在线观看免费| 国产一区二区女内射| 乱码午夜-极品国产内射 | 中文字幕亚洲欧美日韩在线不卡| 久久精品中文字幕亚洲| 富婆猛男一区二区三区| 撕开奶罩揉吮奶头视频| 国产成人精品曰本亚洲| 亚洲天码一区二区三区| 日韩精品成人无码专区免费| 国产AV无码专区亚洲AⅤ| 国产偷拍盗摄一区二区| 亚洲av日韩av激情亚洲| 国产无套护士在线观看|