亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        復(fù)雜維修場景下飛機機號的定位識別方法

        2023-07-26 12:44:08吳軍袁少博祝玉恒劉少禹
        科學(xué)技術(shù)與工程 2023年19期
        關(guān)鍵詞:細化輪廓像素

        吳軍, 袁少博, 祝玉恒, 劉少禹

        (1.中國民航大學(xué)航空工程學(xué)院, 天津 300300; 2.天津大學(xué)精密測試技術(shù)及儀器國家重點實驗室, 天津 300072;3.中國民航大學(xué)電子信息與自動化學(xué)院, 天津 300300)

        航空運輸業(yè)迅猛發(fā)展,飛機數(shù)量不斷攀升,飛機維修任務(wù)也隨之加大,在飛機維修廠內(nèi)停靠大量待維修飛機需要地勤人員通過肉眼識別飛機型號和飛機機號,并引導(dǎo)飛機到達維修工位。在復(fù)雜工作環(huán)境下,地勤人員長期處于高壓高負荷的工作狀態(tài),工作積極性和效率逐漸下降,導(dǎo)致飛機維修效率下降,同時也會因地勤人員的疏忽導(dǎo)致飛機在移動過程中發(fā)生碰撞,造成二次損傷。近年來圖像處理相關(guān)技術(shù)成為了國內(nèi)外研究熱門領(lǐng)域,其中目標(biāo)檢測技術(shù)是最重要也是最具有挑戰(zhàn)性的分支之一,廣泛應(yīng)用于監(jiān)控安全[1]、自動駕駛[2-6]、交通監(jiān)控[7]、無人機場景分析和機器人視覺[8-9]等方面,因此飛機檢測和識別技術(shù)是機場領(lǐng)域的一項重要研究內(nèi)容。對于飛機的識別檢測是保障機場內(nèi)的飛機與交通工具安全運行的基礎(chǔ)技術(shù)。目前國內(nèi)外對于飛機的檢測識別技術(shù)已經(jīng)有很多研究成果,比如:龍怡燦等[10]采用利用YOLOv5為基礎(chǔ)框架,通過優(yōu)化尺度信息從而提供對飛機機型的識別;Wei等[11]提出一種“分離訓(xùn)練、聯(lián)合檢測”的目標(biāo)檢測算法,實現(xiàn)了YOLOv3基于暗網(wǎng)框架的跨平臺檢測特征融合和基于張量流框架的Faster_R_CNN;陳健[12]提出了一種基于FPGA+DSP(field programmable gate array+digital signal processing)為平臺的應(yīng)答機,實現(xiàn)了主動識別飛機的功能;侯濤等[13]提出一種改進YOLOv4主干特征提取網(wǎng)絡(luò),保留高分辨率的特征層的算法;Cao等[14]提出一種基于YOLOv3的改進遙感影像目標(biāo)檢測算法;張欣等[15]則是對YOLOv4-tinyde 網(wǎng)絡(luò)結(jié)構(gòu)進行改進,強化了CSP(cross stage partial)特征提取能力;崔建國等[16]提出一種基于增量型極限學(xué)習(xí)機的飛機復(fù)合材料結(jié)構(gòu)損傷識別新方法,來實現(xiàn)對飛機損傷進行檢測識別;潘衛(wèi)軍等[17]提出了一種基于時空特征融合的飛機尾渦識別模型,從而實現(xiàn)對飛機尾渦的識別。上述對飛機的識別檢測技術(shù)實現(xiàn)了對飛機機型的識別,飛機損傷的識別以及飛機尾渦的識別,但在機場、飛機維修廠等復(fù)雜環(huán)境中,飛機數(shù)量較多且體積龐大,飛機之間存在嚴(yán)重遮擋現(xiàn)象,導(dǎo)致目標(biāo)飛機出現(xiàn)視野盲區(qū),無法實現(xiàn)有效跟蹤和識別,因此在特定的復(fù)雜環(huán)境下對飛機的識別跟蹤存在較大問題。

        針對在復(fù)雜飛機維修場景中的飛機無法實現(xiàn)精準(zhǔn)識別和不間斷跟蹤的問題,現(xiàn)基于深度學(xué)習(xí)強大的特征提取能力,提出一種通過YOLOv4目標(biāo)檢測算法與骨架細化算法結(jié)合的飛機機號識別方法,該方法首先通過YOLOv4目標(biāo)檢測算法識別出飛機型號,然后骨架細化算法識別出飛機整體姿態(tài),并依據(jù)先驗知識確定飛機機號的大致位置信息,最后通過輪廓檢測算法進一步消除圖像噪聲干擾,獲得準(zhǔn)確的機號圖像信息,從而使用OCR(optical character recognition)識別出目標(biāo)飛機機號信息。

        1 飛機型號和機號的檢測識別

        飛機型號和機號的識別是對飛機進行準(zhǔn)確監(jiān)控和調(diào)度的關(guān)鍵環(huán)節(jié)。在深度學(xué)習(xí)理論基礎(chǔ)上,通過YOLOv4構(gòu)建多層深度卷積神經(jīng)網(wǎng)絡(luò)模型,高度提取圖像中飛機特征信息,獲得目標(biāo)飛機的型號,通過機型和飛機骨架細化的方法獲得飛機機號位置,繼而使用OCR識別出目標(biāo)飛機機號信息。

        1.1 深度卷積神經(jīng)網(wǎng)絡(luò)飛機型號特征提取

        采用YOLOv4目標(biāo)檢測模型識別監(jiān)控區(qū)域中存在的所有飛機,并輸出每架飛機的飛機型號和預(yù)測框位置,該模型以CSPDarknet53為框架,使用PANet網(wǎng)絡(luò)對端到端檢測模型的融合,將捕獲到的視頻轉(zhuǎn)換為圖像序列,將每張圖像劃分為若干網(wǎng)絡(luò)結(jié)構(gòu),通過候選框?qū)γ總€網(wǎng)絡(luò)結(jié)果圖進行預(yù)測,輸出預(yù)測的圖像類別和坐標(biāo),得到目標(biāo)飛機整體的位置信息。整體結(jié)構(gòu)如圖1所示,輸入的圖像尺寸為608×1 216,圖像特征提取網(wǎng)絡(luò)CSPDarket-53網(wǎng)絡(luò)主要是由1×1和3×3的卷積網(wǎng)絡(luò)層組成。對于訓(xùn)練時因參數(shù)優(yōu)化引起的相同輸入但輸出不同的問題采用DarknetConv2D_BN_Mish卷積塊,其中激活模塊采用Mish模塊,并且加快網(wǎng)絡(luò)訓(xùn)練速度。使用Leaky_relu函數(shù)對特征金字塔部分對CSPDarknet-53最后一個特征層進行DarknetConv2D_BN_Leaky卷積,對線性進行擬合,可以解決梯度消失的問題。其中卷積塊和Leaky_relu函數(shù)的表達式為

        圖1 YOLOv4目標(biāo)檢測模型框架Fig.1 YOLOv4 object detection model framework

        Mishh=x[ln(1+ex)]

        (1)

        (2)

        式中:x和xi為神經(jīng)元輸入;h和yi代表激活函數(shù)的輸出值;ai為可調(diào)節(jié)參數(shù),一般取值為0.01。

        1.2 飛機圖像的機號識別

        在YOLOv4目標(biāo)檢測算法得到目標(biāo)飛機型號和預(yù)測框圖的情況下,首先進行圖像處理獲得飛機輪廓的特征點集,然后通過骨架細化獲知機號的大致位置,利用double-Canny算子得到飛機機號準(zhǔn)確位置信息,最后使用OCR識別出目標(biāo)飛機機號信息。

        1.2.1 圖像處理

        在獲得目標(biāo)飛機的圖像中,存在一定的圖像噪聲,圖像噪聲直接影響到機號輪廓的提取準(zhǔn)確度。采用雙邊濾波與圖像腐蝕相結(jié)合濾波方法。雙邊濾波是一種非線性濾波器,它的作用是保持飛機邊緣清晰度,核心算法是加權(quán)平均,即將飛機輪廓周邊像素值加權(quán)平均代表中心像素點的亮度值,其中權(quán)重值受空間域和像素范圍域的影響,這使得在圖像像素值變化不明顯的區(qū)域,像素值較小,對應(yīng)的像素范圍域權(quán)重接近于1,而在圖像像素值變化較大的區(qū)域如:邊緣區(qū)域,像素范圍的權(quán)重較大,因此保持了邊緣信息。具體描述公式為

        (3)

        (4)

        (5)

        d(δ,x)=d(δ-x)=δ-x

        (6)

        (7)

        且有

        σ(?,f)=σ(?-f)=?-f

        (8)

        式中:k(x)為歸一化因子,是對所有像素點加權(quán);h(x)表示濾波后的圖像;x為待求的像素點;δ為待求像素點周圍像素;f(x)代表濾波前的圖像;c(δ,x)為closeness函數(shù);s[f(δ),f(δ)]為similarity函數(shù),是權(quán)重系數(shù);σd和σr為可設(shè)定參數(shù)值,代表局部濾波的范圍。

        式(2)中的單位化分部k(x)結(jié)合了像素變化權(quán)重和空間位置變換權(quán)重于一起得到的,使得在采樣過程中考慮像素在空間距離上的關(guān)系以及像素間的相似程度因子,從而可以保持原始圖像的整體性進而保持邊緣信息。圖像腐蝕是通過erode函數(shù)使用像素鄰域內(nèi)的局部極小運算符來腐蝕一張圖片,飛機圖像經(jīng)過處理后,可以消除大量噪聲信息,有利于提高飛機輪廓特征點集的準(zhǔn)確度。

        1.2.2 骨架細化

        所謂細化,就是從得到的飛機輪廓特征點集中區(qū)分出飛機中機翼、機位、機頭等重要信息。細化的目的是為了精確的定位飛機各部件的具體位置,從而獲得飛機姿態(tài)信息,并根據(jù)飛機型號,判斷飛機機號所處具體位置。

        通過Harris角點檢測算法提取飛機外輪廓特征點集p(xi,yi),(i=0,1,2,…,n),如圖2所示,因飛機發(fā)動機和尾翼處其特殊的結(jié)構(gòu)和外形導(dǎo)致特征點數(shù)量明顯多于飛機機頭部分。計算特征點集的質(zhì)心點p0(x0,y0),即

        圖2 飛機結(jié)構(gòu)圖Fig.2 Aircraft structure diagram

        (9)

        p0點必然落在藍色區(qū)域,且因飛機外形的對稱性,p0點位于飛機中軸線上。

        設(shè)飛機機頭的特征點為pk(xk,yk),則存在p1(x1,y1),即

        (10)

        且滿足x1≈x0,y1≈y0。則認為在缺失機頭特征點的情況下特征點集的中心位置不變,p0為特征點集的中心點,pk(xk,yk)為飛機機頭的特征點,表達式為

        (11)

        因此pkp0為飛機中軸線,延長線所及端點為飛機尾翼特征點pg,根據(jù)不同機型獲取該機型的尺寸,機翼機身的長寬比,從而獲得飛機右翼的位置信息,以及右翼機號所在機身的相對位置。

        1.2.3 目標(biāo)飛機機號位置提取

        通過骨架細化獲得飛機右機翼的位置仍存在一定噪聲,直接識別機號的準(zhǔn)確率較低,因此通過進一步輪廓檢測提純機號位置精度,目標(biāo)輪廓提取的方法有Robert算法和Laplacian算法等,Robert算法優(yōu)點是邊緣定位精度高,但是沒有抑制噪聲的能力,對于復(fù)雜的環(huán)境下很難提取準(zhǔn)確的輪廓信息,尤其是分辨率不高的情況下,更難捕獲輪廓邊緣。本文中采用Canny邊緣檢測方法,是一種 multi-stage 算法,主要通過高斯濾波、梯度計算、非極大值抑制和雙閾值檢測圖像中存在的邊緣信息,該算法可以有效消除圖像噪聲,并且強化邊緣信息,有利于實現(xiàn)對機號輪廓的準(zhǔn)確提取。

        (1)高斯濾波。由于微分算子對噪聲很敏感,用高斯濾波平滑圖像,濾除圖像中的部分噪聲。

        (2)梯度計算。一幅圖像可以表示為函數(shù)I=f(x,y),其中(x,y)為坐標(biāo),I表示該像素點的灰度值,梯度G(x)表示函數(shù)f(x,y)在點(x,y)處的最大變化率,計算的表達式為

        (12)

        (3)非極大值抑制。梯度計算得到的邊緣很粗,一條邊緣中央一般很亮,兩邊亮度逐漸降低,可以根據(jù)這個特點去掉非局部灰度最高的“假邊”,達到細化邊緣的目的,從而提高輪廓準(zhǔn)確度。

        1.2.4 機號識別

        對于飛機機號的提取是實現(xiàn)飛機維修廠智能化的關(guān)鍵一步,本文中采用OCR對獲取到的飛機機號圖像進行掃描,然后對飛機機號圖像進行分析處理獲取文字信息,識別流程如圖3所示。

        圖3 機號識別流程圖Fig.3 Aircraft number recognition flowchart

        連通區(qū)域分析檢測出字符區(qū)域輪廓外形,以及子輪廓,由字符輪廓和塊區(qū)域得出文本行,以及通過空格識別出數(shù)字字母。固定字寬文本通過字符單元分割出單個字符,而對數(shù)字字母符號的文本(proportional text)通過一定的間隔和模糊間隔(fuzzy spaces)來分割,繼而再對每個字符繼續(xù)分析,采用自適應(yīng)分類器,分類器有一定的學(xué)習(xí)能力,分析滿足條件的單詞時也作為訓(xùn)練樣本,強化之后的識別能力。

        2 基于沙盤模型的實驗驗證

        本實驗采用在1∶750定制的機場沙盤模型上進行,沙盤長2 m,寬0.6 m,沙盤實物如圖4所示。該沙盤上飛機共有5種機型,飛機模型比例為1∶750,機型包括A380、B787-800、 B757-200、 B747-400、B737-800,共計50架。采用雙相機拍攝,并固定相機位置,如圖5所示。

        圖4 機場沙盤實物Fig.4 Airport sand table physical objects

        圖5 雙相機固定Fig.5 Dual camera fixation

        實驗過程首先通過相機獲得飛機機場圖像,然后使用YOLOv4目標(biāo)檢測算法獲得飛機預(yù)測框信息,并識別出飛機型號,再通過圖像處理算法分割飛機輪廓,使用骨架細化的方法獲得飛機機頭和機翼的位置信息。

        通過自建數(shù)據(jù)集,訓(xùn)練最優(yōu)的飛機型號模型,代入YOLOv4目標(biāo)檢測算法中,得到目標(biāo)飛機預(yù)測框和飛機型號。提取飛機預(yù)測框內(nèi)圖像信息,通過骨架細化區(qū)分飛機機頭,機尾,機翼的位置,如圖6所示。

        圖6 骨架細化Fig.6 Skeleton refinement

        根據(jù)目標(biāo)檢測算法獲得飛機型號信息和骨架細化算法得到飛機姿態(tài)信息,通過已知機型可判斷機號在機翼的大致位置,從而鎖定機號檢索范圍,如圖7所示,為機號檢索范圍,通過圖像處理對該區(qū)域進一步提純,獲取準(zhǔn)確的機號輪廓如圖8所示,并采用OCR識別目標(biāo)飛機機號信息,通過采集500張測試集的飛機圖像信息,得出該算法對飛機識別的準(zhǔn)確率在94%左右,對飛機機號的識別準(zhǔn)確度為75%左右。

        圖7 機號檢索范圍Fig.7 Range of machine number searches

        為檢測本文算法的實時性,模擬飛機移動過程,實驗中采用細線捆綁飛機前輪并較為勻速的拖拽目標(biāo)飛機,使其平穩(wěn)移動,如圖9所示,在此過程中實時監(jiān)測沙盤圖像,并對獲得圖像信息進行處理,檢測出圖像中的飛機機號信息,圖像處理幀率為30幀左右,可以滿足實時性的要求。

        圖9 飛機移動模型圖Fig.9 Aircraft movement model diagram

        3 結(jié)論

        飛機機號是飛機的“身份證”,存在唯一性,識別到機號則可以獲得飛機所有信息?;谏疃葘W(xué)習(xí)的原理,通過將YOLOv4目標(biāo)檢測算法與飛機骨架細化算法相結(jié)合,實現(xiàn)了對目標(biāo)飛機機號的精確定位和準(zhǔn)確識別。該方法通過在飛機維修車間安裝俯視監(jiān)控設(shè)備,對監(jiān)控范圍內(nèi)的所有飛機實現(xiàn)實時檢測識別的功能,不僅可以準(zhǔn)確檢測出飛機,還可以識別出飛機機號,通過機號信息即可實現(xiàn)對飛機的不間斷跟蹤,極大提高飛機維修效率。同時該方法可應(yīng)用于遙感圖像下飛機的識別,通過檢測飛機機號信息,獲得不同時刻目標(biāo)飛機的位置信息,從而有效估計飛機運行軌跡。

        猜你喜歡
        細化輪廓像素
        趙運哲作品
        藝術(shù)家(2023年8期)2023-11-02 02:05:28
        像素前線之“幻影”2000
        OPENCV輪廓識別研究與實踐
        基于實時輪廓誤差估算的數(shù)控系統(tǒng)輪廓控制
        “像素”仙人掌
        中小企業(yè)重在責(zé)任細化
        勞動保護(2018年5期)2018-06-05 02:12:06
        “細化”市場,賺取百萬財富
        華人時刊(2018年23期)2018-03-21 06:26:16
        “住宅全裝修”政策亟需細化完善
        高像素不是全部
        CHIP新電腦(2016年3期)2016-03-10 14:22:03
        在線學(xué)習(xí)機制下的Snake輪廓跟蹤
        計算機工程(2015年4期)2015-07-05 08:27:39
        日韩一区二区av极品| 久久久久亚洲AV无码专区喷| 日韩国产自拍精品在线| 亚洲一区二区三区成人网| 九九影院理论片私人影院| 午夜三级a三级三点| 久久久久久一级毛片免费无遮挡| 亚洲一区二区三区最新视频| 本道天堂成在人线av无码免费| 国产精品无码久久久久| 久久精品—区二区三区无码伊人色| 亚洲麻豆av一区二区| 免费在线观看视频播放| 大陆极品少妇内射aaaaaa| 亚洲婷婷丁香激情| 国产精品一区二区三区女同| 人妻夜夜爽天天爽三区丁香花| 国产精品老熟女露脸视频| 精品中文字幕久久久久久| 亚洲一区二区三区自拍麻豆| 精品无码久久久久久久久| 男人边吃奶边做好爽免费视频| 天堂AV无码AV毛片毛| 久久99人妖视频国产| 亚洲成aⅴ人片久青草影院| 人妻无码中文字幕免费视频蜜桃| 国产激情一区二区三区在线蜜臀| 狼人伊人影院在线观看国产| 亚洲成av人片天堂网| 国产真人无遮挡免费视频| 亚洲一区二区三区ay| 午夜熟女插插xx免费视频| 无码人妻精品一区二区三区在线| 无码人妻专区一区二区三区| 婷婷色精品一区二区激情| 99久久久国产精品免费蜜臀| 国产成人无码精品久久99| 97中文乱码字幕在线| 精品无人码麻豆乱码1区2区| 无码中文字幕加勒比一本二本| 中文字幕一区二区三区在线乱码 |