王 孟,李 偉,高 榮,王 颯

(長(zhǎng)安大學(xué) 信息工程學(xué)院,西安 710064)

機(jī)場(chǎng)跑道作為飛機(jī)起降過(guò)程的風(fēng)險(xiǎn)最大的一環(huán),關(guān)系到所有乘客、機(jī)組人員的安全,是機(jī)場(chǎng)安全重點(diǎn)監(jiān)測(cè)區(qū).機(jī)場(chǎng)跑道異物又稱FOD (Foreign Object Debris)對(duì)飛機(jī)的威脅巨大[1].目前FOD 檢測(cè)技術(shù)主要有紅外線掃描、毫米波雷達(dá)探測(cè)和光學(xué)圖像處理.紅外線掃描主要針對(duì)熱輻射目標(biāo)入侵跑道,對(duì)于紅外特征不顯著的異物效果不明顯,毫米波雷達(dá)檢測(cè)系統(tǒng)是安裝在跑道兩側(cè)及周邊,由均勻間隔放置的檢測(cè)單元組成,檢測(cè)到異物后產(chǎn)生告警,向系統(tǒng)指出異物坐標(biāo)以及記錄發(fā)現(xiàn)目標(biāo)的時(shí)間,彌補(bǔ)局限于紅外特征的檢測(cè)方法,對(duì)于機(jī)場(chǎng)入侵異物檢測(cè)效果顯著.圖像處理方法則更專注于跑道路面的檢測(cè),圖像處理傳統(tǒng)方法是采集整潔跑道的背景圖像,再由檢測(cè)車在機(jī)場(chǎng)休整時(shí)快速采集圖像通過(guò)場(chǎng)景匹配識(shí)別異物,目標(biāo)檢測(cè)效果與目標(biāo)大小成正比,目前研究界則是利用機(jī)器學(xué)習(xí)方法例如SVM支持向量機(jī)、BP 神經(jīng)網(wǎng)絡(luò)、Bagging 分類器[2]等對(duì)圖像中物體進(jìn)行分類識(shí)別從而檢測(cè)異物.

本文中使用經(jīng)過(guò)過(guò)濾的深度圖像和分割的三維點(diǎn)云數(shù)據(jù),通過(guò)神經(jīng)網(wǎng)絡(luò)對(duì)跑道的平整性進(jìn)行檢測(cè)對(duì)于非平整的部分在再通過(guò)三維網(wǎng)絡(luò)進(jìn)行分類檢測(cè)出異物的種類.實(shí)驗(yàn)首先通過(guò)結(jié)構(gòu)光照射路面采集到跑道的深度圖像,經(jīng)圖像濾噪后分割進(jìn)行檢測(cè),忽略平整的路面,對(duì)非平整的路面進(jìn)行異物點(diǎn)云提取,對(duì)目標(biāo)點(diǎn)云細(xì)節(jié)不均勻提取再由點(diǎn)云分類網(wǎng)絡(luò)進(jìn)行異物分類,由仿真與實(shí)驗(yàn)測(cè)試表明經(jīng)過(guò)對(duì)不同道面平整度和反光度適應(yīng)性調(diào)試即可有效對(duì)跑道異物進(jìn)行檢測(cè).

使用Automation Technology 公司的C5-2040-GigE 系列高速3D 相機(jī)安裝在智能檢測(cè)車前部離地高1 米的位置進(jìn)行深度數(shù)據(jù)圖像的采集,安裝示意圖如圖1所示.

圖1 智能檢測(cè)車

傳感器根據(jù)激光三角測(cè)量原理獲取高度輪廓和高度圖像.激光線從一個(gè)方向投射到物體上.傳感器從另一個(gè)角度接收在物體上掃描反射的激光線過(guò)濾其他頻譜的光如圖2可以獲得完整的高度圖像.圖2顯示了相機(jī)結(jié)構(gòu)的示意圖.

以下為本實(shí)驗(yàn)中圖像成像分辨率:

(1)?x=0.5 mm (沿激光線橫向的分辨率);

(2)?y=0.5 mm (垂直于激光線的分辨率);

(3)在反射角α下高度分辨率可以近似表示:

?z≈?x/sin(α)=2 mm (高度分辨率).

圖2 相機(jī)透鏡穿過(guò)特定頻率的激光

1 深度圖像的獲取與預(yù)處理

1.1 深度圖像分割與過(guò)濾

為提高檢測(cè)系統(tǒng)的運(yùn)行效率,本實(shí)驗(yàn)將2048 pixels ×512 pixels 的圖像分割成16 個(gè) 512 pixels ×128 pixels 的16 bit 深度的灰度圖像,通過(guò)對(duì)圖像灰度的分析可得相對(duì)平整路面灰度范圍如圖3,選取深度圖像的灰度值作為過(guò)濾與分割的依據(jù),對(duì)道面上異常灰度值進(jìn)行濾除.

圖3 相對(duì)平整路面灰度值分布

將掃描路面的灰度值分布看作正態(tài)分布則由式(1),式(2)計(jì)算,其中,E為數(shù)學(xué)期望,δ為標(biāo)準(zhǔn)差.

得到掃描路面圖像灰度值落在[36 067,36 225]區(qū)間之外的概率小于1%,因此將激光掃描的區(qū)域在平面上劃分16 個(gè)512 pixels ×128 pixels 的矩形,由于跑道路面的特點(diǎn)是高度變化緩慢,高度集中在同一高度區(qū)域內(nèi),且為一近似平面,同一區(qū)域內(nèi)灰度值相差不大.區(qū)域內(nèi)的異物的特點(diǎn)是灰度值與路面的相差明顯展示如圖4.依據(jù)此特性可對(duì)路面異物如圖5進(jìn)行分離.

圖4 路面灰度值與異物灰度值直方圖

圖5 異物

1.2 點(diǎn)云數(shù)據(jù)的獲取

路面點(diǎn)云的獲取本文利用OpenCV 計(jì)算機(jī)視覺(jué)庫(kù)中的Viz3d 函數(shù)庫(kù)來(lái)處理分割與過(guò)濾后的深度圖像,首先由于路面和異物具有非均勻反射率,所以照射在表面上激光線不能百分百接收并反映在圖像上,為了去除點(diǎn)云中出現(xiàn)用于指示無(wú)效像素的無(wú)效數(shù)據(jù)值(IDV).無(wú)效的像素是值為零的像素,所以需要對(duì)孤立的無(wú)效像素進(jìn)行抑制消除.其次將含有深度信息的圖像像素由圖像坐標(biāo)轉(zhuǎn)化為世界坐標(biāo)系下的坐標(biāo)原理如圖6,深度圖像生成點(diǎn)云數(shù)據(jù)示例如圖7,過(guò)程如下.

圖像上的任意坐標(biāo)點(diǎn)m,圖像坐標(biāo)系下坐標(biāo)為(u,v),(u0,v0)為圖像的中心坐標(biāo).xw,yw,zw表示世界坐標(biāo)系下的坐標(biāo)點(diǎn).zc表示相機(jī)坐標(biāo)系的Z 軸,表示目標(biāo)到相機(jī)的距離[3],在不考慮圖像旋轉(zhuǎn)和平移時(shí)由相機(jī)標(biāo)定原理公式有:

本文為了計(jì)算方便假設(shè)相機(jī)坐標(biāo)系和世界坐標(biāo)系的坐標(biāo)原點(diǎn)重合,因此世界坐標(biāo)下一個(gè)物體的深度等于相機(jī)坐標(biāo)下物體的深度,即zc=zw,于是由此式(3)可得到圖像上的點(diǎn)[u,v]T到世界坐標(biāo)點(diǎn)[xw,yw,zw]T的變換式(4)[4]:

圖6 不同坐標(biāo)系轉(zhuǎn)換關(guān)系

圖7 由深度圖像生成點(diǎn)云數(shù)據(jù)

1.3 點(diǎn)云數(shù)據(jù)標(biāo)準(zhǔn)化

512 pixels ×128 pixels 深度圖像轉(zhuǎn)化為點(diǎn)云共有65 536 個(gè)點(diǎn)數(shù)據(jù),其中大部分為道面信息反饋的低信息密度數(shù)據(jù),檢測(cè)系統(tǒng)為降低異物檢測(cè)網(wǎng)絡(luò)的參數(shù)數(shù)量提高檢測(cè)效率,需要提取有效反映目標(biāo)空間信息的點(diǎn)云,剔除冗余的數(shù)據(jù).點(diǎn)云的存儲(chǔ)一般使用PLY (Polygon File Format)存儲(chǔ)格式[5],PLY 格式中每一個(gè)元素對(duì)應(yīng)一個(gè)點(diǎn)的信息,每個(gè)點(diǎn)使用3 個(gè)單精度浮點(diǎn)數(shù)代表點(diǎn)的空間(x,y,z)坐標(biāo),使用3 個(gè)無(wú)符號(hào)字符代表點(diǎn)的(R,G,B)顏色[6].

根據(jù)點(diǎn)云數(shù)據(jù)的存儲(chǔ)格式可以按照Z(yǔ) 軸數(shù)據(jù)對(duì)點(diǎn)云所代表的信息進(jìn)行初步分類,將Z 軸數(shù)據(jù)分布在路面高度的信息進(jìn)行裁減,提高剩余點(diǎn)云所含信息量.點(diǎn)云Z 軸高度分布如圖8.

按照Z(yǔ) 軸高度分布采取不均勻降采樣策略,少量采集道面點(diǎn)云數(shù)據(jù),盡可能多的保留目標(biāo)空間信息忽略目標(biāo)局部細(xì)節(jié),生成非均勻降采樣目標(biāo)點(diǎn)如圖9.

圖9 降采樣的點(diǎn)云數(shù)據(jù)

2 異物識(shí)別

點(diǎn)云數(shù)據(jù)目標(biāo)識(shí)別的關(guān)鍵是從空間分布的數(shù)據(jù)信息中將體現(xiàn)目標(biāo)幾何特征的數(shù)據(jù)點(diǎn)篩選出來(lái)進(jìn)行特征判斷.深度學(xué)習(xí)技術(shù)經(jīng)近幾年迅速發(fā)展,已經(jīng)在特征提取、語(yǔ)音識(shí)別和計(jì)算機(jī)視覺(jué)領(lǐng)域廣泛應(yīng)用.深度學(xué)習(xí)通過(guò)特征提取[7],并通過(guò)多層次的非線性映射學(xué)習(xí)深層次的目標(biāo)特征,適用于復(fù)雜數(shù)據(jù)下的特征學(xué)習(xí),而卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)是典型的深度神經(jīng)網(wǎng)絡(luò)之一,它能對(duì)數(shù)據(jù)進(jìn)行多層卷積、池化等操作,逐步提取從淺層到抽象的特征[8],能夠有效抽取高維數(shù)據(jù)的隱藏特征.同時(shí)其獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)能有效減少參數(shù)數(shù)量、降低模型的復(fù)雜度,便于模型的訓(xùn)練和應(yīng)用,本文實(shí)驗(yàn)即采用卷積神經(jīng)網(wǎng)絡(luò).

2.1 卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)

空間上的局部相關(guān)性(spatially-local correlation)是各種類型的數(shù)據(jù)都具有的一種性質(zhì),并且與數(shù)據(jù)的表示方法無(wú)關(guān).對(duì)于可以表示在圖像等規(guī)則域中的數(shù)據(jù),卷積算子已經(jīng)證明在探索這種相關(guān)性上十分有效,并且也是CNN 在多種任務(wù)上取得成功的關(guān)鍵.對(duì)于本身維度就比環(huán)境空間少的數(shù)據(jù)(比如3D 空間所有目標(biāo)分類中的面或2D 空間中的線)而言,如果將這些數(shù)據(jù)表示為環(huán)境空間中的點(diǎn)云(point cloud)而非整個(gè)空間的一個(gè)密集網(wǎng)格,那么效果還會(huì)更好.但是,點(diǎn)云不因其無(wú)序性直接使用卷積會(huì)使得卷積算子難以利用點(diǎn)云之間的空間相關(guān)性[9].

在規(guī)則網(wǎng)格中,每個(gè)網(wǎng)格單元都與一個(gè)特征關(guān)聯(lián).在點(diǎn)云中,點(diǎn)是從局部近鄰中采樣得到的,類比于規(guī)則網(wǎng)格中的局部塊,每個(gè)點(diǎn)關(guān)聯(lián)了一個(gè)特征、一個(gè)順序索引以及它的坐標(biāo).但是,缺乏規(guī)則網(wǎng)格使得這些點(diǎn)難以將按規(guī)范順序排列.

假設(shè)針對(duì)圖10中I–IV 任意維無(wú)序特征集合,我們使用同一個(gè)的卷積核如式(5).在圖10的I 中,通過(guò)規(guī)則的網(wǎng)格結(jié)構(gòu)給出的順序,可以得到良好的學(xué)習(xí)效果,但是在圖10的II、III 和IV 中,這些點(diǎn)是從局部近鄰中采樣得到的,因此可以是任意順序.通過(guò)相同的卷積操作,這3 種情況的輸出特征可以按如式(5)計(jì)算:

圖10 點(diǎn)云排列

直接進(jìn)行卷積會(huì)導(dǎo)致形狀信息丟失從而使圖10中II 和III 訓(xùn)練的結(jié)果大概率相似,也會(huì)因?yàn)轫樞蚨煌斐蓤D10中III 和IV 訓(xùn)練結(jié)果大概率不同.所以對(duì)于以點(diǎn)云形式表示的不規(guī)則無(wú)序數(shù)據(jù),圖像中常用的卷積算子不適合利用數(shù)據(jù)中的空間局部相關(guān)性.針對(duì)這個(gè)問(wèn)題這里引用PointCNN 網(wǎng)絡(luò)X卷積,它的原理是從前一層的數(shù)據(jù)中取K個(gè)點(diǎn),預(yù)測(cè)一個(gè)K×K大小的變換矩陣,用前一層的特征做矩陣變換,然在對(duì)其進(jìn)行卷積[10].圖10中II、III 和IV 的卷積可以描述為式(6):

示例中X是4×4 的矩陣,在圖10中K=4.由于XII和XIII是從不同形狀的點(diǎn)采樣而來(lái),所含空間信息不同,相應(yīng)的通過(guò)X變化后,應(yīng)該得到fII≠fIII.對(duì)于XIII和XIV,所含空間信息相同,如果通過(guò)X變化后如果滿足fIII=fIV,相當(dāng)于將(c,a,b,d)置換為(a,b,c,d),實(shí)現(xiàn),因此解決無(wú)序排列問(wèn)題.

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

點(diǎn)云的三維空間中包含了物體所有尺度的點(diǎn)云表達(dá),有利于進(jìn)一步深入地挖掘物體的空間特征.為了能更好地實(shí)現(xiàn)分類分割,將結(jié)合尺度空間中不同尺度的點(diǎn)云特征,充分挖掘物體的本質(zhì)信息,更有效地識(shí)別點(diǎn)云.該目標(biāo)的實(shí)現(xiàn)主要分為兩個(gè)過(guò)程,首先非均勻降采樣提高目標(biāo)物的結(jié)構(gòu)特征,并對(duì)空間中每個(gè)點(diǎn)云進(jìn)行特征學(xué)習(xí),從而得到每個(gè)方向的特征;然后將這些不同方向局部特征進(jìn)行結(jié)合,得到包含豐富信息的多空間特征,并利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí).

實(shí)驗(yàn)中使用的神經(jīng)網(wǎng)絡(luò)首先通過(guò)四層空間卷積網(wǎng)絡(luò)將輸入點(diǎn)(目標(biāo)點(diǎn)或道面點(diǎn))逐漸轉(zhuǎn)換為較少的特征點(diǎn),但每個(gè)特征點(diǎn)含有的空間信息更豐富,接著通過(guò)一層[128×3×128,40]的全連接后在通過(guò)一層為[40,4]的4 全連接層將點(diǎn)云數(shù)據(jù)分為4 類,即螺絲、螺母、一般異物、無(wú)異物,一般異物針對(duì)圖像截取后被部分分割的異物雖無(wú)法有效識(shí)別但能和無(wú)異物明顯區(qū)分,網(wǎng)絡(luò)最后通過(guò)Softmax 層計(jì)算得出各種數(shù)據(jù)的概率.網(wǎng)絡(luò)結(jié)構(gòu)如圖11,圖中N和C表示輸出代表點(diǎn)數(shù)和特征維數(shù),K是輸入代表點(diǎn)相鄰點(diǎn)的個(gè)數(shù),D是空間卷積膨脹率.

3 實(shí)驗(yàn)驗(yàn)證

FOD 包含能損傷航空器的所有外來(lái)的物質(zhì).如金屬零件、防水塑料布、碎石塊、報(bào)紙、瓶子、行李牌等,典型的有:金屬器件(螺帽、螺釘、墊圈、釘子、保險(xiǎn)絲等)、機(jī)械工具、飛行物品(私人物品、鋼筆、鉛筆、紐扣等)、橡膠碎片、塑料制品、混凝土瀝青碎塊(石頭、沙子、冰渣等)、紙制品、動(dòng)植物等[11].

由于機(jī)場(chǎng)環(huán)境特殊限制本實(shí)驗(yàn)在實(shí)驗(yàn)室中采用螺帽、螺釘、墊圈,筆,鑰匙等模擬跑道異物采集數(shù)據(jù),由于異物種類較多,為正確區(qū)分正常路面和異物路面將采集的數(shù)據(jù)分為4 類,采集數(shù)據(jù)示例如圖12.

圖11 網(wǎng)絡(luò)結(jié)構(gòu)

圖12 數(shù)據(jù)展示

為驗(yàn)證三維檢測(cè)方法在道路表面異物檢測(cè)的效果,我們實(shí)驗(yàn)采集異物和正常跑道路面各1100 張數(shù)據(jù)做為原始數(shù)據(jù)集,異物數(shù)據(jù)采集雖然較少,可通過(guò)異物出現(xiàn)的位置及方向不同擴(kuò)充數(shù)據(jù),同時(shí)由于采用不均勻隨機(jī)降采樣,即使是同一張三維數(shù)據(jù)源也可以產(chǎn)生無(wú)數(shù)種數(shù)據(jù)指向同一空間特征.通過(guò)不均勻降采樣得到數(shù)據(jù)11 000 張點(diǎn)云圖像,其中1000 張作為驗(yàn)證集,通過(guò)第二節(jié)的步驟將數(shù)據(jù)做成目標(biāo)點(diǎn)云數(shù)據(jù)進(jìn)行訓(xùn)練.

從圖13(a)和圖13(b)看出經(jīng)過(guò)6000 多次batch訓(xùn)練后訓(xùn)練的損失率在0.3 上下徘徊,而在驗(yàn)證集上正確率接近0.90,基本滿足作為在道面異物檢測(cè)方面三維補(bǔ)充檢測(cè)實(shí)驗(yàn)要求,能夠?qū)?shí)驗(yàn)采集的圖像數(shù)據(jù)得到較好的分類結(jié)果.本文所提出的3D 點(diǎn)云分類的方法優(yōu)化對(duì)路面點(diǎn)云的采集與處理,消除了冗余的數(shù)據(jù)帶來(lái)的數(shù)據(jù)量陡增,彌補(bǔ)了現(xiàn)有三維神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)路面異物數(shù)據(jù)檢測(cè)的研究.

圖13 數(shù)據(jù)實(shí)驗(yàn)結(jié)果

4 結(jié)論

本文研究了從三維數(shù)據(jù)處理方面對(duì)模擬機(jī)場(chǎng)跑道的異物進(jìn)行識(shí)別,設(shè)計(jì)了一系列從深度圖像到點(diǎn)云數(shù)據(jù)再?gòu)狞c(diǎn)云數(shù)據(jù)優(yōu)化后的目標(biāo)分類方法.直接對(duì)模擬跑道進(jìn)行三維掃描后轉(zhuǎn)化的圖像進(jìn)行過(guò)濾與分割,再通過(guò)不均勻降采樣減少數(shù)據(jù)的冗余降低參數(shù)量,最后通過(guò)引入空間卷積變化相應(yīng)解決了點(diǎn)云無(wú)序問(wèn)題,使得卷積算子得以利用數(shù)據(jù)中的空間局部相關(guān)性對(duì)物體分類,以較高的分類準(zhǔn)確率對(duì)不同的目標(biāo)進(jìn)行分類,對(duì)現(xiàn)有的圖像處理檢測(cè)方法和機(jī)器學(xué)習(xí)分類法之外提供了從三維數(shù)據(jù)處理道面異物檢測(cè)的新方法.