張 威，陳宇浩，張 攀，2，崔 明

（1.中國民航大學航空工程學院，天津 300300；2.民航智慧機場理論與系統(tǒng)重點實驗室，天津 300300；3.中國民航航空地面特種設(shè)備研究基地，天津 300300）

航空托運行李自動碼垛作業(yè)是智慧型機場自動化設(shè)備應(yīng)用中的關(guān)鍵環(huán)節(jié)[1]。通過自動化測量得到的行李尺寸和位置數(shù)據(jù)作為自動化碼垛作業(yè)中對行李進行垛型規(guī)劃和碼垛作業(yè)的唯一參考，應(yīng)能實現(xiàn)對目標行李的形位尺寸進行可靠、快速、精準的測量，這對行李高精度測量提出了新要求。

目前，對行李的高精度測量研究主要是針對行李的二維圖像和三維點云數(shù)據(jù)進行的。楊璐[2]通過雙目相機采集得到不同視角下的二維圖像對行李規(guī)格和三維形態(tài)進行測定，得到不同行李的規(guī)格數(shù)據(jù)。高慶吉等[3]利用行李深度圖像對其進行測量和表面評估，通過不同的行李表面數(shù)據(jù)對行李進行形態(tài)分類。朱嘉宸[4]利用行李的點云信息對行李分類和尺寸測量的算法進行研究。就目前的研究而言，對行李的測量和分析等工作所使用的數(shù)據(jù)來源單一，僅依靠行李的點云或圖像數(shù)據(jù)進行測量，其結(jié)果受數(shù)據(jù)采集質(zhì)量影響較大，不能有效處理無效數(shù)據(jù)對測量結(jié)果產(chǎn)生的影響，且利用行李多類型數(shù)據(jù)進行測量的研究較少?；诖?，在已有研究基礎(chǔ)上，對綜合利用行李的點云和圖像數(shù)據(jù)進行三維尺寸和位置測量方法進行研究，并在航空托運行李碼垛實驗平臺上進行實驗驗證。

1 航空托運行李圖像和點云數(shù)據(jù)采集與預(yù)處理

1.1 行李圖像和點云數(shù)據(jù)采集

通過深度相機對行李進行采集得到的RGB-D 深度圖像通常由紅色分量通道（R）、綠色分量通道（G）、藍色分量通道（B）以及深度分量通道（D）組成。其中，R、G、B 3 個通道與常規(guī)RGB 彩色圖像無異，將其從RGB-D 圖像中分離，并按所對應(yīng)的圖像格式存儲，即可得到行李的二維彩色圖像，而D 通道則記錄了目標行李上的每個成像點到相機鏡頭的名義距離，用一個經(jīng)過轉(zhuǎn)換的深度值表示，即名義深度。各成像點的x、y坐標值則通過該點在圖像中的像素位置表示。因此，RGB-D 圖像中D 通道所包含的三維信息并非實際值，在使用前應(yīng)根據(jù)相機內(nèi)參對其進行轉(zhuǎn)換以得到行李的點云數(shù)據(jù)。

對于RGB-D 圖像中的點p（u，v，d），其中：u、v 表示該點的像素坐標，d 表示該點位置的名義深度值。設(shè)其對應(yīng)的真實坐標為P（x，y，z），則點p 與點P 坐標的對應(yīng)關(guān)系如下

式中：fx、fy表示相機在x、y 方向上的焦距；cx、cy表示圖像坐標系原點在相機坐標系原點下的x、y 坐標值；s為坐標縮放系數(shù)。對于每個調(diào)校完成的相機，其上述5個參數(shù)為確定值，根據(jù)式（1）可從RGB-D 圖像中提取出對應(yīng)的點云圖像。

1.2 三維點云數(shù)據(jù)預(yù)處理

利用深度相機的內(nèi)參數(shù)據(jù)從行李的RGB-D 圖像中直接提取得到的點云如圖1 所示。

圖1 行李原始點云圖像Fig.1 Original point cloud of baggage

從圖1 中可以看出，原始點云數(shù)據(jù)中包含著大量的場景信息，點云密度較大，點總數(shù)超過60×104個，未經(jīng)壓縮的點云數(shù)據(jù)文件體積高達50 MB。同時，受限于相機內(nèi)參和現(xiàn)場環(huán)境條件，點云中不可避免地存在一定數(shù)量的離群點。額外的場景信息對行李的形位測量無益，且過多的無效點云會導致處理過程中的計算量激增從而嚴重影響處理效率。因此，應(yīng)首先對其進行預(yù)處理，以提取出目標行李的主體部分，使其文件體積控制在可接受的范圍內(nèi)。

考慮到在原始點云中，除了行李主體以外的部分均為行李輸送設(shè)備或地面點云，因此可利用直通濾波的方法，通過篩選所有點的z 坐標值，從原始點云中剔除傳送帶平面以下的部分。直通濾波的結(jié)果如圖2 所示。

圖2 經(jīng)直通濾波后的行李點云圖像Fig.2 Point cloud of baggage after pass-through filtering

由于行李在傳送帶上的位置不確定，無法繼續(xù)通過直通濾波的方法對其主體區(qū)域點云進行提取。因此可以通過聚類的方式對點云進行分割，從而篩選出行李主體點云。

目前，用于點云的聚類方法主要有硬聚類（HCM，hard C means）、模糊聚類（FCM，fuzzy C means）、層次凝聚聚類（HAC，hierarchical agglomerative clustering）和基于密度的聚類（DBSCAN，density-based spatial clustering of applications with noise）等算法。HCM 和FCM 算法均屬于基于劃分的聚類算法，即通過對隸屬度函數(shù)的評估使得被劃分到同一簇的對象之間相似度最大，而不同簇之間的相似度最小，該類型方法對噪聲較為敏感，無法排除噪聲干擾，且聚類結(jié)果受預(yù)設(shè)的超參數(shù)影響較大[5]。HAC 和DBSCAN 是不完全聚類算法。HAC算法與Huffman 樹算法以及查并集的思想相似，即將每點各自視為一個簇，每次都對間距最小的簇進行合并，直到簇的個數(shù)或合并操作次數(shù)達到預(yù)設(shè)值，HAC的聚類效果表現(xiàn)較好，但其初始化過程需要消耗大量的存儲空間，在大點云處理中的效率表現(xiàn)不佳[6]。DBSCAN 則是一種基于密度的聚類算法，適用于不規(guī)則形狀，由于不需要完全聚類，避免了距離計算，效率更高[7]。因此使用DBSCAN 作為行李點云的聚類算法。

DBSCAN 聚類過程的偽代碼表示如下。

輸入：包含有n 個點的點云I，鄰域ε，鄰域半徑M

輸出：聚類結(jié)果點云集合

在使用DBSCAN 算法進行聚類之前，應(yīng)首先確定參數(shù)ε 和M 的值。參數(shù)ε 的初始值通?？赏ㄟ^kdistance 進行確定，即計算點云中每個點到距其所有k個臨近點的距離，排序后繪制出距離變化曲線，通過目測的方法取其拐點位置處的距離作為參數(shù)ε 的初始值[8]。確定k 與M 的方法如下

式中：dim 為輸入數(shù)據(jù)的維度。對于三維點云，取dim=3，則此時k=5，根據(jù)k 值隨機選擇10 個行李點云計算并繪制k-distance 均值圖，結(jié)果如圖3 所示。

圖3 行李點云的k-distance 均值圖Fig.3 The k-distance average image of baggage point cloud

通過觀察可以發(fā)現(xiàn)，k-distance 曲線有清晰的拐點，根據(jù)曲線的拐點位置對應(yīng)的k 值，取ε=24 作為初始參數(shù)，則參數(shù)M=25。利用所確定的初始參數(shù)對行李點云進行聚類，聚類結(jié)果點云如圖4 所示。

圖4 行李點云DBSCAN 聚類結(jié)果Fig.4 DBSCAN clustering result of baggage point cloud

圖4 中，不同聚類點云使用不同的顏色表示，其中，黑色表示被標記為離群點的點。從圖4 中可以看出，使用DBSCAN 算法可以將目標行李主體部分（紅色）的點云從背景中分離出來，同時有效地消除點云中的離群點，基本滿足點云預(yù)處理的要求。為便于處理坐標和尺寸數(shù)據(jù)，規(guī)定傳送帶平面為基準平面，傳送帶部分點云的重心z 坐標值為0，z 坐標軸的方向垂直于傳送帶平面豎直向上。

1.3 二維圖像數(shù)據(jù)預(yù)處理

與三維點云相同，二維圖像中同樣包含著額外的場景信息，因此需對其進行處理以提取出行李的主體部分圖像便于測量使用。由于行李以外的部分均為固定設(shè)備，其在圖像中的位置不會發(fā)生變化，可根據(jù)傳送帶的位置和狀態(tài)選定4 個已知坐標的固定頂點對圖像進行裁剪，將行李傳送帶區(qū)域提取，并在此過程中矯正鏡頭成像過程中的透視畸變，提取結(jié)果如圖5所示。

圖5 行李傳送帶區(qū)域提取結(jié)果Fig.5 Extraction results of baggage conveyor area

下面利用點云中的坐標通過透視變換去除圖像中行李主體以外的部分。首先對所使用的透視變換矩陣進行求解。圖5 中，紅色矩形區(qū)域為行李輸送帶區(qū)域，設(shè)其上4 個端點A～D 對應(yīng)的像素坐標為（uA，vA），（uB，vB），（uC，vC），（uD，vD）。忽略行李厚度導致的透視效應(yīng)，可認為二維圖像中的行李上表面與傳送帶表面在同一個平面內(nèi)。在三維點云中，4 個端點所對應(yīng)的相機坐標系下點云平面坐標為（xA，yA），（xB，yB），（xC，yC），（xD，yD），則各點在點云中的坐標與其在圖像中的像素坐標對應(yīng)關(guān)系[9]如下

式中a，b，c，d，e，f，m，l 為透視變換的未知參數(shù)，將其改寫為矩陣形式，如下

將A～D 4 個選定點在圖像中的像素坐標以及點云坐標代入式（4），即可求出式中的未知參數(shù)。求出聚類結(jié)果中行李主體點云中所有點的坐標最值并組裝為4 個端點L1～L4。利用式（3）及所求參數(shù)計算L1～L4在二維行李圖像上的像素坐標，并以變換后的點為端點繪制矩形L1L2L3L4，如圖6（a）所示。經(jīng)透視投影后的矩形L1L2L3L4基本包圍了行李主體區(qū)域，以其幾何中心為中心，較長邊為邊長，確定一正方形區(qū)域?qū)δ繕诵欣畹亩S圖像進行裁剪。為消除透視效應(yīng)的影響，可將所得正方形邊長擴大若干像素以避免裁剪到行李邊緣，得到的行李主體二維圖像如圖6（b）所示。圖像中僅包含了行李主體區(qū)域，且通過透視變換得到的行李圖像與點云已經(jīng)對齊，能夠有效消除無關(guān)要素對行李測量的影響，滿足了對行李圖像的測量要求。

圖6 行李主體區(qū)域提取結(jié)果Fig.6 Extraction results of baggage main area

2 航空托運行李形位測量算法設(shè)計

對行李箱類具有規(guī)則外形的行李進行自動化碼垛作業(yè)，需要對其在傳送帶上的位置、角度及三維尺寸進行測量，以實現(xiàn)垛型和碼垛軌跡的規(guī)劃。由于該類型的行李具有相對規(guī)則的外形，可通過創(chuàng)建方向包圍盒（OBB，oriented bounding box）的方法對其進行形位測量等操作[10]。因此，應(yīng)先對行李的旋轉(zhuǎn)角度進行測量，然后以測量所得旋轉(zhuǎn)角度為依據(jù)創(chuàng)建對應(yīng)的OBB包圍盒，進行后續(xù)位置和尺寸的測量操作。

2.1 行李旋轉(zhuǎn)角度測量

對行李旋轉(zhuǎn)角度的測量通過點云和圖像兩種方式進行。首先對行李點云進行主成分分析（PCA，principal component analysis），計算其主方向作為行李的旋轉(zhuǎn)角度。由于測量過程中行李始終放置于傳送帶平面上，僅在xoy 平面上存在旋轉(zhuǎn)，在對行李點云進行分析時，可將其向xoy 平面進行投影，以減小處理過程中的計算量。

設(shè)向xoy 平面投影后的行李點云中有n 個點，用2×n 的矩陣L 表示，即

式中：Pi=（xi，yi）表示點云中序號為i 的點。對L 中所有點進行去均值化處理以消除其坐標均值對PCA 分析產(chǎn)生的影響。對點Pi進行去均值化處理如下

由式（8）可知，C 為2×2 矩陣，其兩特征值λ1、λ2及對應(yīng)特征向量c1、c2為目標行李點云在xoy 平面上的兩個主方向。一般地，行李箱點云的兩主方向夾角接近90°，為便于統(tǒng)一描述行李的旋轉(zhuǎn)角度，規(guī)定較大特征值所對應(yīng)的特征向量與傳送帶運動方向所成銳角為通過點云解析所得的行李箱旋轉(zhuǎn)角度θb1。

下面利用行李圖像進行旋轉(zhuǎn)角度測量。利用二維圖像計算行李的旋轉(zhuǎn)角度需要對其中的邊緣信息進行提取，可通過使用邊緣檢測算子對圖像進行卷積的方式進行。常見的邊緣檢測算子有Roberts、Prewitt、Scharr、Sobel 以及Laplacian 算子等。為評估不同算子對不同類型行李圖像的邊緣提取能力，使用上述5 種算子分別對3 種不同條件下的行李二維圖像進行邊緣提取測試，測試結(jié)果如表1 所示。

表1 不同算子的邊緣提取效果Tab.1 Edge extraction effect of different operators

通過表1 對比可以發(fā)現(xiàn)，在深色傳送帶上，不同算子對淺色行李箱和邊緣明顯的行李箱邊緣提取能力相近，但是對于邊緣不明顯的深色行李，僅Scharr算子能較好地描述行李的邊緣信息，故選擇使用Scharr算子對行李邊緣信息進行提取，但處理后的圖像中仍存在較多噪點，需要通過開操作、二值化等方式進行進一步圖形學處理。

紅色代表熱烈、奔放、激情、斗志，而“中國紅”自古以來代表中華兒女的美好向往。紅色文化是我們黨以馬克思主義科學理論為指導，融合中華民族傳統(tǒng)文化和西方思想文化之長而形成的先進文化的集中體現(xiàn)，傳遞著一種精神、一種信仰?！皞}廩實而知禮節(jié)，衣食足而知榮辱”。人類歷史的每一次躍進，無不伴隨著文化的進步。

對處理后的行李邊緣圖像進行霍夫變換以提取出其中的所有直線元素?；舴蜃儞Q是一種應(yīng)用極為廣泛的特征檢測技術(shù)，可以在圖像中解析出能被精確定義的圖像（如圓、直線、橢圓等），其原理較為簡單。將霍夫變換的結(jié)果疊加繪制在處理后的行李邊緣圖像上如圖7 所示。受行李箱表面圖像影響，經(jīng)霍夫變換提取到的直線結(jié)果中包含非邊緣直線（紅色直線），取包圍面積最大的直線組作為行李邊緣所在的直線，如圖7 中綠色直線所示。

圖7 行李邊緣提取結(jié)果Fig.7 Extraction result of baggage edge

考慮到圖像拍攝和計算誤差等因素，包圍所得四邊形并非標準矩形，取兩長對邊所在直線的對稱軸（圖7 中藍色直線）與傳送帶軸線所夾銳角作為通過二維圖像測量所得的行李箱旋轉(zhuǎn)角度θb2。

2.2 行李三維尺寸和位置測量

在2.1 節(jié)中，通過投影得到了xoy 平面上的行李二維點云，并利用點云和圖像數(shù)據(jù)測得了行李的旋轉(zhuǎn)角度θb1和θb2，可通過創(chuàng)建二維點云的OBB 包圍框的方式對行李長寬進行測量，然后利用原始點云單獨對行李厚度進行測量以提高測量效率。

首先對行李旋轉(zhuǎn)角度θb1和θb2進行評估，選擇最優(yōu)值作為行李旋轉(zhuǎn)角度的測量結(jié)果并以其為基準進行后續(xù)測量。計算出行李點云的x、y 坐標最值，求其均值作為旋轉(zhuǎn)中心O（xO、yO），分別繞旋轉(zhuǎn)中心將其旋轉(zhuǎn)角度-θb1與-θb2，對應(yīng)的旋轉(zhuǎn)矩陣如下

式中：n=1，2。為便于書寫，使用字母“c”表示余弦函數(shù)cos；使用字母“s”表示正弦函數(shù)sin。對于旋轉(zhuǎn)后的點云，其計算軸線方向應(yīng)與坐標軸正交，計算其坐標最值xmax、xmin、ymax、ymin并創(chuàng)建AABB（axis-aligned bounding box）包圍框，如圖8 所示。

圖8 中：藍色部分為根據(jù)圖像數(shù)據(jù)測量所得旋轉(zhuǎn)角度旋轉(zhuǎn)后的點云及其包圍框；紅色部分為根據(jù)點云數(shù)據(jù)測量所得旋轉(zhuǎn)角度旋轉(zhuǎn)后的點云及其包圍框?？梢姡ㄟ^圖像數(shù)據(jù)測量所得旋轉(zhuǎn)角度與行李實際旋轉(zhuǎn)角度更接近，按該角度構(gòu)建的包圍框面積更小。因此，取面積較小的包圍框所對應(yīng)的旋轉(zhuǎn)角度作為行李的實際旋轉(zhuǎn)角度θb，即可計算出該行李長度測量尺寸lb與寬度測量尺寸wb，即

對行李厚度的測量可通過對投影前行李主體點云中的z 坐標進行分析得出。首先將所有點的z 坐標值按其大小排序，計算出所有點的z 坐標最值zmax、zmin，并計算極差zR。根據(jù)經(jīng)驗規(guī)定，對于zR＜30 mm 的行李，認為其表面相對平整，取其點云重心的z 坐標值作為行李厚度的測量值tb；對于zR≥30 mm 的行李，取其所有點的z 坐標最大值zmax作為行李厚度的測量值tb。

3 航空托運行李形位測量實驗

為了評估所設(shè)計的行李測量方法的精度，設(shè)計對比實驗，對其測量效果進行驗證。

3.1 實驗場景及設(shè)備簡介

行李形位測量實驗在航空托運行李自動碼垛實驗平臺上進行，實驗平臺如圖9 所示。

使用一臺安裝在行李末端傳送帶正上方的Intel RealSense D455 深度相機作為行李RGB-D 數(shù)據(jù)的采集設(shè)備。相機與工控計算機通過USB-C 線纜連接。

在行李形位測量實驗中，所用的程序語言均為C++。通過RealSense SDK 實現(xiàn)RGB-D 圖像的數(shù)據(jù)采集和轉(zhuǎn)換；對行李點云的處理通過PCL 庫進行；對圖像的處理通過OpenCV 庫進行；矩陣計算使用Eigen庫進行。實驗環(huán)境及設(shè)備的配置如表2 所示。

3.2 測量實驗及結(jié)果分析

單純使用行李點云進行形位測量與使用圖像與點云結(jié)合的方式進行形位測量的主要區(qū)別在于對行李旋轉(zhuǎn)角度的測量結(jié)果。取50 件不同行李，收集其圖像和點云數(shù)據(jù)，通過預(yù)處理后的點云和圖像數(shù)據(jù)分別計算出行李旋轉(zhuǎn)角度，根據(jù)前文所述方法使用兩個不同旋轉(zhuǎn)角度對行李尺寸進行測量。

為避免圖像和點云數(shù)據(jù)采集產(chǎn)生誤差，對每件行李均進行5 次圖像和點云數(shù)據(jù)采集，取各采集數(shù)據(jù)測量值的截尾均值作為實際測量結(jié)果。將測量結(jié)果與實際數(shù)值進行對比，繪制測量結(jié)果的累計誤差曲線，如圖10 所示。在行李尺寸測量中，厚度測量結(jié)果與行李旋轉(zhuǎn)角度無關(guān)，故尺寸測量累計誤差僅對長、寬度測量結(jié)果誤差進行加權(quán)平均，取其加權(quán)均值作為誤差進行累計。

圖10 行李測量累計誤差曲線Fig.10 Cumulative error curve of baggage measurement

由圖10 可直觀看出，利用圖像與點云數(shù)據(jù)測量并選擇最優(yōu)旋轉(zhuǎn)角度的測量方法，其各項測量累計誤差與單純使用圖像（簡稱單圖像）或點云數(shù)據(jù)（簡稱單點云）進行測量的結(jié)果相比有顯著下降。

對實驗結(jié)果分析如表3 所示，相較于單點云進行測量的方法，本文方法在旋轉(zhuǎn)角度測量上的平均誤差降低了6.09%；在行李位置測量上的平均誤差降低了11.80%；在行李尺寸測量上的平均誤差降低了21.11%。實驗結(jié)果表明，利用本文方法實現(xiàn)了行李形位測量精度的有效提升。

表3 測量實驗平均誤差Tab.3 Average error of measurement experiment

4 結(jié)語

針對航空托運行李自動化測量過程中，單純依靠行李點云進行形位測量時行李旋轉(zhuǎn)角度測量的誤差會對后續(xù)尺寸測量環(huán)節(jié)產(chǎn)生較大影響的問題，對航空托運行李自動化測量技術(shù)進行優(yōu)化。通過綜合使用行李的圖像和點云數(shù)據(jù)測量并篩選出最優(yōu)旋轉(zhuǎn)角度，并以此角度為基準進行行李尺寸和位置的測量工作。實驗結(jié)果表明，與僅使用單點云方法進行測量相比，該方法旋轉(zhuǎn)角度平均測量誤差下降6.09%；行李位置平均測量誤差下降11.80%；行李尺寸平均測量誤差下降21.11%，有效提升了行李測量的精度，實現(xiàn)了航空托運行李的高精度測量，滿足了行李碼垛自動化流程對行李測量環(huán)節(jié)的要求。該方法在行李自助托運、托運行李全流程跟蹤等領(lǐng)域有較為廣闊的應(yīng)用前景。