劉 峰，汪 瓚，王向軍

（1. 天津大學(xué) 精密測試技術(shù)及儀器國家重點實驗室，天津 300072；2. 天津大學(xué) 微光機電系統(tǒng)技術(shù)教育部重點實驗室，天津 300072）

引言

近年來，微小型無人機因其體積小、機動能力強的優(yōu)勢在民用、軍用領(lǐng)域得到廣泛應(yīng)用，但其本身對機載設(shè)備的體積、重量等參數(shù)有著嚴(yán)苛的要求，在自動避障方面為機載障礙探測系統(tǒng)設(shè)計帶來了一些挑戰(zhàn)[1-6]。在目前已有的障礙探測方法中，文獻(xiàn)[7]使用二維激光雷達(dá)作為障礙探測手段獲取環(huán)境信息，將三維空間的避障問題簡化成二維，不考慮無人機在垂直地面方向上的移動，因使用了激光雷達(dá)，具有精度上的優(yōu)勢；文獻(xiàn)[8]使用單線結(jié)構(gòu)光作為障礙探測手段，同樣不考慮垂直地面方向上的移動，能夠測量出無人機飛行過程中前方障礙物的距離、方位角度和寬度；文獻(xiàn)[9]融合了深度相機和激光雷達(dá)作為障礙探測手段，利用SLAM（同步定位與建圖）算法，將空間中的障礙物信息建成地圖，取得了良好的避障效果：上述3 個方法存在一個共同的問題，因為分別涉及到激光點云處理、線結(jié)構(gòu)光圖像、深度SLAM 算法處理，數(shù)據(jù)量和計算量龐大，在搭載了計算性能較強平臺的中大型無人機上或在離線任務(wù)中會有比較好的表現(xiàn)，但在實際應(yīng)用中很難將這些方法使用到微小型無人機在線任務(wù)當(dāng)中，不能滿足計算快的要求。文獻(xiàn)[10]使用雙目視覺系統(tǒng)作為障礙探測手段，在基線距離為120 mm 的條件下，可用于5 m 內(nèi)的障礙探測，但雙目視覺系統(tǒng)不能應(yīng)用于紋理特征少或光照條件差的環(huán)境當(dāng)中，且要提高精度則勢必要增加傳感器的體積，難以滿足通用性和小型化的要求。在技術(shù)已經(jīng)成熟的工業(yè)產(chǎn)品中，英特爾公司的RealSense 深度攝像頭用到了散斑測量的原理[11]，體積小、輸出幀率較高，已得到廣泛應(yīng)用，但此測量方法的工作距離極其有限，如2020 年發(fā)布的D455 型在基線距離超過100 mm 情況下，能夠保證2%測量相對誤差的工作距離僅為4 m，難以滿足通用性的要求。

基于以上分析，本文提出了一種單目視覺融合激光投射的無人機障礙探測方法，投射激光點陣圖案，使用單目相機采集圖像，通過像面激光線方程約束快速排除特征一致激光點的歧義，實現(xiàn)使用投射激光點陣圖案解決單目歧義性的效果，輸出前方空間中多個投射激光點的位置坐標(biāo)，為微小型無人機實時生成避障策略提供數(shù)據(jù)保證。

1 多點激光投射單目視覺測量模型

本文中相機模型采用了針孔攝像機模型，由相機坐標(biāo)系到像素坐標(biāo)系的映射可以用 (1) 式表示:

式中 (Xc,Yc,Zc)是激光點在相機坐標(biāo)系下的位置坐標(biāo)， (u,v)是激光點成的像在圖像坐標(biāo)系中的坐標(biāo)，而矩陣中的fx,fy,u0,v0是 相機內(nèi)參矩陣M1的參數(shù)，fx,fy分 別代表x軸 和y軸上的歸一化焦距， (u0,v0)則是圖像中心，這4 項參數(shù)通過相機標(biāo)定得到。將(1)式的第一行單獨提取出來可得：

式中的k1,b1,k2,b2這些參數(shù)為空間激光的結(jié)構(gòu)參數(shù)，4 個參數(shù)確定了唯一的一條空間激光直線，通過空間激光點陣標(biāo)定獲得。只需要獲得激光點的像在圖像坐標(biāo)系下的坐標(biāo) (u,v)，即可通過(6)式或(7)式求得激光點的深度信息Zc，在實際應(yīng)用中，需根據(jù)激光器和相機的不同安裝方式選擇不同的深度信息計算公式。若相機光學(xué)中心與激光器中心的連線與相機坐標(biāo)系的Xc軸夾角更小，則使用(6)式進(jìn)行計算，反之則使用(7)式。再由(4)式或(1)式即可求得Xc,Yc，進(jìn)一步得到激光點在相機坐標(biāo)系下的坐標(biāo) (Xc,Yc,Zc)。若投射出多束激光線，就可以得到多個投射到障礙物上形成的光點，從而估計出視野中障礙物的方位信息。

為獲得多束激光線，本文在激光器前方安裝分束光柵，可將單束激光線變?yōu)? 點圓環(huán)圖案的激光投射圖案，如圖1 所示。為便于后文表述，將中心的點記為“中心0 號激光點”，其上方的點記為“1 號激光點”，按照順時針順序，將剩余點分別命名為2 號 ～ 8 號激光點。

圖1 9 點激光圖案Fig. 1 Laser pattern of nine points

2 多 點 激 光 投 射 單 目 視 覺 測 量 系 統(tǒng)標(biāo)定

視覺系統(tǒng)的標(biāo)定主要包括相機參數(shù)標(biāo)定和空間激光點陣圖案的標(biāo)定。

2.1 系統(tǒng)標(biāo)定總體流程

1） 準(zhǔn)備一個張氏標(biāo)定法的棋盤格靶標(biāo)，棋盤格的大小已知，用待標(biāo)定的相機拍攝若干張擺放成各種角度的棋盤格靶標(biāo)的圖像，記為A 組圖像。

2） 開啟激光器，擺放棋盤格靶標(biāo)使激光點落在靶標(biāo)上，拍攝各個角度帶有激光點的棋盤格靶標(biāo)的圖像，并記為B 組。此處需要保證對于每一個激光點（如中心0 號激光點），需要采集至少2 張帶有該激光點的棋盤格靶標(biāo)圖像，此外若考慮使標(biāo)定結(jié)果盡可能小地受到隨機誤差和粗大誤差的影響，減小激光點對棋盤格角點提取的干擾，需要采集10 張以上的圖片。

3） 利用上述A 組和B 組圖像，使用張氏標(biāo)定法[13]標(biāo)定相機的內(nèi)部參數(shù)矩陣M1。

4） 對于B 組的每一張圖像，提取出激光點的中心，另外圖片中激光點中心在棋盤格靶標(biāo)上的世界坐標(biāo) (Xw,Yw,Zw)是已知的。

5） 通過張氏標(biāo)定法得到B 組每一張圖片的外部參數(shù)矩陣M2，該矩陣與上一步中得到的世界坐標(biāo)相乘，得到B 組每一張圖片上激光點在相機坐標(biāo)系下的坐標(biāo) (Xc,Yc,Zc)。

6） 針對投射圖案的9 個光點，使用最小二乘法得到每一個光點所在空間直線的方程，每個方程包含4 個參數(shù)，總計得到9 組共36 個參數(shù)。

2.2 相機參數(shù)標(biāo)定

相機參數(shù)標(biāo)定，主要是確定相機的內(nèi)參矩陣M1， 用于后續(xù)計算；確定徑向畸變參數(shù)k1,k2（此處僅代表相機的徑向畸變參數(shù)，與空間激光點陣圖案標(biāo)定中的k1,k2無 關(guān)）和切向畸變參數(shù)p1,p2，對圖像進(jìn)行畸變校正；確定外參矩陣M2，用于計算B 組每張圖像中的標(biāo)定板坐標(biāo)系相對于相機坐標(biāo)系的位姿，從而得到標(biāo)定板上的激光點的位置信息，用于空間激光點陣圖案的標(biāo)定。

2.3 空間激光點陣標(biāo)定

使用位于不同位姿的棋盤格靶標(biāo)圖像以及得到的靶標(biāo)上的激光點位置，即可通過多張圖像中的激光點空間坐標(biāo)擬合得到激光點陣圖案中每個點所在激光線的空間直線方程。由1.1 節(jié)模型推導(dǎo)可知，相機坐標(biāo)系下的空間直線方程在幾何意義上可以表示為空間中2 個平面的交線，用方程表示為(4) 式的形式。利用離差平方和最小的原則確定方程中的參數(shù)，即令

3 基于像面激光線方程約束的激光點陣圖像處理和質(zhì)心提取

單目相機采集的RGB 圖像中包含了大量的無關(guān)信息，障礙探測的關(guān)鍵是從RGB 圖像中提取出9 個激光點質(zhì)心的像素坐標(biāo)信息代入(6)式進(jìn)行計算。圖像處理和激光點質(zhì)心提取過程可分為3 個步驟，分別是：1） 將RGB 圖像轉(zhuǎn)化到L*a*b*色彩空間，在L*a*b*色彩空間上進(jìn)行激光點陣圖像的分割；2） 使用種子生長法將分割出的激光點陣圖像進(jìn)行光斑聚類和質(zhì)心提取；3） 使用像面激光線方程約束排除雜光斑和光點缺失的干擾，將提取出的光斑質(zhì)心與激光點一一匹配。

3.1 基于L＊a＊b＊色彩空間的激光點陣圖像分割方法

為了提取圖像中的激光點信息，需要將圖像進(jìn)行分割，因為無人機工作環(huán)境中色彩、光照條件復(fù)雜，使用基于RGB 色彩空間的閾值分割方法難以取得好的分割效果。本文使用基于L*a*b*色彩空間的圖像分割方法，L*a*b*色彩空間是一個三維的色彩空間，具有L*、a*、b*三個基本分量。其中L*分量代表亮度，L* = 0 時指示黑色，L* = 100 時指示白色；a*分量和b*分量理論上是無界的，但在計算機中一般用一個有限范圍之間的值來表示，a* ＜ 0 時，其絕對值越大越趨向于指示紅色，a* ＞ 0 時，絕 對 值 越 大 越 趨 向 于 指 示 綠 色；b* ＜0 時，其絕對值越大越趨向于指示藍(lán)色，b* ＞ 0 時，絕對值越大越趨向于指示黃色[14]。L*a*b*色彩空間的這種特點非常適合用于激光圖像的分割：激光光斑的特征一般是中心亮度極高，邊緣帶有少量色彩信息。在L*a*b*色彩空間中，激光光斑中心的L*分量接近100，便于分割出激光光斑的中心部分；另外最常用的激光器光源主要有波長為650 nm 的紅光、520 nm 的綠光、450 nm 的藍(lán)光等，而使用a*分量或b*分量其一即可有效地分割出激光光斑邊緣的色彩信息。RGB 色彩空間到L*a*b*色彩空間的轉(zhuǎn)換如(12)式：

經(jīng)過多組實驗對比，使用經(jīng)驗取值L*∈[84.639,99.655],b*∈[-9.691,7.890]可取得較好的分割效果，得到包含激光光斑信息的二值圖像，如圖2 所示。

圖2 原始采集圖像與基于L＊a＊b＊色彩空間的圖像分割結(jié)果Fig. 2 Original acquired image and image segmentation results based on L＊a＊b＊ color space

3.2 基于種子生長法的激光光斑聚類和質(zhì)心提取方法

對RGB 圖像進(jìn)行了圖像分割后，形成了包含激光光斑信息的二值圖像，還需要對分割出的激光光斑進(jìn)行聚類操作，以確定圖像中哪些像素的激光圖像是同一束激光束產(chǎn)生的，并提取其質(zhì)心作為該激光光斑的中心點，將中心點坐標(biāo) (u,v)代入(6) 式計算出激光光斑相對單目相機的空間位置。激光光斑聚類過程可以簡述為：

1） 從圖像坐標(biāo) (1,1)開始遍歷包含激光光斑信息的二值圖像，直至遇到白色像素點，將該像素點的坐標(biāo)作為種子點入棧并編號；

2） 判斷棧是否為空，若不為空，則彈出棧頂元素，判斷該像素點坐標(biāo)附近的8 連通像素點是否也為白色，若為白色，則編同樣的序號，并將這樣的像素點的坐標(biāo)入棧；

3） 直至棧為空，下一次遍歷到白色像素點時的序號+1；

4） 遍歷完成后，形成該二值圖像的“編號標(biāo)記矩陣”，尺寸與原圖像相同，并包含有不同光斑聚類的編號信息[15]；

5） 遍歷編號標(biāo)記矩陣，對具有相同編號的像素點的橫坐標(biāo)、縱坐標(biāo)分別求平均，即可得到每個光斑聚類的質(zhì)心點坐標(biāo)。

圖3 是將上節(jié)分割后的圖像進(jìn)行基于種子生長法的激光光斑聚類和質(zhì)心提取之后的結(jié)果，圖中用不同顏色的星號表示了各個光斑的質(zhì)心位置。

圖3 激光光斑聚類和質(zhì)心提取結(jié)果Fig. 3 Results of spot clustering and centroid extraction

3.3 像面激光線方程約束下的特征一致光點快速搜索方法

獲取到各聚類的質(zhì)心點坐標(biāo)后，還不能夠直接得到各光斑實際的空間位置，原因有二：一方面激光圖案經(jīng)過空間物體的調(diào)制，已經(jīng)失去了原來的幾何特征，產(chǎn)生了變形，或者部分被遮擋產(chǎn)生了缺失，無法僅通過原圖案的特征得到激光光斑與激光點編號之間的對應(yīng)關(guān)系，如圖4(a)所示，原本激光圖案外側(cè)的8 個點可以圍成一個規(guī)整的圓形，經(jīng)過空間物體的調(diào)制后明顯不再具有這種特征，另外原本激光圖案左下方位的6 號激光點被平面靶標(biāo)遮擋，產(chǎn)生了缺失；另一方面，圖像中的光斑有時并非全都是由激光束投射到障礙物上產(chǎn)生的，因微小型無人機工作環(huán)境復(fù)雜，有可能受到鏡面反光物體、高亮度物體的干擾產(chǎn)生雜光斑，影響激光圖像分割的結(jié)果，如圖4(b)所示，可以注意到紅圈指示的圖像下方的桌腳部分存在鏡面反光，影響到圖4(c)所示的激光圖像分割的效果。

圖4 受到影響的激光圖案Fig. 4 Affected laser patterns

本文使用像面激光線方程作為約束，排除雜光斑的干擾，并將激光光斑與激光束相匹配。由針孔相機模型的特點可知，空間中的直線映射到像平面上后也會是一條直線。在實際的圖像中，因為相機獲得的圖像存在畸變，所以需要先進(jìn)行畸變矯正這個結(jié)論才能夠成立。本文2.2 小節(jié)通過張氏標(biāo)定法確定相機的參數(shù)矩陣，同時得到相機的畸變參數(shù)，圖像經(jīng)過畸變校正之后，可以認(rèn)為一條激光束映射到平面后也是一條直線，即該激光光斑的中心點在圖像中所有可能出現(xiàn)的位置可以連成一條直線。在前述的標(biāo)定過程中，得到的B 組圖像包含有激光光斑，提取這些光斑的質(zhì)心點坐標(biāo)，即可通過最小二乘方法求得像面激光線方程，再通過計算各個光斑質(zhì)心與各像面激光線的距離，即可快速排除雜光斑的干擾，將激光光斑與產(chǎn)生它的編號激光點一一匹配。如圖5 所示，紅色虛線描出的即為像面激光線的約束線及其對應(yīng)編號。根據(jù)經(jīng)驗，保留與直線的距離在5 個像素以內(nèi)的光斑質(zhì)心點，并選取其中距離最近的點作為對應(yīng)編號的匹配點，可取得較理想的效果。

圖5 像面激光線約束Fig. 5 Constraint of laser line on image plane

4 實驗過程與結(jié)果分析

4.1 實驗系統(tǒng)構(gòu)建

為驗證本文方法的有效性，如圖6 所示，構(gòu)建了一套單目視覺與投射激光點陣圖案融合的探測裝置和實驗環(huán)境。探測裝置的主體是單目相機與激光器剛性固連的結(jié)構(gòu)，相機的光學(xué)中心與激光器中心的距離約為65 mm，激光器前方安裝9 點圓環(huán)形狀的光柵元件，激光器發(fā)出的光經(jīng)過光柵形成9 點圓環(huán)圖案的激光投影。

(2)如果前頭有表示時點的時間詞語，：“就”表示早，“才”表示晚；如果有表示時段的時間詞語，“就”表示快，“才”表示慢。

圖6 實驗裝置場景圖Fig. 6 Scene graph of experimental device

實驗系統(tǒng)使用的主要硬件型號如下：激光器光源為GSPLM450805D12-AL 型號激光器；光柵元件是定制的9 點圓環(huán)圖案；單目相機為KSA2A242 型寬動態(tài)相機模組，分辨率為1920×1080 像素，幀率為30 幀/s，鏡頭視場角為30° 。標(biāo)定和測量實驗中使用的棋盤格靶標(biāo)尺寸為10×7，每個方格的邊長為30 mm。

4.2 視覺系統(tǒng)標(biāo)定結(jié)果

根據(jù)本文2.1 節(jié)標(biāo)定過程獲得的標(biāo)定數(shù)據(jù)，包含相機內(nèi)部參數(shù)、畸變參數(shù)等（見表1），激光點陣圖案的空間結(jié)構(gòu)參數(shù)如表2 所示。

表1 相機標(biāo)定參數(shù)Table 1 Camera calibration parameters

表2 激光圖案的空間結(jié)構(gòu)參數(shù)Table 2 Spatial structure parameters of laser patterns

4.3 障礙探測實驗及結(jié)果

障礙探測實驗主要目的是探究在一定工作距離內(nèi)，本文方法對障礙位置的測量效果和精度。障礙探測實驗的具體內(nèi)容如下：

1） 固定本文的實驗裝置，開啟激光器。

2） 在實驗裝置前方7 m 范圍（本文方法設(shè)計適用的工作距離）內(nèi)移動，使用棋盤格靶標(biāo)接收激光器投射出的一個光點，與此同時相機采集這個移動過程的視頻，圖像中包含有在每個位置的棋盤格的圖像，這組視頻用于探究在1 m～7 m 的距離范圍內(nèi)的本文方法對障礙位置測量的精度；將棋盤格靶標(biāo)分別移動到10 m、15 m 附近的位置接收激光器投射的光點并采集視頻，這2 組視頻用于探究在工作距離與基線距離比值較大的情況下方法的效果。

3） 重復(fù)步驟2），直至分別采集了關(guān)于9 個激光點的視頻。

從步驟3）的視頻分別隨機取若干幀，剔除影響棋盤格角點提取的幀圖像，將這些包含有棋盤格的幀圖像插入原始標(biāo)定圖像組中，使用張氏標(biāo)定法獲得每張圖像中相機相對于棋盤格的位姿（即外參），由此求出棋盤格上激光點在相機坐標(biāo)系下的坐標(biāo) (Xcalib,Ycalib,Zcalib)，將這個作為激光點的坐標(biāo)真值，將本文方法求得的值記為 (Xcal,Ycal,Zcal)，作為激光點的坐標(biāo)測量值。

以1 號激光點為例，表3 展示了關(guān)于1 號激光點的測量數(shù)據(jù)。

表3 “1 號”激光點的測量數(shù)據(jù)Table 3 Measured data of the No.1 laser point mm

從表格的前10 行可以看出，在7 m 的工作范圍內(nèi)，測得的激光點的X坐標(biāo)的測量絕對誤差在8.50 mm～58.87 mm 范圍之間；Y坐標(biāo)的測量絕對誤差在0.01 mm～9.25 mm 之間，且都有隨著工作距離的增加而變大的趨勢。而在更為關(guān)鍵的深度方向上，Z坐標(biāo)的測量絕對誤差在0.47 mm～103.43 mm之間，進(jìn)一步計算出其相對誤差，得到Z坐標(biāo)的測量相對誤差在0.01%～1.48% 之間。類似地，對0～8 號所有激光點的實驗數(shù)據(jù)進(jìn)行整理，可以得到圖7 所示的隨工作距離變化的Z坐標(biāo)測量相對誤差分布圖。

從圖7 中觀察到在7 m 的工作范圍內(nèi)，Z 坐標(biāo)的測量相對誤差（的絕對值）是一個先減小后增大的過程，在3 m ～ 6 m 之間的位置能夠取得最好的測量效果。

圖7 深度測量的相對誤差折線圖Fig. 7 Line charts of relative error of depth measurement

表3 的11 行展示了在10 m 工作距離上的誤差水平，X坐標(biāo)的誤差上升到87.34 mm，Y坐標(biāo)的誤差來到5.73 mm，Z坐標(biāo)的相對誤差達(dá)到16.93% ；表3 的12 行展示了在15 m 工作距離上的誤差水平，X坐標(biāo)的誤差來到107.43 mm，Y坐標(biāo)的誤 差 來 到17.99 mm，Z坐 標(biāo) 的 相 對 誤 差 達(dá)到21.43% 。由此可以看出在超過了7 m 的工作范圍后，雖然還具有一定的障礙探測能力，但可靠性大幅降低，可通過換用高解析力CMOS、增加標(biāo)定用圖片數(shù)量、使用亞像素級質(zhì)心提取算法等手段提高方法精度和工作范圍。

本文驗證實驗中使用的9 點圓環(huán)的激光投射圖案的尺寸為直徑400 mm（當(dāng)投射距離為1 m時）。對于寬高尺寸小于激光投射圖案尺寸的小型障礙，本文方法可以有效探測到該障礙目標(biāo)；而當(dāng)障礙目標(biāo)是尺寸超出激光投射圖案的大型障礙時，則通過無人機飛控的特定飛行策略進(jìn)行組合探測，在飛行過程中確定障礙目標(biāo)的邊界。當(dāng)與前方障礙之間的距離為L時，在單次靜態(tài)測量中能分辨的最小尺寸為0.15L，也即投影圖案上2 點的最小距離，能夠滿足無人機障礙探測的分辨力要求。如需應(yīng)用到對分辨力或探測效率要求更高的場景，可將激光投射圖案更換光點更加密集的圖案，如11×11 點陣激光圖案，以提高障礙探測分辨力和探測效率。

5 結(jié)論

本文提出了一種基于單目視覺與主動激光點陣投射無人機障礙探測方法，經(jīng)實驗驗證，在相機與激光器之間的基線距離為65 mm，探測距離為7 m，即探測距離與基線距離之比大于1000 的條件下，達(dá)到了相對誤差小于1.5% 的障礙探測效果。該方法的運算復(fù)雜度低，對于一幀圖像，僅有2 次圖像遍歷過程和有限次的浮點數(shù)運算。能夠滿足微小型無人機應(yīng)用中對障礙探測功能模塊的小型化、計算快等要求，且對于不同環(huán)境具有一定的通用性，能夠為微小型無人機進(jìn)一步生成避障策略提供數(shù)據(jù)支撐。