王晶晶 顧 德

（江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院 無(wú)錫 214122）

1 引言

隨著科技的發(fā)展，無(wú)人機(jī)逐漸走進(jìn)人們的視野。無(wú)人機(jī)具有隱蔽性好、機(jī)動(dòng)性強(qiáng)、成本低等優(yōu)點(diǎn)，在軍事和民用領(lǐng)域被廣泛應(yīng)用［1］。目前，市售的無(wú)人機(jī)定位方式大多使用GPS與慣性測(cè)量單元（Inertial Measurement Unit，IMU）結(jié)合的方法［2］。這種常用的定位方式在室外無(wú)遮擋的環(huán)境具有較高的定位精度，而在較為復(fù)雜的室內(nèi)環(huán)境中，GPS易受干擾，信號(hào)不穩(wěn)定，若僅依靠IMU進(jìn)行定位，其定位誤差會(huì)隨時(shí)間的增加而增大。隨著機(jī)器視覺(jué)與圖像處理技術(shù)的深入研究，相關(guān)技術(shù)逐漸被應(yīng)用在無(wú)人機(jī)定位領(lǐng)域。視覺(jué)定位方法具有定位設(shè)備可靠，設(shè)備依賴(lài)性較?。?］，而且定位誤差不隨時(shí)間增加而增大的優(yōu)點(diǎn)。本文根據(jù)以上視覺(jué)特點(diǎn)，提出一種基于雙目視覺(jué)的無(wú)人機(jī)自主定位方法，通過(guò)機(jī)載雙目攝像頭采集地標(biāo)圖像，經(jīng)過(guò)雙目校正，特征點(diǎn)匹配等圖像處理方法計(jì)算深度，并利用坐標(biāo)變換得到無(wú)人機(jī)空間位置［4］。所有工作均由無(wú)人機(jī)及其裝載設(shè)備完成，因此具有自主性。此外，相較于使用外部視覺(jué)傳感器定位的方法，此方法還具有靈活性好，成本低，抗干擾性強(qiáng)等優(yōu)勢(shì)。

2 地標(biāo)設(shè)計(jì)

室內(nèi)定位中常用的地標(biāo)有雙圓地標(biāo)，4圓形地標(biāo)，H型地標(biāo)，7個(gè)簡(jiǎn)單多邊形的組合地標(biāo)［5］等。本文設(shè)計(jì)T型地標(biāo)［6］并將其作為室內(nèi)定位標(biāo)志物的原因如下：1）文中提取的特征為點(diǎn)特征，為保證無(wú)人機(jī)空間坐標(biāo)計(jì)算的正確性以及無(wú)人機(jī)飛行方向的確定性，提取到的特征點(diǎn)應(yīng)分布較好且個(gè)數(shù)適量。通過(guò)對(duì)比各地標(biāo)的特征，T型地標(biāo)滿(mǎn)足此要求（圓形地標(biāo)和H型地標(biāo)有多條對(duì)稱(chēng)軸不易判斷無(wú)人機(jī)飛行方向）。2）本文使用機(jī)載芯片進(jìn)行圖像處理，計(jì)算能力有限，T型地標(biāo)由兩個(gè)矩形組成，棱角分明，容易提取特征點(diǎn)（多邊形組合定位角點(diǎn)提取較為復(fù)雜）。T型地標(biāo)如圖1所示。

圖1 T型地標(biāo)示意圖

通過(guò)地標(biāo)尺寸實(shí)驗(yàn)得出地標(biāo)尺寸對(duì)定位精度的影響較大，因此為保證無(wú)人機(jī)在室內(nèi)飛行時(shí)得到較為清晰完整的地標(biāo)圖像，本文選取T型地標(biāo)尺寸為長(zhǎng)10 cm、寬2 cm的矩形。以地標(biāo)左上角角點(diǎn)a為坐標(biāo)原點(diǎn)，其余角點(diǎn)坐標(biāo)值分別為b（-100，0，0）、c（-40，120，0）、d（-60，120，0）。

3 雙目系統(tǒng)測(cè)量原理

雙目測(cè)距原理是利用兩個(gè)攝像機(jī)對(duì)同一目標(biāo)進(jìn)行拍攝，通過(guò)提取、匹配左右圖像對(duì)應(yīng)特征點(diǎn)得到目標(biāo)物在圖像中的視差，最終得到目標(biāo)物的深度信息［7～9］。理想的雙目立體成像原理如圖2所示，左、右攝像機(jī)光軸相互平行，相機(jī)坐標(biāo)系的原點(diǎn)為Ol、Or，分別在各自的光心處，光心距為B。以?xún)蓚€(gè)坐標(biāo)系原點(diǎn)的水平連線方向?yàn)橄鄼C(jī)坐標(biāo)系的Xc軸，以平行圖像平面垂直Xc軸方向?yàn)閅c軸，Zc軸垂直于XcYc平面，符合右手定則。

圖2 雙目立體成像原理圖

設(shè)左右攝像機(jī)在同一時(shí)刻觀察空間物體某一特征點(diǎn)P的坐標(biāo)為(X，Y，Z)，點(diǎn)P在左右攝像機(jī)成像平面上的投影點(diǎn)坐標(biāo)分別為pl(xl，yl)，pr(xr，yl)。

根據(jù)雙目立體成像原理可以得到深度Z與視差d的幾何關(guān)系，其表達(dá)式為

其中：視差d=|xl-xr|；Z為點(diǎn)P距攝像機(jī)的垂直距離，即深度；B為兩個(gè)相機(jī)的光心距；f為相機(jī)焦距。

則三維空間內(nèi)一點(diǎn)P(X，Y，Z)的坐標(biāo)表示為

由式（1）可知，在光心距B和焦距f等攝像機(jī)結(jié)構(gòu)參數(shù)不變的情況下，空間任意點(diǎn)P距攝像機(jī)的垂直距離與視差d成反比。即左右相機(jī)的成像圖像中視差值越小，物體距離攝像機(jī)越遠(yuǎn)。得到深度距離后，即可通過(guò)坐標(biāo)系轉(zhuǎn)換求得空間點(diǎn)的三維坐標(biāo)。

4 無(wú)人機(jī)三維定位流程

無(wú)人機(jī)實(shí)現(xiàn)室內(nèi)的精準(zhǔn)定位需進(jìn)行以下幾步：1）將兩個(gè)相同的攝像頭安裝在無(wú)人機(jī)底部采集圖像，選取T型地標(biāo)左上角角點(diǎn)作為坐標(biāo)原點(diǎn)；2）對(duì)雙目攝像頭進(jìn)行標(biāo)定，得到雙目攝像頭的內(nèi)部參數(shù)以及兩相機(jī)在世界坐標(biāo)系下的空間位置關(guān)系等；3）根據(jù)極線約束準(zhǔn)則對(duì)圖像進(jìn)行校正，以達(dá)到左右圖像共面同行的情況；4）將雙目校正圖像進(jìn)行地標(biāo)檢測(cè)、特征點(diǎn)提取及特征點(diǎn)的匹配；5）計(jì)算視差并根據(jù)視差結(jié)果計(jì)算深度以及坐標(biāo)原點(diǎn)相對(duì)雙目視覺(jué)的空間位置，利用坐標(biāo)系轉(zhuǎn)換最終求得無(wú)人機(jī)相對(duì)于地標(biāo)的室內(nèi)空間位置。無(wú)人機(jī)定位的流程如圖3所示。

圖3 無(wú)人機(jī)三維定位流程圖

4.1 雙目攝像機(jī)標(biāo)定

攝像機(jī)標(biāo)定的目的是建立攝像機(jī)成像模型，獲取相機(jī)的內(nèi)外參數(shù)，以便建立世界坐標(biāo)系下物體空間點(diǎn)與圖像對(duì)應(yīng)點(diǎn)之間的關(guān)系［10］。

標(biāo)定方法采用基于平面標(biāo)定模板的張正友方法，該方法從不同角度、距離采集棋盤(pán)格圖像，依靠多幅圖像對(duì)應(yīng)點(diǎn)之間的坐標(biāo)關(guān)系進(jìn)行參數(shù)解算。通過(guò)相機(jī)標(biāo)定可求得攝像機(jī)的內(nèi)部參數(shù)M、畸變矩陣D以及攝像機(jī)的外部旋轉(zhuǎn)矩陣R和平移矩陣T：

其中：fx、fy分別為圖像平面水平、豎直方向的焦距；u0、v0表示圖像的中心像素坐標(biāo)；k1、k2、k3為相機(jī)鏡頭的徑向畸變系數(shù)；p1、p2表示相機(jī)鏡頭的切向畸變系數(shù)。

假設(shè)世界坐標(biāo)系為Ow，攝像機(jī)坐標(biāo)系為Oc，空間點(diǎn)P在Ow和Oc坐標(biāo)系下的空間坐標(biāo)分別為Pw和Pc，則Pw和Pc之間的關(guān)系式為

其中：R是一個(gè)3×3的矩陣，表示世界坐標(biāo)系下右相機(jī)相對(duì)于左相機(jī)的旋轉(zhuǎn)矩陣；T是一個(gè)3×1的矩陣，表示世界坐標(biāo)系下右相機(jī)相對(duì)于左相機(jī)的平移矩陣。

實(shí)驗(yàn)采用文獻(xiàn)［11］的方法對(duì)雙目視覺(jué)系統(tǒng)進(jìn)行標(biāo)定，并利用Matlab中的標(biāo)定工具箱進(jìn)行標(biāo)定。

4.2 基于標(biāo)定技術(shù)的雙目校正

由于工藝水平的限制，現(xiàn)實(shí)中大多數(shù)雙目攝像機(jī)成像平面的空間位置無(wú)法達(dá)到光軸平行的情況，因此需要對(duì)攝像機(jī)采集的圖像進(jìn)行立體校正從而構(gòu)造出理想的雙目模型［12］。本文采用Bouguet算法［13］進(jìn)行校正，其核心思想是使兩圖像中的每一幅重投影次數(shù)最小化，同時(shí)使觀測(cè)面積最大化。校正步驟如下。

1）將右圖像平面相對(duì)于左圖像平面的旋轉(zhuǎn)矩陣R分解為兩相機(jī)的合成矩陣rl、rr，每個(gè)相機(jī)都旋轉(zhuǎn)一半，以達(dá)到圖像共面的目的。

2）為了將左相機(jī)極點(diǎn)變換到無(wú)窮遠(yuǎn)，并使極線水平對(duì)準(zhǔn)創(chuàng)建一個(gè)由極點(diǎn)e1方向開(kāi)始的旋轉(zhuǎn)矩陣Rrect，以實(shí)現(xiàn)行對(duì)準(zhǔn)的效果。

3）通過(guò)合成旋轉(zhuǎn)矩陣與變換矩陣相乘獲得左右相機(jī)的整體旋轉(zhuǎn)矩陣。左右相機(jī)坐標(biāo)系乘以各自的整體旋轉(zhuǎn)矩陣就可使得左右相機(jī)的主光軸平行，且像平面與基線平行。

4.3 地標(biāo)檢測(cè)與特征點(diǎn)提取

地標(biāo)檢測(cè)目的是從機(jī)載相機(jī)獲取的地面圖像中去除多數(shù)干擾部分，分割出T型地標(biāo)［15］。地標(biāo)檢測(cè)與分割使用二值化方法，根據(jù)地標(biāo)和背景的區(qū)別選取合適的閾值，文中采用的地標(biāo)為黑色，因此應(yīng)選較小的閾值，由多次實(shí)驗(yàn)驗(yàn)證，閾值宜取50。

對(duì)分割出的地標(biāo)圖像進(jìn)行特征點(diǎn)提取［14］，如圖1所示。本文選取a、b、c、d四點(diǎn)作為圖像特征點(diǎn)，原因如下：1）由式（1）可知，光心距B和焦距f確定時(shí)，深度Z的精確度取決于視差d，選取多個(gè)特征點(diǎn)計(jì)算多組視差可提高視差的精確度，減少隨機(jī)誤差；2）選取T型地標(biāo)的4個(gè)端點(diǎn)作為特征點(diǎn)，相較于地標(biāo)中其他點(diǎn)更易提取。

4.4 視覺(jué)三維坐標(biāo)解算

雙目視覺(jué)的視差由左右圖像匹配點(diǎn)在圖像物理坐標(biāo)系下作差得到，而上述匹配點(diǎn)得到的視差值是在像素坐標(biāo)系下求得，因此需要知道像素坐標(biāo)系與圖像物理坐標(biāo)系的轉(zhuǎn)換關(guān)系［16］。假設(shè)圖像中一個(gè)像素在圖像物理坐標(biāo)系下水平和垂直方向的物理尺寸為dx和d y，則圖像物理坐標(biāo)系與圖像像素坐標(biāo)系的轉(zhuǎn)換關(guān)系表示為

其中：[uv1]T是像素坐標(biāo)點(diǎn)的齊次坐標(biāo)，[xy1]T是圖像物理坐標(biāo)點(diǎn)的齊次坐標(biāo)。

由上述轉(zhuǎn)換關(guān)系即可得到視差在圖像物理坐標(biāo)系與在像素坐標(biāo)系下的關(guān)系式：

本文以T型地標(biāo)的左上角角點(diǎn)為參考原點(diǎn)，將等式（11）代入等式（2），則室內(nèi)無(wú)人機(jī)的空間位置坐標(biāo)為

5 實(shí)驗(yàn)

本文系統(tǒng)采用單片機(jī)STM32F767作為機(jī)載芯片，完成雙目校正、圖像處理以及三維坐標(biāo)解算。圖像采集模塊為OV2640雙目攝像頭，其分辨率為320像素×240像素，光心距為60mm。

1）對(duì)攝像機(jī)進(jìn)行標(biāo)定。標(biāo)定板使用角點(diǎn)數(shù)為8×6，邊長(zhǎng)為24.5mm的棋盤(pán)格。雙目攝像頭標(biāo)定結(jié)果如表1；

表1 雙目攝像頭標(biāo)定結(jié)果表

2）地標(biāo)尺寸比較實(shí)驗(yàn)。本文分別選取長(zhǎng)10cm、寬2cm與長(zhǎng)15cm、寬3cm的兩種矩形進(jìn)行測(cè)距對(duì)比實(shí)驗(yàn)，表3為長(zhǎng)15cm、寬3cm的矩形的測(cè)距結(jié)果。

表3 長(zhǎng)15cm、寬3cm矩形測(cè)距結(jié)果

對(duì)比表2與表3結(jié)果可以看出，選擇更大尺寸的地標(biāo)將提高測(cè)量精度。而當(dāng)無(wú)人機(jī)距離地標(biāo)距離過(guò)近時(shí)，雙目相機(jī)的成像圖像如圖4所示，此時(shí)對(duì)應(yīng)角點(diǎn)缺失較多，容易出現(xiàn)特征點(diǎn)誤匹配的錯(cuò)誤，影響定位效果。

表2 長(zhǎng)10cm、寬2cm矩形測(cè)距結(jié)果

圖4 大尺寸地標(biāo)成像圖

3）無(wú)人機(jī)在室內(nèi)飛行時(shí)，由于雙目攝像頭廣角的局限性，地標(biāo)并非完全在雙目攝像頭的視野范圍內(nèi)，角點(diǎn)缺失的地標(biāo)圖像如圖5所示。本文以圖5（a）為例，針對(duì)角點(diǎn)缺失情況設(shè)計(jì)以下處理方法：（1）計(jì)算地標(biāo)左右圖像中ab與a'b的像素長(zhǎng)度lenab、lena’b；（2）設(shè)定閾值Th并計(jì)算l enab與lena’b的差值判斷圖像是否存在角點(diǎn)缺失；若lenablena’b＞Th，則為角點(diǎn)a缺失，舍棄角點(diǎn)a，計(jì)算b、c、d三點(diǎn)的測(cè)距平均值；否則判定該地標(biāo)圖像為完整圖像。本文將閾值設(shè)置為5。

圖5 地標(biāo)角點(diǎn)缺失圖

4）無(wú)人機(jī)三維坐標(biāo)定位實(shí)驗(yàn)。由式（12）得到無(wú)人機(jī)相對(duì)于角點(diǎn)a的三維空間坐標(biāo)如表4所示。

表4 無(wú)人機(jī)相對(duì)點(diǎn)a的坐標(biāo)測(cè)量結(jié)果

由表5可知，使用本文算法測(cè)量的無(wú)人機(jī)位置與其真實(shí)位置相近，驗(yàn)證了本文算法的精確性。

表5 點(diǎn)a空間坐標(biāo)誤差

6 結(jié)語(yǔ)

本文提出一種結(jié)合T型地標(biāo)，使用雙目相機(jī)實(shí)現(xiàn)無(wú)人機(jī)室內(nèi)定位的方法，改善了室內(nèi)GPS信號(hào)弱無(wú)人機(jī)難以定位的缺點(diǎn)。此方法具有成本低，不受電磁干擾，靈活性高，移植方便等優(yōu)勢(shì)。結(jié)果表明：本文提出的自主定位方法與無(wú)人機(jī)的實(shí)際位置匹配精度高，定位效果較為理想。但由于單個(gè)STM32F7的處理速度有限，目前無(wú)人機(jī)的圖像處理速度為10幀/s，較難滿(mǎn)足無(wú)人機(jī)定位的實(shí)時(shí)性要求。下一步的研究方向?yàn)閷⒋朔N定位方法與慣性傳感器融合得到實(shí)時(shí)并且準(zhǔn)確的室內(nèi)無(wú)人機(jī)位置信息。