唐國棟，方 明,2+，雷立宏

(1.長春理工大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，吉林 長春 130022；2.長春理工大學(xué) 人工智能學(xué)院，吉林 長春 130022)

0 引 言

由于室內(nèi)環(huán)境一般較為復(fù)雜，存在建筑物遮擋，行人闖入等情況。因此，移動機(jī)器人室內(nèi)定位技術(shù)已逐漸受到關(guān)注。

Google公司曾將GPS與Wi-Fi技術(shù)相結(jié)合[1]，對具體位置進(jìn)行標(biāo)記從而實(shí)現(xiàn)室內(nèi)定位；北京航天航空大學(xué)的王田苗教授將多傳感器數(shù)據(jù)融合提出了一種基于無線定位的單目視覺定位相結(jié)合的傳感器融合室內(nèi)定位方法[2]；盡管這些方法在室內(nèi)定位中也有明顯的成效，準(zhǔn)確度也較好，但由于相關(guān)的儀器設(shè)備成本較高、受周邊環(huán)境影響因素較大、部署繁瑣等問題，使在實(shí)際應(yīng)用中會存在諸多困難。因此，基于計(jì)算機(jī)視覺的定位方法由于其設(shè)備成本較低，部署容易，被廣泛重視。

目前，基于機(jī)器視覺的室內(nèi)定位方法主要通過視覺傳感器不斷地獲得更多當(dāng)前場景的特征，矯正自身的位置與姿態(tài)，并利用圖像中的特征信息來進(jìn)行場景環(huán)境的定位與建模[3]。但由于視覺傳感器成像過程容易受到光照變化、行人闖入[4]等問題的影響，導(dǎo)致該方法一般精準(zhǔn)度不高，這也是現(xiàn)如今視覺室內(nèi)定位研究的主要難題。為實(shí)現(xiàn)低成本高精度的室內(nèi)定位算法，本文將指紋定位思想引用到視覺定位中。用指紋定位技術(shù)來縮小定位范圍，再將定位場景轉(zhuǎn)移到天花板中進(jìn)行精確定位，從而避免了周圍環(huán)境變化對定位結(jié)果的影響。

1 方 法

如圖1所示，本文方法主要是通過實(shí)驗(yàn)室自制的輪式機(jī)器人為搭載平臺。其搭載4個(gè)水平方向且視場角均為80°的單目相機(jī)及1個(gè)朝向正上方且視場角為120°的單目廣角相機(jī)。系統(tǒng)的總體工作流程如圖2所示。在預(yù)處理工作中獲取圖像信息并生成指紋信息庫。定位工作中，采用由粗匹配到精確定位相結(jié)合的方法。在粗匹配中通過測試圖信息與指紋庫中的信息進(jìn)行匹配來縮小定位范圍，再到精確定位中計(jì)算精確的位移及偏轉(zhuǎn)角度，達(dá)到最終定位目的。

圖1 機(jī)器人視野

圖2 定位流程

1.1 預(yù)處理

首先，通過單目廣角相機(jī)，對室內(nèi)實(shí)驗(yàn)天花板進(jìn)行圖像采集，同時(shí)使用4個(gè)單目相機(jī)對室內(nèi)四周環(huán)境進(jìn)行圖像信息采集。之后，提取圖像中的紋理特征，找到當(dāng)前圖像的中心點(diǎn)及機(jī)器人當(dāng)前位置記錄下來形成信息庫；在實(shí)驗(yàn)室中進(jìn)行不同位置的環(huán)境信息采集，用于后期的粗匹配定位。

(1)指紋信息庫生成

對采集到的室內(nèi)環(huán)境圖像(大小為：640×480)進(jìn)行灰度化處理；利用分塊的方法將圖像分成8×8平均大小的子塊，通過DCT變換[5,7]和反變換[5]對各子塊進(jìn)行處理，保留其左上角4×4的系數(shù)，并利用相關(guān)系數(shù)組合成新的矩陣，此時(shí)，圖像大小縮小為320×240；按固定順序?qū)⒖s小后的4幅環(huán)境圖拼接成1280×240新矩陣D，通過白化及奇異值分解的方法[5,6]提取出圖像中的特征向量P，起到降低冗余度與降維的目的，最后，令G=PD，得到一個(gè)1280×1的全局特征向量G(具體公式推導(dǎo)請參見文獻(xiàn)[5-7])；顯然，每一個(gè)位置的4幅圖都可以用一個(gè)全局特征描述向量作為指紋信息來表示，多個(gè)地點(diǎn)的圖像指紋信息形成指紋信息庫。

(2)天花板信息處理

在室內(nèi)場景中，由于天花板的結(jié)構(gòu)較為簡單，不會存在物體闖入的情況且不易受干擾，但其特征信息較少，所以需要對其進(jìn)行圖像信息處理，通過邊緣檢測算法對天花板圖像進(jìn)行邊緣提取，再通過改進(jìn)的自適應(yīng)中值濾波對圖像進(jìn)行優(yōu)化，從而將測試圖中天花板中的紋理信息提取出來，最后記錄圖像中心點(diǎn)并標(biāo)記。

1.2 定 位

采用粗匹配定位與精確定位相結(jié)合的方法，在粗匹配中縮小定位范圍，再通過精確定位在小范圍內(nèi)計(jì)算位移與偏轉(zhuǎn)角，完成定位。

(1)粗匹配定位

同生成信息庫的方法類似，對測試圖中的環(huán)境信息圖像生成指紋信息，并與指紋庫中的信息進(jìn)行對比找到匹配率最高的一組信息作為匹配結(jié)果，完成粗匹配定位。

目前特征匹配算法主要面臨著匹配精準(zhǔn)度高的方法運(yùn)行時(shí)間較長，運(yùn)行速度快的匹配算法其穩(wěn)定性差的難題，一般導(dǎo)致這種情況的問題在于鄰域一致性約束的利用，由于稀疏特征的鄰域在定義上十分復(fù)雜，一致性特征匹配的計(jì)算比較繁瑣。我們選用GMS(grid-based motion statistics for fast)[8]方法，能很好地解決這個(gè)問題。其核心思想是憑借運(yùn)動的平滑性使匹配的特征點(diǎn)鄰域有較多匹配的點(diǎn)，通過計(jì)算鄰域的匹配點(diǎn)個(gè)數(shù)來判斷一個(gè)匹配正確與否。

其實(shí)現(xiàn)過程如下：①將待匹配圖像分成20×20網(wǎng)格塊，對每一塊中的特征匹配個(gè)數(shù)進(jìn)行統(tǒng)計(jì)，由于許多特征位于網(wǎng)格邊緣，為解決這種情況，采用多次計(jì)算來減少誤差，分別在 (x,y) 點(diǎn)及x和y方向上各移動半個(gè)單元寬度的情況下進(jìn)行計(jì)算；②以3×3的網(wǎng)格為模型進(jìn)行閾值計(jì)算；③正確與錯(cuò)誤匹配的鑒別，公式如下

(1)

圖3為GMS方法的網(wǎng)格模擬，其中I1,I2,…,I9為I鄰域內(nèi)各自匹配個(gè)數(shù)；J1,J2,…,J9為J鄰域內(nèi)各自匹配個(gè)數(shù)。

圖3 網(wǎng)格

當(dāng)要判斷 {i,j} 是否為正確匹配時(shí)，將i鄰域內(nèi)的各網(wǎng)格內(nèi)的匹配數(shù)中加入其自身權(quán)重wi，從而達(dá)到自適應(yīng)性，如下式

(2)

式中：Mi為i鄰域網(wǎng)格中匹配數(shù)的中值，gik表示為鄰域中各網(wǎng)格位置的匹配數(shù)(k=1,2,…,9)，Ti公式如下

(3)

式中：N為3×3網(wǎng)格的格數(shù)9。

將式(2)與式(3)整合后公式為

(4)

再將ni代入回式(1)進(jìn)行鑒別運(yùn)算。

如圖4所示，我們通過3種優(yōu)化算法對ORB[9]特征匹配結(jié)果進(jìn)行優(yōu)化，由圖4(a)可以看出ORB特征匹配算法匹配對的線條相互交錯(cuò)，存在較多的錯(cuò)誤匹配；傳統(tǒng)的RANSAC[10]優(yōu)化方法雖排除了一些錯(cuò)誤匹配，但仍然有錯(cuò)誤的匹配沒有被優(yōu)化掉，圖4(b)中依舊可以看到交錯(cuò)的匹配對；圖4(c)中GMS優(yōu)化方法很好的將所有的錯(cuò)誤匹配排除掉，匹配對之間較為順滑，方向較為一致，但匹配對的數(shù)量較少，許多正確的匹配已被誤處理掉；而圖4(d)中的匹配對不僅數(shù)量較多，而且較為順滑，可以看出本文提出的改進(jìn)的GMS優(yōu)化方法不但可以抑制錯(cuò)誤匹配，而且盡可能保留更多的正確匹配。

圖4 匹配優(yōu)化對比

(2)精確定位

通過對測試圖像中的天花板圖像進(jìn)行處理，得到其紋理特征與圖像中心點(diǎn)坐標(biāo)并進(jìn)行標(biāo)記，再運(yùn)用σ=1.5的高斯函數(shù)對梯度做平滑處理，減小噪點(diǎn)影響，通過Harris關(guān)鍵點(diǎn)檢測算法來提取測試圖與匹配結(jié)果圖中的關(guān)鍵點(diǎn)，利用ANMS[11]方法對得到的關(guān)鍵點(diǎn)進(jìn)行擇優(yōu)，再通過改進(jìn)的GMS對匹配后的結(jié)果進(jìn)行優(yōu)化，從而達(dá)到最佳的匹配結(jié)果，將最佳匹配結(jié)果作為兩圖之間關(guān)系模型，通過透視變換將匹配得到的原數(shù)據(jù)集中的天花板信息與測試圖像中的天花板信息進(jìn)行融合、拼接[12]，從而得到一張包含兩張圖像信息的融合圖。因?yàn)橥敢曌儞Q[13]是利用透視中心、像點(diǎn)、目標(biāo)點(diǎn)3點(diǎn)共線的原理，經(jīng)過透視變換后原圖中的直線關(guān)系在變換后的圖中依舊可以維持(透視變換原理請參照文獻(xiàn)[13])。再對融合圖像進(jìn)行圖像處理找到融合圖像中原兩幅圖像的相應(yīng)點(diǎn)，計(jì)算融合圖像中的原兩幅圖像中心點(diǎn)位置，通過式(5)得到兩點(diǎn)之間的距離，即為其位移

(5)

最后通過變換矩陣來計(jì)算疊加后測試圖圖像的4個(gè)角點(diǎn)坐標(biāo)值，對任意相鄰兩角點(diǎn)求Δx，Δy，通過式(6)計(jì)算偏轉(zhuǎn)角

(6)

通過檢測融合后圖像中原兩幅圖像中的圖像中心位置差來計(jì)算位移差，兩張圖像融合的透視變換矩陣來計(jì)算機(jī)器人當(dāng)前的偏轉(zhuǎn)角度，從而實(shí)現(xiàn)精確定位，其整體流程如圖5所示。

圖5 精確定位流程

2 實(shí) 驗(yàn)

本實(shí)驗(yàn)中的室內(nèi)環(huán)境選用的是占地面面積為60 m2、高度為2.8 m的實(shí)驗(yàn)室場地，通過在室內(nèi)12個(gè)不同的位置進(jìn)行相關(guān)的信息采集，分別獲取當(dāng)前位置的四周環(huán)境4張圖像與天花板1張圖像作為當(dāng)前位置的相關(guān)信息，然后在實(shí)驗(yàn)室任意一個(gè)位置采集相關(guān)數(shù)據(jù)作為測試用例，并通過場景中闖入行人的方式，驗(yàn)證算法對場景存在局部變化的魯棒性。

2.1 室內(nèi)定位

將測試圖像生成指紋信息與指紋庫中的信息進(jìn)行比較，得到匹配度最高的一組數(shù)據(jù)完成粗匹配，再對天花板進(jìn)行處理計(jì)算位移與偏轉(zhuǎn)角，如圖6所示。

圖6 本文定位方法結(jié)果

在室內(nèi)12個(gè)不同位置采集圖像集并生成指紋信息，將測試信息圖6(a)與指紋庫信息進(jìn)行粗匹配，得到的匹配結(jié)果如圖6(b)所示，相應(yīng)的指紋匹配結(jié)果如圖6(c)所示。

將測試圖中的天花板圖與匹配結(jié)果圖中的天花板圖相融合，如圖6(d)所示。其中虛線為融合后天花板中原測試圖與匹配結(jié)果圖的圖像邊界，圓點(diǎn)為兩幅圖像的中心點(diǎn)，通過計(jì)算兩點(diǎn)間距離得到位移為distance≈204.6 cm。

為進(jìn)一步驗(yàn)證本實(shí)驗(yàn)方法在室內(nèi)定位中的性能，我們使用廣泛應(yīng)用于特征提取與匹配的pHash[14]、ORB與指紋方法進(jìn)行對比實(shí)驗(yàn)分析。其中ORB是局部特征提取方法，pHash是全局特征提取方法。對采集間隔為10 cm的連續(xù)圖像進(jìn)行測試，來測試定位的準(zhǔn)確度，圖7(a)、圖7(b)分別為測試圖像與匹配結(jié)果圖像。通過測量發(fā)現(xiàn)測試圖與匹配圖結(jié)果之間的實(shí)際距離仍然存在10 cm的誤差，我們將在下一步的精確定位中進(jìn)一步抑制該誤差。

圖7 匹配結(jié)果對比

圖8為上述3種方法的粗匹配精度對比。其中，橫軸表示不同位置采集到的圖像集，ORB的縱軸表示匹配點(diǎn)個(gè)數(shù)，pHash與指紋方法的縱軸都表示匹配度。

圖8 粗匹配結(jié)果對比

通過精確定位計(jì)算，測得融合后天花板中原測試圖與匹配結(jié)果圖的圖像中心點(diǎn)，兩點(diǎn)間的橫坐標(biāo)距離差為dx=9.0 cm，兩點(diǎn)間縱坐標(biāo)距離差為dy=0.5 cm，兩點(diǎn)間距離為distance≈9.0 cm。

對以上多組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行對比，結(jié)果見表1。表中A表示測試圖在指紋庫中得到最優(yōu)匹配圖像的序號，B表示匹配成功的點(diǎn)對數(shù)量。顯然兩圖位置越接近該數(shù)量越大。C代表測試圖像與指紋庫中最優(yōu)匹配圖像的匹配相關(guān)系數(shù)，其值越大，表示兩圖之間距離越小。D代表距離差，單位為厘米。H表示為應(yīng)該匹配到的正確序號。ORB、pHash、指紋的誤差為單位向量，精確度到分米，而本文的誤差可以精確到厘米。

由表1中的數(shù)據(jù)可以看出本文的方法更精確，誤差值在4 cm之內(nèi)；由于ORB算法對變化較少的連續(xù)圖像無法較好的區(qū)分，容易產(chǎn)生誤判情況[9]，因此當(dāng)圖像采集的越密集，其間相似度越高時(shí)，ORB匹配誤差也就越大；pHash算法是對整張圖像進(jìn)行匹配,當(dāng)室內(nèi)環(huán)境變化較小時(shí)，其區(qū)分效果較差，從而使其準(zhǔn)確率下降；指紋匹配由圖像采集密集度來決定準(zhǔn)確率，當(dāng)圖像越密集時(shí)，其精度越高，從而也說明其內(nèi)部數(shù)據(jù)較多，前期工作量大；而本文的方法受圖像的密集度影響較小，且有著較高的精準(zhǔn)度。

表1 匹配結(jié)果對比

為驗(yàn)證本文的計(jì)算效率，對以上多組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行粗匹配計(jì)算效率對比，在Matlab2016編程環(huán)境下運(yùn)行，并得出不同方法的匹配準(zhǔn)確率(正確的匹配次數(shù)與實(shí)驗(yàn)的總結(jié)果次數(shù)之比)與每組數(shù)據(jù)的平均匹配時(shí)間，見表2。

表2 計(jì)算效率對比

由表2可以看出ORB方法耗時(shí)最少，由于ORB方法采用了實(shí)現(xiàn)簡單的FAST特征點(diǎn)檢測法，但其準(zhǔn)確率較低。pHash與本文的方法都可以通過一個(gè)矩陣來描述一幅圖像的特征，匹配時(shí)只需計(jì)算矩陣的相關(guān)性，從而節(jié)省大量時(shí)間，但本文方法的準(zhǔn)確率上高于其它方法。

上述室內(nèi)實(shí)驗(yàn)是在開燈狀態(tài)下進(jìn)行的測試。下面，我們再對關(guān)燈下的情況進(jìn)行對比實(shí)驗(yàn)，驗(yàn)證光照變化對本實(shí)驗(yàn)的影響，如圖9所示。

圖9 光照對比結(jié)果

通過實(shí)驗(yàn)測得融合后天花板中原測試圖與匹配結(jié)果圖的圖像中心點(diǎn)的坐標(biāo)，兩點(diǎn)間的橫坐標(biāo)距離差為dx=10.6 cm，兩點(diǎn)間縱坐標(biāo)距離差為dy=1.4 cm，其距離為distance≈11.5 cm。 由計(jì)算結(jié)果可以看出光照對本實(shí)驗(yàn)影響較小，在不開燈的情況下，本方法依舊可以完成精確定位。

為驗(yàn)證本文方法的適應(yīng)性，在90 m2的室內(nèi)環(huán)境中進(jìn)行定位實(shí)驗(yàn)，將測試圖如圖10(a)輸入定位系統(tǒng)中得到的粗匹配結(jié)果如圖10(b)所示，兩圖之間的位置距離相差20 cm，經(jīng)過精確定位后得到的位移為distance≈19.4 cm。

由于室內(nèi)存在人流穿梭、物體突然闖入等情況，所以對此情況進(jìn)行行人闖入對比實(shí)驗(yàn)，驗(yàn)證本文方法的適應(yīng)性，實(shí)驗(yàn)結(jié)果如圖11所示。

圖10 匹配結(jié)果對比

圖11 行人闖入情況的場景4

通過本文的精確定位，計(jì)算得到的位移值為distance≈18.4 cm。 由圖12可以看出3種方法的粗匹配結(jié)果與正確的匹配位置4都有所偏差，其中每個(gè)圖像集序列之間間隔為10 cm。ORB、pHash、指紋的方法在遇到測試圖與其自身數(shù)據(jù)集圖像的差異較大時(shí)其匹配效果較差，而本文的方法經(jīng)過精確定位后可以計(jì)算出粗定位的誤差值，較為準(zhǔn)確完成最終定位,從而改善周圍環(huán)境變化對定位準(zhǔn)確度的影響。

圖12 粗匹配結(jié)果對比

為驗(yàn)證行人闖入場景中面積大小對本實(shí)驗(yàn)粗匹配精度影響，在上述行人闖入實(shí)驗(yàn)中場景4的環(huán)境下，以3號相機(jī)為例，在其視野中增加多種面積的行人闖入情況。如圖13 所示，其中圖13(a)～圖13(h)表示不同行人闖入面積大小的效果，通過粗匹配定位計(jì)算得到相應(yīng)的匹配結(jié)果值，并將在場景4得到的不同匹配度進(jìn)行匯總，結(jié)果如圖14所示，其中圖像序列集為上述8種不同面積大小的行人闖入情況。由粗匹配結(jié)果可以看出當(dāng)遮擋面積較大時(shí)，粗匹配精度較差。

2.2 偏轉(zhuǎn)角

對測試圖與匹配結(jié)果圖進(jìn)行特征提取并將兩幅圖中的相同位置進(jìn)行疊加，通過相應(yīng)的變換矩陣計(jì)算偏轉(zhuǎn)角。

圖13 場景中存在行人闖入情況

圖14 粗匹配結(jié)果

手動將機(jī)器人分別順時(shí)針旋轉(zhuǎn)30°、45°、60°來計(jì)算偏轉(zhuǎn)角度，計(jì)算結(jié)果如圖15所示。再將本文的方法與目前常用的改進(jìn)相位相關(guān)[15,16]計(jì)算偏轉(zhuǎn)角的方法進(jìn)行對比，對比結(jié)果見表3。

由表3可以看出基于相位相關(guān)的方法計(jì)算偏轉(zhuǎn)角度誤差較大，并且隨著偏轉(zhuǎn)角度逐漸變大，誤差變的更大；而本文基于特征匹配及透視變換的方法可以較好的將誤差值控制在2.4°之內(nèi)，且誤差不會隨著偏轉(zhuǎn)角度越大而明顯增長。

3 結(jié)束語

針對室內(nèi)真實(shí)場景進(jìn)行定位操作，本文提出了一種由粗匹配到精確定位的室內(nèi)機(jī)器人視覺定位方法，較好地解

圖15 系統(tǒng)測得偏轉(zhuǎn)角為30.4°、46.1°、59.2°

表3 視覺定位偏轉(zhuǎn)角度/°

決了在室內(nèi)定位中由于行人闖入、亮度變化等情況發(fā)生時(shí)定位精確度變差的問題。該方法是建立在改進(jìn)的GMS算法的基礎(chǔ)上而實(shí)現(xiàn)的，通過指紋的方法對室內(nèi)位置進(jìn)行粗匹配，再通過對相應(yīng)天花板中的信息進(jìn)行自適應(yīng)GMS的匹配、疊加、旋轉(zhuǎn)等操作將粗匹配結(jié)果進(jìn)一步求精，從而達(dá)到精確定位的目標(biāo)。分析實(shí)驗(yàn)結(jié)果可以得到，本文提出的定位方法，在高度為2.8 m的室內(nèi)場景中定位誤差在4 cm之內(nèi)，偏轉(zhuǎn)角度誤差在2.4°之內(nèi)，達(dá)到了較高的室內(nèi)精度標(biāo)準(zhǔn)。