王 勇，陳國良，李曉園，田 鵬,4，周 雨

(1. 中國礦業(yè)大學(xué)機(jī)電工程學(xué)院，江蘇 徐州 221000; 2. 徐州市產(chǎn)品質(zhì)量監(jiān)督檢驗中心，江蘇 徐州 221000; 3. 中國礦業(yè)大學(xué)環(huán)境與測繪學(xué)院，江蘇 徐州 221000; 4. 徐州市勘察測繪研究院，江蘇 徐州 221000)

隨著社會的發(fā)展、國防建設(shè)的需要，以及人們需求的增長，基于位置的服務(wù)成為研究的熱點。如何在復(fù)雜環(huán)境中快速獲取準(zhǔn)確的位置，便于在緊急救助、醫(yī)療服務(wù)、信息傳遞等鄰域發(fā)揮巨大的作用成為至關(guān)重要的問題。對于現(xiàn)代導(dǎo)航定位來說，室內(nèi)由于建筑物的遮擋，GPS接收機(jī)很難收到衛(wèi)星的信號。因此，WiFi[1-3]、白光[4]、可見光[5]、超寬帶(UWB)[6]、行人航跡推算(PDR)[7]、藍(lán)牙的各種室內(nèi)定位技術(shù)應(yīng)運而生，各種基于人工智能和傳感器融合的算法實現(xiàn)了優(yōu)于1 m精度的室內(nèi)定位[8-10]。

研究發(fā)現(xiàn)上述室內(nèi)定位方法都需要在室內(nèi)環(huán)境附加安裝一些電子裝置才能實現(xiàn)，本文以公共場所常見的監(jiān)控攝像裝置采集的實時視頻流為基礎(chǔ)，實現(xiàn)了一種利用視頻序列和多區(qū)域分割的室內(nèi)定位方法，無需任何現(xiàn)場附加裝置，實現(xiàn)高精度的室內(nèi)定位。具體的實現(xiàn)步驟如圖1所示，首先對不同的平面進(jìn)行相機(jī)標(biāo)定，獲取投影矩陣；然后對視頻序列中的目標(biāo)進(jìn)行檢測，獲取目標(biāo)的像素坐標(biāo)；最后結(jié)合投影矩陣與像素坐標(biāo)進(jìn)行空間坐標(biāo)的解算，完成對室內(nèi)目標(biāo)的定位。

圖1 定位流程

1 相機(jī)標(biāo)定

相機(jī)標(biāo)定是從二維像片中獲取三維尺度信息必不可少的步驟，對三維計算機(jī)視覺尤為重要。通過相機(jī)標(biāo)定可以獲取像片中像素與空間物體的映射關(guān)系，從而達(dá)到利用像素坐標(biāo)解算空間坐標(biāo)的目的。本文選用文獻(xiàn)[11]中的張正友標(biāo)定法進(jìn)行相機(jī)的標(biāo)定。

1.1 相機(jī)成像模型

相機(jī)標(biāo)定采用針孔模型作為相機(jī)成像模型，根據(jù)針孔成像模型可以得到如下的映射關(guān)系

(1)

式中，u、v為P點的像素坐標(biāo)；X、Y、Z為P點的空間坐標(biāo)；s為尺度因子；r1、r2、r3為旋轉(zhuǎn)參數(shù)，t為平移參數(shù)，統(tǒng)稱為相機(jī)的外參；A為相機(jī)的內(nèi)參矩陣。

式(1)是空間坐標(biāo)與像素坐標(biāo)間的映射關(guān)系，張正友標(biāo)定法中假設(shè)標(biāo)定板的平面為0，即Z=0，因此式(1)可以簡化為式(2)，通過對式(2)中的相應(yīng)參數(shù)進(jìn)行解算可完成相機(jī)標(biāo)定。

(2)

1.2 相機(jī)內(nèi)外參數(shù)的解算

相機(jī)成像模型建立好之后就需要對相機(jī)的內(nèi)外參數(shù)進(jìn)行求解得到像素坐標(biāo)與空間坐標(biāo)之間的轉(zhuǎn)化關(guān)系。張正友標(biāo)定法用于相機(jī)內(nèi)外參數(shù)的求解過程如圖2所示。

1.2.1 單應(yīng)矩陣求解

式(1)可以化簡為

sm=HM

(3)

式中，X=H。

圖2 張正友相機(jī)標(biāo)定步驟

1.2.2 內(nèi)外參數(shù)求解

結(jié)合式(2)和式(3)，可以得到

(4)

式中，λ=1/s，由旋轉(zhuǎn)矩陣的正交性可以得到如下兩式

(5)

(6)

式(5)、式(6)又可以寫成矩陣的形式

(7)

最后通過對式(7)求解的b進(jìn)行分解后就可以求出相機(jī)的內(nèi)外參數(shù)，具體求解過程可以參考文獻(xiàn)[12]，這里不再贅述。

1.2.3 相機(jī)的畸變參數(shù)求解

通過式(7)計算出來的相機(jī)內(nèi)外參數(shù)是在針孔成像模型的前提下解算的。實際上相機(jī)在成像過程中會出現(xiàn)畸變，因此還需要求解相機(jī)的畸變參數(shù)。相機(jī)的畸變有3種模式，分別為徑向畸變、離心畸變、薄棱鏡畸變?？紤]到徑向畸變?yōu)橹饕愋?，因此只求解到二階徑向畸變參數(shù)[13]。徑向畸變參數(shù)通過下式求解

(8)

k=(DTD)-1DTd

(9)

2 運動目標(biāo)檢測

運動目標(biāo)檢測技術(shù)在智能監(jiān)控領(lǐng)域發(fā)揮著重要的作用。本部分主要利用運動目標(biāo)檢測技術(shù)獲取目標(biāo)的像素坐標(biāo)，為下一步目標(biāo)空間位置的解算作準(zhǔn)備。目前常用的運動目標(biāo)檢測方法有幀差法、背景差法[14]和光流法[15]3種。由于單一算法都不能完整地檢測運動目標(biāo)，因此出現(xiàn)了混合算法。文獻(xiàn)[16]融合背景差法、光流法及可分離的數(shù)學(xué)形態(tài)邊緣檢測法(SMED)，減少了背景噪音，增強(qiáng)了對光照變化的適應(yīng)性，增強(qiáng)了算法的穩(wěn)健性。本文利用文獻(xiàn)提取強(qiáng)角點特征，然后結(jié)合金字塔Lucas-Kanade(L-K)光流算法對目標(biāo)進(jìn)行檢測。金字塔L-K光流算法流程如圖3所示。

圖3 金字塔Lucas-Kanade光流算法流程

2.1 強(qiáng)角點提取

傳統(tǒng)的Lucas-Kanade光流法用于求解稠密光流，計算量較大，因此不能滿足實時性的要求。在此基礎(chǔ)上本文先在初始圖像中提取強(qiáng)角點，然后對提取的強(qiáng)角點進(jìn)行跟蹤，減少了計算量。強(qiáng)角點提取的數(shù)學(xué)模型如下

(10)

式中，w(x,y)為高斯函數(shù)；Ix為x方向偏導(dǎo)數(shù)；Iy為y方向偏導(dǎo)數(shù)；?表示卷積運算；M為二階導(dǎo)數(shù)的自相關(guān)矩陣。

由于M為二階矩陣，求解M矩陣的兩個特征值λ1、λ2。將兩個特征值與設(shè)定的閾值比較可以得到強(qiáng)角點，判斷準(zhǔn)則需滿足

min{λ1,λ2}>min(threold)

(11)

2.2 結(jié)合強(qiáng)角點的金字塔Lucas-Kanade光流法

L-K光流法基于3個假設(shè)：①目標(biāo)像素在幀間運動保持亮度恒定；②運動隨時間變化緩慢；③同一場景中同一表面上鄰近的點具有相似運動。在滿足上述3個條件后可以得到L-K光流法的數(shù)學(xué)模型如下

Ixu+Iyv+It=0

(12)

式中，Ix、Iy分別為圖像沿x、y方向的偏導(dǎo)數(shù)；It為圖像隨時間的導(dǎo)數(shù)；u、v分別為x、y方向的速度分量。通過上式可以看出，單個像素不能求解速度分量，因此需要利用鄰域像素一并解算

(13)

式中，n為鄰域窗口的大小。利用最小二乘法對式(13)進(jìn)行求解就可以得到速度分量值。金字塔L-K算法是L-K算法的改進(jìn)，其作用是克服了L-K算法只適用于小而連貫運動的缺陷，使其也能夠滿足大而不連貫的運動。

3 目標(biāo)定位

相機(jī)標(biāo)定獲取的像素坐標(biāo)與空間坐標(biāo)之間的映射關(guān)系可以表示為

(14)

展開并消去s后有

(15)

式(15)即為空間直線方程。從上式可以看出一個像素點對應(yīng)射線上的任何一個空間點，因此不能通過單一像素坐標(biāo)解算出空間坐標(biāo)。從圖4中可以看出如果能夠得到平面Z的空間方程，結(jié)合式(15)就可以求得X、Y、Z的坐標(biāo)。

假設(shè)平面Z的空間方程為Z=0，結(jié)合式(15)可以得出坐標(biāo)求解方程為

該處樓房位于賈河河堤南側(cè)，影響道路鋪設(shè)和創(chuàng)森造林，對此，東明縣投入資金19萬元，由江蘇省鹽城市一專業(yè)樓房整體平移公司對樓房實施了平移，整棟樓房向東平移18米后，又向南平移了14米，為創(chuàng)森造林“讓道”。

(16)

圖4 坐標(biāo)解算模型

通過對上式進(jìn)行求解，就可以利用目標(biāo)物的像素坐標(biāo)解算出空間坐標(biāo)，實現(xiàn)目標(biāo)定位。上述定位方法需要確定平面方程，因此本文將室內(nèi)環(huán)境進(jìn)行平面分割，針對不同的平面完成相機(jī)標(biāo)定，確定平面方程，如圖5所示。

圖5 定位示意圖

4 試驗分析

4.1 試驗條件

試驗場所選用教學(xué)樓樓道和樓梯兩部分，試驗硬件平臺為智能手機(jī)及棋盤格標(biāo)定板，軟件平臺為Opencv和Matlab。

4.2 相機(jī)標(biāo)定

4.2.1 樓道平面標(biāo)定結(jié)果

樓道平面選用17張棋盤格照片進(jìn)行標(biāo)定，如圖6所示。

圖6 樓道平面棋盤格標(biāo)定

相機(jī)內(nèi)參矩陣為

旋轉(zhuǎn)矩陣為

平移矩陣為

徑向畸變系數(shù)為

0.122 4 -0.067 6

由以上結(jié)果可以得到投影矩陣為

利用M矩陣就可實現(xiàn)圖像與空間的位置關(guān)系轉(zhuǎn)換。標(biāo)定誤差如圖7所示。

圖7 相機(jī)標(biāo)定誤差(樓道平面)

從圖7可以看出，相機(jī)標(biāo)定誤差小于0.2像素，標(biāo)定結(jié)果達(dá)到了亞像素。

4.2.2 樓梯面標(biāo)定結(jié)果

樓梯面標(biāo)定使用14張棋盤格照片進(jìn)行標(biāo)定，如圖8、圖9所示。

圖8 樓梯平面棋盤格標(biāo)定

圖9 相機(jī)標(biāo)定誤差(樓梯平面)

旋轉(zhuǎn)矩陣為

平移矩陣為

投影矩陣為

上面試驗分別對不同平面完成相機(jī)標(biāo)定，得到了圖像坐標(biāo)與空間位置的映射關(guān)系，標(biāo)定結(jié)果精度達(dá)到了亞像素。

4.3 運動目標(biāo)檢測

行人沿樓道平面和樓梯平面預(yù)先設(shè)置好的路線行走過程采集視頻，并采用金字塔L-K光流法進(jìn)行了光流檢測。圖10(a)、圖10(b)分別為第155幀和200幀的原始圖像，圖10(c)、圖10(d)為其對應(yīng)的光流檢測結(jié)果。

圖10 金字塔L-K光流法檢測

4.4 目標(biāo)定位結(jié)果

行人沿樓道平面行走試驗的定位結(jié)果如圖11所示，最大定位誤差處為Y軸0.35 m，其余各處均小于0.1 m。行人沿樓梯行走試驗的定位結(jié)果如圖12所示，X、Y軸的誤差均小于0.1 m。

通過樓道平面和樓梯平面的試驗結(jié)果可以看出(如圖13所示)，本文提出的算法定位精度在X方向小于0.15 m，Y方向小于0.35 m，行人行走時在Y方向偏離真實軌跡較大，導(dǎo)致Y方向獲取的像素坐標(biāo)誤差較大，因此Y方向誤差要大于X方向誤差；平均單點定位時間小于5 s，試驗結(jié)果達(dá)到了高精度、實時性的要求；畸變校正后軌跡與未校正的軌跡基本重合，表明本試驗所用相機(jī)鏡頭畸變尺度較小，對定位結(jié)果的影響可以忽略不計。

圖11 行人沿樓道平面行走定位結(jié)果

圖12 行人沿樓梯行走定位結(jié)果

圖13 部分定位點沿X、Y方向定位誤差

5 結(jié)論與展望

本文將機(jī)器視覺技術(shù)應(yīng)用在室內(nèi)定位領(lǐng)域，通過對室內(nèi)區(qū)域進(jìn)行分割，結(jié)合相機(jī)標(biāo)定和運動目標(biāo)檢測技術(shù)實現(xiàn)對室內(nèi)行人的高精度定位。試驗結(jié)果表明，定位精度小于0.5 m，均高于WiFi、藍(lán)牙等其他室內(nèi)定位技術(shù)，可以滿足高精度室內(nèi)定位的需求。由于室內(nèi)攝像設(shè)備覆蓋范圍的限制，不能覆蓋所有的區(qū)域，但是可以通過與其他定位技術(shù)一起實現(xiàn)組合定位，完成覆蓋較大范圍內(nèi)的定位需求。

[1] YANG Chouchang,SHAO Huairong.WiFi-based Indoor Positioning[J].IEEE Communications Magazine: Articles, News, and Events of Interest to Communications Engin-eers,2015,53(3):150-157.

[2] ZOU H, JIANG H, LU X, et al. An Online Sequential Extreme Learning Machine Approach to WiFi Based Indoor Positioning[C]∥ Internet of Things. [S.l.]: IEEE, 2014:111-116.

[3] TORTEEKA P, XIU C. Indoor Positioning Based on WiFi Fingerprint Technique Using Fuzzy K-nearest Neighbor[C]∥ International Bhurban Conference on Applied Sciences and Technology. [S.l.]: IEEE, 2014:461-465.

[4] NADEEM U, HASSAN N U, PASHA M A, et al. Highly Accurate 3D Wireless Indoor Positioning System Using White LED Lights[J]. Electronics Letters, 2014, 50(11):828-830.

[5] YASIR M, HO S W, VELLAMBI B N. Indoor Positioning System Using Visible Light and Accelerometer[J]. Journal of Lightwave Technology, 2014, 32(19):3306-3316.

[6] KOK M, HOL J D, SCHON T B. Indoor Positioning Using Ultrawideband and Inertial Measurements[J].IEEE Transactions on Vehicular Technology,2015,64(4):1293-1303.

[7] 陳國良,張言哲,汪云甲,等.WiFi-PDR室內(nèi)組合定位的無跡卡爾曼濾波算法[J].測繪學(xué)報,2015,44(12):1314-1321.

[8] 張會清,石曉偉,鄧貴華,等.基于BP神經(jīng)網(wǎng)絡(luò)和泰勒級數(shù)的室內(nèi)定位算法研究[J].電子學(xué)報,2012,40(9):1876-1879.

[9] 李麗娜,馬俊,龍躍,等.基于LANDMARC與壓縮感知的雙段式室內(nèi)定位算法[J].電子與信息學(xué)報,2016,38(7):1631-1637.

[10] TIAN Z, FANG X, ZHOU M, et al. Smartphone-based Indoor Integrated WiFi/MEMS Positioning Algorithm in a Multi-floor Environment[J]. Micromachines, 2015, 6(3):347-363.

[11] MORé J J. The Levenberg-marquardt algorithm: Implementa-tion and theory[J]. Lecture Notes in Mathematics, 1978, 630:105-116.

[12] ZHANG Z Y.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[13] TSAI R Y. An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision[J]. Proceeding of Computer Vision and Pattern Recognition, 1986(6):364-374.

[14] XU M, MA M. Real-time Detection of Moving Human Target under Indoor Environment Based on Video[C]∥ International Symposium on Test Automation & Instrumentation. Beijing:[s.n.],2014.

[15] LUCAS B D, KANADE T. An Iterative Image Registration Technique with an Application to Stereo Vision[C]∥ International Joint Conference on Artificial Intelligence. [S.l.]:Morgan Kaufmann Publishers,1981:674-679.

[16] SUGANYADEVI K, MALMURUGAN N. OFGM-SMED: An Efficient and Robust Foreground Object Detection in Compressed Video Sequences[M]. [S.l.]:Pergamon Press, 2014.