,

(1.中國電子科技集團公司 第五十四研究所， 石家莊 050081; 2.衛(wèi)星導航系統(tǒng)與裝備技術國家重點實驗室，石家莊 050081)

基于雙目視覺的室內(nèi)定位標定新方法

邢亞斌1,2,王振嶺1,2

(1.中國電子科技集團公司第五十四研究所，石家莊050081; 2.衛(wèi)星導航系統(tǒng)與裝備技術國家重點實驗室，石家莊050081)

隨著全球?qū)Ш叫l(wèi)星系統(tǒng)的發(fā)展，位置服務已經(jīng)逐漸滲透到人們?nèi)粘Ｉ钜约肮ぷ髦校⒊蔀楸夭豢缮俚囊徊糠?，越來越多的人開始習慣使用位置服務，并對其產(chǎn)生依賴，并且，室內(nèi)導航定位應用需求日益增加;目前，基于多目視覺原理的室內(nèi)定位導航技術已經(jīng)成為眾多技術領域的研究熱點，且逐步成熟;室內(nèi)導航定位中，為獲取目標的準確位置，相機的標定過程是重中之重，標定精度對最終定位精度有著決定性作用;然而，當有氣液界面存在時，由于不同介質(zhì)折射率不同，視線在傳播過程中將發(fā)生偏折，現(xiàn)有的線性標定技術不再適用，并成為制約室內(nèi)特殊場景定位(如水下機器人作業(yè))的主要技術障礙;針對有氣液界面的條件提出了一種新的標定方法，對界面位置進行精確定位，并修正了線性針孔模型，能夠有效解決有氣液界面存在條件下不能準確標定的難題，克服了封閉體內(nèi)測量時無法進行現(xiàn)場標定的困難;為驗證標定方法的可行性與可靠性，進行了數(shù)值模擬，模擬結果顯示，此方法誤差較小，滿足室內(nèi)定位中的標定精度要求。

室內(nèi)定位；雙目視覺；氣液界面；標定

0 引言

近些年來，信息技術快速發(fā)展，各類電子智能設備日漸普及，而衛(wèi)星定位導航技術性能穩(wěn)定、成本低廉、定位精度準確，被越來越多的人所熟悉和使用。然而，當處于室內(nèi)環(huán)境中時，傳統(tǒng)衛(wèi)星定位導航技術所依賴的衛(wèi)星信號由于受到鋼筋混凝土等障礙物的遮擋以及室內(nèi)復雜環(huán)境等影響，信號強度會大大減弱，將無法繼續(xù)提供準確的位置服務。而室內(nèi)定位在提高人們?nèi)粘Ｉ钯|(zhì)量，提升商業(yè)服務能力、增加工業(yè)生產(chǎn)效率以及維護公共安全等方面，將發(fā)揮越來越重要的作用。因此，室內(nèi)精確定位技術的研究具有重要意義。

室內(nèi)定位技術已經(jīng)過多年發(fā)展，按照不同的依據(jù)可以將現(xiàn)有的室內(nèi)定位技術進行劃分。若以定位機制為依據(jù)，可以劃分為：基于鄰近關系的室內(nèi)定位技術、基于幾何關系的室內(nèi)定位技術以及基于場景分析的室內(nèi)定位技術[1]；若按照其物理依賴的不同，可以劃分為：基于GPS的室內(nèi)定位技術、基于無線傳感器網(wǎng)絡(紅外線、藍牙、Wi-Fi、超聲波等)的室內(nèi)定位技術以及其他室內(nèi)定位技術；若按照定位范圍的不同，可以劃分為：廣域室內(nèi)定位和局域室內(nèi)定位[2]。

雙目立體視覺(Binocular Stereo Vision)是二十世紀八十年代初期，由Marr提出的計算機視覺理論[3]發(fā)展而來。雙目立體視覺是機器視覺的一種重要形式，原理是基于視差，通過采集兩張具有視差的平面圖像，進行圖像處理并獲取兩圖像對應點之間的位置偏差，得到物體的三維幾何信息，恢復出具有景深的立體圖像。通過預先的標定過程，可以解算出兩幅圖像中同一目標的真實空間坐標。

標定是將目標的物理區(qū)域坐標同圖像區(qū)域坐標建立起一一對應關系的過程。為獲取目標的準確位置，相機的標定過程是重中之重，標定精度對最終定位精度有著決定性作用。當無法現(xiàn)場標定實際模型時，通常使用等效標定的方案。然而，當室內(nèi)定位場景中存在氣液界面時，光在通過不同介質(zhì)時會發(fā)生折射。現(xiàn)有的等效標定方法中存在因氣液界面折射引起的視線畸變、測量空間位置與標定法基準位置不重合、鏡頭畸變標定精度有限等一系列問題，使得等效標定不再適用。為嚴格地模擬這種效應，需要確定相機標定數(shù)據(jù)、折射率以及不同光學介質(zhì)交界面的位置。在較為理想的情況下，可以通過現(xiàn)場標定對以上參數(shù)予以確定。然而，模型的封閉性設計使得無法將標定靶盤放入封閉模型內(nèi)部，現(xiàn)場標定無法實現(xiàn)，因此有必要針對存在界面的封閉模型提出一種新的非現(xiàn)場標定方法，將室內(nèi)特殊場景定位(如水下機器人作業(yè))提供理論指導與實際借鑒意義。

鑒于以上原因，本文提出一種新的三維坐標測定算法，來解決某些特殊場景無法進行現(xiàn)場標定，且氣液存在條件下無法進行等效標定的困難。整體思路為：先在空氣中進行標定，根據(jù)相機在空氣中的標定數(shù)據(jù)以及不同光學介質(zhì)的折射率，通過迭代自標定的方法，獲得氣液界面位置。同時，為了減小標定誤差，采用不同深度的多個界面進行整體約束，并且不同層之間使用最小二乘法對各層標定結果進行修正。

1 方法描述

相機跟蹤拍攝目標，只能夠獲得目標粒子在平行于相機鏡頭平面中的位移(x方向和y方向)。為了獲得粒子在垂直相機鏡頭(z方向)方向上的位移，需要將相機鏡頭傾斜一定角度，如圖2所示。然而，相機鏡頭傾斜將會對相機成像產(chǎn)生一定的影響，為了減小視角傾斜對不同相機成像的影響，較為有效的手段是采用Scheimpflug光路布置方案[4]。盡管封閉模型無法進行現(xiàn)場標定，但相機本身的內(nèi)參數(shù)只和相機及鏡頭的幾何相對位置有關，因此可以先通過空氣標定的方式在小孔成像模型的假設下確定相機的內(nèi)部參數(shù)。由于水氣界面的存在，視線會發(fā)生折射，可以通過進一步的界面和物面算法來修正這種折射效應，通過迭代和互相關算法的修正，最終確定界面方程和物面方程，并給出更為精確的視線方程。由于此時的互相關修正是基于薄片光構成的瞬時粒子圖，能否準確獲得粒子的中心坐標將直接影響物面和界面的重構以及后續(xù)的三維空間場重構。在獲得粒子中心位置和視線方程之后，通過基于匹配概率的算法可對粒子的物理空間場進行重構，三維重構后的粒子場可以通過傳統(tǒng)的三維互相關解算速度場。

新方案的流程如圖1所示。

圖1 方案流程圖

2 搭建光路系統(tǒng)

2.1 光學原理

假設在某一時刻, 目標粒子X的位置是A，A點的坐標為Xa=(x,y,z), 在一段時間Δt后, 該粒子到達另一位置B，B點的坐標為Xb=(x+Δx,y+Δy,z+Δz)。在相機的成像中，初始時刻粒子成像的位置是Xa,該粒子經(jīng)過時間Δt后成像的位置是Xb，即位移量為(Δx,Δy,Δz)。

根據(jù)標定關系找出A點在左右相面上的同名配對粒子(同名粒子圖像匹配的含義是同一粒子在左右相機成像的對應關系)，根據(jù)幾何共點共線，聯(lián)立多相機的標定函數(shù)關系，從粒子的圖像中心確定其在相機的所對應的空間直線方程, 采用最小二乘法解算該方程組, 方程組的解就是粒子在物理區(qū)域的空間坐標, 其含義為：這些直線的交點的坐標即為目標粒子的坐標。

圖2 粒子真實位移與鏡頭成像關系

在提取到粒子空間坐標后，對某一小立方體區(qū)域與下一時刻的同一位置的立方體區(qū)域進行三維體相關匹配，將會得到一個空間位移量(Δx,Δy,Δz)，代表這個區(qū)域的所有粒子的移動量。

2.2 光路布置方案

為了確定目標粒子在垂直相機鏡頭方向上的位移, 可以把相機偏移原本垂直方向一定夾角。這會造成測量面上的點到相機感光面的距離不一致, 當焦距固定時, 則會造成僅有處于特定距離處的粒子才能夠在相機內(nèi)成像清晰, 而所有處于其他距離的粒子, 都只能在相機上成模糊的像。為了處理這個問題, 有氣液界面存在條件下的室內(nèi)定位技術標定過程中使用了Scheimpflug設置方案[4]。這個方案的示意圖如圖3所示。當測量平面、相機鏡頭的中心面和相機感光面這三者相交于同一直線上時，處于測量面上的全部粒子都能清晰成像, 這就是Scheimpflug體視PIV布置方案。本實驗中都按照這個布置方案來布置光路。該設置方案的重要之處是將機身和相機鏡頭分開, 使得機身與鏡頭所成的夾角能夠通過自制的角位移裝置進行調(diào)整。如圖4所示。

圖3 三維空間目標粒子追蹤的光路布置圖

圖4 自有的角位移成像裝置(用于體視成像裝置)

3 基于針孔模型的空間成像關系標定

相機標定是一個復雜且重要的過程。由于實際環(huán)境完全封閉，無法實現(xiàn)現(xiàn)場標定，可先在空氣中進行標定，建立一套完整的三維空間坐標系。對空間位置已知的標準網(wǎng)格，采用亞像素定位技術提取網(wǎng)格節(jié)點[5-6]。首先對標定面進行采樣，利用三維坐標架沿界面的垂直方向移動，采集等間距的標定平面，做成像的標定平面提取網(wǎng)格節(jié)點，再利用三次像條插值，計算每個像素點對應的標定面上的空間坐標，最后擬合該像素點對應的直線方程，使鏡頭函數(shù)線性化，標定方程轉(zhuǎn)化成線性方程組, 最終完成相機的標定過程。

測量中三維坐標測定應遵循共線性的基本數(shù)學思想[7]，即物點、相機投影中心以及圖像點分布在一條直線上。圖像區(qū)域和物理區(qū)域之間的關系可以用以下模型描述：

其中:dx,dy,u0以及v0是相機內(nèi)部參數(shù)，已確定，R是旋轉(zhuǎn)矩陣，T為平移矩陣。

為此，將標定板放置在觀測區(qū)內(nèi)，用兩個相機對其拍攝。標定板圖像如圖5所示。

圖5 用于標定的靶盤

標定完畢后，可得到前面提到的6個參數(shù)，將其用于空氣條件下粒子定位中的空間相交。為確定標定精度，可以根據(jù)確定的坐標和隨機點的坐標之間的r.m.s偏差來進行估計。人工生成的隨機點圖如圖6(a)所示，預測位置與預設值之間的偏差分布如圖6(b)所示。從圖中容易看出，標定誤差大部分都在0.1個像素以內(nèi)。

圖6 用于驗證的隨機點(a)和標定誤差分布(b)

4 目標識別

為了確保后續(xù)定位的準確度以及精度，需要獲取目標物在圖像中的位置坐標。而在一副圖像中可能除了所要檢測出來的目標物，還會包含其它非目標物體。目標識別就是把目標物與其它非目標物體進行區(qū)分，進而從圖像中獲取所需的圖像數(shù)據(jù)。目標識別時，首先需要提取圖像的特征信息。圖像特征指的是一個物體通過圖像中所表現(xiàn)的不同于其它物體在圖像中所包含的某方面性質(zhì)的抽象信息。通過對圖像進行特征提取，利用圖像處理技術分析圖像特征，再將分析所得信息與目標物體的圖像特征信息進行匹配，基于匹配結果對物體進行目標識別，最終可以得到目標物體在圖像中的位置。

為了獲得目標的精確位置，應先對圖像進行預處理，比如背景差分，空間圖像的濾波，粒子圖像失真的修正。目標粒子位置識別的精度對測量精度有很大的影響，是不可缺少的步驟。亞像素定位技術能夠把目標定位精度鎖定在0.1～0.5個像素范圍以內(nèi), 具體采用何種方法應綜合考慮目標形狀、圖像灰度分布等因素, 否則無法達到預期精度。為了獲得更精確的預測，本方案采用高斯擬合函數(shù)估計亞像素級的位置。首先將每個粒子的光強期望分布看作一個半徑為3個像素的高斯散斑，如圖7所示。然后根據(jù)光強分布構造二維高斯函數(shù)，每個粒子中心也就處于該高斯函數(shù)的的極大值點，故求解該極值點作為粒子中心點，并將其當作顆粒中心的初始估計。篩選計算結果并除去背景噪聲。然而預測點可能不是微粒中心的真實位置，因此，有必要對其進行修正。修正過程由兩個主要步驟組成：剔除噪聲以及計算中心坐標。

圖7 粒子圖像的強度分布以及強度平面中最高 強度和周圍的二維高斯擬合

5 求解界面初值與物面初值

光線通過不同介質(zhì)，由于折射率的不同會導致光路發(fā)生折射，因此，必須考慮多介質(zhì)模型來構造物理空間和相面空間之間的對應關系。這種影響可以根據(jù)界面位置建模。假設物面、相面和界面相互平行，基于共線性條件可以進行簡單建模?？紤]到玻璃厚度t遠小于物體距離Z0和圖像距離Zp，可對模型進行化簡。簡化后的模型如圖8所示。

圖8 視線上界面的影響示意圖

對于界面，可以定義向量：

其中:

K2=ni·IV

由于界面的存在，在共線性條件下，光線從不同相機Cj到物點O的路徑被轉(zhuǎn)移到了物面上兩個不同的點，記為OL和OR，因此，需要對兩條光線進行互相關操作。利用薄片光的不同位置確定界面和物面的參數(shù)。下面方程定義了相機平面的點PCAM和物面上相應的點PPHYS之間的修正關系。

Pphys(X,Y,Z)=Pfoucs(X,Y,Z)-

其中:

再通過建立物點，PPHY以及圖像點PCAM之間的關系可得到逆變換。

其中:

Pcro=Pphys-ni·(ni×(Pphys-Pinter))-(Pphys-Pfocus)·

根據(jù)標定數(shù)據(jù)可得到系數(shù)矩陣M以及系數(shù)a1-a5。由于光線從不同的相機發(fā)出后將在某點相交，幾何約束方程可以寫為:

可用6個參數(shù)描述界面和物面:

多對視線可以建立其距離關系的多元非線性方程組:

fi(x*)=DL=0

其中:x*=(Ia,Ib,Id,Pa,Pb)表示界面和物面的參數(shù)。由于多元方程式二階連續(xù)可導，可通過牛頓迭代方法確定近似解。

6 仿真驗證

為估計標定程序中套準誤差分布，進行了兩個仿真，其中一個仿真中界面是平行的，另一個仿真中界面事傾斜的。兩個仿真中，兩個相機之間的夾角為15°，物距300 mm，焦距28 mm。界面中心位于Z=100 mm。第二個仿真中傾角為4°。因此，兩個界面可以定義：

Z-100=0

0.0698·+·y+0.9976·(z-100)=0

為估算標定誤差，先將兩個相機的粒子圖互相關，得到速度分布，再將兩個速度分布的r.m.s偏差定義為隨機誤差。對于第一個仿真，隨機誤差和參數(shù)迭代后的結果如圖9所示，圖中可以看出粒子圖的直接重構有一個明顯的1.5個像素量級的隨機誤差，然而在自標定基礎上進行幾次迭代后，這個誤差可以減少到0.005個像素以下，如圖10所示。

圖9 仿真一的隨機誤差(a)及迭代后的結果(b)

圖10 仿真二的隨機誤差(a)及迭代后的結果(b)

第二個模擬中可以得到相同的結論，如圖10所示。對兩個仿真，套準誤差均在0.01個像素以下。

根據(jù)對一百對圖像的統(tǒng)計學分析，可以發(fā)現(xiàn)標定過程中隨著粒子位移變化有一個0.036像素量級的系統(tǒng)誤差。如圖11所示。

圖12中顯示了套準誤差對界面和物面參數(shù)的影響。使用了10個0.001像素到0.01像素之間套準誤差。可以得出結論：隨著套準誤差的增長，參數(shù)誤差水平也會提高。

圖11 標定中的系統(tǒng)誤差

圖12 標定中的套準誤差

7 結論

本文提出了一種在有氣液界面條件下雙目視覺定位中相機的標定技術，有效解決了有折射現(xiàn)象存在時傳統(tǒng)標定技術不再適用的難題。克服了封閉模型內(nèi)的目標定位過程中不能現(xiàn)場標定的困難。該技術能夠應用于基于雙目視覺原理的室內(nèi)定位的標定過程。仿真結果顯示，用此方法進行標定，誤差水平能夠達到實驗精度要求。充分說明了本方法的可行性與可靠性。

[1] 趙 銳，鐘 榜，朱祖禮，等.室內(nèi)定位技術及應用綜述[J].電子科技，2014,3:154-157.

[2] 余 揚，趙凱飛，沈 嘉.室內(nèi)定位技術應用、研究現(xiàn)狀及展望[J]. 電信網(wǎng)技術,2014,5:46-49.

[3] Marr D, Ullman S, Poggio T A.Vision: a computational investigation into the human representation and processing of visual information[M]. MIT Press, 2010.

[4] 馬頌德.計算機視覺：計算理論與算法基礎[M].北京:科學出版社，1998.

[5] Mass H G, Gruen A, Papantoniou D. Particle tracking velocimetry in three-dimensional flows Part 1. Photogrammetric determination of particle coordinates[J]. Experiments in Fluids, 1993, 15(2):133-146.

[6] Malik N, Dracos T, Papantoniou D. Particle tracking velocimetry in three-dimensional flows Part 2. Particle tracking[J]. Experiments in Fluids, 1993,15(4/5): 279-294.

[7] Hoyer K, Holzner M, Luthi B, et al. 3D scanning particle tracking velocimetry[J]. Experiments in Fluids, 2005,39:923-934.

[8] Holzner M, Liberzon A, Nikitin N, et al. A lagrangian investigation of the small-scale features of turbulent entrainment through particle tracking and direct numerical simulation[J]. Journal of Fluid Mechanics, 2008, 598:465-475.

NewMethodofIndoorLocationCalibrationBasedonBinocularVision

Xing Yabin1,2,Wang Zhenling1,2

(1.The 54th Research Institute of CETC, Shijiazhuang 050081, China;2.State Key Laboratory of Satellite Navigation System and Equipment Technology, Shijiazhuang 050081, China)

With the development of global navigation satellite systems, location based services has increasingly become an indispensable part of our personal and professional lives, as more and more people become accustomed to using positioning technology. With the increasing demand for indoor navigation applications, indoor positioning navigation technology based on multi-visual principles has become the center of many technical research efforts, and has matured throughout the past few years. However, when gas-liquid interface is involved, the linear calibration technique that is currently being used is no longer applicable due to the refraction of the line of sight during the propagation process, and therefore becomes the major technical barrier restricting indoor positioning under special circumstances (such as underwater robot operations). This paper proposes a new calibration method that accurately locates the interface position and corrects the linear pinhole model, which can effectively ensure the accuracy of calibration under the circumstances of gas-liquid interfaces, and make field calibration possible during closed measurement. To verify the feasibility and reliability of this calibration method, this paper conducted numerical simulation. Results show small margin of error and indicates that this method satisfies the calibration accuracy requirements in indoor positioning.

indoor positioning; binocular vision; gas-liquid interface; calibration

2017-07-25；

2017-08-13。

邢亞斌(1992-)，男，河北石家莊人，碩士研究生，主要從事導航定位方向的研究。

1671-4598(2017)10-0281-04

10.16526/j.cnki.11-4762/tp.2017.10.072

TP3

A