王語琪，鞏應(yīng)奎

(1．中國科學(xué)院 光電研究院，北京 100094;2．中國科學(xué)院大學(xué)，北京 100049)

一種基于視覺信息的可見光通信室內(nèi)定位方法

王語琪1,2，鞏應(yīng)奎1

(1．中國科學(xué)院 光電研究院，北京 100094;2．中國科學(xué)院大學(xué)，北京 100049)

可見光通信技術(shù)的發(fā)展為室內(nèi)定位提供了新的契機。為了提高室內(nèi)定位精度，文中提出一種基于視覺信息的可見光通信室內(nèi)定位方法。該方法通過LED燈發(fā)送可見光通信信息，并將低分辨率的光電二極管傳感器陣列接收到的可見光通信信息與手機終端的前置攝像頭接收到的視覺信息進行融合，實現(xiàn)室內(nèi)定位。同時，闡述了兩種不同信息源的匹配融合的方法，并針對手機終端的前置攝像頭與多盞LED成像之間的相互關(guān)系，提出了改進的共線方程模型。當(dāng)輸入數(shù)據(jù)為終端傳感器接收到的LED燈可見光信息、相關(guān)視覺信息以及手機前置攝像頭參數(shù)時，利用該模型可得到手機終端的三維坐標(biāo)信息。文中針對定位模型進行了半實物仿真，驗證了定位方法的可行性。根據(jù)仿真結(jié)果，定位精度達(dá)到分米級。

視覺信息；共線方程；室內(nèi)定位；可見光通信

0 引 言

可見光通信技術(shù)以其高速率、高帶寬、無電磁輻射的特性為室內(nèi)導(dǎo)航定位技術(shù)帶來了新的發(fā)展機遇，在飛機、醫(yī)院、礦井等電磁受限的場景下，不僅可以提供通信服務(wù)，還可提供高精度的導(dǎo)航定位服務(wù)[1]。目前，基于可見光通信的室內(nèi)定位技術(shù)包括基于LED身份識別定位[2-4](LED-ID)、基于到達(dá)時間定位[5](TOA)、基于到達(dá)時間差定位[6](TDOA)、基于到達(dá)角定位[7-8](AOA)、基于信號強度定位[9-10](RSS)等。以上幾種方法在其他的定位方式如超聲波、超寬帶、射頻識別(無線局域網(wǎng)、ZigBee)[11]技術(shù)中均有所研究。此外，基于視覺信息的可見光通信室內(nèi)定位方法主要有兩種，一種是利用多盞LED燈，以不同顏色的光來區(qū)別各路光信號，使用相同焦距、相同性質(zhì)且兩圖像傳感器位置固定的定位方法[12-13]，另一種是利用多盞LED燈與同一傳感器的共線關(guān)系，得出終端所在的位置的定位方法[14]。

文中提出一種光電二極管(PD)傳感器與圖像傳感器的視覺信息融合的定位方法，以改進的共線方程模型作為定位的數(shù)學(xué)基礎(chǔ)，無需進行時間同步。在此基礎(chǔ)上，對定位精度進行了半實物仿真驗證。

1 定位方法及共線方程模型

1.1 視覺信息融合的定位方法

文中涉及的可見光通信室內(nèi)定位系統(tǒng)場景設(shè)計為：控制中心向每盞LED燈發(fā)送位置及控制信息。LED燈按一定分布排列于天花板上，其利用電力線載波與后臺的控制中心相連接。LED燈只需發(fā)送可見光信號并播放其位置信息即可，不需要使用時間同步原理。帶有PD傳感器的手機終端接收到可見光信號后進行解析，得到LED位置信息，同時手機終端的攝像頭作為圖像傳感器進行LED影像的獲取。在獲取PD傳感器及圖像傳感器對于同一盞LED燈的不同視覺信息后，通過手機終端內(nèi)置程序，將兩種不同的視覺信息進行融合并實現(xiàn)終端定位。

融合可看作兩種不同類型的信息匹配過程，由于PD傳感器的分辨率較低，因此匹配過程不可簡單理解為圖像間特征值的匹配。文中利用PD傳感器及圖像傳感器所成影像的二維位置關(guān)系作為信息傳遞的媒介，以實現(xiàn)可見光通信信息與視覺信息的融合。

如圖1所示，PD傳感器和圖像傳感器會同時接收到同一盞燈的不同信息，PD傳感器接收到的是每盞LED燈的可見光通信信號，在視覺上表現(xiàn)為一個光斑，傳遞的內(nèi)容為LED燈的位置信息；圖像傳感器的分辨率較高，視覺上表示為該LED燈的實際影像。將兩種不同的信息源進行融合，以解決基于可見光通信的成像定位的數(shù)據(jù)輸入及匹配的問題?？紤]到PD傳感器與圖像傳感器的相對空間位置關(guān)系固定且距離較近，

圖1 PD傳感器與圖像傳感器接收信息示意圖

外置的PD傳感器與手機終端前置攝像頭的平移位置不超過2 cm，且兩傳感器距LED燈的距離較近，在室內(nèi)情況下約為3 m，視場角偏移度較小，LED燈按一定規(guī)則均勻地排布在天花板上，因此信息的匹配方法如下：

首先，提取LED燈坐標(biāo)信息、光斑位置信息及LED圖像位置信息。PD傳感器和圖像傳感器會同時接收到多盞燈的不同信息，設(shè)PD傳感器接收到i(i=1,2,…,m)盞LED燈的信息，包括i盞燈照射在PD傳感器陣列的光斑平面位置(xdi,ydi)及傳遞給PD陣列的LED燈的三維坐標(biāo)(Xi,Yi,Zi)，圖像傳感器接收到j(luò)(j=1,2,…,n)盞LED燈的信息，燈的圖像信息的像平面二維坐標(biāo)為(xej,yej)。

然后，統(tǒng)一PD傳感器和圖像傳感器所屬平面坐標(biāo)系，提高匹配精度。PD傳感器和圖像傳感器的分辨率不同，且有一定的旋轉(zhuǎn)角度，需建立LED燈在PD平面位置上與像平面位置之間的關(guān)系。以高分辨率的圖像傳感器形成的圖像為基準(zhǔn)，將低分辨率的PD傳感器抽象為一個二維矩陣，數(shù)學(xué)擴展為與圖像相同分辨率的二維矩陣：

其中，(kx,ky)為PD傳感器和圖像傳感器進行轉(zhuǎn)換時，x方向和y方向的尺度系數(shù)，各個不同的圖像傳感器與PD傳感器間的(kx,ky)值不相同；θ為兩傳感器之間的旋轉(zhuǎn)角度，由于θ較小，在代入公式時可取cosθ=1，sinθ=θ以簡化計算；(Δx,Δy)為二維偏移量；(xi,yi)為經(jīng)數(shù)學(xué)處理后的PD光斑坐標(biāo)，后續(xù)將利用(xi,yi)及(xej,yej)之間的關(guān)系進行匹配。

最后，進行可見光信息與圖像信息匹配。以提取出的j盞燈圖像信息的像平面二維坐標(biāo)Ej(xej,yej)為模板，以處理后的PD陣列接收到的i個光斑信息的平面位置Di(xi,yi)為搜索區(qū)域，利用Kuhn-Munkres算法，計算所有路徑Ei～Di，以最短的路徑值作為權(quán)值，尋找如圖2所示的最佳匹配。匹配完成后，將PD陣列所接收到的可見光通信信息中包含的LED三維坐標(biāo)信息賦予圖像上提取出的LED影像的像點坐標(biāo)，得到終端坐標(biāo)解算模型所需的參數(shù)為(xej,yej,Xi,Yi,Zi)。

最后輸入攝影機的參數(shù)，并將視覺信息、LED坐標(biāo)信息、攝影機參數(shù)輸入共線方程，建立誤差方程式，解得用戶終端的三維坐標(biāo)，從而實現(xiàn)終端手機的高精度定位。

1.2 定位模型

針對1.1節(jié)中提出的定位方法，攝影方向由傳統(tǒng)攝影測量方法中的光線由下到上變?yōu)楣饩€由上到下，攝影中心、像點、地面點的相對位置關(guān)系如圖3所示。

圖2 平面位置信息及匹配

圖3 基于手機終端前置攝像頭的室內(nèi)定位關(guān)系

若要采用共線方程模型進行解算，需對光線的幾何模型進行分析與推導(dǎo)。定位時，根據(jù)像片投影特點，LED燈、像點、攝影中心三點構(gòu)成一條直線，定義地面三維坐標(biāo)系為C-XgYgZg，其為右手坐標(biāo)系；建立坐標(biāo)原點為攝影中心，且坐標(biāo)軸與地面三維坐標(biāo)系平行，但Z軸與地面三維坐標(biāo)系相反的右手坐標(biāo)系：像空間輔助坐標(biāo)系S-XsYsZs，以及像平面坐標(biāo)系o-xy，其坐標(biāo)原點為攝影中心投影到像平面上的點，一般為像平面中心處，x與y軸與像空間輔助坐標(biāo)系平行。

在建立相對位置關(guān)系后，對定位方法及成像終端進行進一步的分析。由于定位方法中采用的是前置攝像頭進行拍攝，其顯示時對光學(xué)成像進行了軸對稱的數(shù)學(xué)處理，以符合用戶觀看習(xí)慣。由于在解算時，視覺信息已進行了數(shù)學(xué)處理，而傳統(tǒng)的共線方程模型利用的是真實的光學(xué)成像模型，因此對模型進行進一步的修正，還原物點、像點、攝影中心的成像關(guān)系。即像點坐標(biāo)中的x軸取相反值，最終適用于手機終端前置攝像頭的共線方程為：

(2)

其中：

(3)

式中，(x,y)為LED燈在二維像片上的像點坐標(biāo)；(X,Y,Z)為LED燈的三維坐標(biāo)；(Xs,Ys,Zs)為攝影中心在同一坐標(biāo)系下的三維坐標(biāo)；f為攝影機焦距；(φ,ω,κ)為攝影機在拍攝時刻三個方向的轉(zhuǎn)角；(a1,a2,a3,b1,b2,b3,c1,c2,c3)為三個轉(zhuǎn)角所組成的旋轉(zhuǎn)矩陣。

結(jié)合1.1節(jié)中的場景及式(1)、(2)所提出的共線方程模型可知，當(dāng)輸入數(shù)據(jù)為LED燈的三維坐標(biāo)信息、光斑視覺信息、LED視覺信息以及攝影機參數(shù)時，利用共線方程模型，將其線性化后進行迭代運算，可得到手機終端的三維坐標(biāo)信息。

2 仿真實驗與分析

2.1 仿真實驗

文中采用半實物仿真方式對所改進的共線方程進行驗證，開展仿真實驗，采用真實的手機終端的前置攝像頭采集LED燈的圖像信息。

為了更好地驗證模型的定位精度，需要對LED燈的位置及終端拍照實驗點的位置進行標(biāo)定。首先建立相對坐標(biāo)系，確定終端采集視覺信息的實驗點的位置，然后利用激光測距儀，采集已知坐標(biāo)的實驗點到LED燈的距離，利用三球交會原理計算LED的坐標(biāo)信息。

設(shè)LED燈的坐標(biāo)為(Xl,Yl,Zl)，地面網(wǎng)格點坐標(biāo)分別為(Xa,Ya,Za)、(Xb,Yb,Zb)、(Xc,Yc,Zc)，測量距離分別為la,lb,lc，利用式(4)計算LED燈的位置坐標(biāo)：

(4)

由于距離測量時包含了一定誤差，為了減小標(biāo)定所帶來的誤差影響，引入第四個坐標(biāo)點，采用最小二乘法提高標(biāo)定精度。所得的LED的三維坐標(biāo)視為其在相對坐標(biāo)系中的真實值。

仿真場景如圖4所示。LED燈之間的X軸方向相差0.6m，Y軸方向相差0.6m，屋內(nèi)高度為2.8m，智能手機終端在0.8*0.8m的格網(wǎng)點上進行拍攝。

圖4 仿真實驗場景

拍攝采用兩臺不同的智能手機終端，利用其前置攝像頭進行圖像的采集。在數(shù)據(jù)采集過程中，分別采用不同高度、不同手機終端采集了4組數(shù)據(jù)，即高度在相對坐標(biāo)系中的Z方向值為0m時，使用兩組不同的手機終端拍攝兩組數(shù)據(jù)；高度在相對坐標(biāo)系中的Z方向值為1.143m，使用兩組不同的手機終端拍攝兩組數(shù)據(jù)。

2.2 實驗結(jié)果及分析

2.2.1 基于連通域的像點坐標(biāo)提取算法

由于進行定位解算時需要像點坐標(biāo)作為已知值，對于文中所提出的場景中的像點坐標(biāo)提取，其特點一是需要程序后臺提取解算，二是每張像片無較高的重疊度且相對獨立，無法進行特征匹配，因此根據(jù)需要，采用經(jīng)驗閾值對圖像進行灰度處理后二值化，利用二值圖像連通域像素提取算法進行像素點坐標(biāo)提取。

二值化是利用逐個像素的運算，把一張灰度圖變?yōu)橹挥泻?0)和白(1)兩種情況的圖。其中的任何一個像素f(i,j)的亮度值介于[0,255]之間，在二值化的過程中用的閾值為T，二值化以后的影像為b(i,j)，運算公式為：

(5)

圖像處理時采用8鄰域的形態(tài)學(xué)圖像處理原則，即若中間元素為1，周圍8個元素為1。利用形態(tài)學(xué)圖像處理進行像素坐標(biāo)提取，經(jīng)過確定圖像模版、圖像開運算、圖像邊界對象抑制、圖像連通后，提取出像點坐標(biāo)值。

文中采用手機終端拍攝的圖片，對二值圖像連通域像素提取算法進行驗證。對圖像進行處理后，利用程序自動識別LED燈的像素點坐標(biāo)。提取結(jié)果表明，所使用程序?qū)D片上的灰度值大于240以上的點均有響應(yīng)，且可以提取出其中心值，并沒有限制提取個數(shù)，如有些圖像拍出了9個燈，程序可將圖上的9個燈均進行提取。圖像處理結(jié)果如圖5所示。

圖5 圖像處理結(jié)果

得出結(jié)果后，對自動獲取的像素點分析見表1。

表1 圖像像點坐標(biāo)提取精度

由于各像素點對應(yīng)的實際像元大小為微米級，因此表1所示的圖像像點坐標(biāo)提取精度對后續(xù)定位精度的影響較小，滿足像點坐標(biāo)的精度要求。

2.2.2 定位結(jié)果分析

仿真工具選擇Matlab軟件，利用適用于定位室內(nèi)定位方法的共線方程模型，對手機終端的位置進行解算及定位精度的分析。對共線方程模型進行線性化后，組成誤差方程式，采用迭代的方法，對終端位置進行求解。在對場景進行標(biāo)定及數(shù)據(jù)采集后，驗證手機終端前置攝像頭的共線方程模型，對所得結(jié)果與實際終端坐標(biāo)位置進行比對。通過4組實測數(shù)據(jù)，得到172個終端位置值，并計算與標(biāo)定地面點間的位置誤差。圖像上的LED像點坐標(biāo)采用2.2.1節(jié)中自動提取的數(shù)據(jù)。本節(jié)首先分別對不同終端、不同高度進行定位精度的分析，然后對定位精度進行評估。

由于終端與LED燈的距離越近，視場越小，當(dāng)試驗場高度一定時，實驗通過改變終端距地面的高度來調(diào)節(jié)視場的大小。

使用不同的手機終端采集數(shù)據(jù)并解算后，將定位結(jié)果進行分類，分別生成兩手機終端的位置誤差曲線，每幅圖中兩條曲線，曲線表示在相對坐標(biāo)系中的高程為0m及1.143m時的位置誤差。為了更清楚地掌握其規(guī)律，繪制累計概率分布，如圖6所示。從不同高度所拍攝的視覺信息的定位精度的結(jié)果來看，所得結(jié)果的位置誤差基本在0.05m到0.1m之間。

圖6 不同手機終端在不同高度的定位精度累計概率分布

由圖6可知，使用不同的手機終端得出的定位誤差在累計概率為80%處，高度較低即視場角較大時，定位精度較高。對于不同的手機終端，其定位結(jié)果具有普適性，定位精度在10cm左右。作為基于手機前置攝像頭的共線方程模型，在進行實驗的室內(nèi)環(huán)境下，LED燈與終端距離最遠(yuǎn)為2.8m，求解誤差方程式的平均迭代次數(shù)為4次就可收斂。

3 結(jié)束語

文中提出了一種基于視覺信息的可見光通信定位方法，利用了可見光通信的特點，使用兩種不同分辨率的傳感器，即手機終端及PD陣列，實現(xiàn)可見光通信信息與視覺信息的融合。同時提出了一種適用于手機終端前置攝像頭的共線方程定位模型，然后利用手機終端進行半實物仿真，并對仿真結(jié)果進行分析，結(jié)果達(dá)到分米級。對定位終端來說，視場角對定位精度有一定影響，視場角越大，接收到LED燈的信息越多，定位精度較高。該方法可移植到手機應(yīng)用程序中，在配備外置PD陣列的情況下，進行實物實驗，驗證其在實際情況中的可用性。對于仿真定位結(jié)果來說，所引入的誤差包括系統(tǒng)誤差(LED燈坐標(biāo)誤差、攝像機畸變、攝像機定標(biāo)誤差)和偶然誤差(自動提取像素點誤差、匹配誤差)，如何消除這些誤差帶來的影響，進一步提高定位精度，是接下來研究的方向。

[1] 張建昆,楊 宇,陳弘達(dá).室內(nèi)可見光通信調(diào)制方法分析[J].中國激光,2011,38(4):131-134.

[2]NakajimaM,HaruyamaS.Newindoornavigationsystemforvisuallyimpairedpeopleusingvisiblelightcommunication[J].EURASIPJournalonWirelessCommunicationsandNetworking,2013(1):1-10.

[3] 婁鵬華,張洪明,郎 凱,等.基于室內(nèi)照明的定位導(dǎo)航系統(tǒng):中國,201210484538.5[P].2012-11-23.

[4]ZhengD,CuiK,BaiB,etal.IndoorlocalizationbasedonLEDs[C]//ProcofIEEEinternationalconferenceoncontrolapplications.[s.l.]:IEEE,2011:573-578.

[5] 許銀帆,黃星星,李榮玲,等.基于LED可見光通信的室內(nèi)定位技術(shù)研究[J].中國照明電器,2014(4):11-15.

[6]JungSY,HannS,ParkCS.TDOA-basedopticalwirelessindoorlocalizationusingLEDceilinglamps[J].IEEETransactionsonConsumerElectronics,2011,57(4):1592-1597.

[7]PrinceGB,LittleTDC.AtwophasehybridRSS/AoAalgorithmforindoordevicelocalizationusingvisiblelight[C]//Procofglobalcommunicationsconference.[s.l.]:IEEE,2012:3347-3352.

[8]SertthinC,TsujiE,NakagawaM,etal.Aswitchingestimatedreceiverpositionschemeforvisiblelightbasedindoorpositioningsystem[C]//Procof4thinternationalsymposiumonwirelesspervasivecomputing.Melbourne,VIC:IEEE,2009:1-5.

[9]HannS,KimJH,JungSY,etal.WhiteLEDceilinglightspositioningsystemsforopticalwirelessindoorapplications[C]//Procof36thEuropeanconferenceandexhibitiononopticalcommunication.[s.l.]:IEEE,2010:1-3.

[10]GuW,ZhangW,WangJ,etal.ThreedimensionalindoorpositioningbasedonvisiblelightwithGaussianmixturesigma-pointparticlefiltertechnique[C]//ProcofSPIEOPTO.[s.l.]:InternationalSocietyforOpticsandPhotonics,2015.

[11] 汪 苑,林錦國.幾種常用室內(nèi)定位技術(shù)的探討[J].中國儀器儀表,2011(2):54-57.

[12]KimBY,ChoJS,ParkY,etal.ImplementationofindoorpositioningusingLEDanddualPCcameras[C]//Procoffourthinternationalconferenceonubiquitousandfuturenetworks.[s.l.]:IEEE,2012:476-477.

[13]RahmanMS,HaqueMM,KimKD.IndoorpositioningbyLEDvisiblelightcommunicationandimagesensors[J].InternationalJournalofElectricalandComputerEngineering,2011,1(2):161-170.

[14]YoshinoM,HaruyamaS,NakagawaM.High-accuracypositioningsystemusingvisibleLEDlightsandimagesensor[C]//Procofradioandwirelesssymposium.[s.l.]:IEEE,2008:439-442.

An Indoor Positioning Method of Visible Light Communication Based on Visual Information

WANG Yu-qi1,2,GONG Ying-kui1

(1.Academy of Opto-electronics,Chinese Academy of Sciences,Beijing 100094,China;2.University of Chinese Academy of Sciences,Beijing 100049,China)

The development of visible light communication provides a new opportunity for indoor positioning.In order to improve indoor positioning accuracy,a positioning method using visible light communication based on visual light information is proposed,which is fusing visible light information received by low-resolution photo diode array and visual information received by front facing camera to realize the indoor positioning.At the same time,a fusion method for two different information matching is discussed,and for the relationship between the front facing camera and the LEDs’ imaging,an improved collinear equation model is proposed.When the input data is the visible light information,the relevant visual information and the parameters of front facing camera from LEDs’ light,the 3D coordinate information of the mobile terminal is obtained by using the model.A hardware-in-loop simulation has been verified and analyzed.According to the results of the simulation,3D positioning accuracy is up to decimeter level.

visual information;collinear equation;indoor positioning;visible light communication

2015-04-07

2015-07-08

時間：2016-01-04

國家自然科學(xué)基金資助項目(91438207)

王語琪(1989-)，女，碩士，研究方向為室內(nèi)導(dǎo)航定位；鞏應(yīng)奎，副研究員，研究方向為衛(wèi)星導(dǎo)航技術(shù)、導(dǎo)航系統(tǒng)總體設(shè)計以及系統(tǒng)仿真與評估。

http://www.cnki.net/kcms/detail/61.1450.TP.20160104.1453.012.html

TP301

A

1673-629X(2016)01-0200-05

10.3969/j.issn.1673-629X.2016.01.043