趙曉萌 李秋實(shí) 方少亮 盧智星

(1.廣東省科技基礎(chǔ)條件平臺(tái)中心，廣東 廣州 510000；2.廣東省高性能計(jì)算重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510000)

基于圖像傳感器的可見光MIMO通信系統(tǒng)

趙曉萌1,2李秋實(shí)2方少亮1,2盧智星1,2

(1.廣東省科技基礎(chǔ)條件平臺(tái)中心，廣東 廣州 510000；2.廣東省高性能計(jì)算重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510000)

針對(duì)將圖像傳感器用于可見光M IM O通信時(shí)存在的圖像矯正、收發(fā)通道對(duì)準(zhǔn)及時(shí)鐘同步問題，分析了影響數(shù)據(jù)幀有效性的因素，提出了一種發(fā)射端圖形結(jié)構(gòu)與通道分布規(guī)則，給出了基于圖像傳感器的可見光M IM O通信系統(tǒng)時(shí)鐘同步方法，并以三星S2 4D 59 0 PL液晶顯示器作為光學(xué)M IM O發(fā)射端，IPH O NE 6 S手機(jī)后攝像頭傳感器作為接收端搭建了實(shí)驗(yàn)系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，本方案能夠?qū)崿F(xiàn)接收?qǐng)D像的定位和矯正，并自適應(yīng)計(jì)算出M IM O通道數(shù)量和各通道坐標(biāo)，在發(fā)射幀率小于接收幀率的條件下，能夠恢復(fù)同步時(shí)鐘和解碼數(shù)據(jù)。

可見光通信；圖像傳感器；M IM O；圖形定位；同步時(shí)鐘

1 引言

可見光通信(Variable Light Communication，VLC)作為一種熱門的無線通信技術(shù)，具有可靠性高、保密性好、無電磁干擾、無需頻譜認(rèn)證等優(yōu)勢(shì)[1,2]。但由于白光LED有限的帶寬，限制了傳輸速率，而MIMO技術(shù)能夠在有限的帶寬上通過空間復(fù)用實(shí)現(xiàn)高速通信，基于圖像傳感器的MIMO系統(tǒng)能夠有效解決光源布局和信號(hào)多徑干擾等問題[3-5]。近年來基于近距離無線通信技術(shù)（NFC）出現(xiàn)了一些應(yīng)用，但由于基礎(chǔ)設(shè)施不完善，手機(jī)上的NFC功能并未得到普及，與其他通信裝置相比，利用LCD屏作為發(fā)射端，CMOS傳感器作為接收端，是一種靈活且低成本的近場可見光通信解決方案。

2004年S.Hranilovic等使用512x512像素的LCD和154x154像素的CCD組成MIMO無線光信道，提出了空間離散多音調(diào)制抵抗信道的低通空間響應(yīng)，在距離為2m的范圍產(chǎn)生的頻譜效率近似為1.7kb/s*Hz[4]。2007年S Arai等利用交通燈作為發(fā)射端、高速攝像機(jī)作為接收端組成智能交通系統(tǒng)，提出基于二維快速Haar小波變換的分層編碼方案[7]。2012年Sung-Man Kim等利用商用CCD傳感器搭建4x4MIMO無線可見光通信裝置，通信速率達(dá)到200bit/s每通道，通信距離可超過10米[5]。2012年C Danakis等提出利用移動(dòng)電話接收VLC數(shù)據(jù)的方案，將智能手機(jī)的相機(jī)作為接收器，捕捉快速開關(guān)狀態(tài)的光，利用CMOS傳感器卷簾效應(yīng)，接收數(shù)據(jù)率高于攝像機(jī)的幀速率[6]。2014年同濟(jì)大學(xué)的Peng ji提出利用車載LED照明裝置和手機(jī)攝像頭之間的通信，制作采用欠采樣頻率偏移開關(guān)鍵控調(diào)制方式發(fā)射和卷簾快門攝像頭接收的VLC原型機(jī)，能夠抑制圖像內(nèi)的常規(guī)光學(xué)干擾和噪聲[8]。2015年南京郵電大學(xué)的高俊英利用LCD模擬3x3多光源發(fā)射，并采用全局快門攝像頭作為接收端搭建MIMO可見光通信系統(tǒng)，提出一種多高斯模型的方法獲取自適應(yīng)閾值[9]。

雖然利用圖像傳感器進(jìn)行可見光通信的技術(shù)方案具有很多優(yōu)勢(shì)，但實(shí)際應(yīng)用中還存在一些待解決的問題。一是接收端圖像傳感器通常為固定幀率，其與發(fā)射端缺少同步的時(shí)鐘，因此難以判斷每幀數(shù)據(jù)的有效性；二是接收端無法確定不同發(fā)射端的MIMO通道數(shù)量及分布情況；三是接收端與發(fā)射端位置的相對(duì)旋轉(zhuǎn)與傾斜，使得接收端無法準(zhǔn)確標(biāo)定MIMO通道的坐標(biāo)。針對(duì)以上問題，本文提出了一種基于LCD發(fā)射端和手機(jī)CMOS傳感器接收端的同步時(shí)鐘通信系統(tǒng)方案。利用預(yù)先約定的定位圖形和MIMO通道設(shè)置規(guī)則，使得接收端能夠?qū)D像的傾斜和旋轉(zhuǎn)角度進(jìn)行識(shí)別和矯正，并自適應(yīng)判斷MIMO通道數(shù)量和分布，以及各通道所對(duì)應(yīng)坐標(biāo)；并在圖形中設(shè)置4個(gè)專用時(shí)鐘傳輸通道，實(shí)現(xiàn)接收端與發(fā)射端的時(shí)鐘同步。

2 同步時(shí)鐘通信系統(tǒng)分析與設(shè)計(jì)

基于LCD發(fā)射端和CMOS傳感器接收端的MIMO可見光通信系統(tǒng)原理圖如圖1所示，發(fā)射端有3路串行信號(hào)，在空間上對(duì)應(yīng)LCD中的一定區(qū)域，通過透鏡在CMOS上對(duì)應(yīng)的區(qū)域成像，每個(gè)區(qū)域定義為一個(gè)數(shù)據(jù)通道，CMOS傳感器連續(xù)的接收?qǐng)D像序列，并檢測(cè)對(duì)應(yīng)區(qū)域的不同波長的光強(qiáng)，通過圖像處理技術(shù)恢復(fù)出各個(gè)通道所發(fā)送的波分復(fù)用碼流。

圖1 使用LCD發(fā)射和CMOS傳感器接收的可見光MIMO通信系統(tǒng)原理

在接收端需要矯正圖形旋轉(zhuǎn)與傾斜，確定MIMO通道數(shù)量及分布方式，以及判定數(shù)據(jù)幀有效性。其中產(chǎn)生無效數(shù)據(jù)幀的原因主要有幾個(gè)方面：一是由于LCD本身的時(shí)間響應(yīng)較長，一般為數(shù)ms到數(shù)十ms，無法快速刷新，如圖2所示，在信號(hào)切換的上升或下降階段采集的信號(hào)很容易誤碼；二是發(fā)射端若采用圖像編碼流序列也容易產(chǎn)生誤碼，如H.264編碼協(xié)議里定義了三種幀，完整編碼的幀叫I幀，參考之前的I幀生成的只包含差異部分編碼的幀叫P幀，參考前后幀編碼的幀叫B幀，如圖3所示，其中I幀和P幀包含完整圖像信息，而B幀是由前面的I或P幀和后面的P幀來進(jìn)行預(yù)測(cè)的編碼幀，該幀壓縮比最高，但具有很大的隨機(jī)性；三是CMOS傳感器的幀率通常較低，只有30Hz到60Hz，且大部分采用控制傳感器逐行曝光的方式實(shí)現(xiàn)卷簾快門，由于卷簾快門工作特性，當(dāng)目標(biāo)光源存在一定速率的明暗閃爍時(shí)，CMOS傳感器獲取的圖樣呈明暗條紋狀，而不是明幀和暗幀的交替，如圖4所示，因此CMOS傳感器可能獲取的并不是空間分布完整的幀信號(hào)[6,8]。由于這些原因，使得接收端難以判斷所采集的數(shù)據(jù)幀是否有效。

圖2 顯示屏?xí)r間響應(yīng)曲線

圖3 H.264編碼幀示意圖

圖4 調(diào)制驅(qū)動(dòng)LED照明光源和卷簾快門CMOS傳感器

本文設(shè)計(jì)了發(fā)射端的圖形結(jié)構(gòu)和通道分布規(guī)則，如圖5所示。包括3個(gè)結(jié)構(gòu)相同的位置探測(cè)圖形，由3個(gè)正方形模塊嵌套組成，當(dāng)從左至右以一條直線采樣，信號(hào)寬度比例為1:1:3:1:1，且該比例與發(fā)射接收端的距離和相對(duì)旋轉(zhuǎn)無關(guān)，接收端可首先檢測(cè)3個(gè)位置探測(cè)圖形的坐標(biāo)(x1,y1)、（x2,y2）、（x3,y3），對(duì)接收的圖像進(jìn)行定位、旋轉(zhuǎn)與矯正[11]，基本原理同QR碼處理方法，本文不再贅述。根據(jù)兩個(gè)位置探測(cè)通道幾何中心之間的比例距離X和Y，可推導(dǎo)出MIMO發(fā)射端時(shí)鐘通道和數(shù)據(jù)通道的總數(shù)量N，則

進(jìn)一步可對(duì)圖5中的信號(hào)通道進(jìn)行標(biāo)定，通道以陣列行列坐標(biāo)命名，如CHmn，則CHmn的中心坐標(biāo)表示為：

圖5中的信號(hào)通道中包括4個(gè)獨(dú)立時(shí)鐘通道和5個(gè)數(shù)據(jù)通道，4個(gè)時(shí)鐘通道的空間位置選取保證發(fā)射端與接收端在任意相對(duì)旋轉(zhuǎn)和傾斜狀態(tài)下能覆蓋發(fā)射端的所有數(shù)據(jù)通道區(qū)域，因此在圖5中時(shí)鐘通道為CH11、CH13、CH31、CH33，其中CH11和CH33為一組，CH13和CH31為一組，組內(nèi)信號(hào)相同，組間反向，接收端根據(jù)接收到4個(gè)時(shí)鐘通道的信號(hào)電平同步翻轉(zhuǎn)狀態(tài)，恢復(fù)出接收時(shí)鐘。

圖5 發(fā)射端圖形結(jié)構(gòu)

通過本設(shè)計(jì)規(guī)則，可實(shí)現(xiàn)可見光MIMO通信系統(tǒng)接收?qǐng)D像的定位和矯正，自適應(yīng)計(jì)算MIMO通道數(shù)量與坐標(biāo)，以及同步時(shí)鐘的獲取。

3 實(shí)驗(yàn)與結(jié)果

根據(jù)本文所提出的設(shè)計(jì)規(guī)則搭建實(shí)驗(yàn)系統(tǒng)，采用三星S24D590PL液晶顯示器作為光學(xué)MIMO發(fā)射端，IPHONE 6S手機(jī)后攝像頭傳感器作為接收端，接收端與發(fā)射端距離10～20cm，發(fā)射端將15路8bit串行數(shù)據(jù)按RGB波段分離，分別疊加在5個(gè)數(shù)據(jù)通道上，共發(fā)送8幀圖像，每一次切換圖像4個(gè)時(shí)鐘通道都同步進(jìn)行翻轉(zhuǎn)，CMOS采集速率可設(shè)定為30fps或60fps，接收端將接收到的信號(hào)導(dǎo)入MATLAB中進(jìn)行處理，根據(jù)4個(gè)時(shí)鐘通道的信號(hào)翻轉(zhuǎn)狀態(tài)生成接收時(shí)鐘，并以此時(shí)鐘對(duì)其他通道信號(hào)進(jìn)行采集和解碼，通過設(shè)定不同的發(fā)射速率來檢驗(yàn)實(shí)驗(yàn)系統(tǒng)。具體過程如下：

3.1 信號(hào)發(fā)射

發(fā)射端共9個(gè)傳輸通道，分別按矩陣行列號(hào)命名為CH11、CH12、CH13、CH21、CH22、CH23、CH31、CH32、CH33，其中CH12、CH21、CH22、CH23、CH32為數(shù)據(jù)通道，采用RGB波分復(fù)用共15個(gè)有效數(shù)據(jù)通道并行傳輸，每通道傳輸數(shù)據(jù)共8bit，傳輸?shù)臄?shù)值如表1所示：

表1 各通道發(fā)射數(shù)據(jù)表通道

這8bit數(shù)據(jù)及其時(shí)鐘所對(duì)應(yīng)的8幀圖像如圖6所示。其中CH11、CH13、CH31、CH33為時(shí)鐘通道，CH11與CH33為一組，CH13與CH31為一組，且兩組信號(hào)保持反相。

圖6 基于LCD的可見光MIMO通信系統(tǒng)8bit數(shù)據(jù)所對(duì)應(yīng)的圖像幀

3.2 信號(hào)接收與處理

信號(hào)接收端采集到圖像后根據(jù)本文所提出的設(shè)計(jì)規(guī)則，首先對(duì)圖像進(jìn)行定位、旋轉(zhuǎn)和矯正，利用QR碼處理領(lǐng)域所采用的定位矯正算法[11]，在任意旋轉(zhuǎn)角度下可實(shí)現(xiàn)圖像的定位和旋轉(zhuǎn)，在45o傾斜范圍內(nèi)可實(shí)現(xiàn)圖形的矯正，計(jì)算得出通道矩陣數(shù)量為3x3并定位各通道的坐標(biāo)，再進(jìn)行信號(hào)采集和處理，首先采集4個(gè)時(shí)鐘通道CH11、CH13、CH31、CH33，并根據(jù)4個(gè)時(shí)鐘通道的翻轉(zhuǎn)狀態(tài)，恢復(fù)出與發(fā)射端的同步時(shí)鐘信號(hào)sck，如圖7所示。

圖7 根據(jù)4個(gè)時(shí)鐘通道的切換狀態(tài)提取時(shí)鐘sck的波形圖

在以5fps發(fā)射、30fps接收狀態(tài)下，各通道接收RGB信號(hào)波形圖如圖8所示，每一幅圖由4個(gè)信號(hào)通道組成，上面3組信號(hào)為該通道的RGB信號(hào)波形，第3組為同步時(shí)鐘信號(hào)sck，每次sck翻轉(zhuǎn)時(shí)對(duì)數(shù)據(jù)通道采樣并進(jìn)行解碼，結(jié)果如表2所示，對(duì)比表1可以看出，所有通道解碼得到的數(shù)值全部正確。

圖8 5fps發(fā)射30fps接收各通道波形圖

表2 5fps發(fā)射30fps接收各通道信號(hào)接收數(shù)據(jù)表

實(shí)驗(yàn)中發(fā)現(xiàn)，發(fā)射速率為10fps、20fps和25fps，接收速率為30fps時(shí)所有通道解碼得到的數(shù)值全部準(zhǔn)確；將接收速率調(diào)整到60fps，則發(fā)射端速率設(shè)置為5fps-50fps均能夠正常接收信號(hào)和解碼。但是當(dāng)發(fā)射速率超過接收幀率時(shí)，接收端無法生成同步時(shí)鐘，如圖9所示sck始終為高，所對(duì)應(yīng)的圖像如圖10所示，在這種狀態(tài)下接收端無法對(duì)數(shù)據(jù)進(jìn)行接收和解碼。

圖9 33fps發(fā)射30fps接收（左）50fps發(fā)射30fps接收（右）

圖10 接收無效數(shù)據(jù)幀示意圖

在信號(hào)處理與解碼效率方面，如接收幀率為30fps，發(fā)射幀率為15fps，在無同步時(shí)鐘的情況下，每秒需處理30幀圖像，而本實(shí)驗(yàn)系統(tǒng)僅在sck信號(hào)翻轉(zhuǎn)時(shí)讀取和存儲(chǔ)數(shù)據(jù)，其它時(shí)刻的圖像被丟棄，因此每秒僅需處理15幀圖像，理論效率可提高2倍。

通過上述實(shí)驗(yàn)可知，利用LCD作為發(fā)射端，手機(jī)攝像頭傳感器作為接收端，可以實(shí)現(xiàn)可見光MIMO通信。利用本文所提出的設(shè)計(jì)規(guī)則搭建的實(shí)驗(yàn)系統(tǒng)，能夠在發(fā)射端與接收端相對(duì)位置不固定的條件下對(duì)圖像進(jìn)行定位和矯正，并判定MIMO通道數(shù)量及分布坐標(biāo)；采用獨(dú)立通道傳輸時(shí)鐘，有效解決了可見光通信系統(tǒng)接收端與發(fā)射端時(shí)鐘同步問題。

4 結(jié)論

本文分析了利用LCD作為發(fā)射端和CMOS傳感器作為接收端的可見光MIMO通信系統(tǒng)存在的問題，提出了一種發(fā)射端圖形結(jié)構(gòu)與通道分布規(guī)則，給出了基于圖像傳感器的可見光MIMO通信系統(tǒng)時(shí)鐘同步方法，并搭建了實(shí)驗(yàn)系統(tǒng)。采用與QR碼類似的位置探測(cè)圖形，使得接收端可自行對(duì)接收?qǐng)D像進(jìn)行定位和矯正，并根據(jù)提出的設(shè)計(jì)規(guī)則自適應(yīng)計(jì)算出傳輸通道數(shù)量及各通道所在坐標(biāo)；采用4路獨(dú)立時(shí)鐘傳輸通道，在接收端恢復(fù)出同步接收時(shí)鐘，在時(shí)鐘翻轉(zhuǎn)時(shí)刻讀取此幀數(shù)據(jù)通道信息，而其它時(shí)刻的幀被丟棄，并降低了接收端資源占用，提高解碼效率；各通道采用RGB波分復(fù)用，在硬件條件不變的情況下使通信帶寬比單色光通信提高3倍。

基于本文的研究結(jié)果，可利用智能手機(jī)的顯示屏和攝像頭實(shí)現(xiàn)短距離數(shù)據(jù)交換、機(jī)場登機(jī)驗(yàn)證、門禁鑰匙、交通一卡通、信用卡、移動(dòng)支付等功能。

參考文獻(xiàn)：

[1]CW Chow，CH Yeh，Y Liu and YF liu．Digital signal processing for light emitting diode based visible light communication[J]．IEEE PHOTONICS SOCIETY NEWSLETTER，2012，26(5)：9-13．

[2]Haruyama．Visible light communication using sustainable LED lights[C]．Itu Kaleidoscope：Building Sustainable Communities，2013：1-6．

[3]HH Lu et al．A multiple-input-multiple-output visible light communication system based on VCSELs and spatial light modulators[J]．Optics Express，2014，22(3)：3468-3473．

[4]S Hranilovic，F(xiàn) R Kschischang．Short-range wireless optical communication using pixilated transmitters and imaging receivers[C]．In Communication，2004 IEEE International Conference，2004(2)：891-895．

[5]S M Kim，J B Jeon．Experimental demonstration of 4x4 MIMO wireless visible light communication using a commercial CCD image sensor [J]．Journal of Information and Communication Convergence Engineering，2012，10(3)：220-224．

[6]C Danakis，M Afgani，G Povey，I Underwood and H Haas．Using a CMOS camera sensor for visible light communication[J]．Globecom Workshops，2012，48(11)：1244-1248．

[7]S Arai，S Mase，T Yamazato，T Endo．Experimental on Hierarchical Transmission Scheme for Visible Light Communication using LED Traffic Light and High-Speed Camera[C]．Vehicular Technology Conference，2007(66)．

[8]Peng Ji，Hsin-Mu Tsai，Chao Wang，F(xiàn)uqiang Liu．Vehicular Visible Light Communications with LED Tailight and rolling Shutter Camera [C].Vehicular Technology Conference，2014(79)：1-6．

[9]高俊英，王德昌，姚建國．基于攝像頭的MIMO可見光無線通信系統(tǒng)[J]．光學(xué)學(xué)報(bào)，2015，35(1)：71-79．

[10]CW Chow，CY Chen，SH Chen．Enhancement of Signal Performance in LED Visible Light Communications Using Mobile Phone Camera [J]．IEEE Photonics Journal，2015，7(5)：1-7．

[11]肖翔，劉曉明，王云柯．碼圖像的矯正與定位方法研究[J]．計(jì)算機(jī)科學(xué)，2007，34(11)：217-219．

Visible Light MIMO Clock Synchronous Communication System Based on Image Sensor

Zhao Xiaomeng1,2Li Qiushi2Fang Shaoliang1,2Lu Zhixing1,2
(1.Guangdong Science&Technology Infrastructure Center,Guangzhou 510000,Guangdong; 2.Guangdong Provincial Key Laboratory of High Performance Computing,Guangzhou 510000,Guangdong)

For the problems of image rectification,transceiver channel alignment,clock synchronization when an image sensor is used for visible light MIMO communication,the factors affecting the validity of the data frame are analyzed.A graphical structure of transmitting end and a distribution rule of channel are presented.The synchronization method of visible light MIMO communication system based on image sensors is put forward,and an experimental system is set up using Samsung S24D590PL LCD monitor as optical MIMO transmitting end and rear camera sensor of IPHONE 6S as receiving end.The experimental results show that this program can achieve location and correction of the received image,and is adaptive to calculate the number of MIMO channels and the coordinates of each channel.Under the condition that the transmission frame rate is less than received frame rate,the synchronous clock can be recovered and the data can be decoded.

visible light communication;image sensor;MIMO;image location;synchronous clock

O435；O436；O439

A

1008-6609(2016)11-0019-05

趙曉萌(1981-)，男，廣東廣州人，碩士，工程師，研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)與光通信。

廣東省前沿與關(guān)鍵技術(shù)創(chuàng)新專項(xiàng)基金資助項(xiàng)目，項(xiàng)目編號(hào)：2014B01012002。