黃開成，王元慶*，李鳴皋，高　原，韓　磊，周必業(yè)

（1.南京大學(xué)電子科學(xué)與工程學(xué)院，南京210023；2.海軍總醫(yī)院全軍航海航空醫(yī)學(xué)中心，北京100048）

大動態(tài)寬幅度自由立體顯示背光控制系統(tǒng)*

黃開成1，王元慶1*，李鳴皋2，高原2，韓磊2，周必業(yè)2

（1.南京大學(xué)電子科學(xué)與工程學(xué)院，南京210023；2.海軍總醫(yī)院全軍航海航空醫(yī)學(xué)中心，北京100048）

提出并實(shí)現(xiàn)一種大動態(tài)寬幅度自由立體顯示背光控制系統(tǒng)。本系統(tǒng)采用LCD作為基本顯示屏幕，以柱鏡光柵作為指向性光學(xué)部件，以LED陣列作為可尋址背光組件，以步進(jìn)電機(jī)改變柵屏距離，采用Atmega128單片機(jī)作為控制處理器，輔以高精度實(shí)時人眼跟蹤模塊與之通信。本系統(tǒng)的大動態(tài)體現(xiàn)在觀看視角較大且連續(xù)，寬幅度體現(xiàn)在可同時滿足多個有效觀看距離。

自由立體顯示；背光控制；LED陣列；人眼跟蹤

立體顯示技術(shù)經(jīng)過多年發(fā)展已經(jīng)有了巨大的進(jìn)步。在3D廣告、游戲、教育、醫(yī)療等民用領(lǐng)域以及軍用電子地圖、軍事仿真、航空航天等軍事領(lǐng)域都將發(fā)揮巨大作用［1］。目前市場上商用的顯示器大多數(shù)需要佩戴眼鏡才能看到立體效果，這給觀看者帶來較大不便。而自由立體顯示憑借其靈活、舒適、逼真等特性成為研究的熱點(diǎn)以及3D市場發(fā)展的方向。自由立體顯示［2］是指無須借助任何輔助設(shè)備便可觀看到立體影像的裸眼立體顯示方式，主要分為視差立體、體立體和全息立體。視差立體主要基于立體影像原理，使觀看者的左右眼分別只看到對應(yīng)立體圖像對的左右圖像。

本文結(jié)合實(shí)際項目需求，提出并實(shí)現(xiàn)一種大動態(tài)寬幅度自由立體顯示背光控制系統(tǒng)。本系統(tǒng)旨在滿足飛行員立體視覺檢查的需要，設(shè)計一款無輔助立體顯示器，同時滿足0.4 m、1.0 m、5.0 m 3個有效觀看距離，在這檢查距離內(nèi)，觀看者在±8°立體視角內(nèi)可以看到較強(qiáng)的立體感。同時該顯示器須滿足平面立體兼容。本系統(tǒng)的核心思想是利用柱鏡光柵形成狹縫照明，利用LCD液晶顯示屏空分顯示左右視差圖像像素，最終在期望觀看距離處形成左右視域。

1　系統(tǒng)原理介紹

光柵式自由立體顯示器主要利用LCD液晶顯示屏和柱鏡或狹縫光柵組合而形成固定觀看區(qū)域，左右視差圖像像素交錯排列在液晶顯示屏上，利用光柵的分光作用將左、右眼視差圖像的光線向不同方向傳播。當(dāng)觀看者位于合適的觀看區(qū)域時，其左、右眼分別觀看到左、右眼視差圖像，經(jīng)過大腦融合后便可感知到具有立體感的圖像［1］?；谶@一原理，本系統(tǒng)利用柱鏡光柵產(chǎn)生等間隔點(diǎn)光源，利用LCD液晶顯示屏空分顯示左右視差圖像像素，可在觀看者的左右眼處形成指定出瞳，即觀察視域［3］。如圖1［2］所示。此外本系統(tǒng)裝配人眼跟蹤系統(tǒng)，從而近實(shí)時地動態(tài)出瞳，不僅實(shí)現(xiàn)了較大的觀看視角而且使得立體效果連續(xù)。因此本系統(tǒng)方案可用于制作大動態(tài)寬幅度自由立體顯示器，且由于采取亞像素的方式進(jìn)行分光，只在水平方向損失一半分辨率［4］。

圖1　大動態(tài)寬幅度自由立體顯示系統(tǒng)原理圖

圖1中W表示相鄰左右出瞳窗口的中心距離，一般不大于人兩眼瞳孔間距離（65 mm左右），h表示觀看距離，d表示光柵與LCD液晶顯示屏間距離，t表示LCD屏相鄰亞像素間距離，b表示柱鏡光柵柵距，L代表左視圖亞像素，R代表右視圖亞像素。由簡單的相似三角形，可推出如下公式：

由式（4）可知，在b和t固定的前提下，可通過改變光柵與LCD液晶顯示屏間的間距d進(jìn)而改變距離h，實(shí)現(xiàn)不同觀看距離即寬幅度的立體圖像觀看。

2　背光控制系統(tǒng)組成

本系統(tǒng)工作過程如下：用戶在上位機(jī)軟件界面選擇觀看模式和觀看距離，人眼跟蹤模塊實(shí)時跟蹤人眼位置，上位機(jī)通過串口通信發(fā)送以上信息數(shù)據(jù)到主單片機(jī)，主單片機(jī)處理上位機(jī)傳來數(shù)據(jù)，先輸出IO引腳電平控制LED驅(qū)動模塊，進(jìn)而驅(qū)動LED陣列的亮滅，再輸出IO引腳電平至從單片機(jī)，從單片機(jī)輸出IO引腳電平控制步進(jìn)電機(jī)驅(qū)動器，進(jìn)而驅(qū)動步進(jìn)電機(jī)轉(zhuǎn)動到正確位置。整個背光控制系統(tǒng)框圖如圖2所示。

圖2　背光控制系統(tǒng)組成框圖

本系統(tǒng)主要包含的6個部件說明如下：可尋址LED陣列，為整個系統(tǒng)提供光源；步進(jìn)電機(jī)模塊，負(fù)責(zé)移動柱鏡光柵改變柵屏距；單片機(jī)控制處理器，負(fù)責(zé)人眼跟蹤模塊和可尋址LED陣列之間的通信以及步進(jìn)電機(jī)的轉(zhuǎn)動控制；指向性光學(xué)部件，包括菲涅爾透鏡、柱鏡光柵等，形成指向性出瞳；人眼跟蹤模塊，實(shí)時跟蹤觀看者人眼位置；LCD液晶顯示屏，空分顯示左右視差圖像像素。

LCD液晶屏空分顯示左右視差圖像像素，其左右圖的亞像素融合規(guī)則如圖3。

圖3　LCD顯示融合圖亞像素融合規(guī)則

2.1可尋址LED陣列

本系統(tǒng)采用的LED是美國科銳公司型號為XLamp XHP70 LEDs的極大功率級LED，其最大光輸出高達(dá)4022 lm，發(fā)散角為120°。單顆燈及其亮度分布如圖4（a）、4（b）所示。

本系統(tǒng)驅(qū)動電路采用大功率LED恒流驅(qū)動模塊，恒流驅(qū)動模塊采用型號為XL4005降壓型直流電源變換器芯片［5］，每一個模塊輸出2 A電流，驅(qū)動一顆LED，通過單片機(jī)IO引腳控制驅(qū)動模塊上XL4005芯片引腳EN使能端通斷，從而控制LED陣列的亮滅，實(shí)現(xiàn)LED陣列獨(dú)立可尋址。

圖4　單顆LED及亮度分布圖

圖5LED背光陣列排布

可尋址LED陣列實(shí)物圖如圖5，共采用16顆LED，編號為0～15。本系統(tǒng)采用菲涅爾透鏡將LED陣列發(fā)出的束光源調(diào)整為平行光，能夠顯著提高顯示面板四周亮度，從而提高整體顯示亮度均勻性。又平行光的方向會隨著LED燈位置的變化而變化，實(shí)際中每次點(diǎn)亮1顆LED，這樣16顆LED總共有16種狀態(tài)，這16種狀態(tài)產(chǎn)生的平行光正好走過一個柱鏡光柵柵距，如圖6所示［2］，從而實(shí)現(xiàn)了動態(tài)出瞳，且出瞳連續(xù)，擴(kuò)寬了視角。

圖6　LED陣列與柱鏡光柵相對位置關(guān)系

在平面模式下，只需將LED陣列全部點(diǎn)亮，LCD的顯示內(nèi)容為平面圖像或文字，觀察者的雙眼可以同時觀看到整個屏幕，如同普通的顯示器一樣，只是亮度相比立體模式會有所提升。

2.2單片機(jī)控制處理器

系統(tǒng)所采用的控制單元是基于Atmega128芯片的AVR系列單片機(jī)。它是一款8 bit精簡指令集高速低功耗AVR單片機(jī)，在16 MHz的時鐘頻率下系統(tǒng)執(zhí)行性能可達(dá)16 Minstruction/s，內(nèi)帶128 kbit的FlashROM、4 kbit的EPROM、4 k的系統(tǒng)SRAM，兩個8 bit定時器/計數(shù)器，8個外部中斷口，兩路UART通訊口［6］。

本控制系統(tǒng)采用兩個單片機(jī)，分別為主單片機(jī)和從單片機(jī)。其中主單片機(jī)主要實(shí)現(xiàn)的功能是向上通過UART串口與上位機(jī)通信獲得人眼跟蹤模塊返回的用戶位置信息，向下則驅(qū)動對應(yīng)位置LED陣列的亮滅，近實(shí)時地將立體窗口投向用戶的左右眼，同時輸出觀看距離信息至從單片機(jī)，從單片機(jī)輸入主單片機(jī)傳來觀看距離信息，驅(qū)動步進(jìn)電機(jī)驅(qū)動器以驅(qū)動步進(jìn)電機(jī)轉(zhuǎn)動至相應(yīng)位置。

用戶在上位機(jī)軟件界面選擇觀看模式、觀看距離后，人眼跟蹤模塊將實(shí)時獲得用戶的人眼位置。上位機(jī)串口采用微軟公司提供的Active控件MSComm模塊［7］，通信協(xié)議設(shè)置串口波特率為9 600 bit/s，幀格式為8 bit數(shù)據(jù)位，1 bit位停止位，無奇偶校驗位。上位機(jī)發(fā)送數(shù)據(jù)為1 byte，其格式如圖7所示。

圖7　發(fā)送數(shù)據(jù)字格式

第8位0代表2D模式，1代表3D模式；第5位到第7位001代表0.4 m，010代表1 m，100代表5 m；第1位到第4位0000到1111分別代表16個LED燈位置編號。若觀看者不在顯示器前上位機(jī)就發(fā)送上一幀人眼位置數(shù)據(jù)。上位機(jī)的發(fā)送頻率是30 Hz。

上位機(jī)串口設(shè)置和發(fā)送主要代碼如下：

其中model的值為0或1，代表3D或2D觀看模式；device_id表示3個攝像頭編號，值分別為1、2、4，分別代表3個不同觀看距離；pt_leye.x表示人眼像素橫坐標(biāo)位置，值為0到639。table［device_id］［pt_leye.x］表示在某一觀看距離下，對應(yīng)于某一人眼位置應(yīng)該點(diǎn)亮的LED編號。Table［］［］我們稱之為對應(yīng)表，是人眼像素橫坐標(biāo)與LED陣列中LED燈位置編號的對應(yīng)關(guān)系。在人眼跟蹤模塊固定之后，顯示器播放一對立體感較強(qiáng)的左右視差圖片，當(dāng)點(diǎn)亮不同位置編號的LED時，用人眼在觀看距離處尋找達(dá)到最佳立體感位置，然后記錄下此時人眼跟蹤模塊檢測到的左眼橫坐標(biāo)像素值，按此方法，測量在有效視角內(nèi)從左端至右端相應(yīng)的人眼坐標(biāo)與LED對應(yīng)點(diǎn)亮位置信息，這樣一一對應(yīng)，最后用這些數(shù)據(jù)擬合得到全像素范圍內(nèi)的對應(yīng)表。

以觀看距離1 m處為例，用Matlab擬合的對應(yīng)表曲線如圖8，橫坐標(biāo)表示人眼橫坐標(biāo)像素值，縱坐標(biāo)表示LED燈位置編號。

圖8　人眼坐標(biāo)與LED燈位置標(biāo)號對應(yīng)表

由此分析如果沒有人眼跟蹤模塊及指向性背光，比如LED陣列固定點(diǎn)亮編號7，那么在觀看距離1 m處有8個出瞳，但是不連續(xù)。加上人眼跟蹤模塊及指向性背光后，隨著觀看者移動，LED陣列點(diǎn)亮的位置隨之改變，這就實(shí)現(xiàn)了動態(tài)出瞳，使得觀看者能夠獲得大視角連續(xù)觀看的立體效果。

為了能夠?qū)崟r更新人眼坐標(biāo)信息，同時改變指向性背光點(diǎn)亮的位置，本文采用 AVR Atmega128單片機(jī)與上位機(jī)人眼跟蹤模塊進(jìn)行通信。通信協(xié)議設(shè)置與上位機(jī)MSComn模塊一致。當(dāng)準(zhǔn)備工作全部完成后就可以設(shè)置中斷允許，等待人眼跟蹤模塊發(fā)送位置信息。串口發(fā)送流程圖如圖9所示。

圖9　串口發(fā)送流程圖

串口初始化代碼如下：

2.3步進(jìn)電機(jī)模塊

由式4分析，在不同的柵屏距下，有效觀看距離不同。因此實(shí)現(xiàn)3個不同有效觀看距離可以采用步進(jìn)電機(jī)移動柱鏡光柵從而實(shí)現(xiàn)不同的柵屏距。本系統(tǒng)采用兩相混合式步進(jìn)電機(jī)及配套驅(qū)動器，通過從單片機(jī)3個IO引腳控制驅(qū)動器進(jìn)而驅(qū)動步進(jìn)電機(jī)。如圖10所示。

主單片機(jī)通過串口通信從人眼跟蹤模塊獲取當(dāng)前位置信息后，通過3個IO引腳與從單片機(jī)通信，3個引腳位置電平為“001”表明在0.4 m處，“010”表明在1 m處，“100”表明在5 m處。

從單片機(jī)即為圖10中的控制器。因為系統(tǒng)上電之后步進(jìn)電機(jī)可能處于任意位置，所以設(shè)置限位開關(guān)，使得步進(jìn)電機(jī)復(fù)位。系統(tǒng)上電后，步進(jìn)電機(jī)逆時針轉(zhuǎn)動使柱鏡光柵遠(yuǎn)離LCD屏幕直至觸碰限位開關(guān)，產(chǎn)生低電平，觸發(fā)單片機(jī)中斷，步進(jìn)電機(jī)順時針轉(zhuǎn)動回到0.4 m處。這也是步進(jìn)電機(jī)的初始待命狀態(tài)。之后主單片機(jī)通過IO引腳輸出位置電平到從單片機(jī)，從單片機(jī)根據(jù)位置電平輸出相應(yīng)控制信號控制步進(jìn)電機(jī)進(jìn)行順時針或者逆時針轉(zhuǎn)動，達(dá)到對應(yīng)觀看距離下所需的柵屏距。

圖10　步進(jìn)電機(jī)驅(qū)動示意圖

2.4人眼跟蹤模塊

人眼跟蹤模塊根據(jù)項目需求，分別使用3個觀看距離的CMOS攝像頭模塊，0.4 m和1 m采用的是近焦攝像頭，5 m則采用遠(yuǎn)焦攝像頭，攝像頭圖像分辨率為640×480，幀率固定為30幀/s。系統(tǒng)采用的人眼跟蹤技術(shù)完全自主研發(fā)［8］，基于人臉的膚色效應(yīng)，運(yùn)用基于Harr特征的連續(xù)型AdaBoost算法進(jìn)行人臉檢測識別［10］，運(yùn)用ASM算法進(jìn)行人眼瞳孔檢測跟蹤。

算法流程圖如圖11所示。

檢測過程分為如下步驟：

（1）對攝像頭捕捉到的場景進(jìn)行膚色檢測，選取最大的膚色區(qū)域作為人臉的候選區(qū)域；

（2）對選取的人臉候選區(qū)域進(jìn)行Harr特征連續(xù)型AdaBoost算法檢測人臉矩形區(qū)域范圍；

（3）對人臉矩形區(qū)域使用ASM算法［11］定位人眼，從而確定人眼位置；

（4）對人眼位置進(jìn)行模板匹配跟蹤，使得人臉在一定范圍內(nèi)左右旋轉(zhuǎn)、上下俯仰都能夠準(zhǔn)確獲得人眼位置。

（5）采用Kalman預(yù)測算法預(yù)測下一幀的人眼位置，降低下一幀人眼檢測時間。

實(shí)驗結(jié)果表明：人眼跟蹤模塊能夠達(dá)到近實(shí)時（30幀/s）的人眼檢測速度以及97%以上的準(zhǔn)確率。觀看者正面、左右旋轉(zhuǎn)、上下俯仰檢測效果如圖12所示。

圖11　人眼跟蹤模塊算法流程圖

圖12　人眼檢測實(shí)際效果圖

3　系統(tǒng)整體效果分析

如圖13為實(shí)際拍攝的整機(jī)正面實(shí)物圖，其頂部為人眼跟蹤模塊的3個攝像頭。顯示屏采用明基24 inch XL2420系列，分辨率為1 920×1 080，亞像素尺t=0.092 mm。在實(shí)驗中采用NASA航拍的視差立體圖。該系統(tǒng)可以滿足觀看者在0.4 m，1.0 m，5.0 m位置處觀看，觀看者在可視角度內(nèi)任意移動頭部，均能達(dá)到較好立體觀看效果。

圖13　整機(jī)正面實(shí)物圖

3.1亮度

由于采用的是高亮度的LED，由圖13可得在正常環(huán)境光下，達(dá)到了正常顯示器亮度。為了描述顯示器在2D和3D模式下的亮度信息，分別在2種模式下對屏幕的9個典型區(qū)域［12］進(jìn)行亮度測量，如圖14，采用型號為SM208屏幕亮度計，所測得的亮度信息記錄如表1，表中B2d為2D模式下的亮度，B3d為3D模式下的亮度。

圖14　顯示屏9個典型顯示區(qū)域

表1　亮度測量表

3.2視角與有效顯示距離

觀看者在0.4 m，1 m，5 m位置處觀看，觀看者在可視角度內(nèi)任意移動頭部，均能達(dá)到較好立體觀看效果。由于采用人眼跟蹤裝置，使得觀看效果連續(xù)。在各個觀看距離所測得的視角如表2所示。

表2　各觀看距離的觀看視角

4　結(jié)束語

立體顯示是一門新興的、有著廣闊應(yīng)用前景的技術(shù)。本文所介紹的大動態(tài)寬幅度自由立體顯示背光控制系統(tǒng)，基于一種可尋址LED陣列背光技術(shù)，通過與特殊的光學(xué)部件配合，輔以人眼跟蹤裝置，可以在多有效觀看距離下獲得連續(xù)良好的立體效果。本系統(tǒng)設(shè)計的顯示器已交付甲方海軍總醫(yī)院正常使用。當(dāng)然該系統(tǒng)還存在一些可以改進(jìn)的地方，下一步的研究將圍繞提高系統(tǒng)反應(yīng)速度及穩(wěn)定性、壓縮系統(tǒng)結(jié)構(gòu)等進(jìn)行。

［1］王愛紅，王瓊?cè)A.光柵式自由立體顯示器概述［J］.現(xiàn)代顯示，2009（10）：12-17.

［2］王元慶.基于LCD的自由立體顯示技術(shù)［J］.液晶與顯示，2003（2）：116-120.

［3］Surman P，Brar RS，Sexton I，et al.Muted and Helium3D Autostereoscopic Displays［C］//2010 IEEE International Conference on Multimedia and Expo ICME，LosAngeles：IEEE，2010：1594-1599.

［4］郝敦博，李大海，王瓊?cè)A.柱面透鏡自由立體顯示器的分辨率損失研究［J］.液晶與顯示，2008（4）：494-498.

［5］周志敏.LCD背光驅(qū)動電路設(shè)計與應(yīng)用實(shí)例［M］.北京：人民郵電出版社，2009：105-110.

［6］Atmel Corporation.ATmega128/L Datasheet［DB/OL］.http：// www.atmel.com/images/doc2467.pdf.

［7］吳昊天，張燕林.基于MSComm控件的PC與AVR串口通信實(shí)現(xiàn)［J］.計算機(jī)與數(shù)字工程，2010（4）：176-180.

［8］蘇勝利，項志宇.基于二維激光雷達(dá)的自動室內(nèi)三維重建系統(tǒng)［J］.傳感技術(shù)學(xué)報，2007，30（5）：985-989.

［9］嚴(yán)超，王元慶，張兆揚(yáng).基于AdaBoost和Kalman算法的人眼檢測與跟蹤［J］.南京大學(xué)學(xué)報（自然科學(xué)版），2010（6）：681-687.

［10］楊彥.基于人臉檢測和多線索融合的實(shí)時人臉跟蹤系統(tǒng)［J］.電子器件，2013，36（3）：304-308.

［11］Cootes T F，Taylor C J，Cooper D H，et al.Active Shapemodels-Theirtraining and Application［J］.Computer Vision and Image Un-derstanding，1995，61（1）：38-59.

［12］薛亞蘭，王元慶，曹利群.頭跟蹤式多用戶全分辨率自由立體顯示器［J］.浙江大學(xué)學(xué)報（工學(xué)版），2015（6）：1041-1047，1054.

黃開成（1990-），男，漢族，籍貫福建泉州，碩士。2010年畢業(yè)于南京大學(xué)電子科學(xué)與工程學(xué)院，保送本校本院電子與通信工程專業(yè)，目前參與的項目是裸眼立體視窗。研究方向為自由立體顯示技術(shù)及人眼跟蹤技術(shù)，njuhkch@163.com；

王元慶（1963-），男，漢族，籍貫安徽蕪湖，南京大學(xué)電子科學(xué)與工程學(xué)院博導(dǎo)，教授，研究方向為立體圖像顯示、立體圖像獲取、現(xiàn)代圖像處理等，yqwang@nju. edu.cn。

Backlight Control System of Autostereoscopic Display with Large Dynamic and Wide Range*

HUANG Kaicheng1，WANG Yuanqing1*，LI Minggao2，GAO Yuan2，HAN Lei2，ZHOU Biye2
（1.School of Electronic Science and Engineering，Nanjing University，Nanjing 210023，China；2.Aviation and Diving Medical Center of Navy General Hospital，Beijing 100048，China）

A large dynamic and wide range autostereoscopic display backlight control system is proposed and realized.The system uses LCD as the basic display screen，uses lenticularlensas a directional optical component，uses LED array as the addressable backlight module，uses stepper motor to change the distance between lenticular lens and screen，uses Atmega128 microcontroller as the control processor，combined with high accuracy real time eye tracking module to communicatewith it.The system of the large dynamic reflected in viewing angle large and continuous，and the wide range reflected in itcan meet multiple effective viewing distance.

autostereoscopic display；backlight control；LED array；eye tracking

TN873

A

1005-9490（2016）05-1052-07

項目來源：江蘇省普通高校研究生科研創(chuàng)新計劃項目（SJZZ15_0016）；海軍總醫(yī)院重大專項項目（AHJ2011Z001）

2015-10-12修改日期：2015-11-18

EEACC:720010.3969/j.issn.1005-9490.2016.05.007