摘 要： 3D顯示技術(shù)作為當(dāng)前計(jì)算機(jī)圖形圖像技術(shù)的研究熱點(diǎn)，以其在平面上實(shí)現(xiàn)真實(shí)的視覺體驗(yàn)而獲得高度重視。為了提升用戶的3D體驗(yàn)，提出了一種基于計(jì)算機(jī)視覺的3D顯示器。借助于Windows操作系統(tǒng)，通過OpenCV操作紅外圖像采集設(shè)備，搭配可見光濾光鏡，消除了人眼反射光的干擾。提出了一種比較高效的人類瞳孔定位算法，首先利用灰度積分投影將人眼的大概位置確定，之后使用優(yōu)化的閾值分割方法得到二值圖像，在此基礎(chǔ)上對(duì)其進(jìn)行形態(tài)學(xué)運(yùn)算去除噪聲，使圖像更易處理。使用基于OpenCV的角點(diǎn)檢測(cè)與橢圓擬合結(jié)合的方法定位瞳孔，算法簡(jiǎn)單高效；基于OpenCV的cvCalibrateCamera函數(shù)實(shí)現(xiàn)攝像機(jī)定位；最后使用Bresenham畫線法完成了3D顯示的設(shè)想圖。為了使系統(tǒng)擁有更好的實(shí)時(shí)性，對(duì)系統(tǒng)使用了分割掃描區(qū)域、預(yù)測(cè)目標(biāo)區(qū)域兩種方法降低系統(tǒng)運(yùn)算量，實(shí)現(xiàn)了人眼的快速追蹤。

關(guān)鍵詞： 計(jì)算機(jī)視覺； 3D顯示； 人眼檢測(cè)； 數(shù)字圖像處理； 閾值分割

中圖分類號(hào)： TN911.73?34； TM417 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）11?0070?04

Abstract： The 3D display technology is the research hotpot of current computer graphic image technology， and high attention is paid to realization of its true vision experience on the plane. In order to promote the 3D experience of users， a 3D display based on computer vision is presented， which can eliminate the reflected light interference from human eyes by means of Windows operation system， infrared image acquisition device operated by OpenCV， and visible light filter. An efficient human pupil location algorithm is proposed， by which the approximate location of human eyes is determined through gray integral projection， and then the binary image is got with the optimized threshold segmentation method. On this basis， the morphological operation for the binary image is conducted to eliminate the noise and make the image processing easier. The algorithm combined corner detection based on OpenCV with ellipse fitting is used to locate the pupil， which is simple and efficient. The camera location is realized on the basis of cvCalibrateCamera function of OpenCV. Finally， the envisaged image of 3D display was accomplished with Bresenham line drawing method. To make the system have better real?time performance， the scanning area segmentation method and target area prediction method are used to reduce the system computing amount and realize fast tracking of human eyes.

Keywords： computer vision； 3D display； human eye detection； digital image processing； threshold segmentation

0 引 言

現(xiàn)在計(jì)算機(jī)視覺和3D效果顯示都是國(guó)內(nèi)外的熱點(diǎn)話題，但將兩者結(jié)合在一起的方法為數(shù)不多，并且大部分不能達(dá)到滿意的實(shí)時(shí)性。目前的3D領(lǐng)域的發(fā)展并不成熟，體現(xiàn)在兩個(gè)方面：一方面，顯示技術(shù)仍需完善，在清晰度和亮度與成本和易用性之間折衷；另一方面，3D片源嚴(yán)重不足，即使擁有成熟的3D顯示器，也只能播放2D影像，甚至達(dá)不到2D顯示器的顯示效果。課題設(shè)計(jì)了一種針對(duì)個(gè)人用戶的解決方案。通常情況下，個(gè)人用戶都會(huì)在距離顯示器一定的距離范圍內(nèi)操作終端，而且注視點(diǎn)在屏幕范圍內(nèi)。利用以上特征，捕獲人眼的位置并以此為依據(jù)在屏幕上顯示3D效果，并隨著人眼的運(yùn)動(dòng)動(dòng)態(tài)地調(diào)整在屏幕上顯示的圖像，令用戶體驗(yàn)到不同的視覺感受。借助這種技術(shù)，操作系統(tǒng)與用戶之間的互動(dòng)會(huì)更加生動(dòng)，在加入注視點(diǎn)檢測(cè)后，更可以通過眼睛的動(dòng)作作出指示。另外，這個(gè)技術(shù)對(duì)于平板電腦的全透明化也將具有積極的意義，用戶從此將可以“透過”平板電腦看到圖像的側(cè)面。

為了實(shí)現(xiàn)該功能，流暢度是比較困難的。對(duì)該領(lǐng)域以及相關(guān)的學(xué)科進(jìn)行了大量研究，找到了一種比較高效的方法，該方法可以實(shí)現(xiàn)精確定位人眼的功能，并做到“足夠快”。 其次，排除了多種通常人臉識(shí)別應(yīng)該考慮的情況。系統(tǒng)流程如圖1所示。

1 圖像獲取

1.1 數(shù)字圖像的表示

橫向積分投影將圖像逐行掃描，將的值標(biāo)記在一個(gè)橫坐標(biāo)為灰度，縱坐標(biāo)為行數(shù)的坐標(biāo)系中，當(dāng)全圖掃描完畢后，將得到一個(gè)曲線，該曲線擁有全圖縱向灰度變化趨勢(shì)的信息。如果圖像中存在對(duì)象，依據(jù)該信息就可以對(duì)圖像中存在的對(duì)象和背景進(jìn)行分析，得到粗略的對(duì)象和背景的橫向邊界。縱向投影類似于橫向投影，只是得到的是對(duì)象和背景的縱向邊界。將兩組邊界結(jié)合考慮，就可以得到感興趣區(qū)域（ROI）。

2.2 閾值分割

閾值分割是將原始灰階圖像轉(zhuǎn)換為二值圖像的動(dòng)作，二值化過程會(huì)導(dǎo)致很多有用的信息丟失，但是在閾值符合要求的前提下，得到的二值圖像會(huì)保留所有關(guān)于對(duì)象的位置、數(shù)量和形狀的必要信息。通常對(duì)圖像進(jìn)行閾值分割的方法是使用灰度值對(duì)圖像的像素進(jìn)行分類。由于灰度類似且相鄰的像素通常情況下屬于同一個(gè)對(duì)象，將其分類并省略中間像素，從而降低數(shù)據(jù)的復(fù)雜度，可以降低很多識(shí)別和分類過長(zhǎng)的復(fù)雜度。

閾值操作首先應(yīng)確定閾值，之后將所有灰階數(shù)值低于所選閾值的像素分類為黑色（0），反之所有高于所選閾值的像素分為白色（1）。文章中使用的灰階圖像為每一個(gè)像素值包含一個(gè)字節(jié)（8位），有256（28=256）種不同的閾值，分別為0～255。

本系統(tǒng)選用熵算法進(jìn)行前期的閾值分割。

2.3 形態(tài)學(xué)降噪

對(duì)灰階圖像進(jìn)行閾值分割操作以后，有一些噪聲像素將不可避免地留在閾值之上，隨機(jī)地散落在圖像上，對(duì)后期的處理造成困難。在系統(tǒng)中，應(yīng)用開啟操作消除圖像中的無用部分（噪聲和睫毛等造成的影響）；腐蝕操作移除噪聲像素和對(duì)象的邊界像素；膨脹操作將之前移除的對(duì)象邊界恢復(fù)，而不會(huì)恢復(fù)噪聲。

2.4 算法優(yōu)化

影響系統(tǒng)運(yùn)行速度的瓶頸在計(jì)算機(jī)識(shí)別中的識(shí)別和定位環(huán)節(jié)上，目前為止尚不能達(dá)到實(shí)時(shí)系統(tǒng)的要求，于是對(duì)系統(tǒng)中使用的算法進(jìn)行了優(yōu)化。系統(tǒng)選用兩種從不同角度減少運(yùn)算量的方法對(duì)算法進(jìn)行了優(yōu)化，分別是分割區(qū)域掃描和目標(biāo)區(qū)域預(yù)測(cè)法。

分割掃描區(qū)域就是在掃描開始之前，將區(qū)域分為若干塊，之后對(duì)每個(gè)塊用抽樣檢測(cè)法對(duì)比當(dāng)前幀和上一幀，如果發(fā)現(xiàn)兩者類似或者在很大程度上相同，則直接跳過該塊的掃描過程。在保證用抽樣檢測(cè)法對(duì)比檢測(cè)效果的前提下，分割掃描區(qū)域可以大大降低運(yùn)算量。

每一幀掃描過程結(jié)束后，判斷該幀的掃描結(jié)果是否存在期望的目標(biāo)，如果有，則將預(yù)先設(shè)定好的標(biāo)志位expectedImageFlag記錄為真。在下一幀掃描開始之前，查看expectedImageFlag的狀態(tài)，若為真，將掃描區(qū)域縮小為上一幀期望目標(biāo)的周邊區(qū)域；若為假，則全圖掃描。目標(biāo)區(qū)域預(yù)測(cè)法對(duì)減少運(yùn)算量的貢獻(xiàn)是可觀的，且不會(huì)對(duì)結(jié)果的正確性產(chǎn)生影響。

3 瞳孔坐標(biāo)定位

3.1 角點(diǎn)檢測(cè)

角點(diǎn)可以是數(shù)字圖像中灰度變化劇烈的點(diǎn)，也可以是對(duì)象邊緣曲率取極大值的點(diǎn)。這些點(diǎn)對(duì)特征進(jìn)行提取和篩選，有效地減少了數(shù)據(jù)量，同時(shí)不會(huì)對(duì)圖像的特征造成太多影響。因此，使用角點(diǎn)可以有效地減少需要處理的數(shù)據(jù)量，加快系統(tǒng)的速度。

這里使用OpenCV的cvFindCornerSubPix和GoodFeaturesToTrack進(jìn)行角點(diǎn)檢測(cè)。cvGoodFeaturesToTrack是cvFindCornerSubPix的基礎(chǔ)，因?yàn)楹笳呤菍?duì)前者結(jié)果的進(jìn)一步精確估計(jì)。

3.3 攝像機(jī)標(biāo)定

2D中的坐標(biāo)和3D中的坐標(biāo)的相互關(guān)系是由攝像機(jī)的成像幾何模型決定的，將這個(gè)模型稱為攝像機(jī)模型，該模型的數(shù)學(xué)參數(shù)稱為攝像機(jī)參數(shù)。攝像機(jī)參數(shù)必須通過實(shí)驗(yàn)和計(jì)算來確定，計(jì)算攝像機(jī)參數(shù)的過程即為攝像機(jī)標(biāo)定。完成攝像機(jī)標(biāo)定，即可確定坐標(biāo)和位置的關(guān)系。

首先，自制一張6×6的棋盤并打印出來，之后調(diào)用cvFindChessboardCorners函數(shù)得到棋盤在2D平面上的位置。函數(shù)cvFindChessboardCorners是OpenCV內(nèi)建的把棋盤當(dāng)作定標(biāo)設(shè)備的定標(biāo)方法，首先對(duì)輸入的圖像進(jìn)行是否是棋盤的確認(rèn)工作，之后找到角點(diǎn)。如果每個(gè)角點(diǎn)都被找到且均按照規(guī)則排列，返回非零值。如果不能發(fā)現(xiàn)所有角點(diǎn)，函數(shù)返回零值。經(jīng)過一系列的編程工作，得到的結(jié)果如圖3所示。

4 系統(tǒng)效果及性能測(cè)試

4.1 3D效果圖

3D顯示的效果如圖4所示。

4.2 性能測(cè)試

實(shí)時(shí)性的要求是屏幕每秒顯示5幀以上，按照這個(gè)標(biāo)準(zhǔn)對(duì)本系統(tǒng)進(jìn)行了性能測(cè)試。用1 s除以處理每一幀所用的時(shí)間得到每秒處理幀數(shù)，結(jié)果如表1所示。

5 結(jié) 論

經(jīng)過長(zhǎng)時(shí)間的努力，得到了很多有益的結(jié)論并總結(jié)出了幾個(gè)有用的方法：在對(duì)圖像獲取環(huán)節(jié)的研究得出了使用紅外線識(shí)別瞳孔比可見光識(shí)別人臉要更優(yōu)秀，并且結(jié)合OpenCV實(shí)現(xiàn)了紅外圖像獲取的功能；使用形態(tài)學(xué)開運(yùn)算去除掉圖像中不需要的部分；針對(duì)系統(tǒng)的特點(diǎn)，使用了兩種優(yōu)化方式，分割掃描區(qū)域法和目標(biāo)區(qū)域預(yù)測(cè)法，對(duì)提高系統(tǒng)速度和效率貢獻(xiàn)很大；在對(duì)數(shù)字圖像處理環(huán)節(jié)做出大量研究工作后，對(duì)比了多種閾值分割方法，得出了熵算法比較適合識(shí)別人眼系統(tǒng)的結(jié)論，并將其應(yīng)用于此系統(tǒng)中；將角點(diǎn)檢測(cè)和橢圓擬合相結(jié)合是創(chuàng)新的部分之一，基于熵算法得出的眼睛圖像很適合這種方法，并能很快地定位出眼睛的中心；使用OpenCV進(jìn)行攝像機(jī)的標(biāo)定，算法很成熟，效果也很穩(wěn)定；在最后，研究并參考Bresenham畫線法并畫出效果圖。

本文給出了一種可能的基于計(jì)算機(jī)視覺的3D平面效果顯示系統(tǒng)，發(fā)現(xiàn)了妨礙實(shí)時(shí)性的瓶頸。不過，隨著科技的發(fā)展，計(jì)算和存儲(chǔ)設(shè)備的升級(jí)，操作系統(tǒng)的換代，都會(huì)慢慢將這種主動(dòng)式的3D顯示推向可實(shí)現(xiàn)的高度。另外，另一個(gè)經(jīng)常與人眼檢測(cè)技術(shù)一起被提及的技術(shù)——注視點(diǎn)識(shí)別可以實(shí)現(xiàn)人眼動(dòng)作對(duì)終端的簡(jiǎn)單操作，這使用戶甚至可以不用動(dòng)手就可以操作他的數(shù)字終端。這兩項(xiàng)技術(shù)都將隨著計(jì)算機(jī)技術(shù)的發(fā)展慢慢實(shí)現(xiàn)。

參考文獻(xiàn)

[1] 朱夏君，王勛，李必威.人臉識(shí)別中的眼睛定位[J].電路與系統(tǒng)學(xué)報(bào)，2007，12（2）：98?100.

[2] 符志鵬，汪豐，馬小強(qiáng).基于灰度投影及區(qū)域特征的人眼定位算法[J].電腦知識(shí)與技術(shù)，2008（34）：1706?1708.

[3] BOWER K W， CHANG K， FLYNN P. A survey of approaches and challenges in 3D and multi?modal 3D+2D face recognition [J]. Computer vision and image understanding， 2006， 101（1）： 1?15.

[4] 石桂名，魏慶濤，孟繁盛.基于Canny算子的圖像邊緣檢測(cè)算法[J].現(xiàn)代電子技術(shù)，2015，38（12）：92?93.

[5] CHEN Y， WYATT H J， SWANSON W H. Pupillary evaluation of retinal asymmetry： development and initial testing of a technique [J]. Vision research， 2005， 45（19）： 2549?2563.

[6] CHEN S C， ZHANG D Q， ZHOU Z H. Enhanced （PC） 2A for face recognition with one training image per person [J]. Pattern recognition letters， 2004， 25（10）： 1173?1181.

[7] QIAO L S， CHEN S C， TAN X Y. Sparsity preserving discriminant analysis for single training image face recognition [J]. Pattern recognition letters， 2010， 31（5）： 422?429.

[8] MARTINEZ A M. Recognizing imprecisely localized， partially occluded， and expression variant faces from a single sample per class [J]. IEEE transactions on pattern analysis and machine intelligence， 2002， 25（6）： 748?763.