張 琴

( 廣東技術(shù)師范學院，廣東 廣州 510665 )

基于瞳孔定位技術(shù)的視覺跟蹤系統(tǒng)的研究*

張 琴

( 廣東技術(shù)師范學院，廣東 廣州 510665 )

設(shè)計了一款基于瞳孔定位技術(shù)的視覺跟蹤系統(tǒng)。該系統(tǒng)通過安裝在眼鏡上的攝像頭采集人眼球瞳孔運動圖像，并利用硬件電路分離視頻同步信號，然后將信息傳送至S3C6410嵌入式處理器，處理器利用圖像處理算法計算出人的瞳孔運動軌跡，從而得到人眼瞳孔的實時定位信息。該系統(tǒng)具有較為廣泛的應(yīng)用前景，可以通過人眼睛的轉(zhuǎn)動來實現(xiàn)對各種智能化設(shè)備的控制，能夠應(yīng)用于殘疾人智能護理、病床智能護理等實際領(lǐng)域。

瞳孔定位；視覺跟蹤；圖像處理；嵌入式系統(tǒng)

0 引言

視覺跟蹤(Visual Tracking)技術(shù)是計算機視覺領(lǐng)域中的一個重要問題。所謂視覺跟蹤，就是指對圖像序列中的運動目標進行檢測、提取、識別和跟蹤，獲取運動目標的運動參數(shù)(如位置、速度、加速度等)以及運動軌跡，從而進行深入一步的處理與分析，實現(xiàn)對運動目標的行為理解，以完成更高一級的任務(wù)[1]。由于視覺跟蹤技術(shù)在很多領(lǐng)域有著廣泛的應(yīng)用前景，視覺跟蹤技術(shù)已經(jīng)成為人工智能領(lǐng)域一項熱門的研究課題。

本文設(shè)計了一款基于瞳孔定位技術(shù)的視覺跟蹤系統(tǒng)。系統(tǒng)基本結(jié)構(gòu)如下：在一款普通樹脂眼鏡的右上角部位安裝微型攝像頭，用以采集眼球活動數(shù)據(jù)，并由數(shù)據(jù)線將圖像傳輸至微處理器，再由微處理器對眼球圖像數(shù)據(jù)進行算法計算，得出眼睛瞳孔的準確運動方向。微處理器模塊由于機械尺寸較大，暫時無法固定在普通樹脂眼鏡之上，因此目前采用外置方式。

系統(tǒng)原理結(jié)構(gòu)圖如圖1所示。

圖1 瞳孔追蹤系統(tǒng)原理框圖

1 系統(tǒng)各功能模塊

1.1 微型攝像頭模塊

攝像頭是采集人眼球活動數(shù)據(jù)的基本設(shè)備，它的采集精度和準確性對系統(tǒng)的質(zhì)量有著關(guān)鍵的影響。經(jīng)過綜合考慮，本系統(tǒng)選擇了OV7960攝像頭模塊，該模塊尺寸較小，最大尺寸只有9 mm，具有480TVL的水平清晰度，可以滿足眼球瞳孔定位追蹤的精度要求。

1.2 視頻同步分離模塊

為了能夠?qū)Σ杉降囊曨l信號進行數(shù)字化處理，必須首先對采集到的彩色視頻信號進行視頻同步分離，以獲取視頻中的彩色圖像數(shù)據(jù)，這就需要視頻同步分離電路來完成。為了減少處理器的負荷，本文采用硬件方法對視頻信號進行同步分離，電路采用專用的視頻分離芯片LM1881N完成分離功能，其電路如圖2所示。

圖2 視頻同步分離電路原理圖

1.3 微處理器模塊

本系統(tǒng)采用S3C6410嵌入式芯片作為微處理器。S3C6410 采用ARM1176JZF-S 的內(nèi)核，主頻可以達到533 MHz/667 MHz ，最大支持到8 bit 糾錯， 實現(xiàn)了MMU、AMBA BUS 和Harvard 高速緩沖體系結(jié)構(gòu)[2]。

2 瞳孔追蹤原理及算法

系統(tǒng)通過跟蹤人瞳孔實時運動軌跡來實現(xiàn)視覺跟蹤的目的，需要較為復雜的圖像處理算法完成瞳孔識別與追蹤的工作。其中第一步是實現(xiàn)對視頻圖像信息的采集任務(wù)，這可以在S3C6410處理器上運行圖像采集程序?qū)崿F(xiàn)。

圖3 圖像處理算法流程圖

在一般情況下，系統(tǒng)采集到的眼部圖像存在著背景光線干擾、光線反射變化、眼部運動變化等多種復雜的環(huán)境影響，因此圖像的質(zhì)量并不高，難以獲得精確的瞳孔運動數(shù)據(jù)。因此必須通過專業(yè)的圖像處理算法才可以提取到清晰的眼部瞳孔圖像， 系統(tǒng)采用的圖像處理算法流程圖如圖3所示。

2.1 圖像的灰度化處理

為加強圖像目標區(qū)域的對比度，本文采用了一種有選擇性的灰度化方法[3]，該方法將常規(guī)的R、G、B數(shù)值映射到新的坐標空間Rn、Gn、Bn。以Rn為例，其計算過程由式(1)、式(2)確定。

當Rs≥128時，Rn的數(shù)值由式(1)給出：

(1)

當Rs<128時，Rn的數(shù)值由式(2)給出：

(2)

按照以上方法得到的灰度圖像可以產(chǎn)生比傳統(tǒng)方法更好的灰度化效果，使瞳孔部分的灰度效果在背景圖像中表現(xiàn)得更加突出。

2.2 圖像的濾波處理

本系統(tǒng)選擇了模糊矢量濾波算法。當采集到的圖像存在一定的噪聲干擾的情況下，濾波器難以區(qū)分目標圖形的邊緣與噪聲圖像之間的界線，使得目標圖像識別率降低，而模糊濾波理論可以解決以上問題[4]。圖像模糊濾波算法的核心是構(gòu)造一個模糊加權(quán)均值濾波器，其計算過程由式(3)確定[5]：

(3)

(4)

而圖像像素點的歸一化權(quán)值wk數(shù)學形式由式(5)定義：

(5)

2.3 圖像的閾值分割

運用圖像閾值分割技術(shù)可以從已經(jīng)濾波的圖像中提取所需的跟蹤目標信息，常用的圖像閾值分割方法有最大類間方差法和最大熵法等[6]。本文選擇最大熵法進行閾值分割。最大熵法的最佳閾值由式(6)確定[7]：

T*=argMax[Hf(t)+Hb(t)]

(6)

2.4 軌跡特征提取

系統(tǒng)采用選擇最小二乘法來實現(xiàn)瞳孔運動軌跡的直線擬合。最小二乘法的原理非常簡單，可以用式(7)來實時地描述每一條運動軌跡：

Y=kx+b

(7)

其中，k表示直線的斜率，b表示直線的截距。只要求解出k和b的數(shù)值，就可以得到圖像的運動軌跡，而根據(jù)最小二乘法原理，k、b的值由式(8)、式(9)確定[8]：

(8)

(9)

按上述方法，可以把瞳孔的運動軌跡擬合成若干段直線的組合形式，既能夠減小處理器的計算量，同時也不影響對瞳孔運動方向的判斷，符合系統(tǒng)對運動軌跡判決精度的要求。

3 實驗及性能分析

使用該系統(tǒng)，對人雙眼的瞳孔運動軌跡進行了多次的跟蹤實驗與判斷。實驗過程如下：系統(tǒng)在進行視覺追蹤時，由算法自動設(shè)定眼球正中位置為初始位置，當人的眼球轉(zhuǎn)動時，瞳孔的相對位置及運動軌跡發(fā)生改變，通過跟蹤瞳孔的運動軌跡，系統(tǒng)可以判斷出瞳孔的相對位置，并給出判斷后的二進制數(shù)值。瞳孔的位置真值表如圖4所示。

圖4 瞳孔運動方向真值表

對系統(tǒng)進行了多次實驗及測試，得到的實測數(shù)據(jù)如表1、表2所示。

表1 左眼瞳孔運動軌跡實測表

表2 右眼瞳孔運動軌跡實測表

由表1、表2數(shù)據(jù)可知，系統(tǒng)對人眼瞳孔軌跡追蹤的實時響應(yīng)時間較快，左眼平均響應(yīng)時間為23 ms，右眼平均響應(yīng)時間為23.5 ms，數(shù)據(jù)接近，可以滿足一般情況下對系統(tǒng)實時性的要求。在測試中發(fā)現(xiàn)，系統(tǒng)對于瞳孔水平方向運動軌跡的跟蹤準確度較高，正確率達到93.13%，而對垂直方向的瞳孔運動追蹤準確度稍低，正確率為86%。分析原因，這是因為人體的眼球圖像近似于一個水平放置的橢圓，左右方向的軸距較長，上下方向的軸距較短，所以在進行軌跡追蹤時，垂直方向的瞳孔運動軌跡距離較短，采集到的像素點較少，因此系統(tǒng)容易造成誤判；而水平方向的運動軌跡較長，采樣到的數(shù)據(jù)點較多，系統(tǒng)擬合出的直線軌跡較為精確，因此判決正確率較高。

4 結(jié)論

在一般應(yīng)用條件下，本文所提出的系統(tǒng)已經(jīng)可以滿足視覺跟蹤技術(shù)對于實時性和準確度的要求，但在更高要求的場合應(yīng)用時，系統(tǒng)的性能還需要進一步提高，這可以通過采用更高性能的硬件處理器以及設(shè)計更高效的軟件算法來實現(xiàn)，這些工作可以在下一步的研究中繼續(xù)優(yōu)化與改進。

[1] BABU R V, PEREZ P， BOUTHEMY P. Robust tracking with motion estimation and local kernel-based color modeling[J]. Image and Vision Computing, 2007(25):1205-1216.

[2] 徐媛媛,匡斐,鐘璐遠，等.基于ARM11平臺和GPRS遠程無線圖像報警系統(tǒng)的研究[J].微型機與應(yīng)用,2015,34(2):38-40.

[3] 周金和，彭福堂.一種有選擇的圖像灰度化方法[J].計算機工程，2006,32(10):198-200.

[4] SHEN Y， BARNER K E. Fast adaptive optimization of weighted vector median filters[J].IEEE Transactions on Signal Processing, 2006, 54(7): 2497-2510.

[5] LUKAC R, PLATANIOTIS K N, VENETSANOPOULOS A N, et al. A statistically-switched adaptive vector median filter[J]. Journal of Intelligent and Robotic Systems: Theory and Applications,2005, 42(4): 361-391.

[6] Qi Zhengwei, You Jinyuan. Formalization of P systems by Maude [J] . Journal of Shanghai Jiaotong University (Science), 2005, 10(3):260-264.

[7] MORILLAS S, GREGORI V, PERIS-FAJARNES G, et al. A fast impulsive noise color image filter using fuzzy metrics[J]. Real-Time Imaging, 2005, 11(5-6): 417-428.

[8] GHEORGHE P. P systems with active membranes: attacking NP complete problems[J] . Journal of Automata Languages and Combinatorics, 2001(6): 75-90.

Research on the visual tracking system based on pupil positioning technology

Zhang Qin

(Guangdong Polytechnic Normal University, Guangzhou 510665, China)

A design of the visual tracking system based on pupil positioning technology is presented in this paper. The human pupil moving images can be collected through the cameras fixed on the glasses, then the video signals can be separated by the dedicated circuit. Afterwards， the video information will be transferred to the embedded processor S3C6410，which can calculate the trajectory of the human pupil through the image processing algorithms. This visual tracking system can be used to control kinds of intelligent devices depending on the eye movements analysis, and it can also be used in many practical fields, such as the disabled care ,the patient care, and so on.

pupil position; visual tracking; image processing; embedded system

廣東省自然科學基金(S2012010008437)

TP391

A

1674-7720(2016)04-0054-03

張琴．基于瞳孔定位技術(shù)的視覺跟蹤系統(tǒng)的研究[J] .微型機與應(yīng)用，2016，35(4)：54-56.

2015-09-25)

張琴(1976-)，通信作者，女，碩士，工程師，主要研究方向：計算機與通信工程。E-mail：573749120@qq.com。