李賢輝 高錢 恭斌

摘 要針對(duì)人和機(jī)器人在協(xié)同工作的過(guò)程中，機(jī)器人需要對(duì)伙伴進(jìn)行準(zhǔn)確的目標(biāo)定位這個(gè)問(wèn)題，設(shè)計(jì)了一個(gè)以ARM Cotex-A9 i.MX6Q為微處理器處理模塊，USB攝像頭為采集模塊的嵌入式視覺(jué)測(cè)距系統(tǒng)，實(shí)現(xiàn)了單目視覺(jué)測(cè)距定位。該系統(tǒng)設(shè)計(jì)大體分為人眼瞳孔定位和單目測(cè)距兩部分。人眼瞳孔定位通過(guò)USB攝像頭采集人臉圖像，系統(tǒng)對(duì)人臉圖像進(jìn)行處理，獲取人臉圖像中瞳孔的精確位置，獲取人臉圖像中瞳孔的位置采用Adboost人臉檢測(cè)算法和灰度投影人眼定位算法；測(cè)距采用小孔成像三角形相似原理，根據(jù)實(shí)際人眼瞳距和圖像中人眼瞳距信息計(jì)算出目標(biāo)人物到攝像機(jī)鏡頭間的距離，其中攝像機(jī)的內(nèi)參數(shù)標(biāo)定借助于Matlab工具箱來(lái)完成。實(shí)驗(yàn)結(jié)果表明，該測(cè)距定位系統(tǒng)測(cè)距精度較高，系統(tǒng)魯棒性好，具有良好的應(yīng)用前景。

關(guān)鍵詞單目視覺(jué)； 視覺(jué)定位； 嵌入式圖像處理； 人眼定位

中圖分類號(hào)：TP27 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2163（2016）02-

Monocular vision measurement system based on eye location

LI Xianhui，GAO Ying，QIAN Gongbin

（College of Information Engineering，Shenzhen University，Shenzhen Guangdong China，518000）

Abstract：The target location problem of people-robot cooperation is discussed. A monocular vision measurement system with ARM Cotex-A9i.MX6Q microprocessor as the main processing module and the USB camera as the image capture module is presented. The system design includes two parts that eye location and measurement. The system capture the image of human face by USB camera ，and then process the image of human face by microprocessor to get eyes location in the image. The system use the Adboost and eye location based on gray projection to achieve the eye location， and the distance measurement according to the principle of small hole imaging. The intrinsic camera parameter calibration is performed with Matlab toolbox. The experiments show that the system is high in precision and robust.

Key words：monocular vision； visual localization； embedded image processing； eye location

0 引言

隨著機(jī)器人研究的興起，視覺(jué)測(cè)量作為嵌入式視覺(jué)系統(tǒng)的重要應(yīng)用，受到了機(jī)器人領(lǐng)域的廣泛關(guān)注。在視覺(jué)測(cè)量中，機(jī)器人使用攝像頭采集目標(biāo)物體的二維圖像信息，并通過(guò)處理器對(duì)信息進(jìn)行處理，以獲取目標(biāo)物體的位置等方位信息。按照視覺(jué)系統(tǒng)所使用攝像頭的數(shù)目，可分為單目、雙目和多個(gè)攝像頭視覺(jué)系統(tǒng)[1]。

總而言之，單目視覺(jué)系統(tǒng)使用單個(gè)攝像頭對(duì)目標(biāo)物體進(jìn)行圖像采集及測(cè)量，本系統(tǒng)使用的是單攝像頭視覺(jué)系統(tǒng)。雙目視覺(jué)系統(tǒng)使用2個(gè)攝像頭對(duì)目標(biāo)進(jìn)行測(cè)量，多攝像機(jī)視覺(jué)系統(tǒng)采用多臺(tái)攝像機(jī)來(lái)進(jìn)行目標(biāo)測(cè)量[1]。

本文中，設(shè)計(jì)系統(tǒng)基于嵌入式Linux實(shí)現(xiàn)了單攝像頭測(cè)距功能。系統(tǒng)控制攝像頭對(duì)目標(biāo)通過(guò)人臉圖像采集，處理器再對(duì)采集到的人臉圖像施以處理，獲取人臉圖像中瞳距信息，結(jié)合實(shí)際瞳距以及攝像機(jī)內(nèi)部參數(shù)，達(dá)到對(duì)目標(biāo)進(jìn)行測(cè)距定位的目的[2]。系統(tǒng)采用被動(dòng)測(cè)距，相對(duì)主動(dòng)測(cè)距更具靈活性，并更顯實(shí)用性，經(jīng)測(cè)量數(shù)據(jù)驗(yàn)證表明，該系統(tǒng)測(cè)量精度較高，魯棒性好。

1 硬件結(jié)構(gòu)設(shè)計(jì)

本視覺(jué)系統(tǒng)，使用USB攝像機(jī)采集目標(biāo)圖像，選用基于Cotex-A9 架構(gòu)的i.MX6Q芯片作為嵌入式核心處理器來(lái)進(jìn)行視覺(jué)圖像算法處理，用DDR3和Flash作為存儲(chǔ)器。系統(tǒng)具體構(gòu)成如下：

1） 處理器采用飛思卡爾i.MX6Q芯片，穩(wěn)定運(yùn)行時(shí)處理器主頻為1GHz，最高主頻可達(dá)到1.2GHz。

2） 容量為1GB的DDR3，2GB的Flash 存儲(chǔ)。

3） 攝像頭模塊：USB攝像頭，內(nèi)部由CMOS感光芯片構(gòu)成，30萬(wàn)像素，幀數(shù)為30fps。

4）SPI接口。

其中，攝像頭是通過(guò)USB接口連接到主板上，DDR3/EMMC FLASH 通過(guò)內(nèi)存控制把圖像數(shù)據(jù)輸送到微處理器進(jìn)行處理。

2 算法設(shè)計(jì)

該視覺(jué)系統(tǒng)分為人眼瞳孔定位和攝像機(jī)標(biāo)定測(cè)距2個(gè)模塊。人眼瞳孔定位所采用的算法有Adboost人臉檢測(cè)算法和灰度投影算法，攝像機(jī)內(nèi)部參數(shù)標(biāo)定使用Matlab工具箱來(lái)完成，測(cè)距采用小孔成像中三角形相似原理，通過(guò)處理器處理采集圖像獲取的人眼瞳孔的像素距離，根據(jù)人眼的實(shí)際瞳距，以及攝像機(jī)標(biāo)定參數(shù)計(jì)算出攝像機(jī)鏡頭到目標(biāo)人物之間的距離。

2.1 Adboost人臉檢測(cè)算法

Viola[3]等提出了Adboost算法，能夠?qū)崟r(shí)地檢測(cè)出人臉，具體算法[4]如下：

1）給定訓(xùn)練樣本（ ）， （ ），…（ ）， =1和0分別表示人臉和非人臉。

2）初始化權(quán)重，當(dāng) 時(shí)， =1/（2m）；當(dāng) =1時(shí)， =1/（2l），m和l分別代表非人臉樣本和人臉樣本的個(gè)數(shù)。

3） t=1，2...T

歸一化權(quán)重： ；

對(duì)每一個(gè)特征j訓(xùn)練一個(gè)分類器 （x），使得利用該分類器進(jìn)行分類時(shí)，相應(yīng)的錯(cuò)誤率為： ；

選擇錯(cuò)誤率 最小的分類器 ；

④更新權(quán)值 ，其中 =0，表示正確分類， =1，表示錯(cuò)誤分類。并且 ，計(jì)算分類器的權(quán)值為 。

4）最后構(gòu)建一種強(qiáng)的分類器：

2.2灰度投影人眼定位算法

目前在人眼檢測(cè)方面有很多成熟的算法，如邊緣特征提取法、模板匹配法、基于Hough變換的檢測(cè)方法，灰度積分投影法等。其中，灰度積分投影法是對(duì)人臉進(jìn)行水平和垂直2個(gè)方向上的投影，根據(jù)波峰波谷的信息來(lái)定位人眼，這種方法實(shí)現(xiàn)簡(jiǎn)單，定位速度快，但對(duì)人眼姿態(tài)有較高的要求，當(dāng)人臉發(fā)生旋轉(zhuǎn)造成人眼有一定的傾斜角度時(shí)，傳統(tǒng)的灰度積分投影法就很難對(duì)人眼進(jìn)行有效的定位[5]。本系統(tǒng)采用改進(jìn)的灰度投影法[6]對(duì)人眼進(jìn)行定位。

其中，x，y分別為圖像坐標(biāo)水平方向和垂直方向上的坐標(biāo)， 為像素值， ， 分別為水平方向和垂直方向上的投影積分值， ， 分別表示水平方向和垂直方向上的均值差分投影值。

假設(shè)人眼在幀存圖像中的坐標(biāo)為：左眼 ，右眼 ，具體算法如下：

1）讀取檢測(cè)到的人臉灰度圖像數(shù)據(jù)，分別取人臉的左半臉和右半臉。

2）對(duì)左半臉在水平方向上進(jìn)行均值差分投影，即公式（4），并存儲(chǔ) 的值及相對(duì)應(yīng)的圖像坐標(biāo)值y；

3）求出所有 值中的最大值，這個(gè)最大值對(duì)應(yīng)的y值即是左眼瞳孔的垂直坐標(biāo)值，記為 ；

4）根據(jù) 確定左眼垂直方向區(qū)域，記為H；

5）對(duì)左臉區(qū)域在垂直方向H范圍內(nèi)進(jìn)行積分投影，即公式（3），并存儲(chǔ) 的值以及相對(duì)應(yīng)圖像坐標(biāo)值x；

6）求出 所有值中的最小值，這個(gè)最小值對(duì)應(yīng)的x值即是左眼瞳孔的水平坐標(biāo)值，記為 ；

7）則左眼坐標(biāo)為 ；

8）同理可得右眼瞳孔坐標(biāo) ；

如圖3所示，系統(tǒng)對(duì)人臉部位進(jìn)行人眼瞳孔定位，十字交叉點(diǎn)即為人眼的瞳孔位置。

2.3攝像機(jī)標(biāo)定與目標(biāo)定位

2.3.1 攝像機(jī)內(nèi)參數(shù)標(biāo)定

本文使用7×5黑白交錯(cuò)的棋盤網(wǎng)格作為標(biāo)定模板對(duì)攝像機(jī)進(jìn)行標(biāo)定，標(biāo)定板的網(wǎng)格規(guī)格為30mm×30mm。使用攝像頭模塊采集20幅不同放置角度的模板圖像，然后用Matlab標(biāo)定工具箱對(duì)攝像機(jī)內(nèi)部參數(shù)進(jìn)行標(biāo)定。

軸任

（6）

為世界坐標(biāo)， 為攝像機(jī)坐標(biāo)，R為3×3旋轉(zhuǎn)矩陣，t為三維平移矩陣。

有如下關(guān)系[7]：

其中，M1為攝像機(jī)內(nèi)參數(shù)矩陣， ， ，f為攝像機(jī)內(nèi)部焦距。

2.3.2測(cè)距算法

假設(shè)人眼瞳孔在攝像機(jī)坐標(biāo)系中的坐標(biāo)為 ， ， ，在圖像平面中的投影分別為 ， ，在攝像機(jī)坐標(biāo)中人眼瞳孔x軸方向上模值為Δx=| |，單位為毫米（mm），在圖像平面中人眼瞳孔u(yù)軸方向上的像素模值為Δu=| |，單位為像素（pixel）。根據(jù)攝像機(jī)針孔模型[7]，若O為光軸與針孔平面的交點(diǎn)，則Δ 與Δ 相似，令| |=R，根據(jù)三角形相似原理，可得：

3 系統(tǒng)測(cè)量結(jié)果及分析

本文采取兩個(gè)方面的數(shù)據(jù)測(cè)量來(lái)對(duì)系統(tǒng)進(jìn)行驗(yàn)證，一方面是對(duì)系統(tǒng)測(cè)量精度的驗(yàn)證，另一方面是對(duì)系統(tǒng)測(cè)量魯棒性的驗(yàn)證。系統(tǒng)精確度驗(yàn)證，采集目標(biāo)物體在不同位置的距離測(cè)量數(shù)據(jù)，并對(duì)這些數(shù)據(jù)進(jìn)行分析比較。魯棒性驗(yàn)證，多次采集目標(biāo)物體在同一位置的距離測(cè)量數(shù)據(jù)，而且對(duì)這些數(shù)據(jù)通過(guò)比較對(duì)照，計(jì)算均值誤差。

3.1攝像機(jī)內(nèi)部參數(shù)標(biāo)定結(jié)果

攝像機(jī)內(nèi)部參數(shù)標(biāo)定結(jié)果：

3.2精確度驗(yàn)證

3.3魯棒性驗(yàn)證

其中，該項(xiàng)測(cè)量設(shè)置實(shí)際距離固定為300mm，計(jì)算輸出的測(cè)量距離的均值為312.85mm，由此可見(jiàn)系統(tǒng)的魯棒性較高，計(jì)算輸出的波動(dòng)穩(wěn)定在1cm左右。

4 結(jié)束語(yǔ)

系統(tǒng)以ARM Cotex-A9i.MX6Q為微處理器，USB攝像頭為圖像采集模塊，設(shè)計(jì)了一個(gè)單目視覺(jué)測(cè)距系統(tǒng)，實(shí)現(xiàn)了測(cè)距功能。經(jīng)測(cè)量數(shù)據(jù)表明該系統(tǒng)測(cè)距精度較高，魯棒性好，基本能夠滿足機(jī)器人和人協(xié)同工作過(guò)程中機(jī)器人對(duì)伙伴進(jìn)行實(shí)時(shí)定位的要求。當(dāng)然，該系統(tǒng)功能比較簡(jiǎn)單，系統(tǒng)測(cè)距的精度也有待提高，在后續(xù)研究中，將會(huì)進(jìn)一步提高瞳孔定位精確度以及攝像機(jī)標(biāo)定參數(shù)的準(zhǔn)確度，以提高系統(tǒng)測(cè)距的精度。

參考文獻(xiàn)

[1] 鄒偉，喻俊志，徐德，等. 基于ARM處理器的單目視覺(jué)測(cè)距定位系統(tǒng)[J]. 控制工程，2010， 17（4）：509-512.

[2] 羅靜云.一種基于人眼定位的單目測(cè)距方法[D].深圳：深圳大學(xué)， 2015.

[3] VIOLA P， JONES M. Rapid object detection using a boosted cascade of simple features[C]// Proceedingsof the2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Kauai， Hawaii USA ：IEEE，2001：511-518.

[4] 楊定禮，趙正敏，白秋產(chǎn). 基于Adboost與空間支持向量域分類的人臉檢測(cè)[J]. 電路與系統(tǒng)學(xué)報(bào)， 2013， 18（2）：321-325.

[5] 修春波，盧少磊. 基于極坐標(biāo)的改進(jìn)灰度積分投影法的人眼檢測(cè)[J]. 計(jì)算機(jī)工程與應(yīng)用，2015（12）：161-164，170.

[6] FANG J Y， LING Lu. Eye location based on gray projection[C]//Proceedingsof 2009 Third International Symposium on Intelligent Information Technology Application ， Nanchang ：IEEE ，2009：58-60

[7] 馬頌德，張正友.計(jì)算機(jī)視覺(jué)-計(jì)算機(jī)理論與算法基礎(chǔ)[M].北京：科學(xué)出版社，2003.

[8] ZHANG Zhengyou. A flexible new technique for cameracalibration[J].IEEE Transactions on Pattern Analysis & MachineIntelligence，2000，22（11）：1330-1334.