肖琨　尤浩淼　李永建　朱新軍

摘 要 以工程教育提倡的以學(xué)生為中心理念為思想，對計(jì)算機(jī)視覺中3D人臉視覺內(nèi)容進(jìn)行了實(shí)驗(yàn)教學(xué)改革。通常3D人臉識別數(shù)據(jù)采用網(wǎng)上公布的數(shù)據(jù)，而現(xiàn)有的Intel RealSense以及Kinect等3D傳感器直接輸出3D數(shù)據(jù)，因此學(xué)生對3D人臉數(shù)據(jù)獲取的原理及方法并不很清楚。為更好的讓學(xué)生理解3D人臉數(shù)據(jù)的產(chǎn)生，設(shè)計(jì)了3D人臉測量實(shí)驗(yàn)課程改革。學(xué)生通過實(shí)驗(yàn)課程可進(jìn)行數(shù)據(jù)采集和三維重建算法設(shè)計(jì)以及實(shí)驗(yàn)分析，主動完成3D人臉重建的整個(gè)過程，同時(shí)通過實(shí)驗(yàn)培養(yǎng)學(xué)生的動手設(shè)計(jì)能力，團(tuán)隊(duì)協(xié)作與溝通交流能力以及實(shí)驗(yàn)安全、健康方面的意識。

關(guān)鍵詞 工程教育認(rèn)證 3D人臉測量 教學(xué)改革 計(jì)算機(jī)視覺

中圖分類號：G424 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A ? ?DOI：10.16400/j.cnki.kjdkx.2020.02.049

3D Face Measurement Experiments Teaching Curriculum Renovation

with Engineering Education Accreditation

XIAO Kun， YOU Haomiao， LI Yongjian， ZHU Xinjun

（Tianjin Polytechnic University， School of Electrical Engineering and Automation， Tianjin 300387）

Abstract With the student-centered idea in engineering education， the experimental teaching curriculum renovation of 3D face vision in machine vision is carried out. Usually， 3D face recognition data are published online， and existing 3D sensors such as Intel RealSense and Kinect directly output 3D data， therefore the students are not well clear about the principle and method of 3D data acquisition， and they do not well understand how 3D face data is generated， either. In order to help the students to better understand the generation of 3D data， a 3D face measurement experiment was designed. Through the experiment students can collect data， design the reconstruction algorithm and analyze the experiments to initiatively complete the whole process of 3D face reconstruction. At the same time， hands-on design ability， teamwork and communication skills， and experimental safety awareness for the students are developed.

Keywords Engineering Education Accreditation; 3D face Measurement; teaching curriculum renovation; computer vision

0 引言

計(jì)算機(jī)視覺是一門軟硬件相互結(jié)合、理論性和實(shí)踐性都很強(qiáng)的學(xué)科，且具有理論性知識復(fù)雜的特點(diǎn)。[1，2]三維（3D）視覺是計(jì)算機(jī)視覺領(lǐng)域的重要內(nèi)容之一。3D視覺在人臉識別、無人駕駛、機(jī)器人導(dǎo)航等領(lǐng)域備受矚目。3D視覺相關(guān)理論與實(shí)驗(yàn)已成為計(jì)算機(jī)視覺課程中授課的重要內(nèi)容。其中，3D人臉識別是3D視覺中具有代表性的教學(xué)案例。[3]

一方面，目前計(jì)算機(jī)視覺課程理論內(nèi)容相對抽象，實(shí)驗(yàn)類別形式偏少;另一方面，工程教育認(rèn)證對計(jì)算機(jī)視覺課程提出了新要求，比如團(tuán)隊(duì)協(xié)作的重要性、培養(yǎng)創(chuàng)新能力，培養(yǎng)考慮社會、健康、安全、法律、文化以及環(huán)境等因素意識等。[4]本文借鑒工程專業(yè)認(rèn)證的以學(xué)生為中心的思想，在機(jī)器視覺中對3D視覺進(jìn)行改革，以3D人臉測量為對象，提高學(xué)生對3D視覺方面的實(shí)驗(yàn)動手能力，學(xué)生通過實(shí)驗(yàn)主動進(jìn)行數(shù)據(jù)采集，三維重建算法，更好的了解3D重建的整個(gè)過程，同時(shí)通過實(shí)驗(yàn)培養(yǎng)學(xué)生的動手設(shè)計(jì)能力，團(tuán)隊(duì)協(xié)作與溝通交流能力，以及實(shí)驗(yàn)安全方面的意識。

1 3D人臉測量教學(xué)改革的意義

目前已有標(biāo)準(zhǔn)的3D人臉數(shù)據(jù)庫用于算法的驗(yàn)證與評估。然而，學(xué)生對3D人臉數(shù)據(jù)是如何產(chǎn)生，如何搭建系統(tǒng)采集數(shù)據(jù)，以及如何從采集的數(shù)據(jù)進(jìn)行三維重建并沒有很好的理解。相關(guān)知識教學(xué)內(nèi)容較少，使得學(xué)生對機(jī)器視覺的實(shí)際應(yīng)用缺乏直觀的認(rèn)識和理解，不利于學(xué)生動手能力和創(chuàng)新能力的培養(yǎng)。

常用3D測量方法包括被動雙目立體視覺、線/面結(jié)構(gòu)光、光編碼（Light Coding）、主動結(jié)構(gòu)光雙目立體視覺、時(shí)間飛行法。在3D人臉識別領(lǐng)域，蘋果公司采用的是光編碼3D測量技術(shù)，微軟Kinect 2.0采用時(shí)間飛行法，Intel RealSense主要采用主動結(jié)構(gòu)光雙目立體視覺方法，雖然這些公司的設(shè)備都可用于3D人臉測量，但是這些產(chǎn)品都是封裝好的，主要輸出的是深度數(shù)據(jù)。[5]條紋投影結(jié)構(gòu)光測量通常具有較好的靈活性，因此本文采用結(jié)構(gòu)光測量方法設(shè)計(jì)3D人臉采集系統(tǒng)，進(jìn)行三維重建，從而使學(xué)生理解3D人臉數(shù)據(jù)是如何實(shí)現(xiàn)的。

2條紋投影結(jié)構(gòu)光三維人臉測量

條紋投影結(jié)構(gòu)光是光學(xué)三維形貌測量中具有代表性的方法。該方法將條紋圖投影到被測物體的表面，條紋圖由于物體表面的凹凸變化而發(fā)生變形，然后由攝像機(jī)獲取一系列的變形條紋圖，然后通過相位提取方法提取條紋圖中的相位信息，最終聯(lián)合系統(tǒng)標(biāo)定參數(shù)計(jì)算出被測物表面形貌的三維點(diǎn)坐標(biāo)。

在條紋投影三維測量中，CCD采集到的條紋圖可表示為

（1）

其中為背景，和分別為調(diào)制部分和相位部分，為載頻頻率。從（1）獲取相位是條紋投影三維測量的關(guān)鍵環(huán)節(jié)。[6]此環(huán)節(jié)也是本次教改涉及的內(nèi)容之一。

投影儀處于垂直的位置，相機(jī)傾斜拍攝，且投影儀和相機(jī)處于同一水平面上，它們之間的距離記為，投影儀到參考平面的距離為，通過標(biāo)定得到高度與相位的關(guān)系

（2）

其中為條紋周期。

3三維測量實(shí)驗(yàn)的改革

在課程開始時(shí)，首先由教師通過講解，并展示實(shí)物，對學(xué)生的預(yù)習(xí)結(jié)果進(jìn)行補(bǔ)充講解，使學(xué)生充分了解條紋投影的基本知識，實(shí)驗(yàn)系統(tǒng)相關(guān)器件，學(xué)生自己動手，完成3D人臉采集與重建的整個(gè)過程。

3.1 學(xué)生動手搭建實(shí)驗(yàn)系統(tǒng)

實(shí)驗(yàn)過程以3人一組，通過分工協(xié)作，搭建實(shí)驗(yàn)系統(tǒng)。在數(shù)字條紋投影三維測量系統(tǒng)的實(shí)驗(yàn)中所需要的實(shí)驗(yàn)硬件器材主要有：計(jì)算機(jī)、CCD相機(jī)、DLP投影儀等。其中CCD相機(jī)和DLP投影儀連接在同一臺電腦上，并且DLP有一根輸出脈沖線與CCD相機(jī)連接進(jìn)行觸發(fā)的操作。測量系統(tǒng)的示意圖如1所示，投影儀觸發(fā)信號如圖2所示。

在相機(jī)控制軟件界面中需要設(shè)置打開觸發(fā)模式，并且選擇正確的觸發(fā)通道。軟件界面中打開觸發(fā)模式之后，按照條紋變換發(fā)出的脈沖的上升沿觸發(fā)相機(jī)采集圖片，達(dá)到實(shí)時(shí)的效果。投影儀采用的是TI DLP Light Crafter 4500。CCD相機(jī)為FLIR BFS-U3-13Y3M-C，分辨率為1280？024，像素尺寸是4.8 um，鏡頭是Computar鏡頭，16mm定焦。

測量過程中給出具體要求：投影儀投影條紋圖要覆蓋人臉區(qū)域，相機(jī)采集的圖片也要包含整個(gè)人臉區(qū)域，但是又不能包含太多背景。學(xué)生分工調(diào)整相機(jī)與投影儀、以及二者與被測人臉的距離。另外為實(shí)現(xiàn)高質(zhì)量的條紋投影圖像采集，需要調(diào)節(jié)投影儀與相機(jī)的焦距，使得投影儀與相機(jī)投射的條紋都處于接近理想的聚焦位置。

圖1測量系統(tǒng)的示意圖

圖2 投影儀輸出觸發(fā)脈沖圖

3.2 學(xué)生自己程序分析數(shù)據(jù)進(jìn)行三維重建

采集到的條紋圖如圖3（a）所示，因此需要從3（a）重建出三維數(shù)據(jù)。其中相位提取與相位展開是關(guān)鍵（對應(yīng)求方程（1）），在得到展開后的相位通過標(biāo)定可轉(zhuǎn)化成深度數(shù)據(jù)（對應(yīng)方程（2））。處理的關(guān)鍵環(huán)節(jié)有去條紋圖背景（圖3（b）），二值化（圖3（c）），包裹相位提?。▓D3（d））與相位解包裹（圖3（e））。

圖3（a）

圖3（b）

圖3（c）

圖3 （d）

圖3（e）

圖3 條紋圖三維人臉重建結(jié)果展示

實(shí)現(xiàn)三維重建過程需要用Fourier變換、圖像二值化、數(shù)學(xué)形態(tài)學(xué)圖像處理等數(shù)字圖像處理知識，學(xué)生可通過Matlab或者OpenCV等語言工具實(shí)現(xiàn)相應(yīng)的數(shù)字圖像處理算法，完成3D人臉重建。

3.3 學(xué)生對實(shí)驗(yàn)數(shù)據(jù)分析與實(shí)驗(yàn)的總結(jié)

學(xué)生自己進(jìn)行實(shí)驗(yàn)與處理，研究測量系統(tǒng)參數(shù)對實(shí)驗(yàn)結(jié)果的影響，分析算法對三維重建精度的影響等，以及分析各個(gè)環(huán)節(jié)誤差產(chǎn)生的原因，得到有效的結(jié)論?？偨Y(jié)與分析過程中，每組同學(xué)積極參與討論，共同協(xié)作，并能夠在設(shè)計(jì)環(huán)節(jié)中通過創(chuàng)新解決問題。

在實(shí)驗(yàn)采集人臉數(shù)據(jù)過程中，學(xué)生應(yīng)注意眼睛不要直視投影儀光心，避免投影儀發(fā)出的光對眼睛產(chǎn)生傷害。學(xué)生可閉上眼睛或者視線避開投影儀光心方向。通過此方面的安全教育，培養(yǎng)學(xué)生考慮社會、健康、安全、法律、文化以及環(huán)境等因素意識和素養(yǎng)。

4總結(jié)

以工程教育認(rèn)證中的以學(xué)生為中心作為出發(fā)點(diǎn)，設(shè)計(jì)了學(xué)生動手搭建實(shí)驗(yàn)，編寫程序，分析數(shù)據(jù)總結(jié)經(jīng)驗(yàn)等教學(xué)環(huán)節(jié)，實(shí)現(xiàn)了完整的3D人臉數(shù)據(jù)重建教學(xué)內(nèi)容。與傳統(tǒng)的教學(xué)方法相比，課程改革以學(xué)生為中心，發(fā)揮學(xué)生實(shí)驗(yàn)主動性，讓學(xué)生更好的理解3D人臉數(shù)據(jù)的產(chǎn)生，同時(shí)培養(yǎng)學(xué)生在3D視覺測量方面的動手能力，激發(fā)學(xué)生課程興趣，使得學(xué)生對知識的理解、掌握更加深入，同時(shí)培養(yǎng)工程專業(yè)認(rèn)證所提倡的團(tuán)隊(duì)協(xié)作與溝通交流能力以及健康、安全等方面的意識。

*通訊作者：朱新軍

感謝天津工業(yè)大學(xué)2016，2017級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃資助項(xiàng)目（201710058053，201610058151），天津工業(yè)大學(xué)研究生課程優(yōu)秀教材建設(shè)項(xiàng)目（《機(jī)器視覺》優(yōu)秀教材建設(shè)）及天津市自然科學(xué)基金項(xiàng)目（18JCQNJC71100）的支持

參考文獻(xiàn)

[1] 宋麗梅，董虓霄，張春波，安宏偉.一種新型機(jī)器視覺教學(xué)系統(tǒng)的應(yīng)用[J].現(xiàn)代教育技術(shù)，2011.6：126-128.

[2] 孫涵，陳松燦，劉寧鐘，黃元元，朱旗.研究生模式分析與視覺處理課程群改革與實(shí)現(xiàn)[J].科教導(dǎo)刊（中旬刊），2016.3：30-32.

[3] 朱新軍，宋麗梅，王紅一，郭慶華，李金義.以Fourier變換輪廓術(shù)3D測量為例的“機(jī)器視覺”課程改革探索[J].科教導(dǎo)刊（中旬刊），2017.33：114-116.

[4] 李志義.適應(yīng)認(rèn)證要求推進(jìn)工程教育教學(xué)改革[J].中國大學(xué)教學(xué)，2014.6：9-16.

[5] 韓九強(qiáng).機(jī)器視覺技術(shù)及應(yīng)用[M].北京：高等教育出版社，2009.

[6] 黃燕鈞，李中偉，史玉升，等.基于多頻外差原理的三維測量技術(shù).新技術(shù)新工藝，2008（12）.