申?duì)q志

（成都市第七中學(xué)，四川成都，610000）

基于面部表情分析比對(duì)的智能拍攝系統(tǒng)

申?duì)q志

（成都市第七中學(xué)，四川成都，610000）

提出了一種基于面部表情識(shí)別及分析比對(duì)的智能趣味拍攝系統(tǒng)，既可用于自動(dòng)抓拍最佳表情，也可用于微笑禮儀訓(xùn)練。主要介紹了該系統(tǒng)的設(shè)計(jì)思路、工作模式、工作流程、系統(tǒng)架構(gòu)以及系統(tǒng)的創(chuàng)建過程等內(nèi)容；基于Arduino開源硬件，采用Face++提供的人臉微笑識(shí)別技術(shù)，通過阿里云服務(wù)和微信平臺(tái)實(shí)現(xiàn)了人機(jī)交互。經(jīng)多次測(cè)試表明：系統(tǒng)穩(wěn)定，具備實(shí)用性、趣味性及創(chuàng)新性等優(yōu)勢(shì)，具有廣闊的應(yīng)用前景。

面部表情識(shí)別；面部表情分析比對(duì)；最美魔鏡；智能拍攝系統(tǒng)

引言

人工智能技術(shù)研究再一次掀起了科技發(fā)展的新高潮，將是未來10年的四大顛覆性技術(shù)之一[1]。預(yù)計(jì)未來人工智能將比移動(dòng)互聯(lián)市場(chǎng)大十倍。人臉表情識(shí)別技術(shù)是人工智能領(lǐng)域新興的研究方向，是對(duì)人的臉部特征信息進(jìn)行識(shí)別的一種生物識(shí)別技術(shù)[2]。用攝像機(jī)或攝像頭采集含有人臉的圖像或視頻流，并自動(dòng)在圖像中檢測(cè)和跟蹤人臉，進(jìn)而對(duì)檢測(cè)到的人臉進(jìn)行臉部分析的一系列相關(guān)技術(shù)，通常也稱作人臉識(shí)別[3]。識(shí)別過程主要包括：圖像采集及檢測(cè)、人臉定位、特征提取和分類識(shí)別。通過面部表情識(shí)別，可以增進(jìn)人機(jī)交往的友好性和智能性[4]。本課題開發(fā)了一套基于人臉面部表情識(shí)別及分析比對(duì)，而又兼具趣味性的智能拍攝系統(tǒng)。

本系統(tǒng)受童話故事啟發(fā)設(shè)計(jì)，命名為“最美魔鏡”。系統(tǒng)可特異性地捕捉使用者最美麗的表情并自動(dòng)記錄，同時(shí)還可作為微笑禮儀訓(xùn)練工具提示使用者隨時(shí)保持最美麗笑容。這款“魔鏡”能使人更加自信，留住自己最美的笑容。

1 系統(tǒng)設(shè)計(jì)思路

本課題智能趣味拍攝系統(tǒng)建立在面部表情識(shí)別這一人工智能技術(shù)的基礎(chǔ)上，增加表情參數(shù)分析比對(duì)、人機(jī)交互、智能拍攝控制等功能，可實(shí)現(xiàn)最佳表情的自動(dòng)抓拍以及微笑禮儀訓(xùn)練。系統(tǒng)的設(shè)計(jì)基于Arduino開源硬件[5]，采用了Face++提供的人臉及微笑識(shí)別技術(shù)，通過阿里提供的云服務(wù)以及微信公眾平臺(tái)進(jìn)行人機(jī)交互，此系統(tǒng)為一款智能家居設(shè)備，由于融入了“魔鏡”的趣味提示語(yǔ)音，在實(shí)用的基礎(chǔ)上兼具趣味性。

2 系統(tǒng)架構(gòu)

“最美魔鏡”系統(tǒng)架構(gòu)如圖1所示，由Arduino Yun微控處理系統(tǒng)、USB攝像頭、USB音響設(shè)備、超聲波距離傳感器、移動(dòng)智能終端（如手機(jī)）以及服務(wù)器組成。其中，移動(dòng)智能終端用于發(fā)布用戶指令；服務(wù)器用于接收用戶指令、存儲(chǔ)包括照片在內(nèi)的用戶信息，并向控制器發(fā)出控制信號(hào)；USB攝像頭用于拍攝并上傳照片；USB音響設(shè)備用于播放語(yǔ)音提示；Arduino Yun微控處理系統(tǒng)與攝像頭和音響等設(shè)備連接控制其工作狀態(tài)[6]。移動(dòng)智能終端需要和服務(wù)器進(jìn)行通信連接，可以在智能手機(jī)等移動(dòng)終端上安裝APP軟件（系統(tǒng)測(cè)試階段采用微信公眾平臺(tái)測(cè)試號(hào)），采用無線通信器實(shí)現(xiàn)移動(dòng)設(shè)備與服務(wù)器的連接，使得拍攝系統(tǒng)可以實(shí)現(xiàn)人機(jī)交互。簡(jiǎn)易搭建的系統(tǒng)實(shí)物圖如圖2所示，在鏡子上方安裝USB攝像頭，在鏡子右下角安裝超聲波距離傳感器，而左下角是USB音響以及Arduino Yun主控板。

圖1 “最美魔鏡”系統(tǒng)架構(gòu)組成圖

圖2 “最美魔鏡”簡(jiǎn)易系統(tǒng)實(shí)物圖

3 系統(tǒng)工作流程

該系統(tǒng)共有三種工作模式，分別是：（1）上傳標(biāo)準(zhǔn)最美微笑照（模式1）；（2）拍攝最美笑臉（模式2）；（3）訓(xùn)練最美笑容（模式3），可以通過手機(jī)微信公眾號(hào)（或APP軟件）進(jìn)行模式切換。模式詳細(xì)介紹如下：

模式1：使用者鏡前調(diào)整出最滿意的笑容并上傳，作為標(biāo)準(zhǔn)笑容，用于后期實(shí)時(shí)圖像對(duì)比的參照標(biāo)準(zhǔn)；

模式2：當(dāng)實(shí)時(shí)圖像與標(biāo)準(zhǔn)笑容的微笑程度誤差在設(shè)定范圍內(nèi)，自動(dòng)抓拍并存儲(chǔ)照片，播放“魔鏡魔鏡告訴你，你是世上最美的人”等已完成拍攝的語(yǔ)音提示；

模式3：系統(tǒng)將實(shí)時(shí)圖像與標(biāo)準(zhǔn)笑容的微笑程度及姿態(tài)進(jìn)行對(duì)比，通過語(yǔ)音提示，指導(dǎo)使用者調(diào)整姿態(tài)及微笑程度，訓(xùn)練最美笑容。

系統(tǒng)工作流程是：首先，手機(jī)通過微信向云服務(wù)器發(fā)送控制指令；其次，Arduino讀取云服務(wù)器中的控制指令，判斷模式1、模式2抑或模式3。

3.1 模式1

若Arduino判斷指令為模式1，按以下流程工作：

（1）Arduino向攝像頭發(fā)送指令，攝像頭拍照并將照片回傳Arduino；

（2）Arduino控制音箱播放相應(yīng)提示語(yǔ)音；

（3）Arduino調(diào)用距離傳感器測(cè)距信息作為標(biāo)準(zhǔn)距離；

（4）Arduino將攝像頭回傳的照片發(fā)送給云服務(wù)器；

（5）云服務(wù)器存儲(chǔ)照片供查詢，并通過調(diào)用Face++接口，獲取人臉的微笑度、有無眼鏡、俯視度、仰視度等標(biāo)準(zhǔn)數(shù)據(jù)，如圖3所示。

圖3 人臉微笑度、有無眼鏡、仰視度、俯視度等參數(shù)的獲取

3.2 模式2

若Arduino判斷指令為模式2，按以下流程工作：

（1） Arduino調(diào)用距離傳感器的距離信息并與標(biāo)準(zhǔn)距離對(duì)比；

（2）距離信息不符合設(shè)定范圍要求時(shí)，Arduino控制音箱播放預(yù)錄提示語(yǔ)音；

（3）攝像頭定時(shí)拍照，并將照片傳給Arduino；

（4）Arduino將照片發(fā)送給云服務(wù)器；

（5）Arduino調(diào)用照片數(shù)據(jù)并與最美標(biāo)準(zhǔn)照數(shù)據(jù)對(duì)比，眼鏡、俯視、仰視等參數(shù)不符合標(biāo)準(zhǔn)誤差范圍時(shí)，音箱播放提示語(yǔ)音；

（6）有無眼鏡、俯視及微笑度等均符合設(shè)定的標(biāo)準(zhǔn)誤差范圍時(shí)，Arduino控制音箱播放相應(yīng)的預(yù)錄提示語(yǔ)音，同時(shí)將拍攝照片發(fā)送給云服務(wù)器存儲(chǔ)作為最美照片供查詢。

3.3 模式3

若Arduino判斷指令為模式3，按以下流程工作：

模式3即訓(xùn)練最美笑容。該模式工作流程前面與模式2的（1）～（5）相同，只有（6）有所不同：當(dāng)眼鏡、俯視及微笑度等參數(shù)均符合標(biāo)準(zhǔn)誤差范圍時(shí)，Arduino選取預(yù)錄語(yǔ)音并控制音箱播放提示語(yǔ)音，照片不再發(fā)送給云服務(wù)器存儲(chǔ)。

4 系統(tǒng)創(chuàng)建

4.1 微信平臺(tái)開發(fā)

本系統(tǒng)申請(qǐng)了微信公眾號(hào)（訂閱號(hào)/接口測(cè)試號(hào)），在此平臺(tái)上開發(fā)系統(tǒng)控制菜單及照片查看功能，可進(jìn)行人機(jī)交互、轉(zhuǎn)發(fā)指令、查詢最美標(biāo)準(zhǔn)照及實(shí)時(shí)抓拍的最美照片。

4.2 面部表情識(shí)別及分析比對(duì)系統(tǒng)的搭建

本系統(tǒng)利用Face++視覺服務(wù)平臺(tái)提供的云端API進(jìn)一步開發(fā)而成，F(xiàn)ace++視覺服務(wù)平臺(tái)提供人臉檢測(cè)、識(shí)別及面部分析視覺技術(shù)服務(wù)，人臉檢測(cè)與追蹤技術(shù)實(shí)現(xiàn)快速、準(zhǔn)確的人像檢測(cè)功能，關(guān)鍵點(diǎn)檢測(cè)技術(shù)及時(shí)精確定位面部的關(guān)鍵區(qū)域位置，微笑分析技術(shù)精確分析圖片或視頻中人物是否在微笑以及相應(yīng)的微笑程度。本系統(tǒng)調(diào)用Face++視覺服務(wù)平臺(tái)的面部表情及微笑程度分析結(jié)果，進(jìn)行參數(shù)間的分析比對(duì)，設(shè)定比對(duì)輸出策略，從而控制系統(tǒng)捕捉最美微笑。

4.3 魔鏡鏡面（視頻采集）搭建

攝像頭的USB直接和Arduino的USB連接搭建拍攝系統(tǒng)，將攝像頭固定于梳妝鏡的合適位置，即搭建了魔鏡鏡面及拍攝部分，實(shí)現(xiàn)實(shí)時(shí)圖像、最美微笑等的視頻采集。

4.4 音響系統(tǒng)搭建

本系統(tǒng)需要進(jìn)行魔鏡提示音頻信號(hào)的切換，通過Arduino Yun板載系統(tǒng)，安裝外設(shè)的包文件，并輸入指令即可實(shí)現(xiàn)用嵌入式開發(fā)板Arduino Yun控制音響的播放，自動(dòng)完成魔鏡提示語(yǔ)音信息的播放功能。

4.5 錄音文件預(yù)錄

要實(shí)現(xiàn)魔鏡聲音的自動(dòng)切換，事先要預(yù)錄魔鏡抓拍成功、訓(xùn)練識(shí)別最美等情況下的提示語(yǔ)音文件，如“魔鏡魔鏡告訴你，你是世上最美的人”“魔鏡魔鏡告訴你，此時(shí)的你最美麗”“魔鏡請(qǐng)你靠靠左”等，以便在魔鏡的各個(gè)環(huán)節(jié)中由Arduino Yun自動(dòng)切換播放。

4.6 測(cè)距系統(tǒng)搭建

搭建識(shí)別人臉偏移的測(cè)距系統(tǒng)可以檢測(cè)出人和魔鏡的距離，防止距離太近或太遠(yuǎn)而影響抓拍效果。本系統(tǒng)能識(shí)別的人臉偏移特性包括水平（左右）偏移和縱向（前后）偏移，其中水平偏移采用Face++提供的人臉邊框識(shí)別，而縱向偏移采用的超聲波距離傳感器，Arduino Yun通過超聲波傳感器可獲取目標(biāo)物的距離。

4.7 系統(tǒng)聯(lián)調(diào)和測(cè)試

在系統(tǒng)硬件搭建完畢，各項(xiàng)獨(dú)立功能軟件調(diào)試成功后，依次進(jìn)行錄音文件的導(dǎo)入及三種模式的系統(tǒng)功能聯(lián)調(diào)和測(cè)試。

5 系統(tǒng)功能及創(chuàng)新性

本課題開發(fā)的基于面部表情分析比對(duì)的智能趣味拍攝系統(tǒng)可以實(shí)現(xiàn)以下功能：

（1）手機(jī)通過微信公眾平臺(tái)實(shí)現(xiàn)對(duì)魔鏡工作模式的切換控制及最美照片查詢功能；

（2）在上傳最美標(biāo)準(zhǔn)照的模式下，系統(tǒng)拍攝并上傳最美標(biāo)準(zhǔn)照；

（3）在抓拍最美微笑照的模式下，系統(tǒng)對(duì)比服務(wù)器中的最美標(biāo)準(zhǔn)照參數(shù)并自動(dòng)檢測(cè)抓拍最美微笑照；

（4）在最美微笑訓(xùn)練的模式下，系統(tǒng)對(duì)比服務(wù)器中的最美標(biāo)準(zhǔn)照參數(shù)，通過語(yǔ)音提示，指導(dǎo)使用者訓(xùn)練最美笑容。

本系統(tǒng)兼具智能性、趣味性和創(chuàng)新性，這三方面主要體現(xiàn)在：

（1）創(chuàng)新了一種最佳表情的照片自動(dòng)抓拍方法，通過“鏡子+攝像頭+微笑度、距離、俯視度、仰視度、有無眼鏡識(shí)別比對(duì)”，實(shí)現(xiàn)照片自動(dòng)抓拍功能。鏡子可以使人調(diào)整出更完美的姿態(tài)和笑容，微笑度等參數(shù)識(shí)別對(duì)比可以使攝像頭抓拍出最佳姿態(tài)及笑容。

（2）創(chuàng)新了一種智能微笑訓(xùn)練的方法，通過“鏡子+攝像頭+微笑度、距離、俯視度、仰視度、有無眼鏡識(shí)別比對(duì)”+“自動(dòng)語(yǔ)音提示指導(dǎo)”，實(shí)現(xiàn)最美笑容姿態(tài)的日常智能訓(xùn)練功能。這些都是普通的手機(jī)、相機(jī)等拍攝系統(tǒng)簡(jiǎn)單的微笑拍攝模式不具備的功能。

（3）將照相及禮儀訓(xùn)練功能集成到鏡子上，使人在照相時(shí)感覺更好，笑容更美，童話故事里魔鏡的功能在現(xiàn)實(shí)生活中得以實(shí)現(xiàn)。

6 結(jié)束語(yǔ)

本研究基于Arduino開源硬件，采用Face++提供的人臉及微笑識(shí)別技術(shù)，通過服務(wù)器和微信公眾平臺(tái)制作出一種可以訓(xùn)練和拍攝最美笑容的智能趣味家居設(shè)備。該系統(tǒng)兼具創(chuàng)新性、實(shí)用性及趣味性，可供單人或多人一起使用，用于調(diào)節(jié)個(gè)人情緒和活躍氣氛，還可以用于服務(wù)行業(yè)微笑禮儀訓(xùn)練，應(yīng)用前景十分廣闊。

[1]張一清. 顛覆性技術(shù)和社會(huì)變革[J]. 中國(guó)改革, 2016(04).

[2]王大偉, 周軍, 梅紅巖,等. 人臉表情識(shí)別綜述[J]. 計(jì)算機(jī)工程與應(yīng)用, 2014(02).

[3]施徐敢, 趙小明, 張石清. 人臉表情識(shí)別研究的新進(jìn)展[J]. 實(shí)驗(yàn)室研究與探索, 2014, 33(10): 103-107.

[4]傅栩雨, 葉健東, 王鵬,等. 人臉面部表情識(shí)別[J]. 計(jì)算機(jī)與網(wǎng)絡(luò), 2015(10): 70-71.

[5]陳呂洲. Arduino程序設(shè)計(jì)基礎(chǔ)[M]. 北京: 北京航空航天大學(xué)出版社, 2014.

[6]麥克羅伯茨. Arduino從基礎(chǔ)到實(shí)踐[M]. 北京: 電子工業(yè)出版社, 2013.

An Intelligent Camera System based on Analysis and Comparison on Facial Expression

SHEN Shuo-zhi
(Chengdu No.7 High School, Chengdu, Sichuan,610000, China)

An intelligent and enjoyable camera system based on recognition, analysis and comparison on facial expression is put forward, which can be used both for automatic capture of the best beautiful smile, as well as etiquette smile training for facial expression. The design idea, working mode, working process, system architecture and system establishment process are mainly introduced. Based on the Arduino open source hardware, Face++ is adopted for smile face recognition technology, and human-computer interaction is realized through the Alibaba Cloud Computing and Wechat platform. Multiple tests show that such a system is stable and has advantages in practice, enjoyment and innovation, indicating a wide application prospect.

Recognition on Facial Expression; Analysis and Comparison on Facial Expression; The Most Beautiful Magic Mirror; Intelligent Camera System

TP182

A

2095-8412 (2016) 06-1239-04

10.14103/j.issn.2095-8412.2016.06.050

申?duì)q志(1999-)，男，成都七中高中在讀。研究方向：創(chuàng)客智造。

E-mail: 13882266490@163.com