陸嬌藍(lán)，陳　軍，楊　著

(西南科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川 綿陽(yáng)　621000)

?

基于云計(jì)算的嵌入式人臉識(shí)別系統(tǒng)建構(gòu)與研究

陸嬌藍(lán)，陳軍，楊著

(西南科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川 綿陽(yáng)621000)

針對(duì)嵌入式系統(tǒng)運(yùn)算、存儲(chǔ)資源有限等缺陷，采用先進(jìn)的FaceCore人臉檢測(cè)開(kāi)放平臺(tái)構(gòu)建一套基于云計(jì)算的嵌入式人臉圖像處理系統(tǒng)；通過(guò)在高性能嵌入式平臺(tái)接入圖像采集設(shè)備采集圖像信息，然后將復(fù)雜的圖像處理、檢測(cè)、識(shí)別等算法轉(zhuǎn)移到云平臺(tái)進(jìn)行，實(shí)現(xiàn)人臉特征值檢測(cè)、人臉特征點(diǎn)檢測(cè)、人臉相似度檢測(cè)、人臉匹配等功能，減少了嵌入式系統(tǒng)的本地運(yùn)算負(fù)擔(dān)，降低了嵌入式人臉檢測(cè)、識(shí)別系統(tǒng)的軟硬件成本；最后通過(guò)對(duì)多個(gè)不同年齡、性別的人進(jìn)行人臉檢測(cè)識(shí)別、人臉和嘴的位置檢測(cè)以及圖像中人臉個(gè)數(shù)檢測(cè)，分別得到檢測(cè)時(shí)間的平均值；實(shí)驗(yàn)結(jié)果驗(yàn)證了構(gòu)建基于云計(jì)算的嵌入式人臉識(shí)別實(shí)時(shí)系統(tǒng)的可行性，系統(tǒng)的穩(wěn)定性、可靠性，并且與以前直接在本地進(jìn)行計(jì)算做比較，具有較高的實(shí)時(shí)性，為未來(lái)嵌入式系統(tǒng)進(jìn)行實(shí)時(shí)的圖像處理提供了一種更有效的解決方案。

云計(jì)算；嵌入式系統(tǒng)；人臉識(shí)別；人臉特征值；相似度檢測(cè)；人臉匹配

0　引言

人臉識(shí)別是機(jī)器視覺(jué)、模式識(shí)別等基礎(chǔ)研究領(lǐng)域的重要課題之一，具有非常重要的研究?jī)r(jià)值和現(xiàn)實(shí)意義。同時(shí)，隨著科技和社會(huì)的進(jìn)步,人臉識(shí)別的應(yīng)用領(lǐng)域不斷擴(kuò)展，應(yīng)用環(huán)境也在不斷變化，因此，建立一套高可靠性并能針對(duì)不同環(huán)境應(yīng)用的人臉識(shí)別系統(tǒng)具有潛在應(yīng)用價(jià)值[1]。

近年來(lái)，人臉檢測(cè)、識(shí)別技術(shù)不斷發(fā)展進(jìn)步，檢測(cè)的準(zhǔn)確率也越來(lái)越高。2014年，F(xiàn)acebook發(fā)布了另一套基于深度學(xué)習(xí)的人臉識(shí)別算法DeepFace，在LFW上取得了97.35%的識(shí)別率[2]。不久后，香港中文大學(xué)湯曉鷗教授領(lǐng)導(dǎo)的計(jì)算機(jī)視覺(jué)研究組開(kāi)發(fā)了一個(gè)名為DeepID的深度學(xué)習(xí)模型，在LFW (Labeled Faces in the Wild)數(shù)據(jù)庫(kù)[3]上獲得了99.15%的識(shí)別率[2]。介于該領(lǐng)域廣闊的應(yīng)用前景，研究人員對(duì)人臉檢測(cè)、識(shí)別進(jìn)行了大量的研究，然后又逐漸轉(zhuǎn)移到性別年齡識(shí)別等復(fù)雜算法的研究中[4-7]，雖然這些算法在PC系統(tǒng)下通過(guò)高性能的CPU甚至GPU進(jìn)行運(yùn)算能夠達(dá)到理想的性能要求[8-11]，然而，這些先進(jìn)的算法和可喜的成果因?yàn)槠溥\(yùn)算的復(fù)雜性在嵌入式系統(tǒng)中還沒(méi)有得到廣泛的應(yīng)用。

針對(duì)嵌入式系統(tǒng)資源有限和人臉檢測(cè)運(yùn)算的復(fù)雜之間的矛盾，本文將嵌入式系統(tǒng)與人臉檢測(cè)識(shí)別算法、人臉數(shù)據(jù)庫(kù)存儲(chǔ)分離開(kāi)，通過(guò)嵌入式系統(tǒng)進(jìn)行人臉面部圖像采樣，然后通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)傳輸?shù)饺四槞z測(cè)云平臺(tái)，利用高準(zhǔn)確率的檢測(cè)算法實(shí)現(xiàn)快速人臉檢測(cè)與識(shí)別，并將檢測(cè)的結(jié)果返回給嵌入式系統(tǒng)。系統(tǒng)實(shí)現(xiàn)了人臉特征值檢測(cè)、人臉特征點(diǎn)檢測(cè)、人臉相似度檢測(cè)、人臉匹配等功能。

采用這種架構(gòu)的應(yīng)用比單純的手機(jī)平臺(tái)的應(yīng)用大大提高了計(jì)算速度與用戶體驗(yàn)，并且降低了應(yīng)用的開(kāi)發(fā)難度，具有較高的實(shí)際應(yīng)用價(jià)值[12]。

1　系統(tǒng)方案總體設(shè)計(jì)

按照系統(tǒng)總體設(shè)計(jì)方案，系統(tǒng)主要由3個(gè)部分組成：

1)嵌入式系統(tǒng)。根據(jù)系統(tǒng)設(shè)計(jì)要求，嵌入式系統(tǒng)為整個(gè)系統(tǒng)的中心，需要接入以太網(wǎng)絡(luò)以及圖像采集設(shè)備。因此，選用ARM架構(gòu)的s5pv210嵌入式微處理器構(gòu)建嵌入式平臺(tái)。該處理器擁有豐富的外設(shè)接口且容易開(kāi)發(fā)和調(diào)試，不僅方便構(gòu)建人臉識(shí)別系統(tǒng)，而且便于對(duì)系統(tǒng)進(jìn)行應(yīng)用擴(kuò)展。

2)人臉檢測(cè)云計(jì)算平臺(tái)。FaceCore人臉識(shí)別開(kāi)放平臺(tái)是基于人臉檢測(cè)、比對(duì)核心業(yè)務(wù)的服務(wù)平臺(tái)，平臺(tái)可為外部用戶提供基于高精度人臉識(shí)別技術(shù)為基礎(chǔ)的相關(guān)服務(wù)，例如Api、人臉識(shí)別、數(shù)據(jù)安全等。通過(guò)使用該平臺(tái)，可以將復(fù)雜的檢測(cè)算法從嵌入式系統(tǒng)分離出來(lái)，并像使用水、電一樣方便。目前開(kāi)放的業(yè)務(wù)接口主要包括三大類：人臉比對(duì)接口、人臉數(shù)量檢測(cè)接口、人臉特征檢測(cè)接口。每個(gè)大類下又提供了不同的功能，方便用戶在應(yīng)用場(chǎng)景下都能靈活選擇并應(yīng)用該云計(jì)算平臺(tái)。

3)圖像采集設(shè)備。目前，對(duì)圖像采集設(shè)備沒(méi)有特殊要求，因此，根據(jù)不同需要完成了兩種攝像頭的接入：USB攝像頭以及紅外CCD攝像頭。圖像采集分辨率均為352*288，測(cè)試結(jié)果表明：針對(duì)這種分辨率圖像能夠滿足檢測(cè)要求。

根據(jù)系統(tǒng)組成描述，由此得到系統(tǒng)的結(jié)構(gòu)如圖1所示。

圖1　基于云計(jì)算的嵌入式人臉識(shí)別系統(tǒng)結(jié)構(gòu)

2　人臉識(shí)別系統(tǒng)設(shè)計(jì)

在傳統(tǒng)的人臉識(shí)別系統(tǒng)中，硬件系統(tǒng)是實(shí)現(xiàn)所用功能的載體。然而，在該系統(tǒng)中，嵌入式硬件系統(tǒng)只作為整個(gè)系統(tǒng)的一個(gè)組成部分，將圖像采集設(shè)備接入嵌入式系統(tǒng)，嵌入式系統(tǒng)通過(guò)網(wǎng)絡(luò)和云計(jì)算平臺(tái)進(jìn)行數(shù)據(jù)交互。因此，整個(gè)嵌入式人臉檢測(cè)識(shí)別系統(tǒng)設(shè)計(jì)包括嵌入式系統(tǒng)硬件設(shè)計(jì)和軟件系統(tǒng)設(shè)計(jì)。

除了上述描述的圖像采集設(shè)備和以太網(wǎng)接口外，系統(tǒng)還應(yīng)該包含其他的輔助設(shè)備以實(shí)現(xiàn)用戶交互、數(shù)據(jù)存儲(chǔ)等。其硬件結(jié)構(gòu)結(jié)構(gòu)示意圖如圖 2所示。

圖2　硬件結(jié)構(gòu)示意圖

2.1系統(tǒng)硬件結(jié)構(gòu)

微處理器芯片選擇ARM架構(gòu)的S5PV210微處理器，S5PV210采用了ARM CortexTM-A8內(nèi)核，主頻最高可達(dá)1GHZ，擁有64/32位內(nèi)部總線結(jié)構(gòu)，32/32 KB數(shù)據(jù)/指令一級(jí)緩存，二級(jí)緩存512 KB，可以實(shí)現(xiàn)2000DMIPS(每秒運(yùn)算2億條指令集)的高性能運(yùn)算能力，基本滿足本設(shè)計(jì)的要求。該芯片的框架如圖 3所示。圖中主要標(biāo)注了系統(tǒng)工作必不可少的接口(如：電源、時(shí)鐘)、開(kāi)發(fā)調(diào)試接口(如：JTag以及串口)以及系統(tǒng)運(yùn)行過(guò)程中使用到的接口。

圖3　S5PV210微處理器框架結(jié)構(gòu)

2.2人臉檢測(cè)云平臺(tái)接入建構(gòu)及實(shí)現(xiàn)功能

要將人臉檢測(cè)云平臺(tái)接入到嵌入式系統(tǒng)中，需要首先將嵌入式系統(tǒng)接入到因特網(wǎng)，保證物理上及邏輯上的數(shù)據(jù)鏈路通暢。同時(shí)，需要在FaceCore云平臺(tái)注冊(cè)，并且為了保證檢測(cè)成功率，正式環(huán)境應(yīng)用時(shí)請(qǐng)注冊(cè)您自己的appkey，以保證您的appkey使用的是獨(dú)立資源池，而非共享資源池。

該開(kāi)放平臺(tái)提供了多種不同的功能，具體功能如圖 4所示。

圖4　FaceCore人臉檢測(cè)云平臺(tái)實(shí)現(xiàn)功能模塊

應(yīng)用程序在調(diào)用平臺(tái)API時(shí)，針對(duì)不同的功能需要提供不同的參數(shù)，但是appkey是任何功能都必須提供的參數(shù)。該人臉檢測(cè)云平臺(tái)的API接口及請(qǐng)求參數(shù)如表1所示。

表1　FaceCore請(qǐng)求接口及請(qǐng)求參數(shù)

注：括號(hào)內(nèi)為參數(shù)名稱。

對(duì)于不同的請(qǐng)求類型，檢測(cè)平臺(tái)返回相應(yīng)的JSON數(shù)據(jù)，通過(guò)解析該JSON數(shù)據(jù)就能得到想要的數(shù)據(jù)結(jié)果。

2.3軟件系統(tǒng)設(shè)計(jì)

由于系統(tǒng)運(yùn)行需要頻繁的發(fā)送網(wǎng)絡(luò)請(qǐng)求，和云計(jì)算平臺(tái)進(jìn)行數(shù)據(jù)交互，為防止網(wǎng)絡(luò)傳輸過(guò)程中網(wǎng)絡(luò)阻塞導(dǎo)致程序進(jìn)入無(wú)限等待狀態(tài)，系統(tǒng)采用多線程程序設(shè)計(jì)的思想，在每次進(jìn)行網(wǎng)絡(luò)請(qǐng)求時(shí)都臨時(shí)開(kāi)辟線程對(duì)象，并在得到返回后通過(guò)消息機(jī)制通知主線程，讓主線程解析返回結(jié)果并可視化反饋給用戶，并釋放網(wǎng)絡(luò)請(qǐng)求線程資源。其網(wǎng)絡(luò)請(qǐng)求數(shù)據(jù)交互模型如圖5所示。

圖5　一次云平臺(tái)網(wǎng)絡(luò)請(qǐng)求模型

該系統(tǒng)主要檢測(cè)的數(shù)據(jù)是本地sdcard存儲(chǔ)的jpg圖像或者從攝像頭捕獲圖像。在從攝像頭采集圖像進(jìn)行檢測(cè)時(shí)，通過(guò)系統(tǒng)按鈕可以選擇進(jìn)入不同的操作模式：拍照檢測(cè)模式或?qū)崟r(shí)檢測(cè)模式。拍照檢測(cè)和打開(kāi)本地sdcard圖像檢測(cè)類似，其主要區(qū)別在于拍照檢測(cè)是臨時(shí)從攝像頭捕獲的圖像，并存儲(chǔ)在本地sdcard中，捕獲到靜態(tài)圖像之后進(jìn)行人臉檢測(cè)，在檢測(cè)到人臉后則可以通過(guò)選擇不同按鈕繼續(xù)獲取不同特征或者將檢測(cè)到的人臉提交到云平臺(tái)人臉數(shù)據(jù)庫(kù)中；然而，實(shí)時(shí)檢測(cè)時(shí)是每秒從攝像頭捕獲一張圖像并檢測(cè)圖像中存在人臉個(gè)數(shù)以及人臉的特征值，并通過(guò)文本方式反饋給用戶。單張圖像檢測(cè)數(shù)據(jù)交互模型和圖5相同，對(duì)于實(shí)時(shí)人臉檢測(cè)，需要連續(xù)多次進(jìn)行網(wǎng)絡(luò)請(qǐng)求，其程序流程圖如圖6所示。

圖6　實(shí)時(shí)檢測(cè)程序流程圖

3　測(cè)試與分析

為驗(yàn)證系統(tǒng)功能，通過(guò)采集不同年齡、不同性別的人臉圖像，進(jìn)行系統(tǒng)測(cè)試，測(cè)試人數(shù)為50人，分別在每個(gè)人不同坐姿情況下，測(cè)試年齡、性別、人臉個(gè)數(shù)、檢測(cè)人臉圖像眼睛和嘴在整張圖像中的位置以及它們平均檢測(cè)時(shí)間，測(cè)試結(jié)果如表2所示。

表2　系統(tǒng)功能測(cè)試結(jié)果

測(cè)試結(jié)果驗(yàn)證了通過(guò)云平臺(tái)構(gòu)建嵌入式人臉識(shí)別系統(tǒng)的可行性、系統(tǒng)的穩(wěn)定性以及檢測(cè)的實(shí)時(shí)性；同時(shí)，在未來(lái)不改變?cè)撓到y(tǒng)的情況下，隨著云平臺(tái)檢測(cè)精度的提高，系統(tǒng)的檢測(cè)性能也會(huì)得到進(jìn)一步提高。

4　結(jié)束語(yǔ)

該系統(tǒng)通過(guò)結(jié)合嵌入式處理系統(tǒng)與先進(jìn)的FaceCore人臉檢測(cè)開(kāi)放平臺(tái)，構(gòu)建輕量級(jí)的人臉檢測(cè)識(shí)別系統(tǒng)，減輕了嵌入式系統(tǒng)的運(yùn)算負(fù)擔(dān)，降低了嵌入式人臉識(shí)別系統(tǒng)的構(gòu)建成本,實(shí)驗(yàn)結(jié)果驗(yàn)證了構(gòu)建基于云計(jì)算的嵌入式人臉識(shí)別實(shí)時(shí)系統(tǒng)的可行性以及系統(tǒng)的穩(wěn)定性和可靠性。下一步將在目前已取得研究成果的基礎(chǔ)上采集更多的不同類型的圖像,包括不同年齡、不同膚色的人臉圖像，建立龐大的人臉數(shù)據(jù)庫(kù)，驗(yàn)證該云計(jì)算平臺(tái)檢測(cè)的準(zhǔn)確性，希望能夠?qū)⒃撓到y(tǒng)應(yīng)用到多種應(yīng)用領(lǐng)域。

[1] 向征. HOG在人臉識(shí)別中的性能研究[J]. 計(jì)算機(jī)工程，2012 38(15)：194-196.

[2] 魏秀金.紅外條件下駕駛員疲勞駕駛檢測(cè) [D]. 浙江：浙江理工大學(xué)，2011.

[3] Lior Wolf,Tal Hassner,Yaniv Taigman. Effective face recognition by combining multiple descriptors and learned background statistics[J].IEEE Trans. on Pattern Analysis and Machine Intelligence (TPAMI),2011.

[4] 梁路宏，艾海舟，徐光祐，等. 人臉檢測(cè)研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào)，2002，25(5):449.

[5] 孫雯玉. 人臉表情識(shí)別算法研究[D]. 北京：北京交通大學(xué)，2006.

[6] 李武軍，王崇駿，張煒，等. 人臉識(shí)別研究綜述. 模式識(shí)別與人工智能，2006,19(1)：58-65.

[7] 謝春華. 基于人臉圖像的年齡估計(jì)方法研究[D]. 成都：電子科技大學(xué),2013.

[8] 賈海鵬，張?jiān)迫?，袁良，? 基于OpenCL 的Viola-Jones 人臉檢測(cè)算法性能優(yōu)化[J]. 計(jì)算機(jī)學(xué)報(bào)，2015,38(53)：1-13.

[9] 劉鐸. 基于CUDA的實(shí)時(shí)人臉識(shí)別系統(tǒng)[J]. 計(jì)算機(jī)與現(xiàn)代化, 2015(6):122-126.

[10] 夏春芬. 基于GPU高性能計(jì)算的人臉表情識(shí)別算法的研究[D]. 武漢：武漢理工大學(xué)，2011.

[11] 傅俊康. GPU加速的若干3D人臉?lè)治雠c識(shí)別算法[D]. 杭州：浙江大學(xué)，2011.

[12] 李二郎. 基于云計(jì)算的手機(jī)移動(dòng)端人臉圖像解析系統(tǒng)[D]. 武漢：華中科技大學(xué)，2014.

Cloud Computing-based Embedded Face Recognition System Construction and Research

Lu Jiaolan，Chen Jun，Yang Zhu

(College of Computer Science and Technology,Southwest University of Science and Technology,Mianyang621000,China)

As for the defects of embedded systems computing and limited storage resources,I built a embedded face processing system based on a set of cloud computing by using the advanced FaceCore open platform.Firstly,capture the image information by image capturing device connected to the embedded platform. Then by transforming the complicated image processing,detection and recognition algorithms to the cloud platform,realize facial feature value detection,facial feature detection,face similarity detection,and face matching functions. Thirdly,reduce the burden on the local operation of embedded systems and reduce the cost of hardware and software for embedded face detection,identification systems.At last,we get an average detection time from detecting the position of human face,mouth and the number of faces in the image with different age,sex,recognition of people,the experimental results verify system stability,reliability and the feasibility of the construction of the embedded real-time face recognition system based on cloud computing,it has the high real-time performance compare to that on the local before ,it provides a more effective way for the embedded system of real time image processing in the future.

cloud computing; embedded system;face recognition; face value; similarity detection; face matching

1671-4598(2016)04-0146-03< class="emphasis_italic">DOI

：10.16526/j.cnki.11-4762/tp.2016.04.043

TP273

A

2015-10-07；

2015-11-10。

西南科技大學(xué)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目(201410619037);綿陽(yáng)網(wǎng)絡(luò)融合實(shí)驗(yàn)室開(kāi)放基金項(xiàng)目(12zxwk06)。

陸嬌藍(lán)(1993-)，女，廣西人，本科，主要從事計(jì)算機(jī)應(yīng)用技術(shù)方向的研究。

楊著(1963-)，男，四川人，副教授，主要從事嵌入式系統(tǒng)設(shè)計(jì)、計(jì)算機(jī)應(yīng)用技術(shù)方向的研究。