譚 彬，杜炳德，趙雅琪

(山西農(nóng)業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，山西 太谷 030801)

0 引言

目前，深度學(xué)習(xí)的發(fā)展越來(lái)越快，人臉屬性識(shí)別也成了深度學(xué)習(xí)的一個(gè)重要研究領(lǐng)域[1]。人臉包含很多屬性特征，比如性別、微笑、眼鏡等，人臉多屬性識(shí)別檢測(cè)到一張圖像時(shí)，對(duì)圖像處理并返回一些人臉信息?；谌四樁鄬傩宰R(shí)別技術(shù)可應(yīng)用在智慧公安系統(tǒng)[2]、教學(xué)管理系統(tǒng)等諸多領(lǐng)域[3]。

傳統(tǒng)的人臉識(shí)別包括對(duì)圖像進(jìn)行特征提取以及進(jìn)行分類(lèi)器的訓(xùn)練[4]。隨著人臉屬性識(shí)別算法不斷發(fā)展，對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)逐漸加深，識(shí)別效果也逐步提升。隨著網(wǎng)絡(luò)加深，參數(shù)也必定會(huì)增多。因此本文采用一種基于多任務(wù)網(wǎng)絡(luò)的人臉識(shí)別技術(shù)。通過(guò)共享Inception-V3主干網(wǎng)絡(luò)，大大地減少了模型參數(shù)，并且加快了訓(xùn)練速度。將一種屬性對(duì)應(yīng)一個(gè)分支網(wǎng)絡(luò)，構(gòu)建多分支網(wǎng)絡(luò)，聯(lián)合學(xué)習(xí)多個(gè)屬性，增強(qiáng)屬性之間的相關(guān)性。此方法模型參數(shù)較少，準(zhǔn)確率較高，具有很大的研究意義。

1 網(wǎng)絡(luò)基礎(chǔ)

本文搭建了一個(gè)多任務(wù)網(wǎng)絡(luò)來(lái)完成人臉識(shí)別任務(wù)，為了減少計(jì)算量和網(wǎng)絡(luò)參數(shù)，通過(guò)使用共享的Inception-V3主干網(wǎng)絡(luò)進(jìn)行特征提取[5]，然后將得到的特征輸送給搭建好的4個(gè)分支網(wǎng)絡(luò)，最終完成多任務(wù)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試。

1.1 Inception-V3主干網(wǎng)絡(luò)

為了保持神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的稀疏性，又能充分利用密集矩陣的高計(jì)算性能。Google團(tuán)隊(duì)提出Inception結(jié)構(gòu)，相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，Inception的計(jì)算量比傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)更少，控制了參數(shù)量和計(jì)算量的同時(shí)，獲得了非常好的分類(lèi)性能。Inception-V1有22層，比VGGNet的19層更深但參數(shù)更少，表達(dá)能力更強(qiáng)。采取多個(gè)尺度的卷積核進(jìn)行特征提取，其中包括1×1、3×3、5×5，通過(guò)1×1卷積核降低通道數(shù)量，可以加速網(wǎng)絡(luò)學(xué)習(xí)。該網(wǎng)絡(luò)結(jié)構(gòu)在增加了網(wǎng)絡(luò)深度，提升了網(wǎng)絡(luò)普遍性。原始的Inception模塊如圖1所示。

圖1 原始的Inception模塊

后續(xù)Inception模塊在原始的Inception模塊上進(jìn)行了改進(jìn)，Inception-V2是使用小卷積替換了大卷積，使用兩個(gè)3×3卷積替換了一個(gè)5×5的卷積，分解前后的感受野相同，并且增強(qiáng)了representation能力，分解之后可以多加一個(gè)激活函數(shù)，增強(qiáng)了非線性表達(dá)能力。Inception-V2還提出了著名的Batch Normalization算法，該算法是將網(wǎng)絡(luò)的輸入數(shù)據(jù)進(jìn)行歸一化處理，讓梯度增大，避免梯度消失現(xiàn)象，加快訓(xùn)練速度和收斂速度。Inception-V2模塊如圖2所示。

圖2 Inception-V2模塊

在此基礎(chǔ)之上，Inception-V3引入了非對(duì)稱卷積，將N×N結(jié)構(gòu)分解為1×N和N×1的疊加，分解之后的感受野還是與原來(lái)的感受野相同，并且進(jìn)一步減少了計(jì)算量、加快訓(xùn)練測(cè)試速度和減輕過(guò)擬合。此外，Inception-V3網(wǎng)絡(luò)優(yōu)化了Inception-module結(jié)構(gòu)，優(yōu)化后的Inception-module應(yīng)用在網(wǎng)絡(luò)后面部分，淺層還是使用了普通的卷積層，以確保網(wǎng)絡(luò)可以有效提取更多的特征。

1.2 分支網(wǎng)絡(luò)

多任務(wù)學(xué)習(xí)是一種歸納遷移機(jī)制[6]，多任務(wù)學(xué)習(xí)方法基于同一個(gè)主干網(wǎng)絡(luò)，在淺層的卷積層共享特征，在深層的卷積層則開(kāi)始對(duì)每個(gè)任務(wù)分別學(xué)習(xí)。其中每個(gè)屬性對(duì)應(yīng)一個(gè)學(xué)習(xí)任務(wù)，將主干網(wǎng)絡(luò)的輸出作為每一個(gè)分支網(wǎng)絡(luò)的輸入，最終完成對(duì)分支任務(wù)的學(xué)習(xí)。該方法通過(guò)共享的主干網(wǎng)絡(luò)，大大減少了整體的計(jì)算量，并且能夠?qū)⒍鄠€(gè)任務(wù)之間關(guān)聯(lián)起來(lái)進(jìn)行學(xué)習(xí)，最終能夠得到更優(yōu)的學(xué)習(xí)效果。本文搭建了一個(gè)多任務(wù)網(wǎng)絡(luò)模型，多任務(wù)網(wǎng)絡(luò)模型如圖3所示。

圖3 多任務(wù)網(wǎng)絡(luò)框

2 人臉屬性識(shí)別整體流程設(shè)計(jì)

本文設(shè)計(jì)了一種基于多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的人臉屬性識(shí)別方法，整體的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，其中包含了主干共享網(wǎng)絡(luò)和屬性識(shí)別分支網(wǎng)絡(luò)。

圖4 整體網(wǎng)絡(luò)結(jié)構(gòu)

本文基于Inception-V3進(jìn)行了改進(jìn)，并且延展了分支網(wǎng)絡(luò)，組成了一個(gè)多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)。本文中采用小卷積核來(lái)改進(jìn)傳統(tǒng)的卷積核，保證感受野不變的同時(shí)將參數(shù)量也減少了，并且還能增加更多的relu激活函數(shù)。輸入大小為三通道的180×180的圖片，進(jìn)入主干網(wǎng)絡(luò)進(jìn)行一系列卷積操作，主干網(wǎng)絡(luò)部分是多個(gè) 1×1 的小卷積和3×1與1×3的非對(duì)稱卷積的組合，在卷積層之間加入relu激活函數(shù)，可以增加網(wǎng)絡(luò)的非線性，使網(wǎng)格具有稀疏性，減少過(guò)擬合的風(fēng)險(xiǎn)。

在主干網(wǎng)絡(luò)中加入BN層，目的是在網(wǎng)絡(luò)的每一層輸入的時(shí)候，插入一個(gè)BN層，也就是先進(jìn)行歸一化處理，然后再進(jìn)入網(wǎng)絡(luò)的下一層。歸一化公式如下：

一層有d維輸入：x=(x(1)…x(d))

注:所用藥物統(tǒng)一為:拜阿司匹林為拜耳公司生產(chǎn)的阿司匹林腸溶片;阿托伐他汀鈣為輝瑞制藥有限公司生產(chǎn)的立普妥。

(1)

(2)

增加了BN層之后，能夠改善流經(jīng)網(wǎng)絡(luò)的梯度、允許更大的學(xué)習(xí)率、大幅提高訓(xùn)練速度。

主干網(wǎng)絡(luò)輸出的值，首先通過(guò)一個(gè)average-pooling層，將當(dāng)前的特征圖進(jìn)行平均操作，減少空間信息也就是減少參數(shù)。隨之在average-pooling層后加一個(gè)dropout層，不僅解決過(guò)擬合問(wèn)題還加快了訓(xùn)練速度。然后再加一個(gè)flatten層，該層用來(lái)將輸入壓平，即把多維的輸入一維化，常用在從卷積層到全連接層的過(guò)渡。最后即可得到分支網(wǎng)絡(luò)的輸入。

主干網(wǎng)絡(luò)搭建完成之后，進(jìn)行搭建分支網(wǎng)絡(luò)，定義4個(gè)屬性，分別是glasses，smile，young，male。分支網(wǎng)絡(luò)使用二分類(lèi)網(wǎng)絡(luò)對(duì)4個(gè)屬性進(jìn)行處理，最終輸出結(jié)果為0或1，其中1表示具有該屬性，0表示不具有該屬性。本文使用4個(gè)全連接層分別對(duì)各分支網(wǎng)絡(luò)的輸入數(shù)據(jù)進(jìn)行處理，處理后輸出一個(gè)二維的數(shù)據(jù)。在最后一層加入softmax函數(shù)，softmax適用于解決多分類(lèi)問(wèn)題，當(dāng)分類(lèi)情況只有兩種的時(shí)候，softmax就轉(zhuǎn)換成了回歸問(wèn)題，也就是二分類(lèi)問(wèn)題,對(duì)應(yīng)的softmax的表達(dá)式如下：

(3)

該函數(shù)進(jìn)行結(jié)果的預(yù)測(cè)，將最終結(jié)果約束到[0,1]之間，將得到的預(yù)測(cè)結(jié)果與真實(shí)結(jié)果進(jìn)行比較，比較他們的擬合效果，通過(guò)損失函數(shù)的大小，不斷修正模型參數(shù)。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)打包

本文采用了香港中文大學(xué)發(fā)布的CelebA人臉屬性數(shù)據(jù)集，該數(shù)據(jù)集提供了人臉對(duì)齊和自然場(chǎng)景下近20萬(wàn)張人臉圖像，標(biāo)注了40種人臉屬性和5個(gè)人臉關(guān)鍵點(diǎn)的位置信息。本文只使用其中4個(gè)人臉屬性進(jìn)行具體的研究，以這4種屬性來(lái)驗(yàn)證該網(wǎng)絡(luò)模型的可行性。這4個(gè)屬性分別是glasses，smile，young，male。

首先通過(guò)opencv庫(kù)對(duì)圖片進(jìn)行讀取，將讀取到的圖片通過(guò)dlib庫(kù)中的人臉檢測(cè)器識(shí)別出人臉的位置，并且裁剪人臉區(qū)域的圖像，通過(guò)檢測(cè)出來(lái)的人臉框數(shù)據(jù)，把數(shù)據(jù)中較小的人臉圖片過(guò)濾掉。把最終得到的圖像resize至128×128的大小，將圖像的類(lèi)型轉(zhuǎn)換成bytes類(lèi)型，方便后續(xù)打包。

然后從標(biāo)注文件中提取4個(gè)屬性對(duì)應(yīng)的屬性值。遍歷標(biāo)注文件(txt文件)中的屬性名所對(duì)應(yīng)的一行，通過(guò)split函數(shù)對(duì)屬性名進(jìn)行分隔，得到4個(gè)屬性所對(duì)的下標(biāo)值。對(duì)每一行的標(biāo)注信息也通過(guò)split函數(shù)進(jìn)行分隔，結(jié)合得到的下標(biāo)值和分隔后的標(biāo)注信息就能夠得到圖片中4個(gè)屬性對(duì)應(yīng)的屬性值，其中1表示是該圖片具有該屬性，-1表示否。實(shí)驗(yàn)中將處理后的圖像數(shù)據(jù)與對(duì)應(yīng)的4個(gè)屬性值的數(shù)據(jù)結(jié)合起來(lái)完成數(shù)據(jù)打包，把最終打包的文件保存為tfrecord類(lèi)型文件。

3.2 模型訓(xùn)練

指定訓(xùn)練的參數(shù)之后，傳入tfrecord文件進(jìn)行訓(xùn)練，訓(xùn)練時(shí)將shuffle參數(shù)置為T(mén)rue，通過(guò)shuffle實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)。在標(biāo)注信息中，需要將原來(lái)的標(biāo)注信息的值為-1和1轉(zhuǎn)換為0和1，其中1表示具有該屬性，0表示不具有該屬性，使得后續(xù)預(yù)測(cè)的時(shí)候輸出的是0和1。將最終訓(xùn)練好的模型保存為ckpt文件。然后將保存的網(wǎng)絡(luò)模型進(jìn)行網(wǎng)絡(luò)固化，將ckpt文件轉(zhuǎn)為pb文件，使用pb文件實(shí)現(xiàn)前向推理。

3.3 損失函數(shù)和評(píng)價(jià)方法

損失函數(shù)的作用是描述模型的預(yù)測(cè)值和真實(shí)值之間的差距大小，使得模型通過(guò)不斷地訓(xùn)練來(lái)變得收斂。對(duì)于多任務(wù)網(wǎng)絡(luò)結(jié)構(gòu)，本文采用交叉熵?fù)p失函數(shù)對(duì)模型進(jìn)行訓(xùn)練[7]。對(duì)輸入的logits先通過(guò)softmax函數(shù)計(jì)算，再計(jì)算交叉熵?fù)p失函數(shù)，交叉熵?fù)p失函數(shù)的公式如下：

(4)

隨著訓(xùn)練次數(shù)的增加，不斷更新網(wǎng)絡(luò)參數(shù)，來(lái)減少損失函數(shù)的大小，實(shí)現(xiàn)模型的高精確性。本文中每一個(gè)屬性對(duì)應(yīng)一個(gè)損失函數(shù)，然后將4個(gè)損失函數(shù)相加得到一個(gè)總的損失函數(shù)，總的損失函數(shù)的變化如圖5所示。

圖5 損失函數(shù)的變化情況

本文采用準(zhǔn)確率(ACC)作為模型的評(píng)價(jià)標(biāo)準(zhǔn)，準(zhǔn)確率(ACC)是指分類(lèi)正確樣本個(gè)數(shù)與總樣本數(shù)的比值，公式如下：

(5)

公式(5)中TP表示被模型預(yù)測(cè)為正的正樣本，TN表示被模型預(yù)測(cè)為負(fù)的負(fù)樣本，F(xiàn)P表示被模型預(yù)測(cè)為正的負(fù)樣本，F(xiàn)N表示被模型預(yù)測(cè)為負(fù)的正樣本。

3.4 實(shí)驗(yàn)結(jié)果與分析

選取300張人臉圖片進(jìn)行測(cè)試，多任務(wù)網(wǎng)絡(luò)模型逐一讀取圖片，并且完成多屬性識(shí)別任務(wù)，得到如表1所示的準(zhǔn)確率。實(shí)驗(yàn)表明，基于Inception-V3改進(jìn)的多任務(wù)網(wǎng)絡(luò)人臉屬性識(shí)別模型的平均分類(lèi)準(zhǔn)確率可達(dá)89.09%，準(zhǔn)確率較高，進(jìn)一步證明了該模型對(duì)于人臉屬性識(shí)別的可行性，能夠較好地應(yīng)用在信息安全等領(lǐng)域，具有較高的研究?jī)r(jià)值。

表1 各屬性的識(shí)別準(zhǔn)確率

4 結(jié)語(yǔ)

本文結(jié)合深度學(xué)習(xí)進(jìn)行人臉屬性的識(shí)別，基于Inception-V3網(wǎng)絡(luò)為主干網(wǎng)絡(luò)，并對(duì)其進(jìn)行擴(kuò)展和優(yōu)化，搭建了多任務(wù)網(wǎng)絡(luò)結(jié)構(gòu)，使用此網(wǎng)絡(luò)結(jié)構(gòu)的人臉屬性識(shí)別有效地降低參數(shù)量，準(zhǔn)確率最高可達(dá)91.67%，證明了該網(wǎng)絡(luò)的可行性。人臉屬性識(shí)別的應(yīng)用領(lǐng)域越來(lái)越廣泛，為教育、公安等部門(mén)提供了很好的技術(shù)方案，其應(yīng)用前景非常廣闊。