鄭亮 陳鵬 韓晶晶 陳亞

摘? 要：文章對(duì)基于深度學(xué)習(xí)的親屬關(guān)系驗(yàn)證方法進(jìn)行了深入研究，并針對(duì)由于人臉圖像與其他自然圖像存在較大的差異而導(dǎo)致的感受野較小的問題，提出了一種基于空洞卷積神經(jīng)網(wǎng)絡(luò)的親屬關(guān)系驗(yàn)證方法，構(gòu)建了殘差空洞卷積神經(jīng)網(wǎng)絡(luò)（RDCN Net），分別從父母與孩子的人臉圖像中提取深度特征，經(jīng)過特征融合后使用鑒別器得到親屬關(guān)系驗(yàn)證結(jié)果。算法在公開親屬關(guān)系數(shù)據(jù)集KinFaceW上進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果表明，本文方法在親屬關(guān)系驗(yàn)證的準(zhǔn)確率上有良好的表現(xiàn)。

關(guān)鍵詞：親屬關(guān)系驗(yàn)證;深度特征;空洞卷積;特征融合

中圖分類號(hào)：TP391? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2021）18-0071-05

Abstract： In this paper， the kinship verification method based on deep learning is deeply studied， and aiming at the problem of small receptive field caused by the large difference between face image and other natural images， a kinship verification method based on atrous convolution neural network is proposed， residual atrous convolutions neural network （RDCN Net） is constructed， the depth features are extracted from the face images of parents and children respectively， and the kinship verification results are obtained by using the discriminator after feature fusion. The algorithm is tested on the open kinship dataset KinFaceW. The experimental results show that the proposed method has good performance in the accuracy of kinship verification.

Keywords： kinship verification; deep feature; atrous convolution; feature fusion

0? 引? 言

基于人臉圖像的親屬關(guān)系驗(yàn)證是受遺傳學(xué)、心理學(xué)[1-5]啟發(fā)從而得到在計(jì)算機(jī)視覺上的一個(gè)研究方向，是指通過對(duì)給定的一對(duì)父母及子女的人臉圖像進(jìn)行相似度比對(duì)，從而得到雙方是否具有某種親屬關(guān)系。親屬關(guān)系驗(yàn)證技術(shù)在社會(huì)中有著廣泛的應(yīng)用前景，如在安全領(lǐng)域可以通過分析父母與孩子的圖像，結(jié)合遍布各個(gè)區(qū)域的攝像頭用于尋找走失的兒童、打擊相關(guān)犯罪活動(dòng)等。在社交領(lǐng)域，可以進(jìn)行相冊(cè)分類、成長(zhǎng)記錄、分析孩子行為等應(yīng)用。

現(xiàn)有的親屬關(guān)系驗(yàn)證方法主要分為三類：基于特征的方法、基于模型的方法，和基于深度學(xué)習(xí)的方法。基于特征的方法主要基于低級(jí)特征使用一些手工制作的特征并使用傳統(tǒng)的分類器來驗(yàn)證親屬關(guān)系。基于模型的方法往往通過學(xué)習(xí)一個(gè)有效的模型來判斷主體之間是否存在親緣關(guān)系，所學(xué)的模型可以增大親屬對(duì)之間的距離并縮小非親屬對(duì)之間的距離。基于深度學(xué)習(xí)的方法主要通過提取圖像的深度特征，并對(duì)深度特征進(jìn)行分析從而得到親屬關(guān)系驗(yàn)證結(jié)果。這三種方式所得到的準(zhǔn)確率也是從低到高依次遞增。

目前，隨著深度學(xué)習(xí)的飛速發(fā)展和硬件計(jì)算的巨大進(jìn)步，研究者們已經(jīng)提出了許多基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的圖像處理方法，并取得了令人鼓舞的表現(xiàn)。但是卷積神經(jīng)網(wǎng)絡(luò)也存在一些問題，深層的卷積網(wǎng)絡(luò)感受野比較小，會(huì)忽視整體與部分之間的聯(lián)系，有著平移不變性，而空洞卷積能夠有效地避免這類問題。鑒于此，根據(jù)現(xiàn)有的深度學(xué)習(xí)網(wǎng)絡(luò)，本文提出一種基于空洞卷積神經(jīng)網(wǎng)絡(luò)的親屬關(guān)系驗(yàn)證方法，構(gòu)建了殘差空洞卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)一步增加了鑒別模型的魯棒性。針對(duì)親屬關(guān)系驗(yàn)證任務(wù)展開了以下工作：

（1）結(jié)合殘差網(wǎng)絡(luò)[6]的思想，在增加RDCN網(wǎng)絡(luò)層數(shù)同時(shí)，既增加了網(wǎng)絡(luò)的性能，又防止出現(xiàn)梯度彌散和梯度爆炸情況。

（2）使用空洞卷積層組建神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，能夠避免卷積網(wǎng)絡(luò)的感受野小和平移不變性等缺陷。

1? 相關(guān)工作

1.1? 親屬關(guān)系驗(yàn)證

2010年，F(xiàn)ang等[7]首先提出了基于人臉圖像的親屬關(guān)系驗(yàn)證。他們選擇使用了一些可被繼承的低級(jí)特征，包括顏色、人臉各個(gè)部位的距離和HoG特征，然后利用k-最鄰近法和支持向量機(jī)來進(jìn)行親屬關(guān)系驗(yàn)證。最近幾年，研究人員對(duì)親屬關(guān)系驗(yàn)證任務(wù)有了進(jìn)一步的研究并提出了許多新穎的方法[8-12]。如Lu等[13]提出了鄰域排斥度量學(xué)習(xí)（NRML）方法，通過測(cè)量樣本的度量，即在新的特征映射空間中，具有親屬關(guān)系的樣本的距離可以盡可能小，沒有親屬關(guān)系的樣本距離盡可能的大，通過樣本的距離來判斷是否具有親屬關(guān)系。Zhou等[14]提出了一種可擴(kuò)展的相似度學(xué)習(xí)方法，該方法通過截?cái)嗵荻鹊姆椒▽W(xué)習(xí)了一個(gè)對(duì)角雙線性相似模型，該模型對(duì)于具有高維度的親屬關(guān)系數(shù)據(jù)集在擴(kuò)展性和計(jì)算效率方面的有著巨大的優(yōu)勢(shì)。Zhou等[11]提出一個(gè)自適應(yīng)網(wǎng)絡(luò)（KinNet），KinNet將通過使用有限的標(biāo)記數(shù)據(jù)，在一個(gè)有監(jiān)督的度量學(xué)習(xí)框架中學(xué)習(xí)一個(gè)魯棒性的親屬度量。通過這個(gè)度量來判斷樣本之間是否具有親屬關(guān)系。在深度學(xué)習(xí)方面，Zhang等[10]設(shè)計(jì)了一個(gè)使用深度卷積神經(jīng)網(wǎng)絡(luò)提取高級(jí)特征進(jìn)行親屬關(guān)系驗(yàn)證的框架，通過提取樣本的深度特征，來判斷是否具有親屬關(guān)系。而Nandy[15]使用深度孿生網(wǎng)絡(luò)來驗(yàn)證親緣關(guān)系，孿生網(wǎng)絡(luò)通過參數(shù)共享的形式，利用表征卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，有效提高識(shí)別準(zhǔn)確率和識(shí)別速度。gzslib202204051123

1.2? 殘差網(wǎng)絡(luò)

隨著深度學(xué)習(xí)方法的普及，人們使用的神經(jīng)網(wǎng)絡(luò)的寬度和深度在不斷地加深，通過這種方式能夠有效地提高模型的性能，同時(shí)也帶了一些其他問題，僅僅通過簡(jiǎn)單地增加深度，會(huì)出現(xiàn)網(wǎng)絡(luò)退化，產(chǎn)生過擬合現(xiàn)象，導(dǎo)致精度降低，同時(shí)出現(xiàn)梯度彌散和梯度爆炸[16，17]。為了解決這種情況，He等[6]提出了殘差的概念，殘差網(wǎng)絡(luò)由若干個(gè)殘差單元構(gòu)成，殘差單元可以以跳躍連接的形式實(shí)現(xiàn)。即把殘差單元的輸入直接與輸出加在一起，解決了過擬合等問題。

1.3? 空洞卷積

卷積網(wǎng)絡(luò)最初是為分類手寫數(shù)字[18]而開發(fā)的，到后來的應(yīng)用越來越廣泛，使用卷積網(wǎng)絡(luò)的過程通常是用卷積或池化操作來得到非常小的高緯度特征圖，再利用這些高緯度特征圖去解決相關(guān)問題。但是這樣的操作會(huì)丟失大量的細(xì)節(jié)信息，如一張圖像上，同時(shí)存在人臉的各種特征，如嘴巴在眼睛上方，耳朵朝向同一個(gè)方向，圖像是由多張人臉拼湊而成的，此時(shí)僅通過卷積操作，會(huì)被認(rèn)為是一個(gè)人臉，而不是多張人臉。這是因?yàn)榫矸e和池化操作會(huì)導(dǎo)致感受野非常小，無法感知到整張圖像。此時(shí)，使用空洞卷積[19]，代替常規(guī)的卷積操作，能夠有效地增加卷積核的感受野，對(duì)人臉信息更加敏感，防止了誤認(rèn)等情況的出現(xiàn)。

2? 殘差空洞卷積神經(jīng)網(wǎng)絡(luò)模型

本文設(shè)計(jì)了一種基于空洞卷積和殘差思想的殘差空洞卷積神經(jīng)網(wǎng)絡(luò)（RDCN）模型用于親屬關(guān)系驗(yàn)證，該網(wǎng)絡(luò)使用空洞卷積代替常規(guī)卷積，并組成了殘差結(jié)構(gòu)。先利用網(wǎng)絡(luò)提取具有鑒別力的深度特征，再使用鑒別器鑒別輸入的樣本對(duì)是否具有親屬關(guān)系。整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

2.1? 殘差空洞卷積模型

具有親屬關(guān)系的父母和子女在面部特征上往往表現(xiàn)出較強(qiáng)的相似性。在使用人臉圖像進(jìn)行親屬關(guān)系驗(yàn)證時(shí)，若使用普通卷積可能會(huì)導(dǎo)致感受野小，容易出現(xiàn)誤判等情況，于是本文使用空間卷積，增加感受野，如圖2所示，2（a）為普通卷積，右側(cè)有空洞卷積，可以看出，在空洞卷積擴(kuò)張率設(shè)置為1的情況下，感受野的范圍便增加了一倍。

因此，本文使用空洞卷積代替普通卷積，并借助殘差網(wǎng)絡(luò)結(jié)構(gòu)的思想，構(gòu)建了3個(gè)殘差單元。殘差單元如圖2（b）所示，每個(gè)殘差單元由2個(gè)3×3的空洞卷積構(gòu)成，每個(gè)卷積之后都增加了ReLU作為激活函數(shù)，并使用Batch Normalization層對(duì)數(shù)據(jù)進(jìn)行歸一化處理。

2.2? 親屬關(guān)系鑒別方法

在親屬關(guān)系鑒別中，首先找出在數(shù)據(jù)集中隱藏的FamilyID信息。具體來說，具有親屬關(guān)系的一對(duì)人臉圖像分別標(biāo)記相同的Family ID，而不具備親屬關(guān)系的一對(duì)人臉圖像分別標(biāo)記不同的Family ID，這些Family ID可以作為輔助信息用于網(wǎng)絡(luò)模型的訓(xùn)練。

之后使用RDCN進(jìn)行親屬關(guān)系驗(yàn)證。如圖3所示，使用兩個(gè)共享權(quán)值的分支分別提取輸入的人臉圖像的特征，得到父母和孩子人臉圖像的特征圖?；谏弦徊襟E得到的特征圖進(jìn)行兩類處理，第一類處理是利用特征圖結(jié)合Family ID進(jìn)行輔助訓(xùn)練;另一類將提取的特征通過組合運(yùn)算和拼接的方式進(jìn)行融合。將融合后的特征輸入到一個(gè)由全連接層構(gòu)成的鑒別器中，量化兩個(gè)圖像，得到相似度評(píng)分，通過設(shè)置閾值t，可以得到最終的預(yù)測(cè)結(jié)果，即有親屬關(guān)系或者無親屬關(guān)系（即1或0），最終預(yù)測(cè)值定義如式（1）所示。

RDCN網(wǎng)絡(luò)的具體結(jié)構(gòu)如表1所示，F(xiàn)c1和Fc2作為鑒別器。在Fc1后增加了Dropout[20]層，用于消除網(wǎng)絡(luò)可能會(huì)產(chǎn)生的擬合現(xiàn)象。

2.3? 損失函數(shù)

本文使用了Triplet loss和Binary Cross Entropy（BCE） loss損失函數(shù)用于訓(xùn)練網(wǎng)絡(luò)。

Triplet損失函數(shù)結(jié)合FamilyID，目的是增強(qiáng)類內(nèi)（有親屬關(guān)系）的緊湊性和類間（無親屬關(guān)系）的可分離性。Triplet損失函數(shù)定義為：

x是當(dāng)前樣本特征，y是同類樣本特征，z是不同類樣本特征，其中d（·）表示兩個(gè)樣本之間歐式距離。α是預(yù)先設(shè)置好的邊界值。

BCE loss旨在優(yōu)化結(jié)合真實(shí)親屬標(biāo)簽的網(wǎng)絡(luò)。BCE損失函數(shù)定義為：

其中，q是目標(biāo)標(biāo)簽，取值為0或1。取值為1表示圖像之間有親屬關(guān)系，取值為0表示圖像之間沒有親屬關(guān)系。p為Sigmoid激活函數(shù)得到的預(yù)測(cè)值。

網(wǎng)絡(luò)的損失函數(shù)定義為這兩個(gè)損失函數(shù)之和，如式（4）所示：

3? 實(shí)驗(yàn)與結(jié)果分析

3.1? 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

本文使用了公開的KinFaceW[21]數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證，該數(shù)據(jù)集由KinFaceW-I和KinFaceW-II兩個(gè)子集構(gòu)成。數(shù)據(jù)集中的圖像來源于互聯(lián)網(wǎng)，包括一些公眾人物及其子女的照片。人臉圖像是在不受約束的環(huán)境下采集的，因此圖像受光線等參數(shù)的影響。此外，人臉圖像均已按照眼睛的坐標(biāo)進(jìn)行對(duì)齊并做了裁剪處理，圖像大小均為64×64，KinFaceW-II數(shù)據(jù)集中部分?jǐn)?shù)據(jù)及其親屬關(guān)系如圖4所示。

KinFaceW-I數(shù)據(jù)集包含4種不同親屬關(guān)系的圖像：父親和兒子（FS），父親和女兒（FD），母親和女兒（MD），母親和兒子（MS）。這四種關(guān)系的圖像對(duì)數(shù)分別為134、156、127、116，共計(jì)1 066張圖像。該數(shù)據(jù)集中每對(duì)人臉圖像均采集于不同的照片，因此圖像的光照、清晰程度有些許差異。

KinFaceW-II數(shù)據(jù)集也同樣包含父親與兒子（FS）、父親與女兒（FD）、母親與兒子（MD）、母親與女兒（MS）4種不同親屬關(guān)系的圖像數(shù)據(jù)集由，每種親屬關(guān)系包含250對(duì)圖像，數(shù)據(jù)集中總共有2 000張圖像。該數(shù)據(jù)集中每對(duì)人臉圖像均采集于同一張照片，具有更好的可比性。

3.2? 訓(xùn)練與參數(shù)設(shè)置gzslib202204051124

本文的訓(xùn)練參數(shù)設(shè)置如下：RDCN模型的優(yōu)化器選用Adam，學(xué)習(xí)率設(shè)置為0.000 25，權(quán)值衰減設(shè)置為0.005，損失函數(shù)使用Tripletloss+Kin loss。使用交叉驗(yàn)證方法，將數(shù)據(jù)集盡可能等分成5折，其中4折用來訓(xùn)練，1折用來測(cè)試。每折由相同數(shù)量的正樣本和負(fù)樣本構(gòu)成，正樣本是一對(duì)有親屬關(guān)系的父母和孩子，負(fù)樣本是由在本折中的不具有親屬關(guān)系的樣本隨機(jī)組合構(gòu)成。進(jìn)行5次實(shí)驗(yàn)，每次實(shí)驗(yàn)迭代次數(shù)為200次，閾值 設(shè)置為0.5。每次實(shí)驗(yàn)都會(huì)得出相應(yīng)的準(zhǔn)確率，最后將5次實(shí)驗(yàn)結(jié)果取平均值作為最終的實(shí)驗(yàn)結(jié)果。

本文為了驗(yàn)證算法的有效性，將本文提出的算法與一些最先進(jìn)的方法GA[21]，DMML[22]，MPDFL[23]，MPDFL[23]，IML[22]等算法進(jìn)行了比較，在KinFaceW-I數(shù)據(jù)集的精度比較如表2所示，在KinFaceW-II數(shù)據(jù)集的精度比較如表3所示。分析表2和表3可得出分析結(jié)果，在FS、FD、MD和MS四個(gè)子數(shù)據(jù)集上，本文所提出方法的準(zhǔn)確性得到了顯著提高。GA方法的準(zhǔn)確度與本文的方法最接近?？梢钥闯霰疚乃岢龅姆椒ㄔ贙inFaceW-I數(shù)據(jù)集中的平均準(zhǔn)確率達(dá)到80.8%，與表現(xiàn)最好的GA方法相比，至少提高了6.3%=（80.8%-74.5%）。同時(shí)在KinFaceW II數(shù)據(jù)集上的平均準(zhǔn)確率達(dá)到88.2%，與GA方法相比，提高了6.0%=（88.2%-82.2%）。通過實(shí)驗(yàn)比較，可以發(fā)現(xiàn)，空洞卷積能夠有效地提高親屬關(guān)系識(shí)別的準(zhǔn)確率。

4? 結(jié)? 論

本文提出了一種親屬關(guān)系驗(yàn)證方法：殘差空洞卷積神經(jīng)網(wǎng)絡(luò)（RDCN），該網(wǎng)絡(luò)使用了空洞卷積替代卷積網(wǎng)絡(luò)，并結(jié)合殘差的思想用于特征提取?；诖嗽O(shè)計(jì)，獲得更具辨別力的深層特征，將其用于親屬關(guān)系驗(yàn)證獲得更優(yōu)異的結(jié)果。本文的方法在公共親屬關(guān)系數(shù)據(jù)集KinFaceW上進(jìn)行了測(cè)試。實(shí)驗(yàn)結(jié)果表明，親屬關(guān)系驗(yàn)證的準(zhǔn)確性得到了顯著提高。在未來，我們的網(wǎng)絡(luò)將進(jìn)一步優(yōu)化，并將考慮不同的因素，如照明、表情、年齡、性別、屏蔽，以提升親屬關(guān)系驗(yàn)證的精度。

參考文獻(xiàn)：

[1] MARTELLO M F D，MALONEY L T. Where are kin recognition signals in the human face？ [J/OL].Journal of Vision，2006，6（12）：1356-1366.[2021-06-22].http：//journalofvision.org/6/12/2/.

[2] MARTELLO M F D，MALONEY L T. Lateralization of kin recognition signals in the human face [J/OL].Journal of vision，2010，10（8）：1-10.[2021-06-22].http：//www.journalofvision.org/content/10/8/9.

[3] DEBRUINE L M，SMITH F G，Jones B C，et al. Kin recognition signals in adult faces [J].Vision Research，2009，49（1）：38-43.

[4] MALONEY L T，MARTELLO M F D. Kin recognition and the perceived facial similarity of children [J/OL].Journal of Vision，2006，6（10）：1047-1056.[2021-06-22].http：//journalofvision.org/6/10/4/.

[5] ALVERGNE A，PERREAU F，MAZUR A，et al.Identification of visual paternity cues in humans [J/OL].Biology letters，2014，10（4）：1-4.[2021-06-22].https：//doi.org/10.1098/rsbl.2014.0063.

[6] HE K M，ZHANG Y，REN S Q，et al. Deep Residual Learning for Image Recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：770-778.

[7] FANG R，TANG K D，SNAVELY N，et al. Towards computational models of kinship verification [C]//2010 IEEE International Conference on Image Processing.Hong Kong：IEEE，2010：1577-1580.

[8] CHEN X P，ZHU X K，ZHENG S S，et al. Semi-Coupled Synthesis and Analysis Dictionary Pair Learning for Kinship Verification [J].IEEE Transactions on Circuits and Systems for Video Technology，2021，31（5）：1939-1952.

[9] LU J W，LIONG V E，ZHOU X Z，et al. Learning Compact Binary Face Descriptor for Face Recognition [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（10）：2041-2056.gzslib202204051124

[10] ZHANG K H，HUANG Y Z，SONG C F，et al. Kinship Verification with Deep Convolutional Neural Networks [C]//Proceedings of the British Machine Vision Conference（BMVC）Swansea，Swansea：BMVA Press，2015：148.1-148.12.

[11] ZHOU X Z，JIN K，XU M，et al. Learning Deep Compact Similarity Metric for Kinship Verification from Face Images [J].Information Fusion，2019，48：84-94.

[12] YU J，LI M Y，HAO X L，et al. Deep Fusion Siamese Network for Automatic Kinship Verification [J/OL].arXiv：2006.00143 [cs.CV].[2021.06-22].https：//arxiv.org/abs/2006.00143v2.

[13] LU J W，ZHOU X Z，TAN Y P，et al. Neighborhood Repulsed Metric Learning for Kinship Verification [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（2）：331-345.

[14] ZHOU X Z，YAN H B，SHANG Y Y. Kinship verification from facial images by scalable similarity fusion [J].Neurocomputing，2016，197：136-142.

[15] NANDY A，MONDAL S S. Kinship Verification using Deep Siamese Convolutional Neural Network [C]//International Conference on Automatic Face and Gesture Recognition.Lille：[s.n.]，2019：1-5.

[16] BENGIO Y，SIMARD P，F(xiàn)RASCONI P. Learning long-term dependencies with gradient descent is difficult [J].IEEE Transactions on Neural Networks，1994，5（2）：157-166.

[17] GLOROT X， BENGIO Y. Understanding the difficulty of training deep feedforward neural networks [J].Journal of Machine Learning Research，2010，9：249-256.

[18] LECUN Y，BOSER B E，DENKER J S，et al. Backpropagation applied to handwritten zip code recognition [J].Neural computation，1989，1（4）：541-551.

[19] YU F，KOLTUN V，F(xiàn)UNKHOUSER T. Dilated Residual Networks [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Honolulu：IEEE，2017：636-644.

[20] HINTON G E，SRIVASTAVA N，KRIZHEVSKY A，et al.Improving neural networks by preventing co-adaptation of feature detectors [J/OL].arXiv：1207.0580 [cs.NE].[2021-06-22].https：//arxiv.org/abs/1207.0580.

[21] DEHGHAN A，ORTIZ E G，VILLEGAS R，et al. Who Do I Look Like？ Determining Parent-Offspring Resemblance via Gated Autoencoders [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Columbus：IEEE，2014：1757-1764.

[22] YAN H B，LU J W，DENG W H，et al. Discriminative Multimetric Learning for Kinship Verification [J].IEEE Transactions on Information Forensics and Security，2014，9（7）：1169-1178.

[23] YAN H B，LU J W，ZHOU X Z. Prototype-Based Discriminative Feature Learning for Kinship Verification [J].IEEE Transactions on Cybernetics，2015，45（11）：2535-2545.