秦曉倩，譚曉陽，陳松燦

1.南京航空航天大學(xué)計算機科學(xué)與技術(shù)學(xué)院，南京2100162.淮陰師范學(xué)院城市與環(huán)境學(xué)院，江蘇淮安223300

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(04)-0524-09

?

基于大間隔雙線性分類器進(jìn)行親子關(guān)系驗證*

秦曉倩1,2，譚曉陽1+，陳松燦1

1.南京航空航天大學(xué)計算機科學(xué)與技術(shù)學(xué)院，南京210016
2.淮陰師范學(xué)院城市與環(huán)境學(xué)院，江蘇淮安223300

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(04)-0524-09

E-mail: fcst@vip.163.com

http://www.ceaj.org

Tel: +86-10-89056056

* The National Natural Science Foundation of China under Grant No. 61373060 (國家自然科學(xué)基金); the Natural Science Foundation of Jiangsu Province under Grant No. BK2012793 (江蘇省自然科學(xué)基金); the Specialized Research Fund for the Doctoral Program of Higher Education of China under Grant No. 20123218110033 (高等學(xué)校博士學(xué)科點專項科研基金); the Natural Science Foundation of the Jiangsu Higher Education Institutions under Grant No. 13KJD520002 (江蘇省屬高校自然科學(xué)基金).

Received 2015-05,Accepted 2015-07.

CNKI網(wǎng)絡(luò)優(yōu)先出版: 2015-07-10, http://www.cnki.net/kcms/detail/11.5602.TP.20150710.1711.002.html

摘要：目前機器學(xué)習(xí)算法已經(jīng)能夠很好地理解單張人臉圖像，但是探究多個主體之間的關(guān)系仍然是計算機視覺領(lǐng)域的一大挑戰(zhàn)。父母-孩子關(guān)系是家庭關(guān)系的核心部件，研究這一關(guān)系對促進(jìn)人工智能加深對人類社會的理解有重要影響。為此，通過在互聯(lián)網(wǎng)上搜索名人及其家人的照片建立了一個目前最大的親子關(guān)系圖像數(shù)據(jù)庫LKFW （labeled KinFace in the wild）?；诖箝g隔雙線性分類器（large margin bilinear classifier，LMBC）進(jìn)行親子關(guān)系驗證，其中包括從相似性度量、分類器設(shè)計這兩個方面來探究孩子和父母之間的空間結(jié)構(gòu)依賴關(guān)系。算法借助嵌入核的二次規(guī)劃進(jìn)行求解，在KinFaceW和LKFW親子關(guān)系數(shù)據(jù)庫上都達(dá)到了比最好性能更好或相當(dāng)?shù)男阅堋?/p>

關(guān)鍵詞：親子驗證；雙線性分類器；人臉驗證

1　引言

使用人臉圖像進(jìn)行親子關(guān)系驗證是計算機視覺領(lǐng)域近期出現(xiàn)的一個新興而富有挑戰(zhàn)的問題。所謂親子關(guān)系指的是父子、父女、母子和母女關(guān)系。親子關(guān)系驗證的應(yīng)用包括基于人臉圖像的逃犯身份確認(rèn)，提高人臉識別的性能[1-2]，社會媒體分析[3]和尋找失蹤兒童[4]等。

對親子關(guān)系進(jìn)行驗證這一問題其實是受計算機視覺領(lǐng)域中一般的人臉驗證任務(wù)觸發(fā)。最近的研究表明，機器學(xué)習(xí)算法已經(jīng)能夠很好地理解單張人臉圖像，在LFW數(shù)據(jù)庫上，人臉驗證的性能已經(jīng)達(dá)到了比人還要高的99.15%[5]。但是，直接將現(xiàn)有的針對單主體人臉的技術(shù)用于處理多實體關(guān)系的人臉識別存在很大問題，主要原因是在親子驗證任務(wù)中給定的兩張人臉有可能具有不同的性別和年齡，研究人員面對的任務(wù)正是要驗證這樣具有不同性別和年齡的主體是否具備父女或者母子關(guān)系。

第一個進(jìn)行親子關(guān)系驗證的是Fang等人[6]，他們首先定位到人臉上的關(guān)鍵部位，然后抽取出諸如灰度值、皮膚顏色、梯度直方圖等特征，最后使用KNN （K-nearest neighbor）分類器進(jìn)行人臉圖像對的驗證。

除了使用上述特征進(jìn)行親子驗證之外，研究者們還使用了各種其他的特征，包括表示眼睛、嘴巴和鼻子等局部塊匹配度的DAISY特征[4]，基于空間金字塔的特征描述子[7]和屬性[8]等。而文獻(xiàn)[9]則借助從LFW中抽取的輔助數(shù)據(jù)集來構(gòu)造新的親子關(guān)系圖像的特征表達(dá)。

文獻(xiàn)[10-11]融合了多種特征表示親子人臉圖像。Xia等人[12-13]使用遷移學(xué)習(xí)的方法進(jìn)行親子關(guān)系驗證，該方法基礎(chǔ)是，相較于年老父母，孩子更傾向于和年輕父母有更加相似的外觀?；诖擞^察，他們利用父母年輕時的圖像作為孩子和年老父母圖像的橋梁。但在實際應(yīng)用中，獲得父母年輕時的圖像是較為困難的。

最近，Lu等人[14]提出了基于鄰域的度量學(xué)習(xí)方法（neighborhood repulsed metric learning，NRML），該方法通過學(xué)習(xí)獲得一個度量，在此度量下那些具有親子關(guān)系的圖像被拉近，而那些在鄰域內(nèi)不具有親子關(guān)系的圖像被推遠(yuǎn)。

針對親子關(guān)系驗證問題，研究者們創(chuàng)建了一些用于評價算法性能的公開數(shù)據(jù)庫，這些數(shù)據(jù)庫中的圖像都來自于網(wǎng)絡(luò)且包含4種親子關(guān)系。目前已知公開的親子數(shù)據(jù)庫有KinFaceW-I[14]、KinFaceW-II[14]、CornellKin[6]和UB KinFace[13]數(shù)據(jù)庫，分別有533對、1 000對、150對和90對親子圖像。

本文通過在互聯(lián)網(wǎng)上搜索名人及其家人的照片構(gòu)建一個目前最大的親子關(guān)系圖像數(shù)據(jù)庫LKFW （labeled KinFace in the wild）。使用大間隔雙線性分類器（large margin bilinear classifier，LMBC）進(jìn)行親子關(guān)系驗證。本文方法的主要思想是使用雙線性函數(shù)來度量父母和子女的相似度，并將具有親子關(guān)系的圖像對和那些沒有親子關(guān)系的圖像對盡量分開。算法借助嵌入核的二次規(guī)劃進(jìn)行求解，優(yōu)勢在于實現(xiàn)起來較為簡單。

2　親子數(shù)據(jù)庫

目前已經(jīng)公開的親子數(shù)據(jù)庫中，KinFaceW-II[14]包含的親子圖像對數(shù)最多，但其中每對親子主體對象都來自于同一張圖像，在此數(shù)據(jù)庫上獲得的模型可能存在一定偏好，因為親子圖像具有相似的光照條件，而非親子圖像的光照條件明顯不同，這將直接影響最終分類器的性能，在后面的實驗中將看到這一點。除此之外，在實際應(yīng)用中，無法保證要驗證的主體對象來自同一張圖像。

其次，目前所有的對親子數(shù)據(jù)庫中包含的關(guān)系都限定于父子、父女、母子和母女，缺少父母-兒子或父母-女兒這樣的核心家庭結(jié)構(gòu)。而在現(xiàn)實生活中，如在進(jìn)行失蹤兒童身份確認(rèn)時往往會有父母雙方的圖像，因此沒有任何理由拒絕考慮這種核心家庭結(jié)構(gòu)關(guān)系。

針對上述兩個問題，通過搜索明星、政客等及其父母或孩子的照片創(chuàng)建了一個公開親子數(shù)據(jù)庫LKFW。和LFW相類似，在圖像收集過程中，對姿態(tài)、光照、表情、背景、人種等沒有施加任何約束條件，也沒有限制具有親子關(guān)系的主體對象來自于同一張圖像。另外，根據(jù)日常生活觀察，孩子在年幼時的面部外觀變化較大，在收集親子圖像時沒有對孩子的年齡情況進(jìn)行特殊的限定。最終，收集到1 232個人的圖像。

為了進(jìn)行親子關(guān)系驗證，首先使用人臉檢測器在原始圖像上標(biāo)出人臉并人工標(biāo)注出人眼的位置。再將圖像規(guī)整化為64×64像素的灰度圖。圖1展示了數(shù)據(jù)庫的收集過程和最終數(shù)據(jù)庫中包含的圖像對/組示例。圖中F、M、S和D分別表示父親、母親、兒子和女兒。

LKFW數(shù)據(jù)庫不僅包含對親子關(guān)系而且還有父母-孩子的組核心家庭關(guān)系，因此該數(shù)據(jù)庫不僅可以被用來進(jìn)行對親子關(guān)系學(xué)習(xí)，也可以被用于分析探討組核心家庭關(guān)系。表1比較了LKFW數(shù)據(jù)庫和其他幾個數(shù)據(jù)庫。

Fig.1 Process of constructing LKFW and some image examples of database圖1　LKFW收集的過程和包含的圖像對/組示例

經(jīng)統(tǒng)計，本文創(chuàng)建的LKFW數(shù)據(jù)庫包含的父子、父女、母子和母女關(guān)系各有308、272、226和231對。另外，還基于主體對象的人種信息對每種親子關(guān)系進(jìn)行了劃分，圖2展示了LKFW的統(tǒng)計信息。

Table 1 Comparison of LKFW database and other kinship databases表1　LKFW和其他親子數(shù)據(jù)庫的比較

3　親子驗證模型

一般的人臉識別問題旨在衡量同一個主體的不同圖像之間的相似度。但是親子驗證的研究對象是兩個或多個不同的主體，而這些主體又可能具有不同的性別（如父女關(guān)系和母女關(guān)系），年齡跨度也較大。為了挖掘出父母和子女之間的空間結(jié)構(gòu)關(guān)系，考慮用大間隔雙線性分類器來解決這一問題。方法的核心思想是使用雙線性函數(shù)來度量父母和子女的相似性，這樣做的優(yōu)勢是能充分考查二者的特征空間關(guān)系，另外模型能有效地使用嵌入核的二次規(guī)劃求解。

3.1大間隔雙線性分類模型

大間隔雙線性分類模型如下所示：

其中，S表示N對親子圖像訓(xùn)練集；xi, yi∈Rd是第i對親子圖像對中的父母和孩子圖像的列向量特征；zi表示第i對圖像的標(biāo)號，用1表示(xi, yi)圖像對具有親子關(guān)系，用-1表示(xi, yi)圖像對不具有親子關(guān)系。需要說明的是，一對親子圖像可能來自不同的圖像，因此一對圖像之間的年齡差距不可能完全真實地代表實際生活中的親子年齡差距，從而假設(shè)已知每張圖像在對關(guān)系中扮演的角色。

模型的目標(biāo)是要學(xué)習(xí)一個轉(zhuǎn)換矩陣，在此轉(zhuǎn)換矩陣的作用下，xi, yj(i=j)被判為正類，xi, yj(i≠j)被判為負(fù)類。本文的大間隔雙線性分類模型如下：

其中，W是一個d×d的矩陣；C是平衡參數(shù)，用以平衡模型在訓(xùn)練集上的性能和推廣能力；ξi是松弛變量；||·||F表示F范數(shù)；dw(xi, yi)用于衡量圖像對(xi, yi)的相似度，具體而言，使用dw(xi, yi)=xiTWyi。

3.2模型的優(yōu)化求解

本文用二次規(guī)劃來求解模型，其基本思想是首先將原問題轉(zhuǎn)換為對偶問題。

Fig.2 Statistical information of LKFW database圖2　LKFW數(shù)據(jù)庫的統(tǒng)計信息

式（1）的拉格朗日表達(dá)式為：

其中，αi和βi是拉格朗日乘子。在分別對W、b和ξi求導(dǎo)后，獲得：

現(xiàn)在，式（1）的對偶形式為：

式（6）是典型的二次規(guī)劃問題，并且通過觀察發(fā)現(xiàn)，其中的特征向量都是以內(nèi)積的形式出現(xiàn)，可以很容易地嵌入核。本文實驗中使用了高斯核。

優(yōu)化獲得了αi后，使用式（3）計算獲得W，再使用所有對應(yīng)的αi≠0的訓(xùn)練樣本來計算b。算法1列出了大間隔雙線性分類器模型的優(yōu)化求解流程。

算法1大間隔雙線性分類器（LMBC）

輸入：訓(xùn)練集S={(xi, yi, zi)| i=1, 2,…, N}，平衡參數(shù)C，高斯核函數(shù)的寬度參數(shù)γ。

輸出：轉(zhuǎn)換矩陣W和偏置b。

步驟1優(yōu)化式（6）中的二次規(guī)劃問題；

步驟2使用式（3）獲得W；

步驟3對所有的對應(yīng)的αi≠0的訓(xùn)練樣本，計算bi=xTiWyi

步驟4求bi的均值作為b。

步驟5輸出W和b。

3.3模型的時間復(fù)雜度分析

大間隔雙線性分類器模型的求解包括優(yōu)化式（6）中的二次規(guī)劃問題和W、b的計算。二次規(guī)劃問題的時間復(fù)雜度為O(N3)，計算W和b的時間復(fù)雜度為O(N)，因此算法的時間復(fù)雜度為O(N3)。

4　實驗

為了分析本文方法的性能，在LKFW和Kin-FaceW上與NRML[14]、PDFL[9]、PDFL+NRML[9]方法進(jìn)行了對比。下面是詳細(xì)的實驗結(jié)果。

4.1實驗設(shè)置

4.1.1特征表示

共抽取LBP[15]、LE[16]、SIFT[17]和TPLBP[18]4種特征來表示人臉圖像。每種特征的抽取方法和文獻(xiàn)[14]中的相同。

（1）LBP特征

每張人臉被劃分為大小為16×16像素且相互之間沒有重疊像素的4×4個塊，每個塊抽取256維的直方圖特征，因此一共有16個256維的特征向量，每張人臉最終被表示為一個4 096維的特征向量。

（2）LE特征

對人臉中的每個像素抽取它的鄰域像素作為該像素值的特征表示，在實驗中，抽取r×8個像素（r= 1，2）。對所有訓(xùn)練集上的這些向量，使用K-means將他們劃分為M個原型，每張人臉即可被編碼為一個M維的直方圖特征向量。為了更好地利用空間信息，在每張人臉上構(gòu)建多層金字塔序列形式的格子，每層將人臉劃分為2L塊，對每層的每塊人臉，抽取其LE特征，最終每張人臉的特征是這些向量的拼接。在實驗中，取M=200，L={0，2，4}，最終每張人臉被表示為4 200維的特征向量。

（3）SIFT特征

每張人臉被劃分為大小為16×16像素且相互之間的重疊像素為8的7×7個塊，每塊抽取128維的SIFT特征，因此每張人臉被表示為6 272維的特征向量。

（4）TPLBP特征

和LBP特征類似，每張人臉被劃分為大小為16×16像素且相互之間沒有重疊像素的4×4個塊。對每個塊中的每個像素，考慮以此像素為中心大小為3×3的塊和環(huán)繞在該塊周圍且距其為2個像素的8個塊。從每個塊中抽取出256維的直方圖特征，最終每張人臉表示為一個4 096維的特征向量。

4.1.2參數(shù)的設(shè)置

高斯核被用來作為對樣本之間的相似性度量，因為這種核比其他的核能獲得更好的性能。為了調(diào)節(jié)高斯核函數(shù)的寬度參數(shù)γ和模型中的平衡參數(shù)C，在訓(xùn)練集上使用了四折交叉驗證尋找最優(yōu)參數(shù)。最終，在LKFW數(shù)據(jù)庫上高斯核函數(shù)的寬度參數(shù)γ和平衡參數(shù)C分別設(shè)置為0.02和0.1。在KinFaceW數(shù)據(jù)庫上γ和C分別為0.01和0.2。NRML方法在LKFW數(shù)據(jù)庫上的參數(shù)設(shè)置為，鄰域大小k為5，投影特征維度為30，迭代次數(shù)為10。

4.2對親子關(guān)系的驗證

4.2.1LKFW數(shù)據(jù)庫上的實驗結(jié)果

為了評價算法在LKFW數(shù)據(jù)庫上的對親子關(guān)系驗證性能，在該庫上設(shè)計了一個類似于Kin-FaceW數(shù)據(jù)庫的驗證協(xié)議。將數(shù)據(jù)庫平均分為5個部分，每個部分包含的親子對數(shù)幾乎相同。最終的實驗結(jié)果使用五折交叉驗證方法。表2列出了LKFW數(shù)據(jù)庫的劃分情況。對每折中的人臉圖像，將所有已知的親子對看作正例。負(fù)例由那些不具備親子關(guān)系的人臉對構(gòu)成。在實驗中，將每張父或母的人臉圖像隨機地和一張不是其真實孩子的人臉圖像進(jìn)行配對構(gòu)造負(fù)例，并且限定每張人臉圖像在負(fù)例樣本中僅出現(xiàn)一次。

Table 2 Face number index of each fold of LKFW database表2　LKFW數(shù)據(jù)庫中每折的人臉號索引

表3比較了本文方法和NRML方法在LKFW數(shù)據(jù)庫上的結(jié)果。觀察發(fā)現(xiàn)：

（1）本文大間隔雙線性分類器方法比NRML方法要好，這說明通過將具有親子關(guān)系的主體對看作正例，將不具有親子關(guān)系的主體對看作負(fù)例，且用雙線性函數(shù)度量二者之間的相似度方法學(xué)習(xí)一個轉(zhuǎn)換矩陣是有效的。

（2）4種親子關(guān)系的驗證難易程度不同，其中父女關(guān)系和母女關(guān)系相對較難。在使用NRML方法時，其他3種親子關(guān)系中的最低分類精度比父女關(guān)系的分類精度分別高3.8%(LBP)、2.7%(LE)、1.8%(SIFT) 和0.4%(TPLBP)。而在使用大間隔雙線性分類器方法時，其他3種親子關(guān)系中的最低分類精度比母女關(guān)系的分類精度分別高0.9%(LBP)、-5.2%(LE)、0.6% (SIFT)和1.3%(TPLBP)。產(chǎn)生這種現(xiàn)象的原因有可能是女兒在外觀上和父母的相似性變化情況比兒子和父母的相似性變化情況復(fù)雜，這和早期的人類學(xué)研究成果[19]聲稱的內(nèi)容相吻合。

4.2.2KinFaceW數(shù)據(jù)庫上的實驗結(jié)果

表4和表5比較了本文大間隔雙線性分類器方法和NRML、PDFL、PDFL+NRML等幾種方法在Kin-FaceW-I和KinFaceW-II上的驗證精度。其中，NRML的驗證精度來自于文獻(xiàn)[14]，PDFL和PDFL+NRML的驗證精度來自于文獻(xiàn)[9]。觀察發(fā)現(xiàn)：

Table 3 Correct verification rates of kinship on LKFW database表3　在LKFW數(shù)據(jù)庫上對親子關(guān)系的驗證精度比較　%

Table 4 Correct verification rates of different methods on KinFaceW-I database表4　幾種方法在KinFaceW-I庫上的驗證精度比較　%

Table 5 Correct verification rates of different methods on KinFaceW-II database表5　幾種方法在KinFaceW-II庫上的驗證精度比較　%

（1）在使用相同特征的情況下，本文方法在兩個數(shù)據(jù)庫上大多能獲得比NRML方法更好的性能，說明了本文方法的有效性，并且本文方法在KinFaceW-I數(shù)據(jù)庫上獲得了最好的平均性能。而PDFL方法在KinFaceW-II數(shù)據(jù)庫上獲得了最好的平均性能，原因可能在于其所使用的特征是在借助從LFW數(shù)據(jù)庫上抽取的輔助數(shù)據(jù)集構(gòu)造的，根據(jù)以往在LFW人臉驗證的研究工作來看，輔助數(shù)據(jù)集可以提供一定的判別信息。

（2）幾種方法在KinFaceW-II上的性能要高于在KinFaceW-I上的分類精度。原因有兩個方面：首先，KinFaceW-II中的圖像對都來自于同一張圖像，而KinFaceW-I中的親子對圖像來自于不同的圖像，因此KinFaceW-II中的親子對具有相似的光照條件，驗證難度較小。其次，KinFaceW-II中的圖像對數(shù)量比較多，兩個子庫在同樣的特征維度下，KinFaceW-II上訓(xùn)練獲得的模型更傾向于具備良好的推廣性。

4.3組親子關(guān)系的驗證

為了進(jìn)一步探究孩子和父母雙方的空間結(jié)構(gòu)關(guān)系，本文做了另外一組實驗進(jìn)行組親子關(guān)系驗證。組親子關(guān)系的驗證目的是驗證給定的3張圖像中的主體對象是否具有父母-孩子關(guān)系。將使用LKFW數(shù)據(jù)庫中包含的302組家庭圖像實現(xiàn)這個目的，下面用LKFW-F來標(biāo)示這302組圖像子集。

和對親子關(guān)系驗證相類似，也設(shè)計了一個五折交叉驗證來評價算法的性能。在每折圖像中，考慮所有具有家庭關(guān)系的圖像組為正例，負(fù)例由每對夫妻和一個不是他們孩子的孩子角色圖像構(gòu)成。

在組親子關(guān)系驗證中，要探究的是3個主體之間的關(guān)系，這里采用的解決方案是使用父親-孩子和母親-孩子的相似度均值作為父母-孩子的相似度。最后，再使用線性支持向量機（support vector machine，SVM）作為最終的分類器。對大間隔雙線性分類器，使用同樣的策略。

表6比較了本文方法和NRML在SIFT特征下的組親子關(guān)系驗證性能。觀察發(fā)現(xiàn)：

Table 6 Correct verification rates of LMBC and NRML on LKFW-F database表6　大間隔雙線性分類器和NRML在LKFW-F子庫上的驗證精度　%

（1）兩種方法都獲得了較好的性能，說明使用父親-孩子和母親-孩子的相似度均值作為父母-孩子的相似度方法的可行性。而本文方法比NRML的均值高2.8%，再一次說明方法的有效性。

（2）兩種方法獲得的父母-女兒的驗證精度都比父母-兒子的精度要低，這與表3和表5的結(jié)論相似，但現(xiàn)在的數(shù)據(jù)庫只有302組家庭圖像，以后可以收集更大的家庭圖像數(shù)據(jù)庫來探究性別在外觀遺傳表現(xiàn)上的影響。

5　結(jié)束語

本文基于大間隔雙線性分類器進(jìn)行親子關(guān)系驗證，實驗表明本文方法能達(dá)到較好的驗證性能。親子關(guān)系驗證是計算機視覺領(lǐng)域中相對新興的問題，隨著研究的推進(jìn)，其將會不斷促進(jìn)人們對人類視覺系統(tǒng)工作原理的理解。

今后的工作包括挖掘和親子關(guān)系驗證相關(guān)的具有判別性信息的先驗知識，融合多種特征并通過獲取特征之間的互補性判別信息來進(jìn)一步提高模型的性能。

References:

[1] Wang Gang, Gallagher A, Luo Jiebo, et al. Seeing people in social context: recognizing people and social relationships [C]//LNCS 6315: Proceedings of the 11th European Conference on Computer Vision, Heraklion, Greece, Sep 5-11, 2010. Berlin, Heidelberg: Springer, 2010: 169-182.

[2] Shao Ming, Xia Siyu, Fu Yun. Identity and kinship relations in group pictures[M]//Human-Centered Social Media Analytics. Berlin, Heidelberg: Springer, 2014: 175-190.

[3] Zhou Xiuzhuang, Lu Jiwen, Hu Junlin. et al. Gabor-based gradient orientation pyramid for kinship verification under uncontrolled environments[C]//Proceedings of the 20th ACM International Conference on Multimedia, Nara, Japan, Oct 29-Nov 2, 2012. New York, USA:ACM, 2012: 725-728.

[4] Guo Guodong, Wang Xiaolong. Kinship measurement on salient facial features[J]. IEEE Transactions on Instrumentation and Measurement, 2012, 61(8): 2322-2325.

[5] Sun Yi, Wang Xiaogang, Tang Xiaoou. Deep learning face representation by joint identification-verification[J]. arXiv: 1406.4773, 2014.

[6] Fang Ruogu, Tang K D, Snavely N, et al. Towards computational models of kinship verification[C]//Proceedings of the 17th IEEE International Conference on Image Processing, Hong Kong, China, Sep 26- 29, 2010. Piscataway, USA: IEEE, 2010: 1577-1580.

[7] Zhou Xiuzhuang, Hu Junlin, Lu Jiwen, et al. Kinship verification from facial images under uncontrolled conditions [C]//Proceedings of the 19th ACM International Conference on Multimedia, Scottsdale, USA, Nov 28-Dec 1, 2011. New York, USA:ACM, 2011: 953-956.

[8] Xia Siyu, Shao Ming, Fu Yun. Toward kinship verification using visual attributes[C]//Proceedings of the 21st International Conference on Pattern Recognition, Tsukuba, Japan, Nov 11-15, 2012. Piscataway, USA: IEEE, 2012: 549-552.

[9] Yan Haibin, Lu Jiwen, Zhou Xiuzhuang. Prototype-baseddiscriminative feature learning for kinship verification[J]. IEEE Transactions on Cybernetics, 2014, 45(11): 2535-2545.

[10] Yan Haibin, Lu Jiwen, Deng Weihong, et al. Discriminative multi-metric learning for kinship verification[J]. IEEE Transactions on Information Forensics and Security, 2014, 9 (7): 1169-1178.

[11] Hu Junlin, Lu Jiwen, Yuan Junsong, et al. Large margin multimetric learning for face and kinship verification in the wild[C]//LNCS 9005: Proceedings of the 12th Asian Conference on Computer Vision, Singapore, Nov 1-5, 2014: 252-267.

[12] Xia Siyu, Shao Ming, Fu Yun. Kinship verification through transfer learning[C]//Proceedings of the 22nd International Joint Conference on Artificial Intelligence-Vol 3. Menlo Park, USA:AAAI, 2011: 2539-2544.

[13] Shao Ming, Kit D, Fu Yun. Generalized transfer subspace learning through low-rank constraint[J]. International Journal of Computer Vision, 2014, 109(1/2): 74-93.

[14] Lu Jiwen, Zhou Xiuzhuang, Tan Y-P, et al. Neighborhood repulsed metric learning for kinship verification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(2): 331-345.

[15] Ahonen T, Hadid A. Face description with local binary patterns: application to face recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28 (12): 2037-2041.

[16] Cao Zhimin, Yin Qi, Tang Xiaoou, et al. Face recognition with learning-based descriptor[C]//Proceedings of the 2010 IEEE International Conference on Computer Vision and Pattern Recognition. Piscataway, USA: IEEE, 2010: 2707-2714.

[17] Lowe D. Distinctive image features from scale- invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[18] Wolf L, Hassner T, Taigman Y. Descriptor based methods in the wild[C]//Proceedings of the European Conference on Computer Vision Workshop, 2008.

[19] Platek S M, Raines D M, Gallup Jr G G, et al. Reactions to children’s faces: males are more affected by resemblance than females are, and so are their brains[J]. Evolution and Human behavior, 2004, 25(6): 394-405.

QIN Xiaoqian was born in 1980. She is a Ph.D. candidate at Nanjing University of Aeronautics and Astronautics, and a lecturer at Huaiyin Normal University. Her research interests include computer vision and machine learning, etc.秦曉倩（1980—），女，江蘇淮安人，南京航空航天大學(xué)博士研究生，淮陰師范學(xué)院講師，主要研究領(lǐng)域為計算機視覺，機器學(xué)習(xí)等。發(fā)表學(xué)術(shù)論文9篇，主持江蘇省屬高校自然科學(xué)基金項目等。

TAN Xiaoyang was born in 1971. He received the Ph.D. degree in machine learning from Nanjing University in 2005. Now he is a professor and Ph.D. supervisor at Nanjing University of Aeronautics and Astronautics, and the senior member of CCF. His research interests include computer vision and machine learning, etc.

譚曉陽（1971—），男，重慶人，2005年于南京大學(xué)獲得博士學(xué)位，現(xiàn)為南京航空航天大學(xué)教授、博士生導(dǎo)師，CCF高級會員，主要研究領(lǐng)域為計算機視覺，機器學(xué)習(xí)等。

CHEN Songcan was born in 1961. He received the Ph.D. degree in communication and information systems from Nanjing University of Aeronautics and Astronautics in 1997. Now he is a professor and Ph.D. supervisor at Nanjing University of Aeronautics and Astronautics, and the senior member of CCF. His research interests include machine learning and pattern recognition, etc.

陳松燦（1961—），男，浙江寧波人，1997年于南京航空航天大學(xué)獲得博士學(xué)位，現(xiàn)為南京航空航天大學(xué)教授、博士生導(dǎo)師，CCF高級會員，主要研究領(lǐng)域為機器學(xué)習(xí)，模式識別等。

Kinship Verification Through Large Margin Bilinear Classifier?

QIN Xiaoqian1,2, TAN Xiaoyang1+, CHEN Songcan1
1. College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China
2. School of Urban and Environmental Sciences, Huaiyin Normal University, Huai’an, Jiangsu 223300, China

+ Corresponding author: E-mail: x.tan@nuaa.edu.cn

QIN Xiaoqian, TAN Xiaoyang, CHEN Songcan. Kinship verification through large margin bilinear classifier. Journal of Frontiers of Computer Science and Technology, 2016, 10(4): 524-532.

Abstract:Recent research has demonstrated that machine learning algorithms have understood individual face image fairly well. However, one major challenge in computer vision is to investigate the relationship among multiple visual entities. Indeed parents-child relationship plays a core role in a family and understanding such kind of kin relationship would have fundamental impact on the behavior of an artificial intelligent agent working in a human world. To address this issue, this paper collects by far the biggest kinship face database named LKFW (labeled KinFace in the wild) by searching public figures and family photos from the Internet. Then this paper presents a large margin bilinear classifier (LMBC) for kinship verification by effectively exploiting the dependence structure between child and parents in a few aspects: similarity measure and classifier design. In addition, the method can be solved as a quadratic programming problem and kernel is utilized. Extensive experiments on KinFaceW and LKFW kinship databases show that the pro-book=525,ebook=79posed method can obtain better or comparable results.

Key words:kinship verification; bilinear classifier; face verification

文獻(xiàn)標(biāo)志碼：A

中圖分類號：TP181

doi:10.3778/j.issn.1673-9418.1505063