藍(lán)凌 吳劍濱 侯亮

摘 ?要：人臉?biāo)孛枳R(shí)別是從一個(gè)大的人臉?biāo)孛钄?shù)據(jù)集識(shí)別人臉照片，它的主要挑戰(zhàn)在于不同模態(tài)之間的差異，為了解決這個(gè)問題，提出一種基于殘差網(wǎng)絡(luò)多任務(wù)度量學(xué)習(xí)的素描人臉識(shí)別框架。首先，對(duì)于減少不同模式之間特征的差異性問題，設(shè)計(jì)了一個(gè)三通道神經(jīng)網(wǎng)絡(luò)來提取照片模態(tài)和草圖模態(tài)的非線性特征，然后三個(gè)網(wǎng)絡(luò)的參數(shù)共享;其次，設(shè)計(jì)了多模Triplet Loss來約束公共空間中的特征，使模型在擴(kuò)大異類樣本距離的同時(shí)，減少素描人臉的同類差異。

關(guān)鍵詞：深度學(xué)習(xí);殘差網(wǎng)絡(luò);素描人臉識(shí)別;多模Triplet Loss

中圖分類號(hào)：TP391 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）21-0071-05

Sketch Face Recognition Based on Residual Network and Multi-mode Triplet Loss

LAN Ling1，WU Jianbin2，HOU Liang3

（1.Guangdong Beijiang Middle School，Shaoguan ?512026，China;2.Education Bureau of Wujiang District，Shaoguan City，Shaoguan ?512029，China;3.Shaoguan Public Security Bureau，Shaoguan ?512029，China）

Abstract：Face sketch recognition is to recognize face photos from a large face sketch data set，and its main challenge lies in the differences between different modes. In order to solve this problem，a sketch face recognition framework based on multi-task metric learning of residual network is proposed. First，for the problem of reducing the feature difference between different modes，the three-channel neural network is designed to extract the nonlinear characteristics of the photo mode and the sketch mode，and then the parameters of the three networks are shared. Secondly，a multi-mode Triplet Loss is designed to constrain the features in the public space，so that the model expands the distance of heterogeneous samples while reducing similar differences in sketch faces.

Keywords：deep learning;residual network;sketch face recognition;multi-mode Triplet Loss

0 ?引 ?言

人臉?biāo)孛枳R(shí)別是指根據(jù)給定的人臉?biāo)孛鑸D像，從一個(gè)巨大的數(shù)據(jù)集匹配人臉照片，這項(xiàng)技術(shù)在罪犯案件偵破中有著廣泛的應(yīng)用。特別是犯罪嫌疑人照片不能直接在犯罪現(xiàn)場(chǎng)抓拍，執(zhí)法人員必須制作手繪的面部草圖或是通過軟件獲得的合成草圖，當(dāng)警察拿到這些草圖后，他們可以迅速縮小犯罪嫌疑人的范圍。然而，由于照片與人臉草圖之間的有很大模態(tài)差距，基于草圖的人臉識(shí)別仍然是學(xué)術(shù)界內(nèi)[1]一個(gè)具有挑戰(zhàn)性的話題[2]，傳統(tǒng)的同質(zhì)人臉識(shí)別方法在人臉?biāo)孛枳R(shí)別[3]中表現(xiàn)不佳，因此，需要一種自動(dòng)人臉?biāo)孛枳R(shí)別方法來準(zhǔn)確、快速地檢索執(zhí)法人員的人臉數(shù)據(jù)集。傳統(tǒng)的人臉?biāo)孛枳R(shí)別方法主要三種策略來緩解交叉模態(tài)差異[4]：模態(tài)不變局部特征提取、照片生成和公共子空間投影。基于模態(tài)不變特征提取的方法旨在基于局部特征描述符，如局部二值模式（LBP）和定向梯度直方圖（HOG）來表示人臉圖像。Zhang等人[5]提出了一種基于局部描述符的人臉草圖識(shí)別與耦合信息理論編碼。Klare等人[6]提出了一種將尺度不變特征變換（SIFT）與多尺度LBP相結(jié)合的判別分析算法。Galoogahi等人[7]提出了一種改進(jìn)的人臉特征描述符，稱為平均定向梯度直方圖（HAOG），以縮小模態(tài)間隙。Alex等人[8]提出了一種基于高斯二進(jìn)制模（LDOGBP）局部差異的跨模態(tài)人臉識(shí)別方法。然而，大多數(shù)基于描述的局部特征方法在表示人臉圖像時(shí)忽略了整體的空間結(jié)構(gòu)，這對(duì)于人臉?biāo)孛枳R(shí)別[9]很重要。

基于生成的方法通過照片-素描合成人臉圖像的一種形態(tài)。最初Tang[10]等人提出了基于主成分分析（PCA）的線性特征變換的草圖合成和識(shí)別方法。Liu等人[11]提出了一種基于局部線性嵌入（LLE）的草圖合成方法，用分段線性映射來估計(jì)非線性映射。Li等人[12]提出的基于自適應(yīng)表示的人臉草圖合成，其中不同的面部區(qū)域由不同的特征表示。Wang等人[13]提出了離線隨機(jī)抽樣來合成人臉草圖。

最近，深度學(xué)習(xí)也被應(yīng)用于人臉?biāo)孛韬铣芍校缛矸e網(wǎng)絡(luò)（FCN）[14]和生成對(duì)抗性網(wǎng)絡(luò)（GAN）[15]。Jiao等人[16]修改了卷積神經(jīng)網(wǎng)絡(luò)（CNN），以便使用輕量級(jí)模型將人臉照片直接映射到人臉草圖圖像。Jiang等人[17]提出了一種基于聯(lián)合字典和殘差學(xué)習(xí)的草圖綜合方法。這些方法的主要局限性使人臉?biāo)孛韬铣筛咛魬?zhàn)性，因此，合成的素描圖像可能會(huì)丟失原始面部照片中存在的某些面部結(jié)構(gòu)信息。

常見的基于子空間的方法旨在將不同的模式轉(zhuǎn)換為一個(gè)公共的子空間，以減少素描圖像和照片圖像的差異。Lin等人[18]提出了一種判別特征提取方法，將異構(gòu)特征轉(zhuǎn)換為相同的特征空間。Yi等人[19]利用典型相關(guān)分析進(jìn)行跨模態(tài)匹配。Sharma等人[20]將偏最小二乘（PLS）方法應(yīng)用于不同模式的線性映射圖像到公共線性子空間。Meina等人[21]提出了一種多視點(diǎn)判別分析（MvDA）方法，通過優(yōu)化視點(diǎn)間和視點(diǎn)內(nèi)獲得多視點(diǎn)的公共空間。Mignon等人[22]提出了一種跨模態(tài)度量學(xué)習(xí)（CMML）方法來學(xué)習(xí)判別潛在空間。然而，這些方法沒有考慮樣品的非線性分布。近年來，在計(jì)算機(jī)視覺領(lǐng)域提出了許多度量學(xué)習(xí)（ML）方法。然而，大多數(shù)傳統(tǒng)的度量學(xué)習(xí)方法通常學(xué)習(xí)線性映射到項(xiàng)目樣本再到一個(gè)新的特征空間，這受到不同模式的非線性關(guān)系的影響。因此，部分學(xué)者提出了深度度量學(xué)習(xí)（DML）方法來學(xué)習(xí)非線性特征[23-25]。Hu等人[23]提出了一種用于人臉驗(yàn)證的判別式深度度量學(xué)習(xí)方法。Cai等人[24]提出了一種利用深度獨(dú)立子空間分析網(wǎng)絡(luò)的深度非線性度量學(xué)習(xí)方法。Yi等人[25]提出了一種具有孿生深度神經(jīng)網(wǎng)絡(luò)的DML方法，直接從圖像像素中學(xué)習(xí)相似性度量，用于人的再識(shí)別。在這些深度度量學(xué)習(xí)的啟發(fā)下，本文提出了深度殘差網(wǎng)絡(luò)多任務(wù)度量學(xué)習(xí)。

1 ?基于殘差網(wǎng)絡(luò)和Triplet Loss的素描人臉識(shí)別

1.1 ?網(wǎng)絡(luò)結(jié)構(gòu)

深度學(xué)習(xí)技術(shù)特別是卷積神經(jīng)網(wǎng)絡(luò)已越來越多地應(yīng)用于計(jì)算機(jī)視覺任務(wù)，如目標(biāo)檢測(cè)、識(shí)別和分類[29]。利用層次結(jié)構(gòu)，CNN可以學(xué)習(xí)輸入圖像的深層特征表示。然而，由于有限的素描照片數(shù)據(jù)集，基于CNN的監(jiān)督方法在人臉?biāo)孛枳R(shí)別中還沒有得到廣泛的應(yīng)用。本文提出了一種基于深度學(xué)習(xí)的人臉?biāo)孛枳R(shí)別方法，對(duì)傳統(tǒng)Triplet Loss加入了模態(tài)內(nèi)損失以提升模型對(duì)照片的區(qū)分能力。通過采用難分?jǐn)?shù)據(jù)選擇策略構(gòu)造多個(gè)三元組樣本來擴(kuò)大數(shù)據(jù)集，充分利用樣本的標(biāo)簽信息來挖掘樣本非線性特征之間的關(guān)系，同時(shí)為了學(xué)習(xí)人臉?biāo)孛枳R(shí)別的領(lǐng)域特征，我們使用遷移學(xué)習(xí)技術(shù)利用素描識(shí)別數(shù)據(jù)集對(duì)模型權(quán)重進(jìn)行微調(diào)。整體結(jié)構(gòu)如圖1所示。

素描人臉識(shí)別定義為假設(shè)A={ai|i=1，2，…，k}和Z= {zi|i=1，2，…，k}是一組訓(xùn)練樣本，其中A為素描數(shù)據(jù)樣本，Z為照片數(shù)據(jù)樣本，Z中包含正樣本照片P和負(fù)樣本照片N，k為訓(xùn)練樣本的數(shù)目。ai和zj分別為A和Z中的第i個(gè)樣本和第j個(gè)樣本。我們對(duì)樣本集中的每?jī)蓚€(gè)樣本進(jìn)行組合以獲得所有樣本的不同組合。每一對(duì)樣本{ai，zj}包含草圖模態(tài)和照片模態(tài)，P{ai，zj}是ai和zj為同一個(gè)人的概率，如果類別預(yù)測(cè)與真實(shí)標(biāo)簽相同，則輸出為1，否則輸出0。

1.2 ?網(wǎng)絡(luò)模型

網(wǎng)絡(luò)模型由11個(gè)基本層組成，較深的層可以提取更多的判別特征。為了保持網(wǎng)絡(luò)性能適合素描人臉識(shí)別，我們切割了最后三層卷積層，并保留了預(yù)訓(xùn)練模型的其余層。同時(shí)，我們建立了一個(gè)新的模型，在網(wǎng)絡(luò)模型之后增加了人臉特征提取層，而在特征提取層我們采取了恒等映射的結(jié)構(gòu)以最大保留圖像細(xì)節(jié)信息。當(dāng)人臉?biāo)孛枵掌瑪?shù)據(jù)較大時(shí)，每一張圖像都需要提取特征，會(huì)耗費(fèi)極長(zhǎng)的時(shí)間，因此在人臉特征提取層后添加了池化層以減少特征數(shù)量，同時(shí)可保留重要特征避免冗余特征的干擾。設(shè)計(jì)的CNN模型的詳細(xì)結(jié)構(gòu)如圖2所示。

另外，為了學(xué)習(xí)多模態(tài)的面部特征信息，使受試者之間的差異更大，受試者內(nèi)部的間隙更小，我們?cè)O(shè)計(jì)了具有三元組損失的三通道CNN架構(gòu)。這三個(gè)通道，每個(gè)通道的網(wǎng)絡(luò)模型均共享相同的權(quán)重。在人臉特征提取層后，三通道的輸出與Triplet Loss相連接。通過Triplet Loss可學(xué)習(xí)多領(lǐng)域的不變特征。

1.3 ?Triplet Loss

Triplet Loss[25]的目的是促進(jìn)類內(nèi)緊湊性和類間可分離性，即給出同一個(gè)人的素描圖像和照片，這兩張圖像間的特征距離很小，而與不同人的圖像特征距離則很大。但是該損失僅能提取模態(tài)間的特征，而沒有考慮模態(tài)內(nèi)數(shù)據(jù)間的差距，因此通過多模Triplet Loss引入模態(tài)內(nèi)損失，從而提升模型對(duì)同類型數(shù)據(jù)間的判別能力。Triplet Loss的輸入包括人臉?biāo)孛鑸DA、正樣本照片P（即與素描圖為同一人的照片）和負(fù)樣本照片N（即與素描圖不是同一個(gè)人的其他照片）。模型優(yōu)化的目標(biāo)是使A圖提取到的特征與P圖特征之間的距離d（A，P）小于錨草圖嵌入到負(fù)照片之間的距離d（A，N），Triplet Loss可表達(dá)為：

L（A，P，N）=max（d（A，P）+d（A，N）+d（P，N），0）

對(duì)于輸入ai和zj，f（ai）和f（zj）是通過神經(jīng)網(wǎng)絡(luò)的相應(yīng)輸出。樣本ai和zj在公共空間中的距離可以用f（ai）和f（zj）之間的歐氏距離來測(cè)量：

d（f（ai）），f（zj））=‖f（ai）-f（zj）‖2

通過最小化多模Triplet Loss，d（A，P）會(huì)無限接近于0，d（A，N）和d（P，N）會(huì)大于d（A，P）。最終，同一個(gè)人的不同模態(tài)數(shù)據(jù)的距離會(huì)變小，而不同人的距離則變大。

其中模內(nèi)損失函數(shù)d（P，N）定義為：

其中，D={（i，j）}為不同對(duì)的索引，?為閾值，而不同對(duì)的特征距離d（f（zi）），f（zj））通過優(yōu)化會(huì)大于閾值?以增加不同對(duì)數(shù)據(jù)間的可分離性。

模態(tài)間損失函數(shù)的目標(biāo)是通過最小化類內(nèi)距離和最大化類間距離來促進(jìn)類內(nèi)相關(guān)性和類間分離性。為此，我們定義模態(tài)間損失函數(shù)：

其中，h（t）=max（0，t），S={（i，j）}為相同對(duì)的索引。由于相同對(duì)的數(shù)量比不同對(duì)小，通過引入權(quán)重值θ以解決這一不平衡問題。

1.4 ?難樣本選擇策略

對(duì)于一組訓(xùn)練數(shù)據(jù)，在L（A，P，N）損失足夠小接近零的情況下，是不會(huì)幫助模型收斂的，然而隨機(jī)產(chǎn)生的訓(xùn)練數(shù)據(jù)組是很容易出現(xiàn)此情況的。為了更好地學(xué)習(xí)人臉?biāo)孛枳R(shí)別的判別特征，我們提出了難分樣本選擇策略，它可以增加有效訓(xùn)練數(shù)據(jù)，加速損失收斂。當(dāng)用難分樣本選擇策略對(duì)預(yù)訓(xùn)練深度模型進(jìn)行微調(diào)時(shí)，將更多地關(guān)注預(yù)訓(xùn)練模型難以區(qū)分的數(shù)據(jù)。因此，難分樣本選擇策略可以調(diào)整模型使其提升對(duì)難分人臉圖像的鑒別能力。

由于人臉照片與素描圖像有差異，為了選擇難分樣本，我們將所有訓(xùn)練照片和草圖圖像由預(yù)訓(xùn)練的網(wǎng)絡(luò)提取高級(jí)特征，從而計(jì)算特征間的歐氏距離，根據(jù)距離值進(jìn)行排序，將不是同一個(gè)人的數(shù)據(jù)組中距離最近的數(shù)據(jù)作為優(yōu)先選擇的訓(xùn)練數(shù)據(jù)。同時(shí)為了增加訓(xùn)練樣本的大小，我們?yōu)槊總€(gè)素描圖組成了多個(gè)訓(xùn)練數(shù)據(jù)組。例如，如果訓(xùn)練數(shù)據(jù)中有1 000對(duì)素描、照片對(duì)，為每個(gè)錨草圖選擇了5個(gè)難分樣本，那么我們就可以組成5 000個(gè)訓(xùn)練三元組樣本，該方法可對(duì)數(shù)據(jù)量進(jìn)行一定的擴(kuò)增。

深度神經(jīng)網(wǎng)絡(luò)模型需要大量的訓(xùn)練數(shù)據(jù)，數(shù)據(jù)越多，模型效果會(huì)更好一些。然而在實(shí)際中我們并不需要通過大量數(shù)據(jù)認(rèn)出某個(gè)人。利用結(jié)構(gòu)化的三通道CNN體系結(jié)構(gòu)、共享的通道權(quán)重和三元組訓(xùn)練數(shù)據(jù)集，可以從少量的數(shù)據(jù)中訓(xùn)練出高效的深度模型。在訓(xùn)練過程中，我們優(yōu)化目標(biāo)是最后的特征提取層權(quán)重，減少了需優(yōu)化權(quán)重量，這樣也可減少對(duì)數(shù)據(jù)量的要求。

2 ?實(shí)驗(yàn)

實(shí)驗(yàn)基于Ubuntu 18.04操作系統(tǒng)，網(wǎng)絡(luò)搭建基于開源深度學(xué)習(xí)框架PyTorch。GPU（圖形處理單元）為GTX1060Ti，CPU型號(hào)為i7-8750H，頻率為2.10 GHz，內(nèi)存為8 GB。

在實(shí)驗(yàn)中，根據(jù)難分?jǐn)?shù)據(jù)選擇策略生成數(shù)據(jù)對(duì)。CUFS數(shù)據(jù)庫(kù)用于研究人臉?biāo)孛韬铣珊腿四樧R(shí)別，共包含606張人臉。CUFSF數(shù)據(jù)庫(kù)共包含1 194人，對(duì)于每張人臉照均包含由畫家繪制的素描圖片。我們將數(shù)據(jù)集統(tǒng)一縮放到了125×100像素的大小，并且在訓(xùn)練時(shí)對(duì)圖像做了歸一化處理。圖3給出了兩個(gè)數(shù)據(jù)庫(kù)的一些示例。

由于人臉區(qū)域占圖像整體區(qū)域的比例在兩個(gè)數(shù)據(jù)集上存在差異，為了避免該差異對(duì)模型的識(shí)別效果產(chǎn)生影響，在實(shí)驗(yàn)中對(duì)CUHK數(shù)據(jù)集進(jìn)行了人臉區(qū)域識(shí)別及背景區(qū)域裁剪的預(yù)處理，通過該方法可統(tǒng)一人臉區(qū)域占比，避免背景區(qū)域的影響，其效果如圖4所示，其中第一行為原圖，第二行為預(yù)處理后的圖像。

訓(xùn)練模型采用帶動(dòng)量的隨機(jī)梯度下降算法，動(dòng)量設(shè)置為0.85，初始學(xué)習(xí)率設(shè)置為0.001，對(duì)輸入的人臉圖像及其對(duì)應(yīng)的素描圖像做隨機(jī)的裁剪、平移、翻轉(zhuǎn)等處理以增加數(shù)據(jù)量，提高模型的泛化能力。實(shí)驗(yàn)迭代步數(shù)為4 000步，模型訓(xùn)練過程中的損失變化圖、準(zhǔn)確率變化圖如圖5所示。

圖5（a）、圖5（b）為訓(xùn)練過程中的準(zhǔn)確率變化圖，圖5（c）、圖5（d）為損失變化圖，圖5（a）、圖5（c）為本文所提網(wǎng)絡(luò)結(jié)構(gòu)并結(jié)合多模Triplet Loss，圖5（b）、圖5（d）為傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)方法，網(wǎng)絡(luò)結(jié)構(gòu)選擇VGG網(wǎng)絡(luò)，Loss選擇Triplet Loss。圖中虛線為驗(yàn)證集結(jié)果，實(shí)線為訓(xùn)練集結(jié)果。在損失方面，兩個(gè)網(wǎng)絡(luò)相差不大，本文所提網(wǎng)絡(luò)最終收斂值接近0.018，傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)收斂值接近0.025，本文所提網(wǎng)絡(luò)略有提升，且收斂速度方面，本文所提網(wǎng)絡(luò)由于難分?jǐn)?shù)據(jù)選擇策略，收斂速度更快。最終實(shí)驗(yàn)結(jié)果如表1所示。

由表1可知，本文所提素描圖像識(shí)別方法相較于HOG特征與SIFT特征等傳統(tǒng)算法提升明顯，相較于VGG網(wǎng)絡(luò)Loss有0.007的降低，在準(zhǔn)確率上有0.035的提升，提升幅度較小。但是本文所提網(wǎng)絡(luò)由于特征的多層池化提取，在運(yùn)算速度上有較大提升，由此可見本文所提網(wǎng)絡(luò)再加入本文提出的Trilplet Loss后，對(duì)素描圖像對(duì)比識(shí)別效果有較大提升。

3 ?結(jié) ?論

本文提出了一種新的基于殘差網(wǎng)絡(luò)多任務(wù)度量學(xué)習(xí)的素描人臉識(shí)別框架。該方法通過多通道的神經(jīng)網(wǎng)絡(luò)來提取素描與照片的多模態(tài)特征，其特征提取能力要強(qiáng)于VGG網(wǎng)絡(luò);同時(shí)利用多模態(tài)Triplet Loss來進(jìn)一步提升異類樣本間距離提高素描人臉識(shí)別的效果，與傳統(tǒng)Triplet Loss相比，該方法也有一定效果提升，實(shí)驗(yàn)結(jié)果證明了該方法的有效性和優(yōu)越性。

參考文獻(xiàn)：

[1] TANG X O，WANG X G. Face sketch recognition [J].IEEE Transactions on Circuits and Systems for Video Technology，2004，14（1）：50-57.

[2] TANG X O，WANG X G. Face Photo-Sketch synthesis and Recognition [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31（11）：1955-1967.

[3] SAMMA H，SUANDI S A，MOHAMAD-SALEH J. Face sketchrecognition using a hybrid optimization model [J].Neural Computing and Applications，2019，31（10）：6493-6508.

[4] LIU D C，LI J，WANG N N，et al. Composite components-based face sketch recognition [J].Neurocomputing，2018，302：46-54.

[5] ZHANG W，WANG X G，TANG X O. Coupled information-theoretic encoding for face photo-sketch recognition [C]//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition.Washington：IEEE Computer Society，2011：513-520.

[6] KLARE B F，LI Z F，JAIN A K. Matching Forensic Sketches to Mug Shot Photos [J].IEEE transactions on pattern analysis and machine intelligence，2011，33（3）：639-646.

[7] GALOOGAHI H K，SIM T. Inter-modality Face Sketch Recognition [C]//Proceedings of the 2012 IEEE International Conference on Multimedia and Expo.Washington：IEEE Computer Society，2012：224-229.

[8] ALEX A T，ASARI V K，MATHEW A. Local Difference of Gaussian Binary Pattern：Robust Features for Face Sketch Recognition [C]//Proceedings of the 2013 IEEE International Conference on Systems，Man，and Cybernetics.Washington：IEEE Computer Society，2013：1211-1216.

[9] KLARE B F，JAIN A K. Heterogeneous face recognition using kernel prototype similarities [J].IEEE transactions on pattern analysis and machine intelligence，2013，35（6）：1410-1422.

[10] TANG X O，WANG X G. Face Photo-Sketch synthesis and Recognition [C]//Proceedings Ninth IEEE International Conference on Computer Vision.IEEE，2003：687-694.

[11] LIU Q S，TANG X O，JIN H L，et al. A Nonlinear Approach for Face Sketch Synthesis and Recognition [C]//Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington：IEEE Computer Society，2005：1005-1010.

[12] LI J，YU X Y，PENG C L，et al. Adaptive representation-based face sketch-photo synthesis [J].Neurocomputing，2017，269（20）：152-159.

[13] WANG N N，GAO X B，LI J. Random sampling for fast facesketch synthesis [J].Pattern Recognit，2018，76：215-227.

[14] ZHANG L L，LIN L，WU X，et al. End-to-endphoto-sketch generation via fully convolutional representationlearning [C]//Proceedings of the 5th ACM on International Conference on Multimedia Retrieval.New York：Association for Computing Machinery，2015：627-634.

[15] WANG N N，ZHA W J，LI J，et al. Back projection：An effective postprocessing method for GAN-based face sketch synthesis [J].Pattern Recognition Letters，2018，107（1）：59-65.

[16] JIAO L C，ZHANG S B，LI L L，et al. A modified convolutional neural network for face sketch synthesis [J].Pattern Recognition，2018，76：125-136.

[17] JIANG J J，YU Y，WANG Z，et al. Graph-Regularized Locality-Constrained Joint Dictionary and Residual Learning for Face Sketch Synthesis [J].IEEE Transactions on Image Processing，2019，28（2）：628-641.

[18] LIN D H，TANG X O. Inter-modality face recognition [C]//ECCV 2006：Computer Vision-ECCV.Springer，2006：13-26.

[19] YI D，LIU R，CHU R F，et al. Face matching between near infrared and visible lightimages.International [C]//Proceedings of the 2007 international conference on Advances in Biometrics.Springer-Verlag，2017：523-530.

[20] SHARMA A，JACOBS D W. Bypassing synthesis：PLS for facerecognition with pose low-resolution and sketch [C]//Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE，2011：593-600.

[21] MEINA K，SHAN S G，ZHANG H H，et al. Multi-view discriminant analysis [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（1）：188-194.

[22] MIGNON A，JURIE F. CMML：A new metric learning approach forcross modal matching：Asian Conference on Computer Vision [EB/OL].（2019-02-07）https：//www.hal.inserm.fr/GREYC/hal-00806082v1.

[23] HU J L，LU J W，TAN Y P. Discriminative Deep Metric Learning for Face Verification in the Wild [C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition.Washington：IEEE Computer Society，2014：1875-1882.

[24] CAI X Y，WANG C H，XIAO B H，et al. Deep nonlinear metric learning with independent subspace analysis for face verification [C]//Proceedings of the 20th ACM international conference on Multimedia.New York：Association for Computing Machinery，2012：749-752.

[25] YI D，LEI Z，LIAO S C，et al. Deep metric learning for person re-identification [C]//Proceedings of the 2014 22nd International Conference on Pattern Recognition.Washington：IEEE Computer Society，2014：34-39.

作者簡(jiǎn)介：藍(lán)凌（1978—），男，畬族，廣東南雄人，高中信息技術(shù)高級(jí)教師，本科，研究方向：人工智能、機(jī)器人教育;吳劍濱（1979—），男，漢族，廣東英德人，高中信息技術(shù)高級(jí)教師（中級(jí)），本科，研究方向：高考、中考考務(wù)管理，信息化教學(xué)裝備，信息化教學(xué)應(yīng)用;侯亮（1977—），男，漢族，廣東韶關(guān)人，工程師，本科，研究方向：信息技術(shù)應(yīng)用、視頻安防。