吳 卓，梁 珂，張春陽

（北京信息科技大學(xué)，北京 100000）

0 引言

在醫(yī)療或者刑偵領(lǐng)域，有時會出現(xiàn)殘缺的人臉正面圖像無法與已存入系統(tǒng)中的完整人臉圖片相對應(yīng)的情況，基于此情況為更好的解決實際問題，采用圖像識別的相關(guān)知識對人臉面部圖像進(jìn)行識別與分析，在一定程度上，能夠協(xié)助警方或者醫(yī)護(hù)人員對一些殘缺圖片進(jìn)行匹配以便加以處理和推斷，從而大大提升破案率和醫(yī)療協(xié)管水平。目前，在此項目方面的研究主要有以下成果：

（1）對完整的圖像進(jìn)行識別已經(jīng)有比較成熟的技術(shù)，但是對于殘缺的圖片識別仍然存在著缺陷。

（2）彭正初[1]明確提到目前不變矩的傅里葉描述子能夠很好地處理相關(guān)圖像，但對于殘缺圖像，尤其如何針對小型圖像塊進(jìn)行傅里葉描述子的特征提取和識別，具有重要研究意義和實際使用價值。

（3）Zhang K[2]提出了一種多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)模型，能夠很好地識別出人臉，甚至是鼻子、嘴等部位。

（4）在圖像分割方面，何思雨[3]提到一種Canny邊緣檢測算法，同時結(jié)合圖像生長分割算法和區(qū)域分割算法能夠很好地完成一些圖像的分割。

目前，對于完整圖像的識別與分割是圖像處理領(lǐng)域研究最多的課題之一，而對于殘缺圖像的識別也必將在研究的范圍之內(nèi)。圖像識別技術(shù)屬于模式識別的范疇，而近年來在該技術(shù)所發(fā)展起來的人工神經(jīng)網(wǎng)絡(luò)模式以及模糊模式識別分類在圖像識別中受到越來越多的重視。傅里葉描述子，不僅是目前應(yīng)用最廣泛的描述子，而且是最具有發(fā)展?jié)摿Φ男螤畋硎舅惴ㄖ?。傅里葉描述子作為全局形狀特征的一種描述方式，具有計算簡單、較高的形狀區(qū)分能力的顯著優(yōu)勢。在完整圖像的識別方面已經(jīng)有了一定的成果，對于殘缺圖片方面的識別和分析也是未來發(fā)展需要突破的關(guān)鍵點之一。

1 項目原理

1.1 傅里葉描述子

傅里葉描述子（Fourier descriptor）是一種圖像特征，具體來說，是一個用來描述輪廓的特征參數(shù)。其基本思想是用物體邊界信息的傅里葉變換作為形狀特征，將輪廓特征從空間域變換到頻域內(nèi)，提取頻域信息作為圖像的特征向量，即用一個向量代表一個輪廓，將輪廓數(shù)字化，從而能更好地區(qū)分不同的輪廓，進(jìn)而達(dá)到識別物體的目的[4]。

一般來說，我們拿到的圖像，是一個處在二維平面的圖像，所以可以使用坐標(biāo)表示的方法對圖像的輪廓特征信息進(jìn)行初步的表示。同時，因為數(shù)據(jù)維度的問題，可以采用復(fù)變函數(shù)的思想，將二維坐標(biāo)系的x軸作為實軸，將二維坐標(biāo)系的y軸作為虛軸，這樣就能在二維的基礎(chǔ)上將向量轉(zhuǎn)化為一維空間的向量。具體公式為：

接下來，對公式（2）進(jìn)行傅里葉展開得到公式（3—4）：

此時：

最后，將公式（5）axk，ayk，bxk，byk進(jìn)行整合，就得到了最后的傅里葉描述子。

1.2 離散化的不變矩傅里葉描述子。

目前，對于傅里葉描述子有關(guān)方面的研究是將需要識別的形狀算出區(qū)域矩陣特性，然后對特性使用傅里葉變換，從而對形狀進(jìn)行特征表達(dá)。因此，在識別形狀之前需要先對目標(biāo)區(qū)域?qū)嵤﹫D像預(yù)處理，具體包括：圖像增強(qiáng)、圖像分割、跟蹤曲線輪廓；然后，由得到的物體的形狀邊界坐標(biāo)序列，通過計算出劃分的各個子區(qū)域的矩特征值得到一個特征值序列；最后對這個序列做傅里葉變換得到傅里葉描述子。在對物體形狀的矩特征實施計算之前，應(yīng)先確定物體對應(yīng)的質(zhì)心坐標(biāo)，并把質(zhì)心坐標(biāo)當(dāng)成中心點，以固定角度將物體劃分為若干份扇形區(qū)域，再對扇形區(qū)域的矩特征值進(jìn)行計算。計算時需要注意利用相同階次的矩，將得到的矩特征值排列成矩值序列，從而實現(xiàn)對物體形狀的特征表達(dá)。這種方法盡管彌補(bǔ)了容易受干擾和穩(wěn)定性差的問題，但其作用在小型圖片上尤其是一些殘缺的分塊圖片時，極易產(chǎn)生邊界不封閉的問題，大大影響了特征提取結(jié)果的準(zhǔn)確性。

所以，本項目采用離散的傅里葉（Discrete Fourier Transform，DFT）變換對由坐標(biāo)函數(shù)產(chǎn)生的復(fù)變函數(shù)進(jìn)行處理。如公式（6）：

經(jīng)過式（6），就可以將最初狀態(tài)下的連續(xù)情況轉(zhuǎn)化為離散的情況。同樣，這也從一定程度上彌補(bǔ)了傳統(tǒng)意義下的傅里葉描述子在邊界不封閉這一方面的缺陷。而本項目也可以采用反向變換的形式，如公式（7）：

經(jīng)過式（7），就可以從傅里葉描述子中得到相關(guān)的位置特征信息。

1.3 多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)

多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)（Multi-task Convolutional Neural Networks，MTCNN）是一種將人臉區(qū)域檢測與人臉關(guān)鍵點檢測相結(jié)合的一種方法。和opencv中的cascade類似，通常情況下分為3個部分，即：P-Net，R-Net，O-Net[5]。

1.3.1 P-Net

P-Net基本的構(gòu)造是一個全卷積網(wǎng)絡(luò)。對已經(jīng)構(gòu)造完成的圖像金字塔，使用全卷積網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）進(jìn)行初步特征提取與標(biāo)定邊框，并進(jìn)行Bounding-Box Regression（邊框回歸）調(diào)整相應(yīng)窗口尺寸與非極大值抑制（Non-Maximum Suppression，NMS）進(jìn)行相關(guān)窗口的過濾，P-Net具體原理如圖1所示。

1.3.2 R-Net

在P-Net的基礎(chǔ)上增加了全連接層進(jìn)行更加嚴(yán)格的篩選。所以圖片在完成P-Net進(jìn)入R-Net后，模型會將上一個階段所得出的結(jié)果進(jìn)行進(jìn)一步的篩選，換句話說，相比于上一步，這一步的目的就是得出更加精確的結(jié)果。R-Net相應(yīng)原理如圖2所示。

1.3.3 O-Net

相比于R-Net，O-Net 增加了一個卷積層，同時其本身的模型是一個更大的256的全連接層，很好地將圖像的特征等一系列信息進(jìn)行了保存，大大提升了識別率與準(zhǔn)確率。R-Net相應(yīng)原理如圖3所示。

圖1 P-Net相應(yīng)原理

圖2 R-Net相應(yīng)原理

圖3 R-Net相應(yīng)原理

1.4 雙峰閾值分割法

通俗來講，雙峰閾值就是分析人臉圖像，得出灰度級直方圖，如果圖像呈現(xiàn)雙峰狀，就選取雙峰之間的最低處作為閾值。同樣的，可以通過人臉的灰度變化規(guī)律提取包含相關(guān)五官部分的標(biāo)定區(qū)域（Region of Interest，ROI）圖片，然后通過這種方法將圖片按照五官定位的方式進(jìn)行分割[6]。雙峰閾值分割法相關(guān)原理如圖4所示?？梢钥闯?，介于[40，60]之間的波谷位置，即為此方法所求的閾值。

圖4 雙峰閾值分割法原理

2 圖像的特征提取與分析

2.1 數(shù)據(jù)來源

原始數(shù)據(jù)：ORL人臉數(shù)據(jù)庫，由英國劍橋大學(xué)AT&T實驗室創(chuàng)建，包含40人共400張面部圖像，部分志愿者的圖像包括了姿態(tài)、表情和面部飾物的變化。ORL人臉數(shù)據(jù)庫中一個采集對象的全部樣本庫中每個采集對象包含10幅經(jīng)過歸一化處理的灰度圖像，圖像尺寸均為92×112，圖像背景為黑色。其中，采集對象的面部表情和細(xì)節(jié)均有變化，例如笑與不笑、眼睛睜著或閉著以及戴或不戴眼鏡等，不同人臉樣本的姿態(tài)也有變化，其深度旋轉(zhuǎn)和平面旋轉(zhuǎn)可達(dá)20°。ORL數(shù)據(jù)集如圖5所示。

2.2 算法整體結(jié)構(gòu)與實驗結(jié)果

總體來說，本項目使用多種算法相結(jié)合的方式進(jìn)行。具體步驟如下：

首先，本團(tuán)隊對數(shù)據(jù)進(jìn)行篩選，利用MTCNN算法，通過3個部分，即P-Net，R-Net，O-Net，對人臉和人臉的特征點進(jìn)行識別，以根據(jù)特征點的數(shù)量以及圖像的清晰程度對圖像的進(jìn)一步篩選，將不符合條件的數(shù)據(jù)很好地剔除，以提高實驗的精確度。

其次，對上述篩選好的圖6進(jìn)行分割，考慮到實際情況下人的正面圖片所展示的五官中，耳朵所占比例不大，且較為模糊，所以，只對眼睛、鼻子、嘴這3個比較清晰的部分進(jìn)行區(qū)域分割。本項目采用兩種方法進(jìn)行分割。第一種，按照人體五官比例進(jìn)行按距離切分，通過查閱資料可以得到，人的鼻子位于人臉的黃金分割點，所以可以以這個作為定位標(biāo)簽，對其范圍進(jìn)行切分。第二種，采用雙峰閾值分割的方式進(jìn)行分割，利用灰度直方圖，提取包含五官部分的ROI圖片，利用灰度直方圖雙峰之間的低谷作為閾值，能夠在很大程度上保留分割以后圖像的局域完整性，避免距離切分造成的分割不徹底或者分割區(qū)域不合適導(dǎo)致后續(xù)的準(zhǔn)確率降低。當(dāng)然，這兩種方式一般是結(jié)合使用，如對于五官中的眼睛，眼睛和皮膚在灰度直方圖上有明顯的階躍，明顯的階躍導(dǎo)致采用雙峰閾值法時閾值的選取會很容易，并且分割的結(jié)果會很理想。而當(dāng)同種方法應(yīng)用于鼻子部位時，可能不同的圖片就會有一些不同，導(dǎo)致結(jié)果產(chǎn)生偏差，影響最終實驗結(jié)果。部分分割結(jié)果如圖7所示。

最后，分割完成，將圖片按照分割的結(jié)果進(jìn)行存儲，便于接下來的特征提取。特征提取的方式上，本項目采用改進(jìn)后的離散化的不變矩傅里葉描述子，將分割后的圖像送入到模型之中，得出離散的一些值。經(jīng)過分析得到的值普遍波動較大，所以本團(tuán)隊采用歸一化的方式，對這些特征結(jié)果進(jìn)行規(guī)范化，以將結(jié)果統(tǒng)一在一個合適的范圍。為了增強(qiáng)結(jié)果的可表示性，本團(tuán)隊將對應(yīng)特征信息轉(zhuǎn)化為對應(yīng)特征圖，具體實驗結(jié)果如圖8所示。

圖5 ORL數(shù)據(jù)集

圖6 對人臉和人臉的特征點進(jìn)行識別

圖7 部?分分割結(jié)果

圖8 分割的具體實驗結(jié)果

通過以上的步驟，得到了有關(guān)于人臉五官的特征信息。本團(tuán)隊使用由兩個卷積層，一個全連接層組成的卷積神經(jīng)網(wǎng)絡(luò)，將人臉五官的特征信息與已經(jīng)存在與系統(tǒng)中的某些數(shù)據(jù)信息進(jìn)行對比，按照合適的置信度進(jìn)行加權(quán)，得出最終的相似度。各個部分對應(yīng)模型識別結(jié)果如表1所示。

為了避免出現(xiàn)偶然性，采用交叉驗證的思想，每個模型訓(xùn)練兩次，得到4個相關(guān)模型。同時兩兩組合，分別進(jìn)行4次識別，得到的相似度結(jié)果如表2所示。最終，按照3∶3∶2∶2的數(shù)據(jù)集拆分比例對上述相似度進(jìn)行加權(quán)求和，得到最終的相似度結(jié)果為93.13%。經(jīng)過統(tǒng)計得出實驗次數(shù)與相似度的折線圖如圖9所示。綜上所述，本實驗的總體流程如圖10所示。

表1 模型識別結(jié)果

表2 兩兩組合的識別結(jié)果

圖10 本實驗的總體流程

3 結(jié)語

本文提出了基于神經(jīng)網(wǎng)絡(luò)和傅里葉描述子對殘缺面部圖像的識別與分析的方法，在傳統(tǒng)的傅里葉描述子的基礎(chǔ)上進(jìn)行了改進(jìn)，主要有以下3點：（1）結(jié)合了離散化的思想，將傅里葉描述子進(jìn)行離散化，以避免傳統(tǒng)傅里葉描述子的邊界不封閉問題。（2）在離散化的基礎(chǔ)上同樣采用了不變矩的思想，三者進(jìn)行結(jié)合，提高了傅里葉描述子在圖像特征提取方面的魯棒性。（3）能夠?qū)⒏道锶~描述子應(yīng)用于殘缺圖像的特征提取上，結(jié)合MTCNN等一系列算法，對殘缺圖像進(jìn)行整理和分析。實驗表明，改進(jìn)后的方法將更好的實現(xiàn)殘缺圖像與完整圖像的匹配與識別，具有很高的實用意義。