余驍禹，周宇婷

(1.西南民族大學計算機科學與工程學院，四川 成都 610041；2.西南交通大學計算機與人工智能學院，四川 成都 611756)

1 研究背景

當今時代，互聯(lián)網(wǎng)的廣泛使用讓個人信息泄露問題變得日益嚴重，傳統(tǒng)的身份證號碼、密碼等身份認證[1]方式的安全性能逐漸不能滿足社會需求，許多情況下需要安全性能更高的身份認證方式.研究者們早已開始探索將生物識別技術(shù)[2]用作身份認證，憑借生物特征[1]的穩(wěn)定性、唯一性，這種方式的安全性能比傳統(tǒng)身份認證方式的安全性能高.在眾多的生物特征中，簽名的采集方式不僅簡單，而且不具侵犯性、容易被大眾接受，所以簽名鑒別這種驗證方式是值得發(fā)展和研究的.人工簽名鑒別從很早之前就開始發(fā)展了，但是人工簽名鑒別對鑒別者的資歷要求較高，存在耗費人力物力、鑒別效率低、缺乏鑒別專家等缺點，利用計算機技術(shù)實現(xiàn)簽名鑒別為解決這些問題提供了新的思路.

與計算機技術(shù)相結(jié)合的簽名鑒別可分為在線簽名鑒別和離線簽名鑒別.其中在線簽名鑒別需要使用特殊設備(例如手寫板、簽字筆等)采集簽名時的動態(tài)數(shù)據(jù)(例如握筆角度、筆畫書寫順序、書寫壓力、書寫加速度等).而離線簽名鑒別只通過靜態(tài)的簽名圖片進行判斷，靜態(tài)簽名圖片相比動態(tài)數(shù)據(jù)更容易被模仿，所以離線簽名鑒別的難度較大，雖然已經(jīng)取得一些成果了，但尚未達到投入實際應用的水平，準確率還需進一步提高.M.Ammar[3]通過計算從簽名圖像中提取出的灰度[4]特征、傾斜特征等特征之間的最小距離來判斷簽名的真?zhèn)?，這種方法能成功鑒別出一些高水平的偽造簽名.武漢科技大學的張立[5]根據(jù)從灰度簽名圖像中提取的SIFT特征的匹配點數(shù)來判斷簽名真?zhèn)?，這種鑒別方式的準確率達到88.5%.華中科技大學的周凱[6]將從簽名輪廓中提取出的骨架分段軌跡特征作為簽名圖像的特征，放入BP神經(jīng)網(wǎng)絡中進行分類，該方法達到了較高的準確率.Bhattacharya和Ghosh使用像素匹配技術(shù)[7]對比簽名圖像之間的異同，該技術(shù)對于偽簽名的錯誤識別率在12%.

這些方法大多數(shù)需要依靠研究者從自身經(jīng)驗出發(fā)根據(jù)簽名的特點人為地提取和選擇合適的特征，然后再進行特征匹配或分類，這就可能會出現(xiàn)人為提取和選擇的特征不是最具有代表性特征的問題，這也是離線簽名系統(tǒng)需要突破和解決的問題.為了避免特征選擇不合適的問題，本文選擇使用人工神經(jīng)網(wǎng)絡自行學習并提取合適的簽名特征.

2 實驗原理

2.1 One-shot學習概念及其應用

One-shot學習[8]是指機器通過一次演示后無需事先掌握新的環(huán)境，便能在不同環(huán)境中重復工作的能力.One-shot學習通常被用于處理計算機視覺領域中的分類問題，旨在能夠根據(jù)一個或幾個樣例圖像來判斷某個對象所屬的類別.一般的人工神經(jīng)網(wǎng)絡通常是從大量的高維數(shù)據(jù)中學習挖掘數(shù)據(jù)的信息特征的方法，然后利用習得的這種方法去分析處理其他類似的數(shù)據(jù)，這都是建立在需要提供大量帶有標記的訓練樣本的基礎上.但很多時候無法獲得滿足實驗需求的足量訓練樣本，所以需要使機器也能具有根據(jù)少量樣本進行高效學習的能力，即實現(xiàn)One-shot學習.

本文的離線簽名鑒別預期達到的效果是只需要通過一張樣例真跡簽名圖片就能識別某張簽名圖片是否是偽造的.如果將其看作圖片的二分類(分為真跡和偽造兩個種類)問題，使用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡結(jié)合softmax邏輯回歸分類器的結(jié)構(gòu)去實現(xiàn)，則得到的模型無法達到預期效果，它只能對訓練數(shù)據(jù)中的那些模仿者模仿的簽名進行較準確的分類，對于沒有訓練過的模仿者所模仿的簽名的分類準確率就很不穩(wěn)定，即會出現(xiàn)嚴重的過擬合現(xiàn)象，并且由于不可能采集到所有人針對某個人的模仿簽名，所以無法通過獲得足夠多的數(shù)據(jù)來降低過擬合.為了解決上述問題，使模型能夠做到One-shot學習，本文的主要思路是構(gòu)建一個“相似性”函數(shù)，即最終訓練出的模型相當于函數(shù):d(img1，img2)＝兩張圖片的特征距離值，只要輸入兩張圖片就可以得到這兩張圖片的特征距離值，并且如果兩張圖片是出自同一個書寫者，則函數(shù)值d要盡可能??；如果不是出自同一個書寫者，則函數(shù)值d要盡可能大.最終根據(jù)表達式(1)來判定某個簽名是否是偽造的，其中τ表示區(qū)分簽名真?zhèn)蔚奶卣骶嚯x閾值.當模型需要鑒別一個沒有經(jīng)過訓練的書寫者的簽名時，只需將待測簽名和書寫者的一張親筆簽名同時輸入模型，就可以得到兩張簽名圖片之間的特征距離，通過特征距離來判斷待測簽名是否是親筆簽名.

2.2 人工神經(jīng)網(wǎng)絡概述

人工神經(jīng)網(wǎng)絡[9]是根據(jù)心理學、腦神經(jīng)等領域?qū)θ祟惖恼J知機理和腦結(jié)構(gòu)方面的研究成果使用計算機的簡單運算單元人工搭建起的能模擬大腦神經(jīng)系統(tǒng)的計算模型，這種模型在功能和結(jié)構(gòu)方面仿造了生物學的神經(jīng)系統(tǒng).人工神經(jīng)網(wǎng)絡對類腦計算研究領域的發(fā)展與進步起著非常重要的作用.從科學家們開始研究神經(jīng)網(wǎng)絡到現(xiàn)在已經(jīng)誕生了許多經(jīng)典的網(wǎng)絡模型，其中包括M-P神經(jīng)元模型、感知機等[9]，這些模型在很多計算機技術(shù)領域中得到實際應用.人工神經(jīng)網(wǎng)絡的基本處理單元是神經(jīng)元.一個神經(jīng)元可以有一個或多個輸入、輸出，一個神經(jīng)元可以看作是一個最簡單的神經(jīng)網(wǎng)絡，復雜的神經(jīng)網(wǎng)絡就是由多個神經(jīng)元堆疊起來形成的.

2.3 卷積神經(jīng)網(wǎng)絡

目前，應用較為廣泛的一種人工神經(jīng)網(wǎng)絡是卷積神經(jīng)網(wǎng)絡(CNN)，它也是首個真正被成功訓練的人工神經(jīng)網(wǎng)絡[9].卷積神經(jīng)網(wǎng)絡的雛形是科學家Fukushima根據(jù)Hubel和Wiesel對貓腦視覺皮層的研究發(fā)現(xiàn)提出的神經(jīng)認知機[11].卷積神經(jīng)網(wǎng)絡由輸入層、卷積層、池化層、全連接層、輸出層組成[10].卷積層與池化層的核心操作分別是卷積運算和池化運算.通常會有若干個卷積層和池化層交替出現(xiàn)，用于提取出抽象性較高、較為穩(wěn)定的圖像特征.全連接層是卷積神經(jīng)網(wǎng)絡中特征提取的最后一層，出現(xiàn)在輸出層的前面、卷積層和池化層的后面，它的輸出值會傳遞給輸出層.全連接層每個神經(jīng)元與前一層的每個神經(jīng)元連接，會對前面已經(jīng)提取出的特定范圍的特征進行整合.輸出層需要根據(jù)最終提取出的特征采用合適的方法完成分類等任務.

2.4 Siamese神經(jīng)網(wǎng)絡

為了實現(xiàn)One-shot學習，本文選擇使用共享權(quán)值的Siamese神經(jīng)網(wǎng)絡的結(jié)構(gòu)來構(gòu)建模型.Siamese神經(jīng)網(wǎng)絡是一種相似性度量法，它的原理是使用指定規(guī)則(相當于一個函數(shù))將兩個輸入分別轉(zhuǎn)換成表示各自特點的特征向量，然后再使用距離公式計算這兩個特征向量的距離，即進行相似度對比，結(jié)構(gòu)如圖1所示.從圖中可以看出Siamese神經(jīng)網(wǎng)絡的輸入不是單個樣本，而是一對樣本.圖中X1和X2代表兩個不同的輸入，兩個輸入會分別經(jīng)過分支網(wǎng)絡1和分支網(wǎng)絡2進行特征提取，本文的兩個分支網(wǎng)絡是兩個結(jié)構(gòu)、參數(shù)完全一致的卷積神經(jīng)網(wǎng)絡，它們共享權(quán)值W，這兩個分支網(wǎng)絡即為前文提到的將輸入映射到目標空間的函數(shù)Gw(X)，X1和X2可看作是映射函數(shù)Gw(X)的兩個輸入變量，那么Gw(X1)和Gw(X2)則分別表示通過函數(shù)Gw(X)映射出來的特征向量，‖Gw(X1)-Gw(X2)‖表示兩個特征向量之間的距離，距離的大小即為兩者相似性的度量.整個訓練Siamese神經(jīng)網(wǎng)絡的過程就是去尋找并不斷優(yōu)化一組權(quán)重值W，最終達到以下效果:當X1和X2來自相同類別時，Ew(X1，X2)＝‖Gw(X1)-Gw(X2)‖的值盡可能地小，當X1和X2來自不相同的類別時，Ew(X1，X2)＝‖Gw(X1)-Gw(X2)‖的值盡可能地大.

圖1 Siamese網(wǎng)絡結(jié)構(gòu)示意圖Fig.1 Schematic diagram of Siamese network structure

本文針對Siamese神經(jīng)網(wǎng)絡所采用的損失函數(shù)是對比損失函數(shù)[9，13](Contrastive Loss)，對比損失函數(shù)可以有效地處理Siamese神經(jīng)網(wǎng)絡中一對輸入樣本的關系，如表達式(2)所示.其中，W為神經(jīng)網(wǎng)絡的權(quán)重參數(shù)；Y為兩個樣本是否匹配的標簽(Y＝1表示匹配，Y＝0表示不匹配)；m為設定的閾值.

對比損失函數(shù)既能恰當?shù)乇硎緝蓚€樣本的匹配程度，又能在訓練模型的過程中對模型的性能做出較為直觀的評價:根據(jù)表達式(2)可知，當Y＝1(即樣本對匹配)時，只有當匹配樣本對之間的距離變小，損失函數(shù)L的值才會變小；而當Y＝0(即樣本對不匹配)時，只有當不匹配樣本對之間的距離變大，損失函數(shù)L的值才會變小.損失函數(shù)L是對模型性能的評估，L的值在變小說明模型性能在變好.由此可見，該損失函數(shù)起到了評估Siamese神經(jīng)網(wǎng)絡模型性能的作用.

3 實驗

3.1 數(shù)據(jù)整理

將整理好的簽名圖片按照以下方式組合成數(shù)據(jù):對于每位書寫者，將其24張真跡簽名圖片兩兩配對組合，則有276條標簽值為1的樣本數(shù)據(jù)；再將24張真跡簽名圖片和12張偽造簽名圖片兩兩配對組合，則有24×12＝288條標簽值為0的樣本數(shù)據(jù).為了避免不同標簽值的訓練數(shù)據(jù)數(shù)量分布不均對實驗結(jié)果造成影響，整個樣本數(shù)據(jù)集就由每位書寫者的276條標簽值為1和276條標簽值為0的數(shù)據(jù)組成.實驗將整個樣本集劃分成三部分:訓練數(shù)據(jù)集、驗證數(shù)據(jù)集、測試數(shù)據(jù)集，三個數(shù)據(jù)集包含的數(shù)據(jù)互不重復.訓練數(shù)據(jù)集包含40位書寫者，驗證數(shù)據(jù)集包含5位書寫者，測試數(shù)據(jù)集包含5位書寫者，具體情況見表1.

表1 數(shù)據(jù)劃分情況Table 1 The division of data sets

本文使用的數(shù)據(jù)是從SigComp2011[14]的Dutch離線簽名數(shù)據(jù)集中整理出來的.原始數(shù)據(jù)集中存在個別數(shù)據(jù)缺失的情況，經(jīng)過整理篩選后可用于實驗的數(shù)據(jù)組成如下:共有50位書寫者，每位書寫者有24張親筆簽名圖片、12張模仿水平較高的偽造簽名圖片.

因為Siamese神經(jīng)網(wǎng)絡需要成對的輸入數(shù)據(jù)，所以需要將這些簽名圖片數(shù)據(jù)進行兩兩組合制造出符合要求的正負樣本數(shù)據(jù)，數(shù)據(jù)格式為“簽名圖片1路徑 簽名圖片2路徑 標簽值”(以空格間隔)，其中標簽值為1或者0，1表示兩張圖片都是真跡簽名，0表示一張圖片是真跡簽名，另一張是偽造簽名.

3.2 圖片預處理

為了使神經(jīng)網(wǎng)絡能夠更精確地提取簽名圖片的特征，盡量避免噪聲或像素冗余問題對實驗造成干擾，本文需要對所有輸入神經(jīng)網(wǎng)絡模型的簽名圖片進行預處理，其主要處理方法包括:圖片灰度化、去除背景、裁剪邊界.

圖片灰度化是將原本有RGB三色通道的彩色圖片轉(zhuǎn)化成只有一個通道的灰度圖片，它的每個像素點用0～255的灰度值表示，如圖2所示.

圖2 簽名灰度化預處理圖Fig.2 Preprocessing picture of graying signatures

去除背景所要達到的效果是將已經(jīng)灰度化的簽名圖片中除了筆畫軌跡之外的像素點的灰度值全部置為255，即將背景變?yōu)榘咨?，而筆畫軌跡的像素點的灰度值保持不變，避免背景的噪聲讓實驗結(jié)果產(chǎn)生過擬合的情況，如圖3所示.其原理如計算公式(3)所示，其中src(i，j)表示簽名圖片坐標系中位置(i，j)處的去除背景之前像素點的灰度值，dst(i，j)表示去除背景之后的像素點的灰度值.

圖3 簽名去除背景預處理圖Fig.3 Preprocessing picture of removing background of signatures

灰度閾值t的選取可以根據(jù)情況使用固定值，但前提是所有簽名圖片的背景和字跡的灰度值相似，所以為了使去除背景的操作更具普遍性，本文使用了最大類間方差法[15](OSTU)尋找每張圖片的最優(yōu)灰度閾值t.最大類間方差法又稱為大津閾值分割法，是一種自適應地確定圖像全局閾值的最佳方法，使用此方法可以快速找到不同簽名圖片的最優(yōu)灰度閾值.

裁剪邊界是指將圖片的多余的空白邊界去除掉，如圖4所示.裁剪邊界的目的是盡量最大化簽名圖片中筆跡特征的占比.多余的邊界會降低筆畫軌跡占整張圖片的比值，在模型提取特征時不但沒有用反而會影響訓練和驗證的時間，去除空白冗余的信息可以提高實驗效率，并且提取的特征也會更加精確.

圖4 簽名裁剪邊界預處理圖Fig.4 Preprocessing picture of trimming margin of signatures

3.3 模型構(gòu)建

本文根據(jù)需求搭建的實驗模型如圖5所示.此模型先對簽名圖片進行預處理，然后將預處理后的圖片作為Siamese神經(jīng)網(wǎng)絡的兩個輸入，經(jīng)過卷積神經(jīng)網(wǎng)絡部分后得到各自的特征向量，然后用歐式距離計算兩張簽名圖片特征向量之間的距離，最后用對比損失函數(shù)(Contrastive Loss)對模型的性能進行反饋和評估.

圖5 模型流程圖Fig.5 Flow-process diagram of model

3.4 網(wǎng)絡參數(shù)設置

本課題模型分支部分的結(jié)構(gòu)是基于AlexNet卷積神經(jīng)網(wǎng)絡進行改進的，具體參數(shù)如表2所示，它由4個卷積層(Convolution)、3個最大池化層(Max Pooling)、2個Batch Normalization層、2個全連接層(Fully Connected)組成.其中，卷積層和最大池化層的規(guī)格是指卷積核和池化核的大小，用N×H×W的形式表示，其中N表示卷積核和池化核的個數(shù)，H表示卷積核和池化核的高度，W表示卷積核和池化核的寬度，stride表示卷積和池化的步長，pad表示對圖片進行邊緣填充的行列數(shù).Batch Normalization層可以將隱藏層的所有節(jié)點的激活輸入分布歸一化到標準正態(tài)分布，它的參數(shù)ε表示一個極小的正常量值，避免在標準化過程中除數(shù)變?yōu)?.此模型所使用的激活函數(shù)是線性糾正函數(shù)(ReLU).為了降低模型的過擬合情況，還使用了隨機失活(Dropout)正則化和L2(權(quán)重衰減)正則化方法，p表示Dropout將隱藏節(jié)點置為0的概率，λ表示L2(權(quán)重衰減)正則化系數(shù).兩個全連接層包含的神經(jīng)元個數(shù)分別為1 024個和128個.

表2 卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu)Table 2 The structure of Convolutional neural network

3.5 實驗結(jié)果

本實驗使用學習率lr＝10-4、動量momentum＝0.9的RMSprop梯度下降的方法訓練20次(epoch)，每次(epoch)訓練以128為一個批次(mini batch)，模型權(quán)重初始化方法采用的是Glorot均勻分布初始化方法.最終，使用基于Tensorflow的Keras深度學習框架花費了十幾個小時對22 080條訓練數(shù)據(jù)進行訓練，模型訓練過程中l(wèi)oss曲線變化如圖6所示.圖中，紅線表示訓練集的損失值，藍線表示驗證集的損失值.損失值隨著訓練次數(shù)的增加不斷下降，最終訓練集損失值非常接近于0，驗證集損失值穩(wěn)定在0.1左右，得到了一個性能較好的模型.

圖6 模型訓練過程中的loss曲線圖Fig.6 Line chart of loss during training model

正確率曲線變化如圖7所示.圖中，紅線表示訓練集的正確率，藍線表示驗證集的正確率.正確率隨著訓練次數(shù)地增加不斷上升，最終訓練集的正確率非常接近100%，驗證集地正確率穩(wěn)定在90%以上，此時是以0.5為最優(yōu)距離閾值得出的結(jié)果.

圖7 模型訓練過程中的正確率曲線圖Fig.7 Line chart of accuracy during training model

模型訓練好之后，還需要用這個模型對2 760條測試數(shù)據(jù)進行預測，其正確率的計算方法是:以0.01的步長尋找使簽名鑒別結(jié)果正確率最大的距離閾值，將這個閾值的正確率作為測試集的預測正確率.本實驗測試集以0.58為距離閾值時可得到最高正確率97%.

4 總結(jié)

本次實驗通過查閱大量文獻資料，嘗試不同的神經(jīng)網(wǎng)絡結(jié)構(gòu)，調(diào)試神經(jīng)網(wǎng)絡的參數(shù)，使用公開數(shù)據(jù)集的Dutch(荷蘭語)離線簽名數(shù)據(jù)集訓練出了準確率較為令人滿意的模型.

由于離線簽名鑒別需要做到One-shot學習，而傳統(tǒng)的圖片分類的神經(jīng)網(wǎng)絡模型只能鑒別出訓練過的書寫者的真假簽名，每新增加一個書寫者就需要重新訓練神經(jīng)網(wǎng)絡，因此傳統(tǒng)的圖片分類模型對于簽名鑒別課題沒有實用性.本課題最終采用的Siamese神經(jīng)網(wǎng)絡結(jié)構(gòu)充分利用共享權(quán)值的特點，可同時對兩張圖片做卷積特征提取操作并做相似度對比，使模型具有較好的泛化能力，對沒有訓練過的簽名也可達到較高的鑒別準確率.

但是如果想要將此模型投入實際應用，還需繼續(xù)提高模型的準確率和魯棒性.一方面可以擴大數(shù)據(jù)量.由于公共簽名數(shù)據(jù)集較少，而采集和整理大量簽名需耗費許多人力、時間，所以此次課題研究訓練模型所用的數(shù)據(jù)量還遠遠不夠，擴大數(shù)據(jù)量可以提高模型的泛化能力和準確率.或者也可以嘗試繼續(xù)改善模型的結(jié)構(gòu)、優(yōu)化模型的各層超參數(shù)，看是否能找到更加穩(wěn)健的模型.另一方面可以優(yōu)化對簽名圖片的預處理.本課題所使用的數(shù)據(jù)集都是統(tǒng)一規(guī)范采集的，但實際應用中簽名的顏色、簽字筆的粗細、紙張等因素都可能會對鑒別結(jié)果造成影響，所以如何能做到盡量去除圖片中不必要的冗余信息又最大限度地保留簽名本身的特征是需要繼續(xù)探索問題.