唐 俊 樊旭晨 張 艷 魯璽龍 王 年

(1安徽大學(xué)電子信息工程學(xué)院, 合肥 230601)(2公安部物證鑒定中心, 北京 100038)

足跡識別是指根據(jù)足跡圖像獲取與身份相關(guān)的信息,相比于指紋痕跡,足跡更難去掩蓋,因此,足跡識別在監(jiān)管、安全和刑事偵查等領(lǐng)域具有重要的現(xiàn)實意義.已有足跡識別算法可分為2類:第1類是手動提取特征并建立特征與目標(biāo)信息之間的函數(shù),如文獻[1]提出一種基于腳長、腳寬特征回歸身高的算法,文獻[2]提出一種基于腳掌半徑預(yù)測年齡的算法;第2類是自動提取特征并建立特征與目標(biāo)信息之間的函數(shù),如文獻[3]提出一種基于足底壓力圖像結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(CNN)的身份識別算法,文獻[4]提出一種基于足底光學(xué)圖像預(yù)測身高的算法,文獻[5]提出一種使用支持向量機(SVM)的身份識別算法.上述算法均是建立在赤足足底圖像基礎(chǔ)上,而真實的犯罪現(xiàn)場提取的主要為鞋印圖像,由于鞋印種類的多樣性以及鞋底磨損度的差異性,無法直接對鞋印圖像進行特征提取.針對該問題,本文提出一種將鞋印圖像反演成赤足圖像的算法,該算法能夠?qū)Τ嘧阕阚E樣本量進行擴充,并且間接地解決了鞋印圖像特征提取困難的問題.

反演算法實質(zhì)上是一個圖到圖的轉(zhuǎn)換問題,該問題的解決方法可分為2種.第1種是基于生成對抗網(wǎng)絡(luò)(GAN)[6-8],通過生成器與判別器的對抗訓(xùn)練,獲得一個可以完成圖像到圖像轉(zhuǎn)換任務(wù)的編解碼結(jié)構(gòu).如文獻[9]提出使用UNet[10]作為生成器并采用像素級別判別器的結(jié)構(gòu)(Pix2pixGAN),該結(jié)構(gòu)主要適用于圖像分割、邊緣檢測等任務(wù).文獻[11]提出一種環(huán)形GAN(CycleGAN),將源域中的圖像先轉(zhuǎn)換到目標(biāo)域再重構(gòu)到源域,訓(xùn)練過程不需要匹配圖片對,適用于圖像風(fēng)格遷移任務(wù)(季節(jié)、色彩轉(zhuǎn)換).在文獻[11]的基礎(chǔ)上,文獻[12]提出一種雙向的環(huán)形結(jié)構(gòu)(DiscoGAN),在重構(gòu)源域圖像的同時,對目標(biāo)域圖像也進行了重構(gòu).第2種是不采用對抗訓(xùn)練模式的編解碼結(jié)構(gòu),如文獻[13]提出一種自適應(yīng)實例規(guī)范化算法(AdaIN),假設(shè)目標(biāo)域與源域圖像之間存在潛在的共享空間,通過編碼器將源域圖像編碼到潛在空間中,利用自適應(yīng)的規(guī)范化算法將源域的特征分布進行歸一化之后再映射到目標(biāo)域,相比于GAN的訓(xùn)練更加靈活,適用于風(fēng)格遷移任務(wù).

上述結(jié)構(gòu)使用的數(shù)據(jù)集源域與目標(biāo)域之間的差異較小,整體結(jié)構(gòu)相同,如純色馬與斑馬、真實場景與油畫之間的轉(zhuǎn)換.而鞋印與腳印之間,無論是從外部結(jié)構(gòu)還是內(nèi)部紋理差異都較大,因此現(xiàn)有結(jié)構(gòu)不適合足跡圖像反演實驗.針對該問題,本文提出一種對稱的多分支生成對抗網(wǎng)絡(luò),該結(jié)構(gòu)將輸入的鞋印圖像分成2個部分進行重構(gòu),并同時使用全局與局部判別器訓(xùn)練,能夠使網(wǎng)絡(luò)結(jié)合鞋印的全局與局部信息,生成與真實腳印更加相近的圖像.

由于足跡數(shù)據(jù)集的匱乏,本文構(gòu)建了一個足底壓力圖像數(shù)據(jù)集S2FD,該數(shù)據(jù)集包含695張足底壓力圖像以及與其對應(yīng)的695張布鞋鞋底壓力圖像.本文在S2FD數(shù)據(jù)集上進行了鞋印反演赤足的實驗,并使用SSIM、MAE以及檢索準(zhǔn)確率Rank1作為評價指標(biāo),實驗結(jié)果表明,相比于現(xiàn)有圖像到圖像的轉(zhuǎn)換算法,SMbGAN更適合本文任務(wù).

1 數(shù)據(jù)來源

S2FD數(shù)據(jù)集的采集設(shè)備是由杭州創(chuàng)恒電子技術(shù)開發(fā)有限公司提供的足底壓力成趟采集儀.采集儀總長度為990 cm,由33塊壓力板組成,每塊壓力板寬30 cm,長50 cm,每平方厘米包含25個壓力傳感器.

本文所提出的數(shù)據(jù)集總共有1 390張足跡壓力圖像,包含695張布鞋鞋底壓力圖像以及對應(yīng)的695張赤足足底壓力圖像.數(shù)據(jù)來自于64名在校大學(xué)生,采集前均對其年齡、身高以及體重等信息進行了記錄.S2FD同樣適用于基于足跡圖像的身份檢索、年齡預(yù)測等任務(wù),是目前足跡領(lǐng)域首個足底與鞋底混合的壓力數(shù)據(jù)集.

2 圖像預(yù)處理

在數(shù)據(jù)采集的過程中,由于電流干擾以及被采集者個人行走步態(tài)差異,采集的圖像會出現(xiàn)噪聲以及足跡區(qū)域傾斜等問題.為了避免上述問題影響最終反演實驗的結(jié)果,本文對采集的原始圖像進行了去噪、中心化以及旋轉(zhuǎn)操作,具體步驟如下.

采集設(shè)備運行過程中,傳感器連接處產(chǎn)生電流干擾,在圖像的背景區(qū)域會出現(xiàn)條狀噪聲,由于該噪聲的產(chǎn)生與采集設(shè)備連接處的硬件相關(guān),其形狀大小受限于連接處的硬件大小.傳統(tǒng)的濾波去噪算法不能有效去除條狀噪聲,本文設(shè)計了一種滑動窗口去噪算法,去噪過程如圖1所示,其中圖1(a)為包含噪聲的原始圖像.首先,為了確定足跡區(qū)域上、下、左、右最外緣的4個關(guān)鍵點(見圖1(b)中點A、B、C、D),設(shè)置一個大小為4×4像素單元的方形掃描窗口,從圖像的四周向內(nèi)部滑動,當(dāng)窗口中存在背景像素值(灰度值為0)時,則繼續(xù)滑動(見圖1(d),圖1(d)為圖1(a)方框內(nèi)條狀噪聲的放大圖像),反之則停止滑動,取此時滑動窗口外側(cè)中點為外緣關(guān)鍵點(見圖1(e)中點D).為了避免關(guān)鍵點在足跡區(qū)域內(nèi)部,本文對關(guān)鍵點進行了放縮,保證該點與足跡區(qū)域不重合(見圖1(f));其次,根據(jù)4個關(guān)鍵點構(gòu)建足跡的等效矩形,如圖1(b)所示;最后,將等效矩形外部的像素值設(shè)置為0,保留矩形內(nèi)部的像素值.最終去噪效果如圖1(c)所示,從圖中可以看出,噪聲被有效去除.

(a) 去噪前

(d) 掃描噪聲區(qū)域

采集過程中,由于被采集者之間行走姿態(tài)的差異,足跡區(qū)域的位置分布不均勻.為了避免該問題影響反演實驗結(jié)果,本文利用去噪過程中使用的等效矩形框,將矩形框的中心點平移到圖像的中心點.中心化結(jié)果如圖2所示.

(a) 中心化前

(b) 中心化后

中心化操作消除了行走過程中足跡位置分布的差異,但是并未消除步角的差異.為了統(tǒng)一數(shù)據(jù)集中足跡的偏向角,本文參考了文獻[4]中的旋轉(zhuǎn)算法,以前掌中心點與后跟中心連線與水平方向夾角為旋轉(zhuǎn)角、前掌中心點為旋轉(zhuǎn)點進行旋轉(zhuǎn),旋轉(zhuǎn)過程如圖3所示,從圖中可以看出,旋轉(zhuǎn)后的足跡區(qū)域呈水平狀.

(a) 旋轉(zhuǎn)前

(b) 旋轉(zhuǎn)后

3 對稱式多分支生成對抗網(wǎng)絡(luò)

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

GAN因采用博弈學(xué)習(xí)的方式[6],被廣泛地用于圖到圖的轉(zhuǎn)換任務(wù),如Pix2pixGAN能夠完成原圖與分割圖之間的轉(zhuǎn)化;CycleGAN能夠完成顏色以及畫風(fēng)的轉(zhuǎn)化.但是上述結(jié)構(gòu)中使用的圖像對實質(zhì)上是同類物體(原圖轉(zhuǎn)分割圖、純色馬轉(zhuǎn)斑馬),這類圖像對域間距較小,而鞋印與赤足不屬于一類物體,域間距較大,使用現(xiàn)有結(jié)構(gòu)無法滿足該任務(wù)的要求.本文提出一種對稱式多分支生成對抗網(wǎng)絡(luò)(SMbGAN),網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示,首先將足跡區(qū)域分成前掌與后掌2個區(qū)域,分別對前、后掌區(qū)進行重構(gòu);其次對重構(gòu)出的2張區(qū)域圖像使用局部判別器進行區(qū)域判定;最后將2張局部的圖像進行合成,使用全局判別器進行全局判定.該結(jié)構(gòu)將足跡圖像分成2部分進行重構(gòu),并且聯(lián)合全局與局部判別器進行判定,能夠更有效地發(fā)掘鞋印足跡與赤足足跡之間壓力分布以及形狀的對應(yīng)關(guān)系,適合本文的反演任務(wù).

圖4 SMbGAN結(jié)構(gòu)圖

SMbGAN的生成器是一個圖像的編解碼模塊,編碼器將源域圖像編碼到低維度的特征空間,而解碼器將低緯度的特征解碼到目標(biāo)域空間.隨著層數(shù)的加深,常規(guī)的編解碼結(jié)構(gòu)會逐漸丟失淺層特征信息.SMbGAN的生成器采用特征金字塔(FPN)[14]結(jié)構(gòu),該結(jié)構(gòu)將編碼器與解碼器不同尺度下的特征進行融合,避免深層特征中丟失了淺層信息,提升網(wǎng)絡(luò)對圖像內(nèi)部細節(jié)的關(guān)注度.SMbGAN中包含了2個共享參數(shù)的FPN生成器,生成器的編碼部分由多個下采樣模塊組成，每個下采樣模塊包含一個卷積層、一個批歸一化(BN)層以及一個LReLU激活層組成;解碼部分由多個上采樣模塊組成，每個上采樣模塊包含一個反卷積層、一個BN層以及一個ReLU激活層組成.將鞋印的上下部分輸入到生成器中,得到對應(yīng)位置的赤足足跡,再將赤足足跡的2部分進行拼接得到最終的目標(biāo)域圖像.

假定由生成器生成的目標(biāo)域圖像為偽圖,偽圖對應(yīng)的真實目標(biāo)域圖像稱為真圖.判別器是一個鑒別目標(biāo)域圖像真?zhèn)蔚慕Y(jié)構(gòu),包含1個編碼器以及1個二分類的全連接層，編碼器由多個下采樣模塊組成.當(dāng)輸入判別器的圖像為真圖時,判別器輸出1;反之,則為0.在判別器中,使用全連接層的二分類器是將編碼器的輸出特征圖展開成1維特征,再逐漸降維成2類,該過程會丟失部分特征,影響判別器的性能.本文去除了傳統(tǒng)判別器中的全連接層,將編碼器的輸出經(jīng)過2D Sigmoid激活后作為分類的輸出,實現(xiàn)對輸出特征圖逐像素點的分類,提升結(jié)構(gòu)對細節(jié)的關(guān)注度.另外,為了保證目標(biāo)域與源域圖像對之間的匹配性,本文參考文獻[9]中方法,將源域圖像與目標(biāo)域圖像拼接后作為判別器的輸入,定義源域圖像與真圖為正樣本對,作為判別器的正向輸入,源域圖像與偽圖為負樣本對,作為判別器的負向輸入.SMbGAN共包含2個局部判別器以及1個全局判別器.

3.2 損失函數(shù)

SMbGAN的損失函數(shù)由生成器損失與判別器損失組成.生成器損失LG包含對抗損失LG，g以及L1損失LG，L1.其中對抗損失公式如下:

LG，g=LG，gu+LG，gd+LG，ga

(1)

(2)

(3)

(4)

LG，L1通過計算生成器生成的目標(biāo)域圖像與真實的目標(biāo)域圖像之間的平均絕對誤差,衡量生成圖像與真實圖像之間的距離,通過優(yōu)化該損失能夠保證生成圖像的質(zhì)量,公式如下:

(5)

為了確保反演結(jié)果的有效性,最終的生成器損失為對抗損失與L1損失的加權(quán)和,即

LG=w1LG，g+w2LG，L1

(6)

式中,w1、w2為權(quán)值,本文實驗中設(shè)置w1=1,w2=190.對L1損失使用較大的權(quán)重,可使網(wǎng)絡(luò)在訓(xùn)練過程中更加關(guān)注生成圖像的質(zhì)量,保證反演結(jié)果的有效性.

判別器損失LD包含局部判別器損失LD，u、LD，d以及全局判別器損失LD，a,公式如下:

(7)

(8)

(9)

LD=LD，u+LD，d+LD，a

(10)

3.3 訓(xùn)練方法

SMbGAN采用判別器與生成器交替的訓(xùn)練方式[6]如圖5所示.首先,固定生成器參數(shù),訓(xùn)練判別器如圖5(a)所示,將正樣本對以及負樣本對分別作為正樣本與負樣本,輸入判別器,計算判別器損失,使用Adam優(yōu)化器更新判別器參數(shù);其次,固定判別器參數(shù),如圖5(b)所示,將生成器輸出與源域圖像組成的負樣本對作為正樣本,輸入判別器,根據(jù)判別器輸出以及生成器輸出計算生成器的對抗損失以及 L1損失,使用Adam優(yōu)化器更新生成器參數(shù);最后,重復(fù)上述步驟,訓(xùn)練至指定輪數(shù)時結(jié)束,保存訓(xùn)練過程中測試集誤差最小的模型.

(a) 訓(xùn)練判別器

(b) 訓(xùn)練生成器

4 實驗

4.1 設(shè)備參數(shù)

本文所涉及到的有關(guān)深度學(xué)習(xí)的實驗均在顯卡型號為GeForce RTX 2080Ti,CPU型號為Intel Core i7-9700K的PC機上進行.使用Adam優(yōu)化器,訓(xùn)練總輪數(shù)為200,每輪訓(xùn)練包含1張源域圖像以及對應(yīng)的1張目標(biāo)域圖像.

4.2 評價指標(biāo)

本文使用結(jié)構(gòu)相似性(SSIM)[15]、MAE以及檢索準(zhǔn)確率(Rank1)作為評價指標(biāo).其中,SSIM通過圖像之間的亮度、對比度以及結(jié)構(gòu)作為衡量標(biāo)準(zhǔn),從全局的角度計算圖像之間的差異;MAE通過逐點計算圖像對間每一位置的像素差,累加后求平均,獲取圖像對之間的精確誤差,從局部細節(jié)計算圖像之間的差異;為了驗證反演結(jié)果的有效性,本文將反演出的赤足圖像在赤足庫中進行身份檢索,使用檢索的Rank1對生成圖像的特征進行評價.

4.3 對比實驗

為了對比不同結(jié)構(gòu)在足跡反演實驗中的效果,本文使用Pix2pixGAN、CycleGAN、AdaIN以及SMbGAN進行了相同的反演實驗,實驗數(shù)據(jù)均為經(jīng)過相同預(yù)處理的足底壓力圖像,反演實驗結(jié)果如表1所示.由于SSIM是全局的相似性比較,而足底壓力圖像背景均為黑色,整體色調(diào)相近,因此SSIM的基準(zhǔn)線較高,數(shù)值比較接近.MAE為逐像素點的比較,反映圖像的細節(jié)信息,CycleGAN與AdaIN主要適用于風(fēng)格轉(zhuǎn)換任務(wù),輸入數(shù)據(jù)不一一匹配,隨機從目標(biāo)域與源域抽取圖像進行訓(xùn)練,對細節(jié)的關(guān)注度較低,故MAE值較大；而Pix2pixGAN與SMbGAN使用了匹配輸入的方式,MAE值相對較小,并且SMbGAN采用全局與局部相結(jié)合的判別器結(jié)構(gòu),提升了對細節(jié)的關(guān)注程度,MAE值最低.SMbGAN的Rank1遠大于其他3種結(jié)構(gòu),證明了反演結(jié)果的特征相似性高于其他結(jié)構(gòu).根據(jù)該對比實驗結(jié)果可以看出,相比于其他3種結(jié)構(gòu),SMbGAN在足跡反演實驗中性能最優(yōu),真實赤足圖像與生成赤足圖像的SSIM值為0.988,MAE值為4.324,Rank1值為0.462.另外,本文統(tǒng)計了表1中4種結(jié)構(gòu)的訓(xùn)練時間,由于AdaIN為編解碼結(jié)構(gòu),未采用GAN的訓(xùn)練模式,因此訓(xùn)練過程消耗的時間最少;CycleGAN為環(huán)形的生成對抗網(wǎng)絡(luò)結(jié)構(gòu),訓(xùn)練過程資源消耗大,訓(xùn)練時間最長;SMbGAN含有2條支路,訓(xùn)練時間接近于Pix2pixGAN的2倍.

表1 不同結(jié)構(gòu)反演實驗結(jié)果

圖6展示了Pix2pixGAN、CycleGAN、AdaIN以及SMbGAN四種結(jié)構(gòu)的部分反演結(jié)果.從圖中可以看出,本文結(jié)構(gòu)反演出的赤足圖像在外部形狀以及內(nèi)部壓力分布方面均接近于真實標(biāo)簽圖像.CycleGAN與AdaIN由于訓(xùn)練的數(shù)據(jù)不是一一匹配的,網(wǎng)絡(luò)無法準(zhǔn)確提取鞋印與赤足之間的關(guān)系,其中CycleGAN生成的赤足圖像外部輪廓基本相同并且部分圖像變形,而AdaIN由于測試過程中需要提供目標(biāo)域的一個模板,因此生成的圖像與模板圖像基本一致;Pix2pixGAN只包含一個生成器與一個判別器,圖像細節(jié)關(guān)注度低,生成圖像的多樣性低,出現(xiàn)不同輸入樣本產(chǎn)生高相似度輸出的問題.從圖6可以得出,相比于其他結(jié)構(gòu),本文提出的反演結(jié)構(gòu)能夠有效提取鞋底壓力圖像與足底壓力圖像之間的關(guān)系,生成的足底壓力圖像無論從外部輪廓還是內(nèi)部壓力分布都最接近于真實圖像,與表1中實驗結(jié)果相符.

(a) 輸入圖像

(b) 標(biāo)簽圖像

(c) SMbGAN輸出圖像

(d) CycleGAN輸出圖像

(e) Pix2pixGAN輸出圖像

(f) AdaIN輸出圖像

4.4 消融實驗

4.4.1 預(yù)處理有效性

為了驗證預(yù)處理算法的有效性,本文使用SMbGAN對經(jīng)過不同預(yù)處理的數(shù)據(jù)進行了反演實驗,實驗結(jié)果如表2所示.從表2可以看出,經(jīng)過預(yù)處理的數(shù)據(jù),實驗結(jié)果的SSIM值總體呈上升趨勢(SSIM值基準(zhǔn)線較高,會出現(xiàn)部分抖動現(xiàn)象),且去噪步驟對SSIM值的提升最大,證明本文去噪算法的有效性.MAE與Rank1為細節(jié)相似性的度量,經(jīng)過不同預(yù)處理后的結(jié)果均呈下降趨勢,由于中心化與旋轉(zhuǎn)操作實質(zhì)上是在數(shù)據(jù)集中將鞋印圖像與赤足圖像進行了對齊,因此經(jīng)過中心化與旋轉(zhuǎn)步驟的圖像MAE值下降幅度最大,且Rank1值提升最明顯,證明了旋轉(zhuǎn)與中心化算法的有效性.

表2 經(jīng)過不同預(yù)處理的數(shù)據(jù)反演實驗結(jié)果

4.4.2 結(jié)構(gòu)有效性

為了驗證SMbGAN的結(jié)構(gòu)有效性,本文分別對不同結(jié)構(gòu)的SMbGAN進行了相同的反演實驗,包括不同的生成器參數(shù)設(shè)定以及判別器數(shù)目,實驗結(jié)果如表3所示.從表3可以看出,SMbGAN的生成器共享參數(shù)時的實驗結(jié)果優(yōu)于不共享參數(shù)時的實驗結(jié)果,并且生成器共享參數(shù)能夠降低網(wǎng)絡(luò)的參數(shù)量,減少訓(xùn)練過程中內(nèi)存的占用率.對于僅使用全局判別器的網(wǎng)絡(luò)全局關(guān)注度高,SSIM值相對較高,而僅使用局部判別器的網(wǎng)絡(luò)對細節(jié)關(guān)注度較高,MAE值相對較低,聯(lián)合使用全局與局部判別器的結(jié)構(gòu)能夠關(guān)注全局與細節(jié)信息,因此實驗結(jié)果明顯優(yōu)于其他結(jié)構(gòu).該消融實驗結(jié)果表明,本文提出的SMbGAN結(jié)構(gòu)適用于足跡圖像的反演任務(wù).

表3 不同結(jié)構(gòu)的SMbGAN反演實驗結(jié)果

4.5 超參數(shù)驗證

本文3.2節(jié)中生成器的損失函數(shù)包含2個權(quán)重參數(shù)w1與w2.為了驗證不同的參數(shù)對訓(xùn)練結(jié)果的影響,本文將w1與w2按照不同比例進行了反演實驗,繪制了w1與w2的相關(guān)系數(shù)ε與SSIM、MAE的關(guān)系曲線圖,如圖7(a)所示.圖中,ε>0時表示w1與w2的比值,ε<0時表示w2與w1比值的相反數(shù).由于MAE與SSIM值的尺度以及大小意義不統(tǒng)一,因此繪制出的曲線間隔大并且SSIM起伏不明顯.為了解決該問題,本文將SSIM值放縮到與MAE值近似的尺度下,并做了鏡像操作來保證MAE值與SSIM值均越小反演實驗效果越好,放縮后的曲線如圖7(b)所示,reSSIM表示放縮后的SSIM值.從圖中可以看出,隨著ε的改變,reSSIM值基本穩(wěn)定,而MAE值在ε<0時出現(xiàn)最小值.實驗結(jié)果表明,訓(xùn)練過程中加大L1損失的權(quán)重能夠提升生成圖像的質(zhì)量,與3.2節(jié)描述一致.

(a) ε-SSIM,MAE曲線圖

(b) ε-reSSIM,MAE曲線圖

(c) ε-reSSIMAE曲線圖

為了更精確地獲得相關(guān)系數(shù)ε取何值時實驗結(jié)果最優(yōu),本文繪制了ε-reSSIMAE曲線,如圖7(c)所示,reSSIMAE表示reSSIM與MAE的疊加值.當(dāng)w2/w1=190時,reSSIM與MAE之和取最小值.根據(jù)該實驗結(jié)果,本文設(shè)置SMbGAN訓(xùn)練過程中w1=1,w2=190.

4.6 優(yōu)化器選擇

優(yōu)化器是深度學(xué)習(xí)模型訓(xùn)練過程中更新權(quán)重的工具,正確的優(yōu)化方式能夠加速網(wǎng)絡(luò)收斂,提高訓(xùn)練效率.為了確定不同的優(yōu)化方式對SMbGAN訓(xùn)練過程的影響,本文使用隨機梯度下降(SGD)、均方根比例(RMSProp)以及自適應(yīng)矩估計(Adam)三種常見的優(yōu)化器在SMbGAN上進行了對比實驗,繪制了訓(xùn)練過程中訓(xùn)練輪數(shù)與判別器損失以及訓(xùn)練輪數(shù)與L1損失曲線圖,如圖8所示.由于SGD采用固定學(xué)習(xí)率,優(yōu)化速率緩慢,因此使用SGD優(yōu)化器的判別器損失以及L1損失下降緩慢并且最終優(yōu)化效果差.RMSProp使用了自適應(yīng)學(xué)習(xí)率,優(yōu)化效果要優(yōu)于SGD,但是優(yōu)化過程中會出現(xiàn)不穩(wěn)定現(xiàn)象,如圖8(b)所示,使用RMSProp的曲線在訓(xùn)練輪數(shù)接近125時出現(xiàn)了突刺.Adam為目前最常用的深度學(xué)習(xí)優(yōu)化器,結(jié)合了RMSProp的自適應(yīng)學(xué)習(xí)率并且將更新的步長限定在一定范圍內(nèi),提高了穩(wěn)定性.通過該對比實驗,SMbGAN選擇使用Adam作為優(yōu)化器.

(a) 判別器損失

(b) L1損失

4.7 差異性分析

被采集者在行走的過程中,由于個體行為習(xí)慣的差異以及采集時的心理因素,極少部分被采集者穿鞋與赤足圖像的壓力分布不一致,如圖9所示.圖9(a)中鞋印圖像與真實赤足圖像壓力分布一致,即真實赤足圖像的前掌部分以及足跟部分的壓力分布與鞋印圖像的對應(yīng)區(qū)域壓力分布一致，圖9(b)中真實赤足圖像的前掌部分壓力分布與鞋印圖像的對應(yīng)區(qū)域壓力分布不一致(真實赤足圖像的前掌壓力分布位于右側(cè)，鞋印位于左側(cè))，而經(jīng)過SMbGAN輸出的赤足圖像的前掌壓力分布與鞋印圖像相同，均位于左側(cè)，說明本文提出的結(jié)構(gòu)能夠有效關(guān)注鞋底壓力分布的規(guī)律,對標(biāo)簽與輸入圖像的壓力分布差異進行修補.

(a) 鞋印圖像與真實赤足圖像壓力分布一致

(b) 鞋印圖像與真實赤足圖像壓力分布不一致

5 結(jié)論

1) 為了解決在足跡識別領(lǐng)域鞋印圖像識別困難的問題,提出了一種對稱式多分支生成對抗網(wǎng)絡(luò),實驗證明相比于其他結(jié)構(gòu),該結(jié)構(gòu)反演出的足底壓力圖像與真實圖像在外形以及壓力分布方面相似度最高,真實赤足圖像與生成赤足圖像的SSIM值為0.988,MAE值為4.324,Rank1值為0.462.該算法為辦案人員提供了一種識別手段,將繁瑣的鞋印識別簡化成赤足足跡識別,通過赤足圖像能夠更快速地分析出目標(biāo)人員的性別、身高以及年齡等身份信息,提高了辦案效率.

2) 本文構(gòu)建了首個足底壓力數(shù)據(jù)集S2FD,該數(shù)據(jù)集包含695張足底壓力圖像以及與其對應(yīng)的695張布鞋鞋底壓力圖像.S2FD為足跡領(lǐng)域的研究提供了數(shù)據(jù)支撐,旨在建立一個同人臉識別以及指紋識別類似的大規(guī)模數(shù)據(jù)庫,打開足跡識別的大門.