鐘國韻 常艷榮 汪宇玲 楊德明

(東華理工大學(xué)放射性地學(xué)大數(shù)據(jù)技術(shù)工程實驗室 江西 南昌 330013)

0 引 言

目前在圖像識別領(lǐng)域有多種多樣的圖像識別技術(shù)，比較主流的是傳統(tǒng)特征提取方法與深度學(xué)習(xí)方法，比如Gabor小波[1]、局部二值模式[2]和SIFT[3]等人臉特征提取方法，還有一些以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學(xué)習(xí)方法。2014年，文獻(xiàn)[4]提出深度卷積神經(jīng)網(wǎng)絡(luò)DeepFace，在3D對齊之后進(jìn)行模型訓(xùn)練，識別率達(dá)到97.35%。同年，文獻(xiàn)[5]提出了原創(chuàng)的DeepID系列CNN模型，其采用4層卷積，最后一層為Softmax回歸函數(shù)，采用多個網(wǎng)絡(luò)模型訓(xùn)練特征，組合成高維特征，然后通過聯(lián)合貝葉斯進(jìn)行人臉識別，識別率達(dá)到98.52%。DeepID2[6]在DeepID1的基礎(chǔ)上，對損失函數(shù)進(jìn)行了改進(jìn)，在反映類間變化的分類損失(Identification Loss)基礎(chǔ)上，添加了減少類內(nèi)離散度的驗證損失(Verification Loss)，使分類更明確，識別效果更佳，更適合人臉識別。DeepID3[7]更改了網(wǎng)絡(luò)結(jié)構(gòu)，對遮擋問題有很好的魯棒性。2015年，文獻(xiàn)[8]提出FaceNet，用Triplet Loss代替Softmax損失函數(shù)，提升類間離散度，降低類內(nèi)散度，識別率達(dá)到99.63%。2012年，文獻(xiàn)[9]提出第一個人臉識別平臺“Face++”，可以實現(xiàn)人臉識別、圖像識別、文字識別、證件識別等功能。百度AI開放平臺中的人臉識別方法采用mutil-patchdeep CNN和deep metric learning相結(jié)合的方法實現(xiàn)人臉特征的提取和識別，其識別率為99.77%[10]。Masi等[11]提出了對現(xiàn)有的公開的人臉數(shù)據(jù)庫采取pose+shape+expression三個方面進(jìn)行人臉重建和擴(kuò)增，識別率為98.07%。Liu等[12]提出L-Softmax，去掉分類層的偏置項，加入人工設(shè)定的角度，達(dá)到更好的分類效果；接著Liu等[13]提出A-Softmax，在L-Softmax的基礎(chǔ)上，歸一化權(quán)重，再進(jìn)行分類。

雖然最近如卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)技術(shù)在圖像識別上都表現(xiàn)出良好的效果，但其需要大量的樣本，實時性不高，且在實際應(yīng)用中對于模糊圖像的識別效果并不理想。

針對低分辨率(模糊)圖像，研究人員也開展了很多工作。比如對圖像進(jìn)行超分辨率重建[14-15]，以及改進(jìn)傳統(tǒng)特征提取方式直接對模糊圖像進(jìn)行識別[16-21]，還有研究人員提出采用多種特征結(jié)合的方式改善單一特征對低分辨率圖像描述不充分的問題[22]，也有研究人員采用基于映射的算法[23-25]。這些方法在一定程度上提高了模糊圖像的識別效果，但在實際應(yīng)用中，還存在很大的提升空間。

為了改善對模糊圖像的識別效果，本文受跡變換[26]利用跡線對整幅圖像進(jìn)行掃描以獲取圖像特征的啟發(fā)，提出了一種有序排列的全局結(jié)構(gòu)性特征，即對圖像進(jìn)行旋轉(zhuǎn)變換。利用局部梯度代替像素的方式對圖像提取旋轉(zhuǎn)局部梯度模式特征，相較于其他深度學(xué)習(xí)圖像識別技術(shù)，該方法對實際場景中模糊的圖像識別也具有更好效果。

1 Radon變換和跡變換特征提取方法

1.1 Radon變換

Radon變換可理解為圖像在空間的投影，空間上的每一點(diǎn)對應(yīng)(x,y)空間中的一條直線，就是將數(shù)字圖像矩陣在某一指定角度射線方向上做投影變換，即將圖像在某一方向上做線性積分，或理解為累加求和。如果將圖像看成二維函數(shù)f(x,y)，則其投影就是在特定方向上的線性積分，比如f(x,y)在垂直方向上的線性積分就是其在x軸上的投影，f(x,y)在水平方向上的線積分就是其在y軸上的投影。通過這些投影，可以獲取圖像在指定方向上的突出特性。

1.2 跡變換

跡變換是通過對圖像進(jìn)行重建和泛函作用提取圖像不變特征的方法，它是Radon變換的泛化。跡變換已被廣泛應(yīng)用于各種圖像識別中，如人臉識別[27]、地震監(jiān)測[28-29]，使用跡變換也能獲得更優(yōu)分類性能的多分類器組合[30]。Radon變換沿直線計算圖像函數(shù)的積分，而跡變換不限于直線積分，可以對圖像進(jìn)行多種形式的運(yùn)算。利用不同的泛函能映射出不同的跡變換結(jié)果。跡變換的原理如圖1所示，首先進(jìn)行圖像預(yù)處理，包括對圖像進(jìn)行等間隔角度的旋轉(zhuǎn)，為了保證圖像信息的完整性，對旋轉(zhuǎn)之后的圖像進(jìn)行擴(kuò)充，擴(kuò)充部分其像素值為零。在預(yù)處理后圖像上，利用T泛函(可為任意函數(shù))對每幅旋轉(zhuǎn)后的圖像遍歷各列，T泛函的結(jié)果是特征圖上的一行向量，由于圖像旋轉(zhuǎn)了多個角度，則不同角度圖像經(jīng)過T泛函處理后組成一幅特征圖。然后對上一步得到的特征圖利用P泛函(可為任意函數(shù))遍歷各行，P泛函的結(jié)果是一個列向量。最后對該向量利用Ф泛函(可為任意函數(shù))得到圖像的最終特征。

圖1 跡變換原理圖

2 方法設(shè)計

2.1 設(shè)計思路

跡變換利用跡線對整幅圖像進(jìn)行掃描以獲取圖像特征，提取到的特征是多角度特征的組合，而卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)圖像識別技術(shù)提取的特征只是圖像局部特征的無序組合。如圖2所示，將人臉圖片上的嘴巴和眼睛互換，此時已不能稱之為人臉，而卷積神經(jīng)網(wǎng)絡(luò)還是將其識別成一個人臉[31]，由此可見卷積神經(jīng)網(wǎng)絡(luò)的缺乏全局結(jié)構(gòu)性表達(dá)能力。

圖2 置亂五官位置前后人臉圖像對比

在模糊圖像的識別中，由于模糊圖像本身已經(jīng)丟失了很多細(xì)節(jié)特征，此時深度學(xué)習(xí)方法在模糊圖像識別上的適用性便會減弱。在這種情況下，若采用有序排列的多角度全局結(jié)構(gòu)性特征，將有可能較大程度地提升模糊圖像的識別效果(如圖2(b)中直線上按序取樣多個點(diǎn)組合成有序特征)?；诖耍鶕?jù)跡變換的思路，本文提出一種旋轉(zhuǎn)局部梯度模式特征提取方法，利用梯度代替像素的方式，把跡線上抽樣的點(diǎn)按序排列，最終得到一個8位的二進(jìn)制值。這樣能更好地描述圖像全局結(jié)構(gòu)性特征，對于模糊圖像的描述能力，很有可能比常規(guī)的深度卷積神經(jīng)網(wǎng)絡(luò)更好。

2.2 轉(zhuǎn)局部梯度模式提取方法

旋轉(zhuǎn)局部梯度模式特征提取方法首先是在圖像每一列像素上等分選擇9個采樣點(diǎn)，采樣點(diǎn)選擇如圖3所示。

圖3 采樣點(diǎn)選擇圖

圖3中，采樣點(diǎn)C1到C8是從頭到尾選取并依次按序排列，且圖像從第一列到最后一列的旋轉(zhuǎn)局部梯度模式特征值也是依次有序組合成圖像一維特征行向量，這就體現(xiàn)了我們提取的特征的有序性和全局結(jié)構(gòu)性。

在選取完采樣點(diǎn)后，計算每一個采樣點(diǎn)與中心采樣點(diǎn)的梯度，這一步利用梯度代替像素的思想，對應(yīng)公式為:

gx=|cx-c0|

(1)

式中：cx為第x個采樣點(diǎn)的像素值；c0為中心采樣點(diǎn)的像素值；gx為第x個采樣點(diǎn)的梯度值。

為了更好地表示梯度的變化情況，此時對求得的8個梯度求平均值:

(2)

得出采樣點(diǎn)與中心采樣點(diǎn)的梯度以及所有梯度的平均值后，用每一個梯度值與求得的平均值進(jìn)行對比，若單個梯度值大于平均值，則標(biāo)記為1，反之則為0，公式如下：

(3)

式中：zx為第x個采樣點(diǎn)的標(biāo)記值。

最后為了獲取有序排列的全局結(jié)構(gòu)性特征，將得到的這8個1或0利用局部梯度編碼方式有序組合成一個8位的二進(jìn)制數(shù)，求其對應(yīng)的十進(jìn)制數(shù)，作為圖像該列旋轉(zhuǎn)局部梯度模式特征值。圖4展示了采樣點(diǎn)標(biāo)記值的計算方法以及旋轉(zhuǎn)局部梯度模式特征值編碼方式。圖像中某列旋轉(zhuǎn)局部梯度模式特征值的計算公式如下：

圖4 采樣點(diǎn)編碼方式示意圖

(4)

式中：gj為圖像第j列的旋轉(zhuǎn)局部梯度模式特征值。

圖5為提取圖像某一列旋轉(zhuǎn)局部梯度模式特征值的整體算法流程圖，包括采樣點(diǎn)梯度值的獲取辦法以及圖像某一列旋轉(zhuǎn)局部梯度模式特征值的計算方法。

圖5 圖像每一列旋轉(zhuǎn)局部梯度模式特征值提取方法流程圖

本文方法特征提取效果圖如圖6所示。

圖6 原始圖像對應(yīng)的旋轉(zhuǎn)局部梯度模式特征圖

2.3 特征提取方法

通過以上分析，本文提出了一種旋轉(zhuǎn)局部梯度模式特征提取方法，圖7展示了本文方法在人臉分類識別過程中的各個模塊，其中最核心部分為提取圖像旋轉(zhuǎn)局部梯度模式特征。

圖7 圖像分類識別過程總流程圖

本文提出的旋轉(zhuǎn)局部梯度模式特征提取方法首先輸入一幅圖片，然后對圖像進(jìn)行旋轉(zhuǎn)以提取圖像多角度特征，在這個過程中，為了保證圖像信息完整性，對旋轉(zhuǎn)后的圖片進(jìn)行擴(kuò)充，擴(kuò)充的部分像素值全為‘0’。接著對旋轉(zhuǎn)后的圖像每一列都提取一個旋轉(zhuǎn)局部梯度模式特征值，每一幅旋轉(zhuǎn)角度圖片得到一個一維行向量，所有旋轉(zhuǎn)角度圖片的特征向量組合成一幅特征圖。對該幅特征圖按行統(tǒng)計直方圖并歸一化，將所有行的直方圖鏈接成一個一維行向量，這就是一幅圖片最終提取到的旋轉(zhuǎn)局部梯度模式特征，將其輸入到支持向量機(jī)中進(jìn)行分類識別。

2.3.1圖像預(yù)處理

在圖像預(yù)處理中，旋轉(zhuǎn)后的圖像每一列的位置都是由角度和步長決定的。本文在每一列像素上等間隔選取采樣點(diǎn)并進(jìn)行編碼，為了提高采樣精度及簡化算法，采用圖片旋轉(zhuǎn)的方式來獲取不同旋轉(zhuǎn)角度的圖片。由于圖片旋轉(zhuǎn)會導(dǎo)致部分邊角圖像信息超出原圖范圍，為了使不同旋轉(zhuǎn)角度的圖像在旋轉(zhuǎn)后仍保留所有原始圖像信息，遂將旋轉(zhuǎn)后的圖片擴(kuò)充為一個正方形，該正方形邊長為原圖的對角線長，擴(kuò)充部分為黑色(像素值為0)。并且經(jīng)過旋轉(zhuǎn)，原圖的每一列都變成新圖像上的每一列，為后續(xù)的采點(diǎn)工作提供了便利。預(yù)處理后的圖像如圖8所示，其中灰色背景區(qū)域為旋轉(zhuǎn)過后的原始圖像區(qū)域，擴(kuò)充后的整體區(qū)域為本文提取特征所要應(yīng)用的圖像。

(a)未旋轉(zhuǎn)圖像 (b)旋轉(zhuǎn)30度圖像

2.3.2直方圖歸一化

對旋轉(zhuǎn)局部梯度模式特征提取方法提取到的特征統(tǒng)計直方圖并歸一化，因為在提取旋轉(zhuǎn)局部梯度模式特征過程中，圖像以等間隔角度旋轉(zhuǎn)360°/ΔΦ次，每個旋轉(zhuǎn)角度的圖片在特征提取后得到一個一維行向量，對該行向量統(tǒng)計直方圖，即每個數(shù)字(十進(jìn)制數(shù)特征值)出現(xiàn)的頻率，灰度級為256，然后對該直方圖進(jìn)行歸一化處理。公式如下：

(5)

式中：ni表示圖像i的像素個數(shù)；pi表示像素的灰度數(shù)；N表示圖像的全部像素數(shù)。

將得到的所有旋轉(zhuǎn)角度圖片的統(tǒng)計直方圖鏈接成一個行向量，也就是整幅圖的旋轉(zhuǎn)局部梯度模式特征。最后將次特征向量作為樣本輸入到支持向量機(jī)中進(jìn)行訓(xùn)練識別。

2.4 特征提取方法

1)方法一：該方法是本文方法的一般形式。在本文方法中，旋轉(zhuǎn)后的圖片每列上只提取一個旋轉(zhuǎn)局部梯度模式特征值，其實還可以在圖像每列上自由選擇提取多個特征值。為了驗證采樣點(diǎn)的選取密度對圖像信息描述能力的影響，對本文方法的調(diào)整是增加圖像每列旋轉(zhuǎn)局部梯度模式特征值提取的個數(shù)。方法一在圖像每列上提取2個旋轉(zhuǎn)局部梯度模式特征值，均采用等分選取采樣點(diǎn)的方法，編碼方式如圖9所示。將每列像素等分為上下兩部分，分別提取一個旋轉(zhuǎn)局部梯度模式特征值，其中黑色的采樣點(diǎn)為該部分的采樣中心點(diǎn)。同理，若希望在圖像每列上提取多個特征值，則將圖像等分為幾部分，分別提取旋轉(zhuǎn)局部梯度模式特征值。

圖9 圖像每列提取2個旋轉(zhuǎn)局部梯度模式特征值采樣點(diǎn)選擇圖

由于現(xiàn)在對圖像每列都提取2個旋轉(zhuǎn)局部梯度模式特征值，所以最終提取到的是一個三維融合特征，因此將其轉(zhuǎn)化為二維特征以方便后續(xù)實驗的進(jìn)行。方法一特征提取效果圖如圖10所示。

圖10 在圖像每列上提取兩個特征值效果圖

2)方法一中做統(tǒng)計直方圖歸一化時，統(tǒng)計的灰度級為256，由于不同灰度級的直方圖含有不同的特征信息，對分類識別的效率以及準(zhǔn)確率有不同的影響。針對該問題，采用多種直方圖統(tǒng)計的灰度級，即在求取直方圖歸一化時，將其灰度級分別設(shè)置為16、32、64和128，然后對其進(jìn)行分類識別，對獲取的實驗結(jié)果進(jìn)行對比分析，從而確定采取哪種灰度級對某種人臉庫的分類識別效果更好，以得出最優(yōu)特征提取方式。

3 實 驗

本文的實驗環(huán)境為Windows 7 64位操作系統(tǒng)，處理器:Intel Core i5 2.6 GHz，內(nèi)存:8 GB。由于各人臉庫圖片大小都不同，在本文實驗過程中，全部將其尺寸修改為100×100，以方便實驗進(jìn)行。本文利用支持向量機(jī)對旋轉(zhuǎn)局部梯度模式特征進(jìn)行分類識別，為了更好地進(jìn)行效果對比，本文采用C-SVC型支持向量機(jī)，linear核，gamma值為1，損失函數(shù)為100，其他參數(shù)為默認(rèn)值。

3.1 實驗方案

本文實驗在西安交通大學(xué)人工智能與機(jī)器人研究所OFD東方人臉庫、AR人臉庫及CIFAR-100多分類普適物體圖像庫中進(jìn)行，以驗證本文算法的可擴(kuò)展性，這些圖像庫在圖像識別領(lǐng)域應(yīng)用比較廣泛和權(quán)威，其中OFD人臉庫和AR人臉庫均包含不同性別、不同視角的對象，以及光照變化等信息，CIFAR-100由60 000幅圖像構(gòu)成，包含100個類別，圖像語義主題廣泛，因此采用這三種圖像庫作為本文實驗的數(shù)據(jù)集。

在分類識別過程中，對于OFD東方人臉庫1 247類人中，每類隨機(jī)選取其中10幅圖像當(dāng)作訓(xùn)練樣本用于組成訓(xùn)練集，6幅圖像當(dāng)作測試樣本組成測試集；對于CIFAR-100每個類別600幅圖像，500幅用于訓(xùn)練，100幅用于測試；對于AR人臉庫120類人中，每類隨機(jī)選取其中18幅圖像當(dāng)作訓(xùn)練樣本用于組成訓(xùn)練集，每種方案循環(huán)訓(xùn)練100次得出平均識別率。

本文利用Sphereface[13]以及VGG-19在模糊圖像庫中與本文提出的旋轉(zhuǎn)局部梯度模式方法進(jìn)行對比，兩種對比方法的訓(xùn)練樣本數(shù)與本文方法相同。

3.2 標(biāo)準(zhǔn)人臉庫下實驗結(jié)果與分析

在標(biāo)準(zhǔn)圖像庫下的實驗結(jié)果如表1所示?？梢钥闯?，本文方法在三種圖像庫上的識別率均是取一點(diǎn)的方法優(yōu)于取二點(diǎn)的；而對于直方圖分級卻因不同圖像庫而異，但也基本可以看出直方圖分級過少大部分情況下也會導(dǎo)致特征丟失，從而影響識別效果?？偟膩砜?，本文方法在三種圖像庫上均可以睥睨目前主流的卷積神經(jīng)網(wǎng)絡(luò)等方法在標(biāo)準(zhǔn)圖像庫上的識別率，這充分驗證了本文特征提取方法在圖像識別領(lǐng)域的可應(yīng)用性。

表1 本文方案在標(biāo)準(zhǔn)圖像庫上識別效果

3.3 模糊條件下實驗結(jié)果與分析

為了模仿在實際場景中攝像頭所采集到的圖像，本文將所有的圖像庫圖片利用高斯濾波的方式進(jìn)行不同程度的模糊，然后對模糊后的圖像數(shù)據(jù)庫圖片進(jìn)行人臉分類實驗，其他實驗步驟及方案同原始圖像數(shù)據(jù)庫圖片分類實驗。

本文實驗對圖像的模糊采用二維高斯分布，對圖像庫圖片進(jìn)行三種不同程度的模糊。其中三種程度的高斯模糊的σ均取4.0；對于高斯核，一級模糊采用7×7的高斯模板，二級模糊采用9×9的高斯模板，三級模糊采用11×11的高斯模板；而AR人臉庫由于其本身圖片尺寸為40×50，較其他圖像庫更小，故其一級模糊采用3×3的高斯模板，二級模糊采用5×5的高斯模板，三級模糊采用7×7的高斯模板。圖11為原始圖片與不同模糊程度的圖片對比。

(a)原始圖片 (b)模糊一級

在模糊條件下，本文在三種圖像庫下的識別效果如表2至表4所示，其中加粗的數(shù)字為該種條件下的最佳識別效果。

表2 模糊條件下本文算法在OFD人臉庫上識別效果

表3 模糊條件下本文算法在CIFAR-100圖像庫上識別效果

表4 模糊條件下本文算法在AR人臉庫上識別效果

由以上實驗數(shù)據(jù)對比可以得出本文方法在各個圖像庫上的最優(yōu)特征提取方式。通過對數(shù)據(jù)分析來看，基本上在圖像每一列上取一個特征值的效果優(yōu)于取二個的，這可能是由于較多的采樣點(diǎn)反而增加了更多的冗余信息，影響了識別效果。對于模糊圖片，本文算法在三個圖像庫上的識別效果并未由于圖片模糊程度加深而產(chǎn)生較大影響。

為了驗證本文算法的可應(yīng)用性，本文還利用Sphereface和VGG-19在三種圖像庫上進(jìn)行對比實驗，結(jié)果如表5所示，其中加粗的數(shù)字為該種條件下最佳識別率。

表5 模糊條件下本文算法與VGG-19及Sphereface識別效果對比

為了更直觀地展示本文算法的優(yōu)越性，圖12為三種算法在OFD人臉庫上的識別效果對比?？梢钥闯?，在三種模糊程度上，本文算法人臉識別效果幾乎在所有情況下都遠(yuǎn)遠(yuǎn)優(yōu)于VGG-19及Sphereface。而且深度學(xué)習(xí)方法的識別率隨著圖像模糊程度的加深迅速下降，尤其是圖像本身尺寸較小的情況，然而圖片的模糊對本文方法的識別效果影響甚微，這主要是由于本文提取到的有序排列的全局結(jié)構(gòu)性特征能對圖像在多角度多尺度上的特征進(jìn)行很好的表達(dá)。而深度學(xué)習(xí)方法是利用圖像特征的無序組合對圖像進(jìn)行識別，對信息缺失嚴(yán)重的模糊圖像的空間結(jié)構(gòu)性特征表達(dá)能力不足，且不具備圖像特征旋轉(zhuǎn)不變性，這是深度學(xué)習(xí)方法在圖像識別領(lǐng)域的一大弊端。

圖12 模糊條件下本文算法與VGG-19及Sphereface在OFD庫上識別效果對比圖

4 結(jié) 語

本文提出了一種旋轉(zhuǎn)局部梯度模式特征提取方法，采用梯度代替像素的方式，經(jīng)過圖像預(yù)處理，在多尺度多角度上提取旋轉(zhuǎn)局部梯度模式特征，最后利用支持向量機(jī)訓(xùn)練得出分類結(jié)果，并就本文方法提出多種改進(jìn)方案，以獲取對每一種圖像庫最優(yōu)的特征提取方式。經(jīng)過一系列的對比實驗得出了本文算法在每個圖像庫上相對最佳的特征提取方式。在對各個圖像庫中的圖片進(jìn)行分類識別時，本文方法在OFD人臉庫中識別率能達(dá)到99.198 1%，在CIFAR-100圖像庫上能達(dá)到92.987 2%，在AR人臉庫上能達(dá)到98.888 9%?？梢姳疚姆椒ㄋ崛〉降奶卣髂軌蜉^好地描述人臉特征的全局結(jié)構(gòu)性和旋轉(zhuǎn)不變性。同時在模糊條件下，尤其是在三級模糊下，本文方法識別效果明顯優(yōu)于深度學(xué)習(xí)方法，這可以說明有序排列的全局結(jié)構(gòu)性特征在人臉特征表達(dá)上效果優(yōu)異，而卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)方法是不具備這種能力的，且本文方法所需訓(xùn)練樣本比深度學(xué)習(xí)方法要少得多。在實際應(yīng)用場景中，攝像頭所拍攝的圖片大都是模糊不清的，這也正好與本文方法的識別優(yōu)勢契合，由此可見，本文方法具有很強(qiáng)的實際應(yīng)用價值。