林益文,楊 嘯,陳 青,邱新媛,任維澤

(中國(guó)核動(dòng)力研究設(shè)計(jì)院,四川 成都 610213)

0 引 言

計(jì)算機(jī)視覺一直是深度學(xué)習(xí)算法最成功的應(yīng)用領(lǐng)域,卷積神經(jīng)網(wǎng)絡(luò)(CNN)在眾多計(jì)算機(jī)視覺任務(wù)中取得了巨大的發(fā)展。通過卷積層的堆疊,神經(jīng)網(wǎng)絡(luò)可以從圖像中提取更加復(fù)雜的語(yǔ)義特征概念,從而在大規(guī)模圖像識(shí)別任務(wù)中展現(xiàn)出卓越的識(shí)別能力[1-3]。然而,從圖1中可以看出,單一的卷積神經(jīng)網(wǎng)絡(luò)難以學(xué)習(xí)到全面的語(yǔ)義特征,由于網(wǎng)絡(luò)的容量問題,使得其更傾向于集中注意力在最具識(shí)別能力的關(guān)鍵特征上,而忽視一些其他有價(jià)值的圖像特征。

圖1 針對(duì)不同數(shù)據(jù)集的類激活圖樣例

模型融合是機(jī)器學(xué)習(xí)中的一種強(qiáng)大方法,能夠應(yīng)用于各種算法并提升其性能,也被廣泛應(yīng)用于深度學(xué)習(xí)模型中[4-5]。利用適當(dāng)?shù)乃惴ú呗哉弦幌盗谢A(chǔ)模型,能夠提高集成模型的表現(xiàn),使其具有更好的泛化和識(shí)別能力。同時(shí),為了強(qiáng)化模型融合的效果,基礎(chǔ)模型應(yīng)當(dāng)具有盡可能大的多樣性,并保持進(jìn)行獨(dú)立識(shí)別的能力[6]。

為了提升模型中語(yǔ)義特征的多樣性,并提升模型的識(shí)別性能,該文提出了一種創(chuàng)新的距離損失函數(shù),迫使不同基礎(chǔ)模型學(xué)習(xí)不同的語(yǔ)義特征,同時(shí)構(gòu)建了一個(gè)模型融合框架對(duì)提取的語(yǔ)義特征進(jìn)行整合,以達(dá)到從多個(gè)角度對(duì)物體場(chǎng)景進(jìn)行識(shí)別的目的。針對(duì)該方法,基于不同卷積神經(jīng)網(wǎng)絡(luò)骨架(VGG,ResNet,AlexNet)、不同數(shù)據(jù)集(Cifar10,Cifar100,miniImageNet,NEU,BSD,TEX)以及不同樣本量(每類3,5,10,20,50,100)進(jìn)行了深入研究,開展了多因素交叉實(shí)驗(yàn),最終的實(shí)驗(yàn)結(jié)果展示了該方法具有有效性和泛化能力,分析得出了其相應(yīng)的優(yōu)勢(shì)區(qū)間。

1 方法設(shè)計(jì)

1.1 全局特征表征

距離損失函數(shù)由語(yǔ)義特征表征和距離函數(shù)組成。構(gòu)建全局特征表征,可以解釋卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的語(yǔ)義特征信息。

卷積層的激活輸出被廣泛用于解釋卷積神經(jīng)網(wǎng)絡(luò)從圖像中學(xué)習(xí)到的語(yǔ)義特征[7],圖像化后被稱為特征圖。文獻(xiàn)[8]指出,特征圖是稀疏的、分布式的語(yǔ)義特征表征,所有語(yǔ)義特征都被編碼在分布式的卷積單元中,并且特征概念和卷積單元之間存在著多對(duì)多的映射關(guān)系。在骨架相同的卷積神經(jīng)網(wǎng)絡(luò)中,經(jīng)過不同的訓(xùn)練過程,分解的特征概念與卷積單元的排列方式和映射關(guān)系也是不同的[7],因此并不能直接比較不同網(wǎng)絡(luò)間的特征圖和特征向量。根據(jù)文獻(xiàn)[9]所述,單一特征圖攜帶的特征信息極其有限,且不一定具有實(shí)際意義,只有當(dāng)許多特征圖激活同一區(qū)域時(shí),這個(gè)區(qū)域才能被認(rèn)定為包含實(shí)際的特征概念。

該文采用疊加的方法來整合特征圖中的特征信息,進(jìn)而形成全局特征表征。如圖2所示,首先對(duì)多通道特征圖在相應(yīng)空間位置上進(jìn)行點(diǎn)對(duì)點(diǎn)求和,形成一個(gè)聚合圖,尺寸為h×w×d(其中h為特征圖的高度,w為寬度,d為通道數(shù))的特征圖被整合成尺寸為h×w的聚合圖。該方法可以忽略卷積神經(jīng)網(wǎng)絡(luò)中卷積單元的不同特征概念分布,更能保留語(yǔ)義特征的空間信息。

圖2 多通道特征圖的融合

進(jìn)一步引入圖像濾波器來去除噪音和弱勢(shì)語(yǔ)義特征,改進(jìn)聚合圖。利用閾值τ進(jìn)行像素級(jí)的過濾,使得所有高于閾值的像素值都保留,其他像素值則被置為零。

(1)

此外,位于高層次的卷積單元能提取更多更具識(shí)別能力的語(yǔ)義特征,具有優(yōu)秀的識(shí)別和泛化能力[7]。因此,該方法從基礎(chǔ)模型的最后一個(gè)卷積層提取特征圖,并生成濾波的聚合圖作為全局特征表征,用于量化模型間的語(yǔ)義特征表征。從基礎(chǔ)模型中生成全局特征表征的流程如圖3所示。

圖3 全局特征表征的提取流程

1.2 距離函數(shù)

該文使用復(fù)合距離函數(shù)對(duì)不同基礎(chǔ)模型中全局特征表征之間的差異進(jìn)行計(jì)算。該距離函數(shù)組合了余弦距離和歐氏距離,一方面,余弦距離[10]可以對(duì)高維度特征向量之間的相似性進(jìn)行有效測(cè)量,反映向量方向的相對(duì)差異,更關(guān)注特征概念的位置。另一方面,歐氏距離呈現(xiàn)了全局特征表征之間內(nèi)容的差異[11],計(jì)算全局特征表征數(shù)值上的絕對(duì)差異,其作用類似于空間注意力機(jī)制[12-13],提高了關(guān)鍵特征概念的激活程度。使用距離損失函數(shù),不同基礎(chǔ)神經(jīng)網(wǎng)絡(luò)模型能夠在特征空間中學(xué)習(xí)不同的語(yǔ)義特征,同時(shí)每個(gè)基礎(chǔ)模型也能在卷積單元中激活重要的圖像特征概念。

由于優(yōu)化器總是朝著最小值的方向優(yōu)化損失函數(shù),而該方法需要增大特征表征之間的差異,兩基礎(chǔ)模型之間的距離損失dlossi,j如公式(2)所示。

(2)

其中,vi和vj是向量化的全局特征表征,而α和β是距離函數(shù)兩個(gè)部分的權(quán)值。

距離損失函數(shù)由余弦相似度和指數(shù)歐氏距離組成。因?yàn)槿痔卣鞅碚鞯南袼刂刀紴檎龜?shù),余弦相似度取值在0和1之間。值為0則特征表征差異較大,而值為1時(shí)表示兩個(gè)基礎(chǔ)模型的特征表征非常相似。指數(shù)歐氏距離保證了優(yōu)化器可以在減小損失值的同時(shí)增大基礎(chǔ)模型間特征表征的差異,同時(shí)其函數(shù)值具有動(dòng)態(tài)約束的特性,函數(shù)值越小,越難繼續(xù)朝著最小值優(yōu)化,避免了強(qiáng)迫基礎(chǔ)模型對(duì)無意義的邊際特征進(jìn)行學(xué)習(xí)的問題。

1.3 訓(xùn)練策略

訓(xùn)練策略的目標(biāo)是在訓(xùn)練基礎(chǔ)模型的同時(shí)顯示距離損失函數(shù),并融合基礎(chǔ)模型進(jìn)行分類任務(wù)。該文提出對(duì)五個(gè)基礎(chǔ)模型進(jìn)行聯(lián)合訓(xùn)練的策略,如圖4所示?；A(chǔ)模型使用相同的訓(xùn)練樣本進(jìn)行相對(duì)獨(dú)立的訓(xùn)練,同時(shí)從卷積層中生成的全局特征表征被用于表示模型學(xué)習(xí)到的語(yǔ)義特征,利用距離函數(shù)量化模型之間的特征差異,對(duì)基礎(chǔ)模型的學(xué)習(xí)行為進(jìn)行聯(lián)系和制約。

圖4 基礎(chǔ)模型訓(xùn)練框架

(3)

經(jīng)過訓(xùn)練之后,所有基礎(chǔ)模型都被整合進(jìn)一個(gè)特征融合模型 ,在語(yǔ)義特征層面上對(duì)模型進(jìn)行整合。與傳統(tǒng)模型融合的方法不同,該文僅使用基礎(chǔ)模型的卷積網(wǎng)絡(luò)層作為特征提取器,并在卷積通道方向上串聯(lián)卷積單元,進(jìn)行并置特征融合。然后,融合的特征被送入一個(gè)新的分類器中完成分類任務(wù),最終構(gòu)成一個(gè)端到端的神經(jīng)網(wǎng)絡(luò)特征融合模型,實(shí)現(xiàn)多源語(yǔ)義特征的整合處理過程,增加圖像識(shí)別的特征多樣性。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)細(xì)節(jié)

為評(píng)估距離損失函數(shù)對(duì)模型性能的具體作用,驗(yàn)證實(shí)驗(yàn)使用了不同數(shù)據(jù)集(Cifar10,Cifar100,miniImageNet,NEU,TEX和BSD)、不同樣本量(每類3,5,10,20,50,100和400張圖像)以及不同卷積神經(jīng)網(wǎng)絡(luò)骨架(VGG,ResNet和AlexNet),從而形成多因素交叉的實(shí)驗(yàn)條件,并從多方面展示了實(shí)驗(yàn)成果。

實(shí)驗(yàn)數(shù)據(jù)集包括Cifar10[14],Cifar100[14],miniImageNet[15],NEU,TEX和BSD。如圖5所示,Cifar10和Cifar100是物體分類數(shù)據(jù)集,分別由60 000張32×32的彩色圖像組成,其中Cifar10有10個(gè)類,而Cifar100有100個(gè)類。miniImageNet使用了原始ImageNet數(shù)據(jù)集中的100個(gè)類別,每個(gè)類有600張84×84的彩色圖像,因此具有較高的復(fù)雜度,同時(shí)減少后的類別數(shù)所需要的處理資源要少得多,便于快速建立原型和進(jìn)行實(shí)驗(yàn)。除了基于物體的數(shù)據(jù)集,實(shí)驗(yàn)還測(cè)試了3個(gè)基于表面缺陷的工業(yè)數(shù)據(jù)集。NEU基于金屬表面缺陷,包括1 800張200×200的灰度圖像,共有6個(gè)類。TEX顯示了紡織品的5種缺陷以及正常圖像,每類有18 000張64×64的灰度圖。BSD記錄了滾珠絲杠驅(qū)動(dòng)器的故障情況,有21 835張150×150的彩色圖像,分為有故障和無故障兩類。因此,實(shí)驗(yàn)涉及了具有不同層次語(yǔ)義特征的基于物體和非物體的數(shù)據(jù)集。同時(shí),將數(shù)據(jù)集隨機(jī)分為60%的訓(xùn)練樣本、20%的驗(yàn)證樣本和20%的測(cè)試樣本,并在訓(xùn)練樣本中選取一定均勻分布的樣本進(jìn)行訓(xùn)練,即每類3,5,10,20,50,100和400張圖像。實(shí)驗(yàn)用基礎(chǔ)模型為VGG16[3],ResNet12[3,16]和AlexNet[1],使用不同的初始化方式,進(jìn)而實(shí)現(xiàn)相對(duì)穩(wěn)定且不同的初始狀態(tài)。

圖5 數(shù)據(jù)集Cifar10,Cifar100,miniImageNet,NEU,TEX和BSD

實(shí)驗(yàn)采用10-4的學(xué)習(xí)率和300的迭代次數(shù),同時(shí)使用圖像增強(qiáng)算法,對(duì)所有圖像進(jìn)行隨機(jī)變換,并在訓(xùn)練過程中保存性能最好的模型。由于實(shí)驗(yàn)樣本選取均勻,為了評(píng)估模型對(duì)圖像目標(biāo)的識(shí)別檢測(cè)能力,使用準(zhǔn)確率作為分類精度的整體評(píng)價(jià)指標(biāo),即識(shí)別正確的樣本占總樣本的百分比,并且準(zhǔn)確率越高,表明模型的識(shí)別能力越強(qiáng)。同時(shí),生成的類激活圖可視化基礎(chǔ)模型學(xué)習(xí)到的語(yǔ)義特征,直觀展示了距離損失函數(shù)在語(yǔ)義特征層面的作用。

2.2 實(shí)驗(yàn)結(jié)果

從表1可以看出,對(duì)于數(shù)據(jù)集Cifar10,Cifar100和miniImageNet,使用距離損失函數(shù)能夠穩(wěn)定提升特征融合模型的準(zhǔn)確率。例如,在數(shù)據(jù)集為miniImageNet,訓(xùn)練樣本為每類100張,且網(wǎng)絡(luò)骨架為ResNet的實(shí)驗(yàn)中,使用距離損失函數(shù)的特征融合模型相比于不使用距離損失函數(shù)的融合模型提升了7.96%的分類準(zhǔn)確率。

表1 針對(duì)Cifar10,Cifar100和miniImageNet數(shù)據(jù)集的分類準(zhǔn)確率 %

然而分類準(zhǔn)確率的提升效果在不同條件下并不恒定,距離損失函數(shù)對(duì)不同的樣本量有不同的影響表現(xiàn)。如圖6所示,該方法在小規(guī)模的訓(xùn)練樣本下具有相對(duì)優(yōu)勢(shì),模型性能提升最大。當(dāng)訓(xùn)練樣本增大時(shí),模型可以通過充足的訓(xùn)練樣本學(xué)習(xí)更精確且更有識(shí)別能力的語(yǔ)義特征,而圖像中關(guān)鍵特征的數(shù)量通常有限,這就限制了該方法增加特征多樣性的能力。

圖6 距離損失函數(shù)在不同樣本量情況下對(duì)特征融合模型準(zhǔn)確率的提升效果

此外,圖7顯示出卷積神經(jīng)網(wǎng)絡(luò)骨架對(duì)距離損失函數(shù)的表現(xiàn)也有很大影響,其中基于ResNet骨架的模型融合實(shí)現(xiàn)了最大的性能提升效果,對(duì)應(yīng)文獻(xiàn)[17]的結(jié)論,ResNet架構(gòu)中的殘差結(jié)構(gòu)使得整合不同深度卷積層的語(yǔ)義特征成為可能,從而提高深層特征圖的可解釋性和表征能力,多層次的語(yǔ)義特征可以被聚合到全局特征表征中,增加了模型之間的可比較性。相比之下,因?yàn)榭山忉屝暂^差,AlexNet骨架的表現(xiàn)性能有所下降。正如文獻(xiàn)[7]的結(jié)論,卷積神經(jīng)網(wǎng)絡(luò)骨架的可解釋性排名為ResNet>VGG>GoogLeNet>AlexNet。

圖7 距離損失函數(shù)在不同網(wǎng)絡(luò)骨架情況下對(duì)特征融合模型準(zhǔn)確率的提升效果

為了直觀展示距離損失函數(shù)對(duì)基礎(chǔ)模型語(yǔ)義特征的影響效果,該文使用基于梯度的類激活圖顯示特征圖中與目標(biāo)關(guān)聯(lián)的關(guān)鍵部位。如圖8所示,未實(shí)現(xiàn)距離損失的基礎(chǔ)模型傾向于集中注意力在圖像中一個(gè)相對(duì)固定的物體部分,也就是學(xué)習(xí)了相似的語(yǔ)義特征。與之相對(duì)的是,使用距離損失的基礎(chǔ)模型具有更豐富的特征選擇,多個(gè)基礎(chǔ)模型關(guān)注了圖像中不同的關(guān)鍵部位,增加了特征融合模型的特征多樣性,進(jìn)而提高了模型進(jìn)行分類任務(wù)的準(zhǔn)確率。

圖8 針對(duì)Cifar10,Cifar100和miniImageNet數(shù)據(jù)集的類激活圖

除了以上基于物體的數(shù)據(jù)集,該文還測(cè)試了基于表面缺陷的工業(yè)數(shù)據(jù)集,即NEU,TEX和BSD。分析表2數(shù)據(jù),距離損失函數(shù)在工業(yè)數(shù)據(jù)集上的表現(xiàn)異于基于物體目標(biāo)的數(shù)據(jù)集,距離損失函數(shù)不能穩(wěn)定地使特征融合模型取得更好的性能,甚至基礎(chǔ)模型也能達(dá)到與特征融合模型相當(dāng)?shù)臏?zhǔn)確率。因此,距離損失函數(shù)在表面缺陷檢測(cè)數(shù)據(jù)集上的效果穩(wěn)定性較差,性能提升較小。

表2 針對(duì)NEU,TEX和BSD數(shù)據(jù)集的分類準(zhǔn)確率 %

工業(yè)數(shù)據(jù)集的語(yǔ)義特征可視化見圖9,由此可知,即使使用了距離損失函數(shù),不同基礎(chǔ)模型也有關(guān)注圖像中相似語(yǔ)義特征的傾向,個(gè)別基礎(chǔ)模型甚至被迫放棄關(guān)鍵語(yǔ)義特征的提取,并失去了部分識(shí)別能力,而其他單個(gè)基礎(chǔ)模型已經(jīng)可以學(xué)習(xí)較為全面的特征信息。因此,距離損失函數(shù)在工業(yè)數(shù)據(jù)集上不能使特征融合模型獲得更豐富的語(yǔ)義特征,而在某些情況下還會(huì)因過擬合降低模型的識(shí)別性能。

圖9 針對(duì)NEU,TEX和BSD數(shù)據(jù)集的類激活圖

綜合來說,距離損失函數(shù)在Cifar10,Cifar100和miniImageNet數(shù)據(jù)集上取得了更好的效果(見圖10)。其原因可能是NEU,TEX和BSD等工業(yè)數(shù)據(jù)集中與識(shí)別有關(guān)的特征概念是極其有限的,冗余的特征信息會(huì)導(dǎo)致特征融合模型過度擬合。工業(yè)數(shù)據(jù)集基于沒有明確形狀或位置的紋理級(jí)圖像模式,如線條、角和顏色,并且這些低級(jí)特征通常簡(jiǎn)單,很可能在較低卷積層被不同類所共享[18],使其對(duì)特定類的關(guān)聯(lián)能力大大降低。相比之下,基于物體的數(shù)據(jù)集有更多的部位級(jí)或物體級(jí)特征,這些高級(jí)特征更具有可解釋性和類針對(duì)性,特征表征更具代表性。由此可見,如果數(shù)據(jù)集具有豐富的關(guān)鍵語(yǔ)義特征,距離損失函數(shù)就能使特征融合模型獲得更豐富的圖像特征和更高的識(shí)別準(zhǔn)確率,但如果數(shù)據(jù)集只具有少量簡(jiǎn)單的關(guān)鍵特征,該方法就有可能損害最終的識(shí)別效果。

圖10 距離損失函數(shù)在不同數(shù)據(jù)集情況下對(duì)特征融合模型準(zhǔn)確率的提升效果

3 結(jié)束語(yǔ)

該文提出了基于距離損失函數(shù)的特征融合模型,使多個(gè)基礎(chǔ)模型的融合更加有效,其中距離損失函數(shù)迫使基礎(chǔ)模型從圖像中學(xué)習(xí)不同的語(yǔ)義特征,特征融合模型對(duì)學(xué)習(xí)到的特征信息進(jìn)行整合利用,對(duì)目標(biāo)進(jìn)行分類識(shí)別。實(shí)驗(yàn)表明,針對(duì)具有豐富關(guān)鍵語(yǔ)義特征的數(shù)據(jù)集,該方法可以增強(qiáng)融合模型的特征多樣性,提高其對(duì)數(shù)據(jù)集的識(shí)別性能,同時(shí)ResNet架構(gòu)中的卷積層具有顯著的可解釋性,最適合距離損失函數(shù)的應(yīng)用。

在日后工作中,主要有兩個(gè)方面的問題有待解決。首先,當(dāng)前距離損失函數(shù)中兩部分的權(quán)重固定,但在不同條件下,特別是針對(duì)不同數(shù)據(jù)集,最佳權(quán)重的取值范圍有所變化,因此,探索能與條件掛鉤的自適應(yīng)權(quán)重將是后續(xù)可行的優(yōu)化方案。其次,可以研究進(jìn)一步提高全局特征表征的可解釋性和表征性的方法,比如類似于ResNet架構(gòu),對(duì)多個(gè)層次卷積層的特征信息進(jìn)行提取與整合,從中構(gòu)建包含多層次語(yǔ)義特征的全局特征表征。