曾凡鋒,王 祺

(1.北方工業(yè)大學(xué),北京 100144;2.北方工業(yè)大學(xué) 信息學(xué)院,北京 100144)

0 引 言

最近,Transformer已成功用于許多自然語(yǔ)言處理(Natural Language Processing,NLP)任務(wù),還用于圖像分類的核心計(jì)算機(jī)視覺(jué)任務(wù)。自注意力模型是Transformer中的一個(gè)標(biāo)準(zhǔn)工具,能在長(zhǎng)序列中學(xué)習(xí)豐富的關(guān)聯(lián)特征層次,構(gòu)成全局表示,但忽略了局部特征細(xì)節(jié)。盡管取得了顯著的成功,卷積運(yùn)算和自注意力仍然有其不足之處。為了解決卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)存在建立長(zhǎng)距離依賴關(guān)系的問(wèn)題,一種簡(jiǎn)單的方法是將CNN中最后一層卷積用自注意力層來(lái)取代,學(xué)習(xí)數(shù)據(jù)中關(guān)鍵信息,使得模型能夠更加準(zhǔn)確地判斷。目前已經(jīng)有一些基于注意力的圖像檢索和基于視覺(jué)Transformer的圖像檢索,該文是將Transformer中的自注意力模塊融合到卷積神經(jīng)網(wǎng)絡(luò),提高圖像檢索的精度。

該文提出一種卷積與自注意力相融合的網(wǎng)絡(luò)結(jié)構(gòu),將基于CNN的局部特征與自注意力相融合,提取圖像特征,以增強(qiáng)圖像檢索效果?？紤]到CNN和自注意力之間的特征錯(cuò)位,將利用1×1卷積對(duì)齊通道尺寸,利用向下、向上采樣策略對(duì)齊特征分辨率,利用Layer Norm和Batch Norm模塊對(duì)特征進(jìn)行正則化,這種融合過(guò)程可以極大增強(qiáng)局部特征的全局能力和全局表示的局部細(xì)節(jié),以提高檢索精度。

綜上所述,該文的貢獻(xiàn)主要有以下兩點(diǎn):

(1)將自注意力模塊與卷積模塊相融合應(yīng)用于圖像檢索任務(wù)中,使各個(gè)特征與相鄰的局部特征進(jìn)行交互,以改善基于CNN的圖像檢索方法中存在的問(wèn)題。

(2)在自注意力與卷積連接處,設(shè)置一個(gè)單元消除它們之間失調(diào)的問(wèn)題,更好地將局部特征與全局表示進(jìn)行耦合。在保證特征提取能力的情況下,盡量減少模型的計(jì)算量,增加模型的魯棒性。

1 相關(guān)工作

1.1 卷積神經(jīng)網(wǎng)絡(luò)

基于內(nèi)容的圖像檢索(Content Based Image Retrieval,CBIR)方法通常利用CNN提取圖像特征,進(jìn)而計(jì)算特征之間的相似度。由于CNN可以利用大量訓(xùn)練數(shù)據(jù)學(xué)習(xí)到特征,大多數(shù)基于CNN的圖像檢索方法利用最后一層卷積層輸出的特征圖生成圖像特征進(jìn)行檢索。在深度學(xué)習(xí)時(shí)代,CNN可以接收不同領(lǐng)域的特征的分層集合,但是,大多數(shù)CNN[1-4]擅長(zhǎng)提取局部特征,難以獲取全局線索。

為了解決這個(gè)問(wèn)題,一種解決方案是通過(guò)引入更深層次的體系結(jié)構(gòu)或者更多的池化操作。擴(kuò)張卷積方法增加了采樣步長(zhǎng),而變形卷積學(xué)習(xí)采樣位置。SENet[5]和GENet[6]提出使用全局平均池化層聚合全局上下文,然后重新加權(quán)特征通道,而CBAM[7]分別使用全局最大池化和全局平均池化在空間和通道維度上細(xì)化特征。

外國(guó)語(yǔ)學(xué)院在第二課堂育人體系建設(shè)方面統(tǒng)一規(guī)劃，圍繞社會(huì)的需求和人才培養(yǎng)目標(biāo)設(shè)計(jì)第二課堂的具體內(nèi)容，積極營(yíng)造英語(yǔ)學(xué)習(xí)氛圍，開(kāi)展外語(yǔ)第二課堂活動(dòng)（英語(yǔ)綜合技能大賽、英語(yǔ)角、英文歌曲大賽、英文話劇大賽、“校長(zhǎng)杯”英語(yǔ)演講大賽等），引導(dǎo)學(xué)生參加各類校園文化活動(dòng)和社會(huì)實(shí)踐，發(fā)揮第二課堂的育人功能，培養(yǎng)學(xué)生的專業(yè)實(shí)踐技能和創(chuàng)新精神，切實(shí)提高學(xué)生的語(yǔ)言實(shí)際應(yīng)用能力和創(chuàng)新能力。

在這里,介紹一下Transformer的自注意力的一般公式,如圖2(a)所示。自注意力模塊輸入的張量為X∈RC×H×W,其中C是通道數(shù)量。對(duì)于X,自注意力模塊通過(guò)以下公式計(jì)算,得到相應(yīng)的新特征:

另一種解決方案是自注意力模型,它在NLP中捕獲長(zhǎng)距離特征方面顯示出巨大的優(yōu)勢(shì)。自注意力增強(qiáng)網(wǎng)絡(luò)[8]將卷積特征映射與自我注意特征映射串聯(lián)起來(lái),增強(qiáng)卷積運(yùn)算以捕捉遠(yuǎn)程交互。BoTNet網(wǎng)絡(luò)[9]是一種簡(jiǎn)單且功能強(qiáng)大的backbone,該架構(gòu)將自注意力納入了多種計(jì)算機(jī)視覺(jué)任務(wù),包括圖像分類、目標(biāo)檢測(cè)和實(shí)例分割。通過(guò)僅在ResNet的最后三個(gè)bottleneck blocks中用全局自注意力替換空間卷積,并且不進(jìn)行其他任何更改,同時(shí)還減少了參數(shù),從而使延遲最小化。Conformer網(wǎng)絡(luò)[10]做了兩個(gè)分支,分別是卷積分支和Transformer分支,在并行的同時(shí)還互相補(bǔ)充。

2)以風(fēng)力為動(dòng)力來(lái)源的純機(jī)械式提水設(shè)備，由于只進(jìn)行一次能量轉(zhuǎn)換，在當(dāng)前離網(wǎng)牧區(qū)具有很強(qiáng)的競(jìng)爭(zhēng)力。而以風(fēng)電、光電為動(dòng)力來(lái)源的電動(dòng)提水設(shè)備，因采用儲(chǔ)能設(shè)施，按每?jī)赡旮鼡Q一次鉛酸蓄電池計(jì)，使用后期的投入加大，若無(wú)財(cái)政補(bǔ)貼，牧民用戶負(fù)擔(dān)加重。由此相比較，風(fēng)力提水設(shè)備的性價(jià)比較高。

盡管取得了進(jìn)展,但向CNN引入全局線索仍然存在缺點(diǎn)。對(duì)于第一種解決方案,更大的感受野需要更密集的池化操作。對(duì)于第二種解決方案,如果卷積運(yùn)算沒(méi)有與自注意力機(jī)制正確的融合,很難獲取更細(xì)節(jié)的局部特征。

將人類與自然、當(dāng)下與未來(lái)都包含在自身之內(nèi)的“天下”觀是傳統(tǒng)儒家天下思想的現(xiàn)代形態(tài)，這種新的天下觀將賦予了人類新的情懷和使命，要求我們超越狹隘的自我，超越當(dāng)下，以一種悲憫的憂患意識(shí)和智慧的理性自覺(jué)構(gòu)筑起防范技術(shù)風(fēng)險(xiǎn)的“圍墻”，以“所有存在的善好與共生”為目的，承擔(dān)起人類因自己的行為而可能產(chǎn)生的道德責(zé)任。

1.2 自注意力模型

自注意力源于NLP是一種特殊的注意機(jī)制。由于它能有效地捕捉長(zhǎng)距離依賴性和適應(yīng)性,因此在計(jì)算機(jī)視覺(jué)中發(fā)揮著越來(lái)越重要的作用。各種深度自注意力網(wǎng)絡(luò)[11-14]在不同的視覺(jué)任務(wù)上取得了比主流CNN更好的性能,顯出基于自注意力模型的巨大潛力。Vaswani等人為機(jī)器學(xué)習(xí)翻譯引入了Transformer架構(gòu)[15],它完全依賴于自注意力和多層感知機(jī)(Multilayer Perceptron,MLP),它為幾個(gè)NLP任務(wù)提供了最先進(jìn)的性能[16-17]。在計(jì)算機(jī)視覺(jué)領(lǐng)域,已經(jīng)有幾次嘗試將各種形式的注意力與卷積融合,例如與卷積結(jié)合[18]或替代卷積[19],其他方法在卷積主干頂部利用Transformer進(jìn)行檢測(cè)[20]。

從Transformer的自注意力中得到啟發(fā),在各種NLP任務(wù)中不斷取得令人印象深刻的表現(xiàn),在視覺(jué)場(chǎng)景中自注意力也被廣泛應(yīng)用。

1.3 基于Transformer的圖像檢索

Transformer在自然語(yǔ)言處理以及最近的圖像分類方面成果顯著。IRT[23]提出了一種基于視覺(jué)Transformer的圖像檢索方法,與基于卷積的方法相比,視覺(jué)Transformer具有顯著的改進(jìn),在特定的對(duì)象檢索方面具有競(jìng)爭(zhēng)力,尤其是在短矢量表示和低分辨率圖像的情況下。Transhash[24]提出了一個(gè)純粹的基于Transformer的圖像檢索框架。為了學(xué)習(xí)細(xì)粒度特征,在Transformer的基礎(chǔ)上創(chuàng)新了雙流特征學(xué)習(xí),以學(xué)習(xí)有區(qū)別的全局和局部特征,此外,采用動(dòng)態(tài)構(gòu)造相似矩陣的貝葉斯學(xué)習(xí)方案來(lái)學(xué)習(xí)緊湊的二進(jìn)制哈希碼,整個(gè)框架以端到端的方式進(jìn)行聯(lián)合訓(xùn)練。

上文提及的基于視覺(jué)Transformer的圖像檢索方法已經(jīng)獲得了一定的圖像檢索效果,但Transformer的復(fù)雜度較高,計(jì)算量較大。

第三，服務(wù)與品牌管理。在中小零售企業(yè)電子商務(wù)商業(yè)運(yùn)營(yíng)模式建立和運(yùn)行過(guò)程中，要想維持企業(yè)和客戶之間的關(guān)系，就要突出企業(yè)的競(jìng)爭(zhēng)優(yōu)勢(shì)，并且企業(yè)要在設(shè)計(jì)實(shí)際運(yùn)行體系的過(guò)程中充分考量服務(wù)結(jié)構(gòu)，提高品牌的社會(huì)市場(chǎng)辨識(shí)度，從而提升客戶的忠誠(chéng)度，促進(jìn)企業(yè)利潤(rùn)的全面優(yōu)化。

2 文中方法

2.1 模型網(wǎng)絡(luò)結(jié)構(gòu)

該文將Transformer中的自注意力應(yīng)用在圖像檢索方法上,通過(guò)訓(xùn)練模型結(jié)構(gòu),使得模型能夠提取到更加有效的特征圖。在卷積神經(jīng)網(wǎng)絡(luò)的卷積層之后添加自注意力模塊。當(dāng)圖像輸入到模型時(shí),首先經(jīng)過(guò)卷積得到局部特征,再將特征輸入到自注意力模塊中,自注意力模塊再對(duì)其特征獲取全局信息,得到一個(gè)新的特征圖,最后將新特征圖展平輸入到全連接層中,再對(duì)該特征進(jìn)行相似度計(jì)算即可得到最終的檢索結(jié)果。所采用的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

2.2 改進(jìn)的自注意力模型

Dosovitskiy等人[21]提出的視覺(jué)Transformer模型是基于Transformer方法在圖像分類任務(wù)上匹配甚至超越最先進(jìn)卷積模型的第一個(gè)例子。之后,進(jìn)一步改進(jìn)是Swin Transformer[22],引入CNN中常用層次化構(gòu)建方式構(gòu)建層次化Transformer,設(shè)置了窗口內(nèi)的自注意力,可以減少計(jì)算復(fù)雜度,但限制了窗口之間的交互。大量的將之前運(yùn)用在CNN網(wǎng)絡(luò)結(jié)構(gòu)上的思路引入Transformer結(jié)構(gòu)中,這是現(xiàn)在Transformer工作的一個(gè)思路。

(3)完善保險(xiǎn)業(yè)服務(wù)體系建設(shè)。堅(jiān)持高標(biāo)準(zhǔn)保險(xiǎn)機(jī)構(gòu)布局，保險(xiǎn)機(jī)構(gòu)應(yīng)加大網(wǎng)點(diǎn)建設(shè)力度，密切關(guān)注恩施州經(jīng)濟(jì)社會(huì)發(fā)展需求和地方特色，將與旅游業(yè)緊密相關(guān)的土特產(chǎn)，如茶葉、藥材、魔芋等納入保險(xiǎn)范圍，建立特色產(chǎn)品的價(jià)格保險(xiǎn)，促進(jìn)產(chǎn)業(yè)發(fā)展，將保險(xiǎn)資金投入到債券投資計(jì)劃、股權(quán)投資計(jì)劃，為恩施州旅游休閑產(chǎn)業(yè)、基礎(chǔ)設(shè)施建設(shè)提供資金支持。

(a)常規(guī)的自注意力模型

(b)改進(jìn)的自注意力模型圖2 自注意力模型

Q=WQX

“狗日的，不要命啊，都給老子滾回去?！毕膰?guó)忠的吼聲未落，剛才慌忙飛走的飛機(jī)又折了回來(lái)，幾顆炸彈扔在陣地上，轟隆隆一陣爆炸，幾個(gè)還沒(méi)來(lái)得及躲進(jìn)防空洞的戰(zhàn)士被炸得身首分離，鮮血染紅了泥土。

內(nèi)部控制制度是企業(yè)經(jīng)營(yíng)活動(dòng)的有效保證，內(nèi)部控制活動(dòng)作用于企業(yè)的所有職能之中，因此，也是內(nèi)部控制制度奠定了企業(yè)內(nèi)部審計(jì)工作的基礎(chǔ)性內(nèi)容。企業(yè)內(nèi)部制度與內(nèi)部審計(jì)制度是相互依存的，實(shí)施內(nèi)部控制制度可以更好地幫助企業(yè)實(shí)現(xiàn)風(fēng)險(xiǎn)管理措施，降低風(fēng)險(xiǎn)的存活性。內(nèi)部控制制度是內(nèi)部審計(jì)工作的直接接觸對(duì)象，可以通過(guò)對(duì)內(nèi)部審計(jì)的監(jiān)督檢查，進(jìn)而促進(jìn)內(nèi)控制度的完善，把企業(yè)的風(fēng)險(xiǎn)減到最低。也就是說(shuō)，內(nèi)部控制的整個(gè)步驟都要收到內(nèi)部審計(jì)工作的配合，不管是高層領(lǐng)導(dǎo)者還是監(jiān)督管理人員，都要做到對(duì)企業(yè)的風(fēng)險(xiǎn)進(jìn)行良好的評(píng)估，以便強(qiáng)化自身的內(nèi)控責(zé)任。

(1)

attention=V·A+K

(2)

其中,·表示矩陣乘法運(yùn)算,該乘法運(yùn)算描述了特征的注意程度,再對(duì)局部關(guān)系矩陣R進(jìn)行歸一化,并對(duì)每個(gè)通道維度進(jìn)行Softmax操作,Softmax輸出與V向量相乘,以突出圖像中重要的特征向量。自注意力模塊的輸出計(jì)算為:

(3)

其中,Q、K、V是自注意力模型三個(gè)可學(xué)習(xí)的組件,WQ、WK、WV分別為三個(gè)全連接層的參數(shù)。將K、Q之間做矩陣乘法運(yùn)算得到局部關(guān)系R:

說(shuō)真的，一個(gè)品牌的成功，因素肯定是多方面的，從品質(zhì)到堅(jiān)持，從外部環(huán)境到歷史的機(jī)遇，從優(yōu)秀的團(tuán)隊(duì)到強(qiáng)大的執(zhí)行力，從策略到戰(zhàn)略……如果作為一個(gè)商業(yè)案例來(lái)分析，沒(méi)有個(gè)幾十頁(yè)，根本無(wú)法稍微深入點(diǎn)講清楚。但有時(shí)候，一些細(xì)節(jié)和側(cè)面也可見(jiàn)一斑。

R=Q·K

(4)

V=WVX

(5)

特征提取是圖像檢索的重要環(huán)節(jié),每一種圖片經(jīng)過(guò)訓(xùn)練的模型提取,再進(jìn)行特征匹配,所以好的網(wǎng)絡(luò)結(jié)構(gòu)使得模型更加完善。自卷積神經(jīng)網(wǎng)絡(luò)出現(xiàn)后,其表現(xiàn)就很優(yōu)秀,可作為提高檢索識(shí)別的模型。該文將改進(jìn)的自注意力和卷積相融合,遷移學(xué)習(xí)其網(wǎng)絡(luò)結(jié)構(gòu),由于卷積運(yùn)算在局部特征提取方面具有優(yōu)勢(shì),但在捕獲全局表示(例如遠(yuǎn)距離)時(shí)仍存在困難,然而自注意力結(jié)構(gòu)能在長(zhǎng)序列中學(xué)習(xí)豐富的關(guān)聯(lián)特征層次,構(gòu)成全局表示,但忽略了局部特征細(xì)節(jié),于是將二者有效融合在一起,所以使用的模型在卷積神經(jīng)網(wǎng)絡(luò)上做出了以下改進(jìn)。一是替換第一個(gè)7×7、步長(zhǎng)為2的卷積,改為3×3、步長(zhǎng)為4的卷積。二是在Stage4將改進(jìn)的自注意力替代空間卷積。三是在CNN與自注意力連接處,設(shè)置一個(gè)單元消除它們之間失調(diào)的一個(gè)問(wèn)題,更好地將局部特征與全局表示進(jìn)行耦合。CNN與自注意力的特征維度是不一致的。CNN特征圖的維數(shù)為C×H×W(C、H、W分別為通道、高度和寬度),而自注意力的維數(shù)為(K+1)×E,其中K、1和E分別表示圖像路徑的數(shù)量、類別標(biāo)記和嵌入維度。當(dāng)CNN特征映射到自注意力時(shí),使用1×1卷積進(jìn)行下采樣來(lái)完成尺寸對(duì)齊。當(dāng)自注意力特征映射到CNN時(shí),使用1×1卷積進(jìn)行上采樣來(lái)完成尺寸對(duì)齊。同時(shí),使用Layer Norm和Batch Norm模塊對(duì)特征進(jìn)行正則化。自注意力模型與卷積相融合如圖3所示。利用自注意力模型去捕獲全局的依賴以及利用卷積去提取局部的細(xì)節(jié)信息,然后將二者結(jié)合起來(lái),得到泛化性更強(qiáng)的圖像特征。在保證特征提取能力的情況下,盡量減少模型的計(jì)算量,避免過(guò)擬合問(wèn)題,增加模型的魯棒性。

首先通過(guò)3×3的卷積得到特征K值,將其與Q值進(jìn)行拼接到兩個(gè)連續(xù)的1×1卷積,生成注意力矩陣:

A=Q+K

(6)

注意力矩陣A是每個(gè)空間位置的局部注意矩陣,而不是孤立的鍵值對(duì)。接下來(lái),將注意力矩陣A與V值進(jìn)行聚合,計(jì)算出的注意力特征與特征K值拼接起來(lái),作為自注意力模塊的最終輸出:

earthquake. LIU Guo ZHANG You-yi ZHANG Shan-shan et al.(1)

K=WKX

(7)

對(duì)自注意力模型的改進(jìn),輸入特征X通過(guò)三個(gè)不同的權(quán)重矩陣進(jìn)行線性變換轉(zhuǎn)化為Q、K、V,Q與K之間不做點(diǎn)積運(yùn)算,將兩者做拼接的操作,再通過(guò)兩個(gè)1×1卷積做歸一化處理,與values做相關(guān)性操作,從values庫(kù)中去取相關(guān)性最大的那些位置的值,得到的特征值再與K值做一個(gè)殘差操作,移除傳統(tǒng)自注意力模型的最后一個(gè)Softmax層,借鑒了殘差網(wǎng)絡(luò)的設(shè)計(jì),輸入的特征K值與后者輸出的注意力矩陣相融合,獲得最終的特征值。這樣改進(jìn)可以減少計(jì)算量,增加上下文信息的學(xué)習(xí),增強(qiáng)局部特征之間的聯(lián)系,剔除冗余的信息,增強(qiáng)視覺(jué)表征能力。

2.3 融合自注意力和卷積的圖像檢索

該文提出一種自注意力模型與卷積相融合的網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用于圖像檢索。該網(wǎng)絡(luò)的特點(diǎn)是將自注意力機(jī)制替代卷積層的最后一層,能夠充分獲取圖像的特征表達(dá)。這種融合過(guò)程可以極大增強(qiáng)局部特征的全局能力和全局特征的局部細(xì)節(jié),以提高檢索精度。

Transformer中傳統(tǒng)的自注意力模型很好地將不同空間位置的特征進(jìn)行交互,這取決于輸入本身。其中成對(duì)的K、Q特征都是獨(dú)立學(xué)習(xí)的,而不需要探索其間的聯(lián)系。這嚴(yán)重限制了視覺(jué)表征學(xué)習(xí)中二維特征圖的自我注意學(xué)習(xí)能力。為了緩解這個(gè)問(wèn)題,對(duì)自注意力模塊進(jìn)行改進(jìn),如圖2(b)所示,將K、Q特征進(jìn)行了拼接操作,其出發(fā)點(diǎn)是充分利用K、Q特征之間的信息,有效促進(jìn)自我注意學(xué)習(xí),增強(qiáng)輸出聚合特征圖的代表能力。

圖3 自注意力與卷積相融合

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

該文使用了在圖像檢索領(lǐng)域應(yīng)用廣泛的公開(kāi)數(shù)據(jù)集CUB-200-2011和CARS196進(jìn)行模型訓(xùn)練和評(píng)估。數(shù)據(jù)集的部分圖像如圖4所示。

(a)CUB-200-2011數(shù)據(jù)集

(b)CARS196數(shù)據(jù)集圖4 部分?jǐn)?shù)據(jù)集的圖像

CUB-200-2011數(shù)據(jù)集一共有11 788張鳥(niǎo)類圖像,包含200種鳥(niǎo)類類別,將該數(shù)據(jù)集分為兩個(gè)不相交集,每個(gè)類有100個(gè)類別用于訓(xùn)練和測(cè)試。CARS196數(shù)據(jù)集一共有16 185張汽車圖像,包含196類汽車類子類。兩個(gè)數(shù)據(jù)集的相關(guān)信息見(jiàn)表1。

表1 數(shù)據(jù)集的相關(guān)信息

3.2 訓(xùn)練細(xì)節(jié)

所有實(shí)驗(yàn)通過(guò)Pytorch框架實(shí)現(xiàn)。在卷積神經(jīng)網(wǎng)絡(luò)的卷積層之后添加自注意力模塊,將其作為主干。在訓(xùn)練階段,輸入圖像進(jìn)行數(shù)據(jù)增強(qiáng),包括隨機(jī)裁剪、混類增強(qiáng)、隨機(jī)水平翻轉(zhuǎn),使用損失函數(shù)為常用的交叉熵?fù)p失函數(shù),Adam方法用于對(duì)模型進(jìn)行優(yōu)化,學(xué)習(xí)率為0.001,batchsize為32,訓(xùn)練周期為100,將輸入圖像均歸一化到224×224尺寸。在所有實(shí)驗(yàn)中,將模型預(yù)訓(xùn)練好的網(wǎng)絡(luò)參數(shù)加載到網(wǎng)絡(luò)中,提取圖像特征,計(jì)算相似度進(jìn)行對(duì)比,得到圖像檢索結(jié)果。

3.3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證自注意力模型的效果,將文中網(wǎng)絡(luò)與ResNet50網(wǎng)絡(luò)在兩個(gè)數(shù)據(jù)集上進(jìn)行對(duì)比。將每個(gè)輸入圖像裁剪為224×224,并且僅僅執(zhí)行標(biāo)準(zhǔn)的數(shù)據(jù)擴(kuò)充(隨機(jī)裁剪和水平翻轉(zhuǎn)),沒(méi)有額外的調(diào)整。兩者不同之處是在S4階段增加了自注意力模型與卷積融合,迭代次數(shù)100,學(xué)習(xí)率0.001,batchsize為32。訓(xùn)練過(guò)程中驗(yàn)證集的準(zhǔn)確率如圖5所示。與ResNet50網(wǎng)絡(luò)相比,文中網(wǎng)絡(luò)在CARS196數(shù)據(jù)集和CUB-200-2011數(shù)據(jù)集上準(zhǔn)確率都有所提高。然而,這種改進(jìn)確實(shí)增加了計(jì)算量,將自注意力模型與卷積相融合的方式提取圖像特征,相比純卷積的模型準(zhǔn)確率有所提高,為后面的檢索提供了更有效的圖像特征。

(a)CUB200-2011數(shù)據(jù)集

(b)CARS196數(shù)據(jù)集圖5 訓(xùn)練過(guò)程中準(zhǔn)確率變化

在圖6中可視化了最后一層的特征熱力圖。從熱力圖中可以看出,前期卷積提供了精細(xì)的局部特征,最后一層融合自注意力模型增強(qiáng)了長(zhǎng)距離特征的依賴性,同時(shí)也保留了重要的詳細(xì)局部特征。背景特征被明顯抑制,注意區(qū)域更完整,這意味著學(xué)習(xí)特征表示更具有辨別能力。

圖6 特征熱力圖

在CUB-200-2011及CARS196數(shù)據(jù)集上將所提方法與目前表現(xiàn)較好的圖像檢索方法進(jìn)行比較,根據(jù)Recall@K評(píng)價(jià)指標(biāo)評(píng)估檢索性能。所提方法與其他方法在數(shù)據(jù)集上的精度對(duì)比見(jiàn)表2、表3。為了公平比較,所有方法用于檢索的圖像特征都是512維。在CUB-200-2011及CARS196數(shù)據(jù)集上,所提方法對(duì)K的所有值都有所提升。將自注意力模型和卷積相融合提取的特征對(duì)于檢索性能有所提升,因此,利用所提方法可以找出相似度比較高的圖像。

紅色文化是馬克思主義指導(dǎo)下的先進(jìn)的精神文化。它形成于歷史進(jìn)程中的革命斗爭(zhēng)時(shí)期，并在社會(huì)主義建設(shè)時(shí)期賦予新的內(nèi)容而發(fā)展起來(lái)。它始終存在于民族文化和民族精神之中，成為共產(chǎn)黨人永恒的精神信仰，并已成為當(dāng)代中國(guó)先進(jìn)文化的重要內(nèi)容。中國(guó)社會(huì)變革中存在的獨(dú)有的紅色文化，決定了紅色文化是馬克思主義大眾化和馬克思主義在中國(guó)傳播的重要載體。

表2 在CUB-200-2011數(shù)據(jù)集上的精度對(duì)比

表3 在CARS196數(shù)據(jù)集上的精度對(duì)比

對(duì)于CUB-200-2011數(shù)據(jù)集,在表2中可以看到,所提方法使用改進(jìn)的自注意力和卷積相融合的主干網(wǎng)在所有K值下都取得了不錯(cuò)的結(jié)果,在Recall@1相比ProxyNCA++方法提高了2.6百分點(diǎn)。對(duì)于CARS196數(shù)據(jù)集,在表3中可以看出,對(duì)K的所有值都有一定提高,從上述表中,證明所提方法可以應(yīng)用到細(xì)粒度圖像檢索。細(xì)粒度圖像類別差別較小,需要提取不同區(qū)域的特征,主干網(wǎng)先通過(guò)卷積提取圖像的局部細(xì)節(jié)特征,再通過(guò)自注意力模型捕獲圖像的全局信息。

當(dāng)前，消費(fèi)者對(duì)于產(chǎn)品品質(zhì)的要求、品牌的要求、審美的要求，都跟以往明顯不一樣。行業(yè)在這種情況下必須創(chuàng)新，要給消費(fèi)者提供更好的產(chǎn)品、服務(wù)和體驗(yàn)。

將所提方法與GoogleNet和ResNet50模型在不同特征維度下進(jìn)行了對(duì)比。在CUB-200-2011數(shù)據(jù)集上的對(duì)比表明,所提方法在短矢量方面具有競(jìng)爭(zhēng)力,降維到384,圖像檢索的效果有所提升,如表4所示。在降低特征維度檢索的精度相比卷積神經(jīng)網(wǎng)絡(luò)取得不錯(cuò)的結(jié)果,主干網(wǎng)最后將自注意力模型和卷積相融合提取的特征向量,對(duì)于相似度的計(jì)算起到了關(guān)鍵作用,從而提高了檢索精度。

表4 不同模型方法實(shí)驗(yàn)對(duì)比結(jié)果

為了進(jìn)一步驗(yàn)證所提方法的有效性,在CARS196數(shù)據(jù)集上測(cè)試了所提方法與其它方法的MAP、召回率和精確度。實(shí)驗(yàn)結(jié)果如圖7所示,對(duì)于CUB-200-2011數(shù)據(jù)集上的MAP、召回率和精確度,所提方法比Alexnet和ResNet模型都有明顯的提升,證明算法改進(jìn)的有效性。所提方法將改進(jìn)的自注意力模塊融合到卷積神經(jīng)網(wǎng)絡(luò),提高了圖像檢索的精度。

圖7 MAP、召回率和精確率實(shí)驗(yàn)對(duì)比

4 結(jié)束語(yǔ)

將自注意力模型和卷積相融合應(yīng)用在圖像檢索算法上,提出一種融合自注意力和卷積的圖像檢索方法,通過(guò)對(duì)自注意力和卷積相融合模型的訓(xùn)練,使得網(wǎng)絡(luò)能夠?qū)W習(xí)到特征圖的不同區(qū)域,進(jìn)一步學(xué)習(xí)到局部特征。通過(guò)在CUB-200-2011及CARS196數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,將自注意力模型和卷積相融合可以生成更加有效的圖像全局-局部特征。雖然該方法能有效對(duì)細(xì)粒度圖像進(jìn)行檢索,但是檢索的精度和召回率有待進(jìn)一步的提高。后續(xù)工作可以對(duì)自注意力模型進(jìn)行進(jìn)一步改進(jìn),設(shè)計(jì)更好的網(wǎng)絡(luò)模型,提高圖像檢索的準(zhǔn)確率。