高政霞

（蘭州資源環(huán)境職業(yè)技術(shù)學(xué)院 信息工程學(xué)院，甘肅 蘭州 730021）

1 Attention機(jī)制的概念和分類

1.1 Attention機(jī)制的概念

目前，Attention沒(méi)有嚴(yán)格的數(shù)學(xué)定義。認(rèn)知科學(xué)中，信息處理存在局限，人類選擇性關(guān)注信息中最為關(guān)鍵的部分信息，同時(shí)忽略其他可見(jiàn)信息，這種機(jī)制通常稱為Attention機(jī)制。例如，人類在閱讀書(shū)籍時(shí)通常關(guān)注和處理少量的字、詞、句，看世界的時(shí)候，關(guān)注特定區(qū)域以了解所需知識(shí)。

在學(xué)術(shù)界，Attention也是一種方法論。如處理圖像時(shí)，利用神經(jīng)網(wǎng)絡(luò)提取特征，Attention機(jī)制通常作為一部分約束加入神經(jīng)網(wǎng)絡(luò)中，使模型的處理結(jié)果更為精確，并且能夠硬性選擇輸入的某些區(qū)域或者給各特征分配不同權(quán)重。神經(jīng)網(wǎng)絡(luò)中滑動(dòng)窗口方法以及圖像中傳統(tǒng)的局部特征提取和顯著性檢測(cè)都可視為Attention機(jī)制。

1.2 Attention機(jī)制的分類

Attention[1]起源于人類視覺(jué)研究，在計(jì)算機(jī)視覺(jué)中，Attention機(jī)制主要指的是神經(jīng)網(wǎng)絡(luò)中的Attention機(jī)制，從這個(gè)角度將Attention機(jī)制分為四大類：基于輸入項(xiàng)的柔性注意力（Item-wise Soft Attention）、基于輸入項(xiàng)的硬性注意力（Item-wise Hard Attention）、基于位置的柔性注意力（Location-wise Soft Attention）、基于位置的硬性注意力（Location-wise Hard Attention）[2]如表1所示。

表1 神經(jīng)網(wǎng)絡(luò)中Attention機(jī)制的四種類型

在計(jì)算機(jī)視覺(jué)中，往往使用神經(jīng)網(wǎng)絡(luò)處理大量的輸入信息來(lái)提取圖像特征，而且理論上網(wǎng)絡(luò)越深提取的特征更精確，但如果借鑒人腦的Attention機(jī)制，可以大大提高效率，有選擇性地提取關(guān)鍵信息來(lái)處理，從這個(gè)層面上可將Attention機(jī)制分為兩類：

1.2.1 聚焦式（Focus）注意力

Focus是一種自上而下的有意識(shí)的Attention機(jī)制，可以說(shuō)是一種主動(dòng)注意，指的是有選擇性、有預(yù)定目標(biāo)、依賴于任務(wù)并且自主有意的聚焦某一個(gè)對(duì)象的Attention機(jī)制。在人工神經(jīng)網(wǎng)絡(luò)中所提到的Attention機(jī)制一般都指的是聚焦式注意力。

1.2.2 顯著性（Saliency-based）注意力

Saliency-based也是一種自上而下的有意識(shí)的Attention機(jī)制，但屬于被動(dòng)注意，主要是在外界的刺激驅(qū)動(dòng)下的注意，無(wú)需主動(dòng)干預(yù)，不依賴于任務(wù)，比如神經(jīng)網(wǎng)絡(luò)中的最大池化（Max-pooling）和門(mén)控（Gating）機(jī)制相當(dāng)于顯著性注意力。

2 Attention原理

Attention機(jī)制是一種尋址（Addressing）過(guò)程，只專注于特征的神經(jīng)網(wǎng)絡(luò)，輸入能夠進(jìn)行特定選擇，Attention可將輸入設(shè)為,特征向量,Attention向量,Attention網(wǎng)絡(luò)。那么計(jì)算如公式（1）所示：

⊙表示對(duì)應(yīng)按元素相乘的運(yùn)算。本文引用Soft Attention和Hard Attention來(lái)講解Attention原理，Soft Attention指相乘時(shí)掩膜值（mask of values）在0到1，而Hard Attention表示掩膜值（mask of values）被強(qiáng)制分為0或1兩種（），Hard Attention可用來(lái)掩飾指數(shù)的特征向量，這樣就增加了維度。神經(jīng)網(wǎng)絡(luò)的本質(zhì)是一個(gè)函數(shù)逼近器，在理解Attention的重要形式考慮到依賴于它的架構(gòu)，可近似不同類型的函數(shù)。

神經(jīng)網(wǎng)絡(luò)的應(yīng)用一般是鏈矩陣乘法和對(duì)應(yīng)元素的架構(gòu)中，此時(shí)特征向量只在加法時(shí)相互起作用。Attention機(jī)制能用于特征相乘的掩膜（mask），該操作使神經(jīng)網(wǎng)絡(luò)逼近的函數(shù)空間大大擴(kuò)展，其使得全新的用例成為可能。

3 Attention圖像應(yīng)用

當(dāng)前計(jì)算機(jī)視覺(jué)領(lǐng)域的研究，如模式識(shí)別、圖像處理、目標(biāo)追蹤、圖像檢索、目標(biāo)檢測(cè)等等，使用Attention機(jī)制很廣泛。而Attention作為一種思想便于結(jié)合多種不同模型，且Attention并不依賴于任何框架。

3.1 Attention延伸

2021年1月李揚(yáng)志等[3]提出一種時(shí)空注意力圖卷積網(wǎng)絡(luò)（STA-GCN）模型進(jìn)行人體骨架動(dòng)作識(shí)別，識(shí)別精度能夠很好地通過(guò)空間注意力機(jī)制和時(shí)間注意機(jī)制的結(jié)合挖掘判別力時(shí)域片段。Lin等[4]提出一種用于圖形分割的任務(wù)解耦方法，利用深層網(wǎng)絡(luò)得到較為粗糙的圖像分割結(jié)果圖Attention Map，進(jìn)行預(yù)測(cè)艦船船頭船尾靠岸的大致位置（如圖1所示）。

圖1 STA-GCN

基于多特征注意力機(jī)制的視覺(jué)應(yīng)用有效聚合語(yǔ)義分割網(wǎng)絡(luò)，在圖文評(píng)論情感分析中Attention有效利用端對(duì)端學(xué)習(xí)方式，通過(guò)多層次文本特征和層次化圖像特征進(jìn)行空間注意類引導(dǎo)。

3.2 Attention推理

武維等[5]提出一種深度注意力流行度預(yù)測(cè)模型構(gòu)建基于Attention-LSTM進(jìn)行捕捉流行趨勢(shì)狀況并挖掘時(shí)序信息，高維度文本特征提取作者通過(guò)實(shí)驗(yàn)表明模型優(yōu)良，可見(jiàn)Attention機(jī)制在預(yù)測(cè)、推理等方面也有很好的應(yīng)用前景。人臉識(shí)別、人臉監(jiān)測(cè)中Attention機(jī)制的應(yīng)用對(duì)于情緒分類、美麗預(yù)測(cè)、年齡預(yù)測(cè)等方面也有非常廣闊的應(yīng)用前景。

吳若有等[6]提出一種基于注意力機(jī)制和CNN的低照度圖像增強(qiáng)算法用來(lái)改善圖像質(zhì)量，在提高圖像清晰度、避免顏色失真上效果明顯，可以有效地改善圖像質(zhì)量，而且對(duì)于美圖的進(jìn)一步增強(qiáng)有一定優(yōu)勢(shì)。

3.3 Graph Attention Network

Graph Attention Network（GAT）是目前炙手可熱的研究方向，其中引入了Attention機(jī)制通過(guò)學(xué)習(xí)鄰居的權(quán)重來(lái)更好地實(shí)現(xiàn)對(duì)鄰居的加權(quán)聚合。它的優(yōu)點(diǎn)在于對(duì)噪音鄰居的魯棒性更好，而GAT也賦予了深度學(xué)習(xí)領(lǐng)域中相關(guān)提出模型的可解釋性。對(duì)于GAT的工作內(nèi)容如圖2所示。

圖2 GAT工作內(nèi)容

GAT首先學(xué)習(xí)了圖2左邊中節(jié)點(diǎn)i和節(jié)點(diǎn)j之間的Attention權(quán)重aij，其次基于Attention權(quán)重{a11，…,a16}來(lái)對(duì)階段{1,2,…，6}的表示h1，…,h6進(jìn)行加權(quán)平均，最終得到節(jié)點(diǎn)1的表示h'1。Attention網(wǎng)絡(luò)有很多設(shè)計(jì)方式，可以將節(jié)點(diǎn)i和節(jié)點(diǎn)j的表示拼接，再映射成標(biāo)量，但這樣會(huì)導(dǎo)致Attention值非對(duì)稱，也就是eij≠eji。除了拼接外，可以進(jìn)行鄰居信息的聚合，但需要對(duì)各節(jié)點(diǎn)鄰居的Attention進(jìn)行歸一化操作。歸一化后的Attention權(quán)重才是真正的聚合系數(shù)。此時(shí)的歸一化會(huì)導(dǎo)致Attention權(quán)重非對(duì)稱性。因此求解Attention權(quán)重分子分母都是非對(duì)稱的情況，所以aij也是非對(duì)稱的。那么非對(duì)稱在圖像數(shù)據(jù)中有何用呢？例如在抖音中，一個(gè)大咖和一個(gè)粉絲互相關(guān)注，但是大咖和粉絲相互之間的重要性明顯是不一樣的。對(duì)于粉絲來(lái)說(shuō)大咖的重要性顯而易見(jiàn)，但是對(duì)于大咖來(lái)說(shuō)，這一個(gè)粉絲對(duì)他的重要性有可能忽略不計(jì)。

所以完整的圖注意力公式如下：

3.4 Attention機(jī)制主要應(yīng)用方式

Attention機(jī)制主要應(yīng)用的方式大概有學(xué)習(xí)權(quán)重分布，即通過(guò)構(gòu)造的Attention模型從而自動(dòng)去學(xué)不同尺度的權(quán)重，進(jìn)行融合；任務(wù)聚焦或解耦，即將圖像分類和分割任務(wù)進(jìn)行解耦，使用Attention Map對(duì)淺層網(wǎng)絡(luò)的損失進(jìn)行引導(dǎo)，并且通過(guò)反向傳播得到目標(biāo)特征位置上的損失，其他地方的損失不反傳。

Attention機(jī)制發(fā)展至今，研究學(xué)者們依然在通過(guò)各種方面對(duì)其進(jìn)行改進(jìn)，隨之還產(chǎn)生了很多形式，比如Soft Attention、Hard Attention、Global Attention、Local Attentio n、Self-Attention（又稱為intra Attention）等。變種花樣何其多，但并不脫離其本質(zhì)結(jié)構(gòu)。

4 討論

Attention機(jī)制在深度學(xué)習(xí)、人工智能、數(shù)據(jù)挖掘等領(lǐng)域有重大應(yīng)用，并且在開(kāi)展創(chuàng)新創(chuàng)業(yè)大賽及技能類競(jìng)賽和相關(guān)項(xiàng)目中應(yīng)用前景廣闊。但根據(jù)目前研究進(jìn)展來(lái)看也有些許難點(diǎn)有待解決，主要體現(xiàn)在：

（1）如何將其更好地融入到職業(yè)教育中，挖掘最大的應(yīng)用潛能。

（2）缺少基于Attention機(jī)制的教育相關(guān)的數(shù)據(jù)集，需要我們不斷擴(kuò)展完善。

5 結(jié)論

綜合分析，Attention機(jī)制這個(gè)概念特別新穎而且應(yīng)用強(qiáng)，它的出現(xiàn)可以推動(dòng)很多相關(guān)工作，擴(kuò)展了神經(jīng)網(wǎng)絡(luò)的功能，可近似更加復(fù)雜的函數(shù)，能夠幫助研究者專注于輸入信息的特定部分，提高計(jì)算機(jī)視覺(jué)任務(wù)的效率和提取性能，為各個(gè)研究領(lǐng)域注入了活力，目前不僅在計(jì)算機(jī)視覺(jué)領(lǐng)域應(yīng)用廣泛，而且在語(yǔ)音識(shí)別、自然語(yǔ)言處理、認(rèn)知和推理、人機(jī)交互等不同的類型任務(wù)中都能看到Attention機(jī)制的身影，它的前景非常廣闊。