賈　珂　李　晟

(1.密歇根州立大學(xué)心理學(xué)系，密歇根州 48824，美國(guó);2.劍橋大學(xué)心理學(xué)系，劍橋 CB2 3EB，英國(guó)；3.北京大學(xué)心理與認(rèn)知科學(xué)學(xué)院；4.北京大學(xué)麥戈文腦科學(xué)研究所；5.行為與心理健康北京市重點(diǎn)實(shí)驗(yàn)室；6.北京大學(xué)機(jī)器感知與智能教育部重點(diǎn)實(shí)驗(yàn)室，100871 北京)

1　引　言

由于大腦在同一時(shí)間內(nèi)加工信息的容量有限，因而在面對(duì)外界環(huán)境中源源不斷的信息輸入時(shí)，個(gè)體需要對(duì)信息進(jìn)行選擇性處理。這一過(guò)程既包括了對(duì)相關(guān)信息的選擇，也包含了對(duì)無(wú)關(guān)信息的忽略。在經(jīng)典的注意理論(Posner & Petersen,1990;Desimone & Duncan,1995;Kastner & Ungerleider,2000;Connor,Egeth & Yantis,2004)中，影響個(gè)體注意分配的因素主要?jiǎng)澐譃閮蓚€(gè)方面，一是刺激顯著性驅(qū)動(dòng)的、自下而上的注意過(guò)程(stimulus-driven bottom-up attention)，例如在眾多綠色盆景中的一束紅色花卉會(huì)自動(dòng)捕獲個(gè)體的注意。二是由任務(wù)導(dǎo)向的、自上而下的注意過(guò)程(goal-directed top-down attention)，例如在開車過(guò)程中，個(gè)體會(huì)有意識(shí)地注意紅綠燈、各種路牌和路標(biāo)，以確保駕駛安全。綜合近年來(lái)的大量研究結(jié)果可見(jiàn)，除上述兩個(gè)因素之外，個(gè)體的注意還受到刺激(位置、特征或客體)所賦有的價(jià)值影響(Awh,Belopolsky,& Theeuwes,2012;Chelazzi et al.,2013)，比如糖果和玩具對(duì)于小孩，金錢對(duì)于成年人來(lái)說(shuō)都是具有價(jià)值的外部獎(jiǎng)賞刺激。這些外部獎(jiǎng)賞刺激產(chǎn)生的效應(yīng)甚至可以在無(wú)意識(shí)、無(wú)注意的條件下促進(jìn)個(gè)體的視覺(jué)加工(Pessiglione et al.,2007;Xue,Zhou & Li,2015;Seitz,Kim & Watanabe,2009)。

早期研究主要關(guān)注獎(jiǎng)賞作為直接的線索或者反饋，對(duì)個(gè)體喚醒程度、動(dòng)機(jī)水平、任務(wù)導(dǎo)向的選擇性注意和執(zhí)行控制能力等方面的即時(shí)強(qiáng)化作用(詳見(jiàn)綜述Pessoa & Englemann,2010)。然而，近年來(lái)基于獎(jiǎng)賞學(xué)習(xí)范式的研究結(jié)果則揭示了獎(jiǎng)賞對(duì)選擇性注意的另一種調(diào)節(jié)機(jī)制。例如與獎(jiǎng)賞建立起關(guān)聯(lián)的刺激，可以在沒(méi)有獎(jiǎng)賞反饋的新異情境中持續(xù)吸引注意，甚至在與任務(wù)無(wú)關(guān)的情境中影響注意選擇和感知覺(jué)加工(詳見(jiàn)綜述Anderson,2013;2016；Chelazzi et al.,2013)。從理論的角度而言，這一系列發(fā)現(xiàn)與經(jīng)典條件作用(Pavlov,1927;Rescorla & Wagner,1972)和學(xué)習(xí)理論的預(yù)測(cè)性原則(Mackintosh，1975)均相吻合，即獎(jiǎng)賞—刺激聯(lián)結(jié)性學(xué)習(xí)不僅可以讓對(duì)獎(jiǎng)賞等重要結(jié)果具有預(yù)測(cè)性的刺激衍生獲得內(nèi)部?jī)r(jià)值，還可以使得該刺激在競(jìng)爭(zhēng)中獲得更多注意資源。這種獎(jiǎng)賞與預(yù)測(cè)性相結(jié)合所得的雙重特征，使得獎(jiǎng)賞相關(guān)刺激能夠在注意選擇中占據(jù)優(yōu)勢(shì)。獎(jiǎng)賞驅(qū)動(dòng)的注意效應(yīng)(reward-driven attention)在人類和靈長(zhǎng)類動(dòng)物研究中均有體現(xiàn)，可在不同任務(wù)之間遷移泛化，影響不同腦區(qū)的神經(jīng)活動(dòng)以及外顯的行為表現(xiàn)，如反應(yīng)時(shí)、正確率、眼動(dòng)等(詳見(jiàn)綜述Chelazzi et al.,2013;Failing & Theeuwes,2017)。概括而言，獎(jiǎng)賞能夠驅(qū)動(dòng)其關(guān)聯(lián)刺激產(chǎn)生注意效應(yīng)(Della Libera & Chelazzi,2009;Raymond & O’Brien,2009;Hickey et al.,2010;Anderson et al.,2011;Wang et al.,2013)，并且該效應(yīng)的發(fā)生不依賴于刺激本身的物理顯著性，或獎(jiǎng)賞與任務(wù)目標(biāo)的相關(guān)性。這種獎(jiǎng)賞驅(qū)動(dòng)的效應(yīng)源于中腦(midbrain)、紋狀體(striatum)等獎(jiǎng)賞加工腦區(qū)(Anderson et al.,2016；Hickey et al.,2015；Gong et al.,2017)，它不僅可以調(diào)控注意控制相關(guān)的高級(jí)腦區(qū)，如前扣帶回(anterior cingulate cortex)(Hickey et al.,2010)、后頂區(qū)(posterior parietal cortex)(Peck et al.,2009；Krebs et al.,2011)，甚至可以影響?yīng)勝p關(guān)聯(lián)刺激在早期視覺(jué)皮層的神經(jīng)表征(Weil et al.,2010； Serences,2008；Hickey et al.,2010；2015；Gong et al.,2017)。上述結(jié)果的意義在于對(duì)傳統(tǒng)注意理論的拓展和修正。針對(duì)傳統(tǒng)的注意優(yōu)先圖(attentional priority map)模型(Bisley and Goldberg,2010)，改進(jìn)的版本將包含獎(jiǎng)賞在內(nèi)的選擇經(jīng)驗(yàn)(selection/reward history)作為獨(dú)立于任務(wù)目標(biāo)和刺激顯著性的成分納入了注意選擇理論中(Awh et al.,2012)。值得說(shuō)明的是，雖然有研究提出獎(jiǎng)賞驅(qū)動(dòng)效應(yīng)在一定程度上反映了選擇經(jīng)驗(yàn)的影響(Sha & Jiang,2015)，但也有研究通過(guò)擴(kuò)大被試量(Anderson & Halpern,2017)，或?qū)⒂幸钟舭Y狀的群體作為被試(Anderson,2017)，其結(jié)果均支持了獎(jiǎng)賞學(xué)習(xí)與選擇經(jīng)驗(yàn)的區(qū)別。

鑒于已有研究綜述中，對(duì)獎(jiǎng)賞學(xué)習(xí)如何調(diào)節(jié)注意及其神經(jīng)機(jī)制的總結(jié)視角和對(duì)于獎(jiǎng)賞如何吸引注意的內(nèi)容側(cè)重(Anderson,2013;Chelazzi et al.,2013;Anderson,2016;Le Pelley et al.,2016;Failing & Theeuwes,2017)，本文一方面采用不同角度，以基于空間捕獲(space-based attentional capture)vs.基于特征的注意調(diào)控(feature-based attentional modulation)為切入點(diǎn)歸納已有研究結(jié)果，另一方面重點(diǎn)介紹獎(jiǎng)賞學(xué)習(xí)對(duì)注意抑制的調(diào)控及其神經(jīng)機(jī)制。

2　獎(jiǎng)賞學(xué)習(xí)對(duì)選擇性注意的調(diào)控機(jī)制

2.1　獎(jiǎng)賞學(xué)習(xí)驅(qū)動(dòng)的空間注意捕獲vs.基于特征注意的調(diào)控

大量的視覺(jué)搜索研究表明，獎(jiǎng)賞學(xué)習(xí)可以驅(qū)動(dòng)基于空間位置的注意捕獲效應(yīng)。例如，Anderson等人(2011)將實(shí)驗(yàn)分為訓(xùn)練和測(cè)試兩個(gè)獨(dú)立的階段(圖1)，在訓(xùn)練階段被試需要在不同顏色的刺激中搜索目標(biāo)(紅色或者綠色圓形)并判斷目標(biāo)刺激中的刺激朝向(水平或豎直)。預(yù)先設(shè)置的高、低獎(jiǎng)賞反饋以不同概率的形式呈現(xiàn)，如紅色圓形伴隨80%概率的高獎(jiǎng)勵(lì)反饋；綠色圓形伴隨20%的高獎(jiǎng)勵(lì)反饋，旨在促使個(gè)體建立起特定顏色和獎(jiǎng)賞之間的聯(lián)系。在測(cè)試階段采用奇異刺激搜索(feature singleton search)，搜索目標(biāo)為特異形狀(比如多個(gè)圓形中的一個(gè)菱形)。該目標(biāo)刺激可以是除紅綠色之外的任一顏色，而同時(shí)作為干擾刺激的圓形之一則可能是與獎(jiǎng)賞關(guān)聯(lián)的顏色。結(jié)果發(fā)現(xiàn)，當(dāng)干擾刺激中出現(xiàn)高獎(jiǎng)賞相關(guān)的顏色時(shí)，被試的反應(yīng)時(shí)顯著慢于低獎(jiǎng)賞顏色作為干擾刺激和沒(méi)有獎(jiǎng)賞關(guān)聯(lián)顏色的條件。由此說(shuō)明，原本中性的視覺(jué)刺激在獲得與獎(jiǎng)賞的關(guān)聯(lián)后能夠自動(dòng)吸引空間注意。這種由獎(jiǎng)賞學(xué)習(xí)驅(qū)動(dòng)的效應(yīng)不受限于任務(wù)目標(biāo)或刺激的物理顯著性(Le Pelley,2015;Failing & Theeuwes,2015)，刺激類型(Laurent et al.,2012；Anderson,2016)和測(cè)試情境(Anderson et al,2011;Hickey et al.,2015)，可維持長(zhǎng)達(dá)半年以上(Anderson & Yantis,2013)，還能夠泛化至包含獎(jiǎng)賞相關(guān)特征的非訓(xùn)練刺激(Gong & Li,2014;Lee & Shomstein,2014)，或與獎(jiǎng)賞信息歸屬同一類別的刺激(Hickey et al.,2015)。這一系列研究結(jié)果均體現(xiàn)了獎(jiǎng)賞對(duì)注意優(yōu)先圖的調(diào)節(jié)(Chelazzi et al.,2014)。

圖1獎(jiǎng)賞-刺激聯(lián)結(jié)學(xué)習(xí)的范式(彩圖見(jiàn)網(wǎng)絡(luò)版)

(A)訓(xùn)練任務(wù)；(B)測(cè)試任務(wù)。圖摘自Anderson,Laurent & Yantis,2011。

獎(jiǎng)賞學(xué)習(xí)不僅影響注意資源在不同空間位置上的分配(Della Libera & Chelazzi,2009;Hickey et al.,2010;Anderson et al.,2011)，還能改變對(duì)刺激特征(或客體)的選擇和表征。例如在注意瞬脫任務(wù)中(attentional blink)，加工與獎(jiǎng)賞關(guān)聯(lián)的面孔刺激不受到注意資源減少的限制(Raymond & O’Brien,2009) ，而該發(fā)現(xiàn)被證實(shí)與個(gè)體加工獎(jiǎng)賞刺激的效率提高有關(guān)(O’Brien & Raymond,2012)。鑒于選擇性注意和工作記憶共享同一機(jī)制(Gazzaley & Nobre,2012)，獎(jiǎng)賞學(xué)習(xí)對(duì)刺激特征的調(diào)節(jié)也可見(jiàn)于記憶相關(guān)的研究范式。例如，在新舊刺激再認(rèn)范式中，與獎(jiǎng)賞關(guān)聯(lián)的刺激可以被更準(zhǔn)確地辨認(rèn)，該行為效應(yīng)同時(shí)伴隨著腦電信號(hào)中與刺激新穎性相關(guān)成分潛伏期的縮短(Bunzeck et al.,2009)。獎(jiǎng)賞學(xué)習(xí)除了可以增強(qiáng)與其直接關(guān)聯(lián)的刺激表征，還可以泛化至包含獎(jiǎng)賞關(guān)聯(lián)特征在內(nèi)的其他刺激上。如Gong等人(2014)采用與Anderson(2011)相同的訓(xùn)練范式建立起獎(jiǎng)賞與顏色之間的聯(lián)結(jié)。在隨后的測(cè)試階段，研究者采用變化探測(cè)范式(change detection paradigm)，將獎(jiǎng)賞關(guān)聯(lián)顏色作為與任務(wù)無(wú)關(guān)的刺激特征，要求被試基于刺激的朝向變化做出判斷。結(jié)果發(fā)現(xiàn)，個(gè)體對(duì)與獎(jiǎng)賞關(guān)聯(lián)顏色匹配目標(biāo)刺激的探測(cè)敏感性增強(qiáng)，且該變化與決策標(biāo)準(zhǔn)無(wú)關(guān)。該效應(yīng)在限制空間注意轉(zhuǎn)移的條件下仍然存在，為獎(jiǎng)賞學(xué)習(xí)在增強(qiáng)基于特征的注意調(diào)控方面提供了直接的證據(jù)?？紤]到獎(jiǎng)賞對(duì)工作記憶的促進(jìn)可能源于編碼和/或存儲(chǔ)階段的加工改變，Thomas等人(2016)在分離了這兩個(gè)過(guò)程后發(fā)現(xiàn)，獎(jiǎng)賞學(xué)習(xí)可能是通過(guò)對(duì)儲(chǔ)存過(guò)程的調(diào)節(jié)來(lái)影響記憶表現(xiàn)。類似的結(jié)果還可以進(jìn)一步拓展到獎(jiǎng)賞學(xué)習(xí)對(duì)映像記憶 (Infanti et al.,2015)和長(zhǎng)時(shí)記憶的促進(jìn)(Murayama & Kitagami，2014)。

采用神經(jīng)技術(shù)的研究為上述獎(jiǎng)賞學(xué)習(xí)所引發(fā)的空間和特征注意效應(yīng)提供了可能的機(jī)制性解釋。例如腦電研究發(fā)現(xiàn)獎(jiǎng)賞關(guān)聯(lián)刺激會(huì)誘發(fā)注意相關(guān)的N2pc成分(Kiss et al.,2009;Qi et al.,2013)，提高刺激加工相關(guān)的P1波幅(Hickey et al.,2010)，并由此提示獎(jiǎng)賞學(xué)習(xí)效應(yīng)的發(fā)生處于對(duì)感知覺(jué)信息加工的早期階段。 靈長(zhǎng)類動(dòng)物的電生理實(shí)驗(yàn)則發(fā)現(xiàn)，對(duì)獎(jiǎng)賞聯(lián)結(jié)的表征主要體現(xiàn)在與顯著圖密切相關(guān)的腦區(qū)(Bisley & Goldberg,2010)，即后頂葉(Peck et al.,2009)。近年來(lái)，基于人類功能磁共振成像(fMRI)的研究還揭示了中腦活動(dòng)(Hickey & Peelen,2015；Gong et al.,2017)在預(yù)測(cè)獎(jiǎng)賞驅(qū)動(dòng)注意效應(yīng)中的作用，與獎(jiǎng)賞相關(guān)的電生理結(jié)果一致(Schultz,2002)。采用正電子發(fā)射斷層的成像技術(shù)進(jìn)一步發(fā)現(xiàn)了獎(jiǎng)賞對(duì)學(xué)習(xí)和測(cè)試階段的不同影響，即學(xué)習(xí)階段右腦前尾狀核(Anderson et al.,2017)和測(cè)試階段背側(cè)紋狀體(Anderson et al.,2016)的多巴胺遞質(zhì)釋放可分別預(yù)測(cè)獎(jiǎng)賞在行為上驅(qū)動(dòng)的注意效應(yīng)量。此外，獎(jiǎng)賞相關(guān)區(qū)域釋放的多巴胺遞質(zhì)會(huì)傳向額頂區(qū)(Frank,Loughry & O’Reilly,2001； Botvinick & Cohen,2014；Hickey & Peelen,2015)，通過(guò)增強(qiáng)自上而下的注意控制來(lái)影響感知覺(jué)信息在低級(jí)視覺(jué)區(qū)域的表征(van Schouwenburg,Aarts & Cools,2010； Serences,2010)。

2.2　獎(jiǎng)賞學(xué)習(xí)驅(qū)動(dòng)的注意抑制(attentional suppression)

由于獎(jiǎng)賞關(guān)聯(lián)刺激常作為干擾物出現(xiàn)，妨礙個(gè)體完成任務(wù)目標(biāo)的過(guò)程，因而被試能否通過(guò)對(duì)獎(jiǎng)賞刺激的注意抑制以優(yōu)化行為表現(xiàn)是值得研究的問(wèn)題。一方面有研究表明，獎(jiǎng)賞學(xué)習(xí)很難引發(fā)對(duì)干擾刺激的抑制(Hickey et al.,2011)，即使在特定任務(wù)情境中告知被試對(duì)獎(jiǎng)賞關(guān)聯(lián)刺激的注意會(huì)直接導(dǎo)致獎(jiǎng)賞的損失，仍不能消減獎(jiǎng)賞驅(qū)動(dòng)的注意效應(yīng)(Le Pelley et al.,2015；Failing et al.,2015)。然而另一方面，也有研究為獎(jiǎng)賞促進(jìn)注意抑制的潛在可能提供了一定的支持。例如Della Libera 等人(2009)發(fā)現(xiàn)，在獎(jiǎng)賞學(xué)習(xí)階段對(duì)于干擾刺激的忽略可以增強(qiáng)被試在測(cè)試階段對(duì)該刺激的抑制作用。但由于該抑制效應(yīng)可能主要反映了被試對(duì)獎(jiǎng)賞刺激與抑制之間關(guān)系的學(xué)習(xí)結(jié)果，因而難以確定其結(jié)論的拓展性。此外，有研究著眼于獎(jiǎng)賞驅(qū)動(dòng)的效應(yīng)在時(shí)程上的變化，通過(guò)追蹤個(gè)體眼動(dòng)過(guò)程發(fā)現(xiàn)獎(jiǎng)賞關(guān)聯(lián)刺激的呈現(xiàn)在短暫捕獲眼動(dòng)后，伴隨著更強(qiáng)的注意排斥過(guò)程，即眼動(dòng)方向偏離獎(jiǎng)賞關(guān)聯(lián)刺激所在位置(Hickey & van Zoest,2012)。類似結(jié)果也體現(xiàn)在腦電實(shí)驗(yàn)中，被試對(duì)目標(biāo)刺激的搜索減慢伴隨著獎(jiǎng)賞關(guān)聯(lián)干擾刺激誘發(fā)的注意成分N2pc。相反，快速搜索到目標(biāo)的試次則對(duì)應(yīng)著獎(jiǎng)賞刺激所引發(fā)的抑制成分Pd(Qi et al.,2013)。

近年來(lái)有關(guān)注意抑制研究的發(fā)展(Sawaki & Luck,2010；Geng,2014；Gaspelin & Luck，2017)也同時(shí)促進(jìn)了獎(jiǎng)賞學(xué)習(xí)和注意抑制的相關(guān)研究。通過(guò)學(xué)習(xí)獲得的獎(jiǎng)賞預(yù)測(cè)性能否特定任務(wù)情境中對(duì)該刺激的抑制增強(qiáng)得到了進(jìn)一步的研究。Gong等人(2016)采用記憶導(dǎo)向的搜索任務(wù)(memory-guided visual search)并結(jié)合腦電技術(shù)(圖2)，通過(guò)將先前與獎(jiǎng)賞建立聯(lián)結(jié)的特征作為線索刺激呈現(xiàn)，要求被試記憶該線索并在隨后的搜索任務(wù)中忽略與該線索特征匹配的干擾刺激。結(jié)果發(fā)現(xiàn)，高獎(jiǎng)賞關(guān)聯(lián)特征作為干擾刺激，比低獎(jiǎng)賞或無(wú)獎(jiǎng)賞關(guān)聯(lián)的干擾刺激所需反應(yīng)時(shí)更短，提示獎(jiǎng)賞可以促進(jìn)對(duì)任務(wù)無(wú)關(guān)刺激的抑制。該效應(yīng)伴隨著前額區(qū)電極 P2和后頂枕區(qū)P3波幅的增強(qiáng)，以及與抑制過(guò)程相關(guān)的額區(qū)theta活動(dòng)增強(qiáng)(Cavanagh et al.,2013)。連接性分析進(jìn)一步表明，該結(jié)果是由于獎(jiǎng)賞促進(jìn)了其關(guān)聯(lián)刺激在工作記憶中的表征優(yōu)勢(shì)，從而加強(qiáng)了自上而下的注意控制所致。該結(jié)果一方面支持了獎(jiǎng)賞對(duì)主動(dòng)抑制的調(diào)控，另一方面也與其先前研究所發(fā)現(xiàn)的獎(jiǎng)賞與工作記憶表征關(guān)系相符，證實(shí)視覺(jué)刺激的工作記憶表征強(qiáng)度不僅可以通過(guò)匹配目標(biāo)模板來(lái)促進(jìn)搜索，還可以通過(guò)匹配干擾刺激模板(template for rejection)來(lái)調(diào)控抑制機(jī)制(Woodman & Luck,2007;Cunningham & Egeth,2016)。為進(jìn)一步考察獎(jiǎng)賞學(xué)習(xí)對(duì)自上而下注意的調(diào)控機(jī)制，特別是具有獎(jiǎng)賞顯著性刺激的感知覺(jué)表征是否可以被抑制，Gong等人(2017)利用fMRI技術(shù)(圖3)，重點(diǎn)考察注意抑制對(duì)獎(jiǎng)賞關(guān)聯(lián)刺激在初級(jí)視覺(jué)皮層V1的表征影響。其實(shí)驗(yàn)采用視覺(jué)搜索任務(wù)，通過(guò)目標(biāo)和干擾刺激相對(duì)于背景刺激的朝向差異來(lái)控制刺激間的相對(duì)物理顯著性。同時(shí)，不同朝向的干擾刺激通過(guò)掃描前的視覺(jué)搜索訓(xùn)練獲得高低不同的獎(jiǎng)賞顯著性。結(jié)果發(fā)現(xiàn)，當(dāng)干擾刺激的物理顯著性高于搜索目標(biāo)時(shí)，呈現(xiàn)高獎(jiǎng)賞關(guān)聯(lián)的干擾刺激相對(duì)于低獎(jiǎng)賞對(duì)應(yīng)條件下的反應(yīng)時(shí)更短。該結(jié)果與選擇性抑制的理論模型(Houghton & Tipper,1994)相符，提示刺激間競(jìng)爭(zhēng)程度決定了對(duì)干擾刺激的抑制強(qiáng)度。同時(shí)，該行為效應(yīng)還伴隨著中腦多巴胺區(qū)域的活動(dòng)增強(qiáng)，以及V1神經(jīng)元群體對(duì)干擾刺激高獎(jiǎng)賞相關(guān)朝向的反應(yīng)減弱。運(yùn)用自然場(chǎng)景為實(shí)驗(yàn)刺激的研究也在客體選擇視覺(jué)區(qū)(object-selective visual cortex，LOC)發(fā)現(xiàn)了相似的抑制作用(Hickey et al.,2015)。這些結(jié)果一方面為現(xiàn)有研究中一些矛盾的結(jié)果提供了解釋，例如獎(jiǎng)賞引發(fā)的自動(dòng)的注意吸引(Hickey et al.,2010；Anderon et al.,2011;Falling et al.,2015；Le Pelley et al.,2015)在特定情境下消失(Lee & Shomstein，2014)，在眼動(dòng)和腦電實(shí)驗(yàn)中表現(xiàn)為吸引和抑制效應(yīng)的混合(Hickey & van Zoest，2012；Qi et al.,2013)，另一方面也為獎(jiǎng)賞調(diào)節(jié)注意顯著性表達(dá)的靈活性(flexibility)提供了實(shí)證支持，反映了獎(jiǎng)賞學(xué)習(xí)對(duì)自上而下注意控制的增強(qiáng)作用不僅可以用于提高刺激的顯著性表征，也可以根據(jù)任務(wù)要求弱化其顯著性的表達(dá)。

圖2獎(jiǎng)賞與注意抑制的腦電研究(彩圖見(jiàn)網(wǎng)絡(luò)版)

(A)獎(jiǎng)賞相關(guān)刺激誘發(fā)額區(qū)P2波幅的增強(qiáng)；(B)獎(jiǎng)賞相關(guān)刺激誘發(fā)枕頂區(qū)P3波幅的增強(qiáng)；(C)獎(jiǎng)賞驅(qū)動(dòng)額區(qū)的theta活動(dòng)增強(qiáng)；(D)獎(jiǎng)賞信號(hào)引發(fā)自上而下注意控制的增強(qiáng)。圖摘自Gong,Yang,& Li,2016。

圖3　獎(jiǎng)賞學(xué)習(xí)與注意抑制的fMRI研究(彩圖見(jiàn)網(wǎng)絡(luò)版)

(A)視覺(jué)搜索的行為實(shí)驗(yàn)范式；(B)獎(jiǎng)賞引發(fā)對(duì)其干擾刺激的抑制增強(qiáng)效應(yīng)；(C)獎(jiǎng)賞相關(guān)干擾刺激在初級(jí)視覺(jué)皮層表征強(qiáng)度減弱；(D)行為與初級(jí)視覺(jué)皮層神經(jīng)活動(dòng)在獎(jiǎng)賞條件間的相關(guān)關(guān)系；(E)基于個(gè)體結(jié)構(gòu)像定義的中腦腹側(cè)被蓋區(qū)；(F)中腦神經(jīng)活動(dòng)在獎(jiǎng)賞條件間的變化。圖摘自Gong,Jia,& Li,2017。

3　研究總結(jié)與未來(lái)研究方向

通過(guò)學(xué)習(xí)獲得的獎(jiǎng)賞預(yù)測(cè)性可以增強(qiáng)其相關(guān)刺激的知覺(jué)表征，提高該刺激在注意選擇中的優(yōu)先性(Awh et al.,2012)。綜合已有行為與神經(jīng)方面的研究結(jié)果可見(jiàn)，獎(jiǎng)賞學(xué)習(xí)不僅可以增強(qiáng)對(duì)特定空間位置或刺激特征選擇，還可以在特定情境下通過(guò)認(rèn)知控制(cognitive control)促進(jìn)抑制的發(fā)生以優(yōu)化行為。綜上所述，獎(jiǎng)賞對(duì)認(rèn)知控制的調(diào)控方向決定了獎(jiǎng)賞在注意優(yōu)先圖中的表達(dá)形式，即注意吸引或抑制。同時(shí)考慮到獎(jiǎng)賞學(xué)習(xí)過(guò)程中伴隨的記憶成分，上述效應(yīng)可能與獎(jiǎng)賞相關(guān)刺激在工作記憶中的表征增強(qiáng)有關(guān)(圖4)。通過(guò)學(xué)習(xí)獲得的獎(jiǎng)賞預(yù)測(cè)性可以增強(qiáng)刺激的顯著性，一方面引發(fā)自動(dòng)的注意捕獲，另一方面經(jīng)由自上而下的認(rèn)知控制促進(jìn)對(duì)其相關(guān)刺激的抑制過(guò)程。

圖4　獎(jiǎng)賞學(xué)習(xí)調(diào)控注意的選擇與抑制

3.1　獎(jiǎng)賞學(xué)習(xí)調(diào)節(jié)注意優(yōu)先圖的神經(jīng)機(jī)制

獎(jiǎng)賞學(xué)習(xí)對(duì)于選擇性注意的影響機(jī)制不同于傳統(tǒng)注意模型中所包含的任務(wù)目標(biāo)和刺激顯著性，屬于能夠調(diào)節(jié)注意優(yōu)先圖的獨(dú)立成分(Awh et al.,2012)。然而在自然場(chǎng)景中，構(gòu)成注意顯著圖的這三個(gè)成分大多是同時(shí)存在的，通過(guò)對(duì)注意神經(jīng)機(jī)制的共同調(diào)控以影響視覺(jué)加工過(guò)程。因而，這三個(gè)成分如何協(xié)同作用，其相互作用是否受到不同情境(如基于空間或特征注意)影響，及其效應(yīng)所發(fā)生所對(duì)應(yīng)的神經(jīng)過(guò)程均需要進(jìn)一步的研究揭示。Chelazzi等人(2014)提出，雖然影響注意的三個(gè)因素在大腦中各自有相對(duì)獨(dú)立的表征腦區(qū)，但其最終還是會(huì)遵循“winner-take-all”的原則將注意導(dǎo)向優(yōu)先圖中激活最強(qiáng)的位置。因此，電生理和人類腦成像研究所揭示的負(fù)責(zé)表征注意優(yōu)先圖的重要腦區(qū)，如頂內(nèi)溝外側(cè)壁(lateral intraparietal cortex,LIP)(Bisley & Goldberg,2010)、額葉眼動(dòng)區(qū)(frontal eye field,FEF)(Serences & Yantis,2007；Ptak,2012)、上丘(superior colliculus)(Krauzlis et al,2013)，是否也參與編碼基于獎(jiǎng)賞學(xué)習(xí)所建立的聯(lián)結(jié)性信息，并且不同因素在共同改變刺激表征時(shí)是否存在時(shí)程上的差異也有待進(jìn)一步研究。

獎(jiǎng)賞可以影響視覺(jué)刺激在低級(jí)感知覺(jué)皮層的加工與表征，但當(dāng)前的研究尚不能為該效應(yīng)的發(fā)生來(lái)源及其神經(jīng)過(guò)程提供直接的證據(jù)。從一方面而言，獎(jiǎng)賞學(xué)習(xí)在行為上產(chǎn)生的效應(yīng)與刺激顯著性所驅(qū)動(dòng)的自下而上注意過(guò)程類似。因而有研究者提出，獎(jiǎng)賞—刺激聯(lián)結(jié)可能通過(guò)改變大腦皮層可塑性而從刺激屬性上改變了個(gè)體對(duì)獎(jiǎng)賞關(guān)聯(lián)刺激的感知覺(jué)表征(Peck et al.,2009)。這種解釋與獎(jiǎng)賞學(xué)習(xí)效應(yīng)能在不同任務(wù)間遷移(Lee & Shomstein,2014；Gong et al.,2014)，并在較長(zhǎng)時(shí)間內(nèi)得以保持的結(jié)果相符(Anderson & Yantis,2013)。然而，從另一方面來(lái)看，現(xiàn)有的研究結(jié)果卻大多支持額頂區(qū)的反饋調(diào)節(jié)在實(shí)現(xiàn)視覺(jué)區(qū)表達(dá)獎(jiǎng)賞效應(yīng)中的作用(Weil et al.,2010；Serences,2008；Hickey et al.,2015；Gong et al.,2017)。因此，多巴胺神經(jīng)遞質(zhì)的調(diào)節(jié)是否存在自下而上的通路(如皮層下核團(tuán)向早期感知覺(jué)皮層的投射)還是一個(gè)亟待考察的問(wèn)題。

3.2　獎(jiǎng)賞學(xué)習(xí)與意識(shí)的關(guān)系

直接的外部獎(jiǎng)賞線索或反饋可以在無(wú)意識(shí)的條件下提高被試在完成任務(wù)過(guò)程中的努力程度(invested effort)，然而相對(duì)于閾上的獎(jiǎng)賞刺激而言，無(wú)意識(shí)獎(jiǎng)賞卻不能根據(jù)任務(wù)要求影響速度—正確率的權(quán)衡關(guān)系(Bijleveld et al.,2010)。此外，也有研究發(fā)現(xiàn)對(duì)獎(jiǎng)賞刺激的意識(shí)程度并不一定影響行為結(jié)果，但閾上和閾下獎(jiǎng)賞刺激分別對(duì)應(yīng)于大腦獎(jiǎng)賞區(qū)域的活動(dòng)卻存在顯著差異(Bijleveld et al.,2014)。綜合而言，不同意識(shí)水平下，外部獎(jiǎng)賞在任務(wù)準(zhǔn)備和決策過(guò)程中產(chǎn)生的相同和差異性影響可能與任務(wù)情境等多種因素有關(guān)(Zedelius et al.,2014)。

雖然這些研究結(jié)果為獎(jiǎng)賞學(xué)習(xí)與意識(shí)的依存關(guān)系提供了引導(dǎo)，但上述研究主要集中于直接的外部獎(jiǎng)賞和高級(jí)的認(rèn)知任務(wù)，比如數(shù)學(xué)計(jì)算、語(yǔ)詞記憶等。因而，與獎(jiǎng)賞關(guān)聯(lián)的簡(jiǎn)單視覺(jué)刺激能否在無(wú)意識(shí)的條件下影響注意尚且缺乏系統(tǒng)的研究。值得一提的是，對(duì)該問(wèn)題的研究在知覺(jué)學(xué)習(xí)領(lǐng)域中已有一定的成果。例如，Seitz等人(2009)在知覺(jué)學(xué)習(xí)過(guò)程中通過(guò)呈現(xiàn)閾下的光柵刺激，匹配在時(shí)間上耦合給予的外部獎(jiǎng)賞(水)，結(jié)果發(fā)現(xiàn)個(gè)體學(xué)習(xí)后對(duì)獎(jiǎng)賞配對(duì)光柵刺激的辨別能力提高。該研究表明，被試可以有效習(xí)得閾下刺激與閾上外部獎(jiǎng)賞之間的關(guān)系。此外，Xue等人(2015)采用在運(yùn)動(dòng)探測(cè)任務(wù)的知覺(jué)學(xué)習(xí)實(shí)驗(yàn)中，采用閾下獎(jiǎng)賞作為反饋刺激，結(jié)果發(fā)現(xiàn)被試對(duì)與高獎(jiǎng)賞相關(guān)運(yùn)動(dòng)方向的探測(cè)能力顯著高于低獎(jiǎng)賞對(duì)應(yīng)的運(yùn)動(dòng)方向。這些結(jié)果提示，獎(jiǎng)賞學(xué)習(xí)效應(yīng)的發(fā)生不一定需要依賴個(gè)體對(duì)刺激或獎(jiǎng)賞的意識(shí)程度，但對(duì)刺激意識(shí)程度的減弱卻可能使得獎(jiǎng)賞效應(yīng)需要較長(zhǎng)的學(xué)習(xí)時(shí)間才能產(chǎn)生。

在行為研究之外，對(duì)無(wú)意識(shí)獎(jiǎng)賞聯(lián)結(jié)的加工是否存在特殊的神經(jīng)通路也是值得研究的問(wèn)題。例如，與恐懼情緒相關(guān)的刺激可以在無(wú)意識(shí)條件下被知覺(jué)即與杏仁核向不同區(qū)域傳遞信號(hào)有關(guān)(Vuilleumier，2015)。相似的，已有的電生理研究結(jié)果發(fā)現(xiàn)，杏仁核不僅具有編碼恐懼情緒的能力，也可以對(duì)獎(jiǎng)賞關(guān)聯(lián)刺激產(chǎn)生特定神經(jīng)反應(yīng)，且該神經(jīng)活動(dòng)的變化伴隨著對(duì)該刺激所在空間位置的注意增強(qiáng)效應(yīng)(Peck & Salzman,2014)。該結(jié)果即為無(wú)意識(shí)條件下獎(jiǎng)賞信息所產(chǎn)生的效應(yīng)提供了一定的神經(jīng)支持。

3.3　獎(jiǎng)賞學(xué)習(xí)與其他因素(懲罰，情緒或新穎性相關(guān)刺激)的區(qū)別

獎(jiǎng)賞驅(qū)動(dòng)的注意效應(yīng)被認(rèn)為在調(diào)節(jié)顯著圖中具有一定的特殊性，但獎(jiǎng)賞與其他相關(guān)因素，比如懲罰、情緒性或新穎性刺激等因素之間是否存在行為層面或神經(jīng)機(jī)制方面的差異還缺乏一定的研究，而基于已有研究的結(jié)果也存在較大的不一致性。

以研究中對(duì)懲罰的操控為例，實(shí)驗(yàn)者通過(guò)減少金錢(monetary loss)或給予輕微電刺激等方式建立起與特定刺激之間的連接，結(jié)果發(fā)現(xiàn)與獎(jiǎng)賞驅(qū)動(dòng)類似的注意捕獲效應(yīng)(Wang et al.,2013；Wentura et al.,2014;Schmidt et al.,2015)，但也有研究發(fā)現(xiàn)在限制注意的條件下，懲罰并不能如同獎(jiǎng)賞一樣促進(jìn)其關(guān)聯(lián)刺激的加工(Raymond et al.,2009)，類似支持獎(jiǎng)賞有別于懲罰的研究還可見(jiàn)于運(yùn)動(dòng)學(xué)習(xí)的實(shí)驗(yàn)(Abe et al.,2011;Galea et al.,2015)。相似的，對(duì)比獎(jiǎng)賞和情緒的相關(guān)研究也大多傾向于兩者所引發(fā)的效應(yīng)相似性，因而常被納入同一理論模型進(jìn)行探討(Pessoa,2009)。對(duì)正性情緒和獎(jiǎng)賞研究的歸納總結(jié)表明，兩者在增強(qiáng)任務(wù)相關(guān)認(rèn)知控制過(guò)程中起到了相同的作用并共享同一神經(jīng)機(jī)制，即兩個(gè)因素都可以誘發(fā)中腦釋放多巴胺遞質(zhì)，并向認(rèn)知控制區(qū)域傳遞信號(hào)，但兩者在其他方面也存在一定的差異(詳見(jiàn)綜述Chiew & Braver,2011)。未來(lái)研究可以從兩個(gè)因素如何影響非任務(wù)相關(guān)信息的感知覺(jué)和認(rèn)知加工過(guò)程著手，進(jìn)一步揭示兩者可能的潛在差異。

相對(duì)于懲罰或情緒，將刺激新穎性和獎(jiǎng)賞進(jìn)行對(duì)比的研究較少。先前的大多數(shù)觀點(diǎn)認(rèn)為，新穎刺激實(shí)則也是一種獎(jiǎng)賞，因?yàn)樗瑯涌梢哉T發(fā)中腦區(qū)域的多巴胺遞質(zhì)(Bunzeck & Düzel,2006;Wittmann et al.,2007;Guitart-Masip et al.,2010)。然而近年來(lái)的研究表明，新穎性驅(qū)動(dòng)的效應(yīng)雖然也在后頂區(qū)表征，但其效應(yīng)在時(shí)程上與獎(jiǎng)賞表征的分離為兩者的互相獨(dú)立提供了一定的支持(Foley et al.,2014)。

3.4　獎(jiǎng)賞學(xué)習(xí)與動(dòng)作選擇(selection for action)

在實(shí)驗(yàn)室情境中，研究者大多采用簡(jiǎn)單的按鍵反應(yīng)代表行為輸出。然而不可忽略的是現(xiàn)實(shí)情境中還存在更多樣性的行為輸出模式，如抓握(force)和抓取(reach and grasp)，Go/No Go任務(wù)中涉及的反應(yīng)撤回(response withhold)等。當(dāng)前研究主要集中于獎(jiǎng)賞如何影響基于視覺(jué)層面的注意選擇(selection for vision)，相對(duì)較少關(guān)注獎(jiǎng)賞學(xué)習(xí)對(duì)其他動(dòng)作選擇的可能影響。

已有研究采用手指捏握任務(wù)(pinch force task)發(fā)現(xiàn)，相對(duì)于中性或懲罰條件，提供獎(jiǎng)賞并不能對(duì)運(yùn)動(dòng)學(xué)習(xí)產(chǎn)生即時(shí)的促進(jìn)效應(yīng)。相對(duì)的，獎(jiǎng)賞反饋可以在學(xué)習(xí)后6小時(shí)產(chǎn)生鞏固和促進(jìn)效應(yīng)，并且該效應(yīng)可以在較長(zhǎng)時(shí)間內(nèi)(30天)維持穩(wěn)定(Abe et al.,2011)。該結(jié)果與視覺(jué)選擇的研究類似，均體現(xiàn)了獎(jiǎng)賞信息對(duì)長(zhǎng)時(shí)記憶的鞏固作用(Murayama & Kitagami，2015)。然而，也有研究體現(xiàn)了獎(jiǎng)賞對(duì)視覺(jué)和動(dòng)作選擇的不同影響。例如Moher等人(2015)分別采用按鍵和抓取導(dǎo)向的搜索任務(wù)來(lái)考察獎(jiǎng)賞學(xué)習(xí)的影響，結(jié)果發(fā)現(xiàn)，對(duì)獎(jiǎng)賞關(guān)聯(lián)干擾刺激的抑制作用未能體現(xiàn)在按鍵任務(wù)中，卻有效地調(diào)節(jié)了抓取動(dòng)作的過(guò)程。由此可見(jiàn)，獎(jiǎng)賞對(duì)于不同行為輸出方式的調(diào)節(jié)可能存在差異。因此研究獎(jiǎng)賞如何調(diào)節(jié)更為復(fù)雜的動(dòng)作過(guò)程，并揭示其對(duì)應(yīng)的神經(jīng)機(jī)制也是值得研究的方向之一。

3.5　獎(jiǎng)賞學(xué)習(xí)在臨床上的應(yīng)用

獎(jiǎng)賞學(xué)習(xí)對(duì)注意調(diào)控的研究，可能有助于對(duì)一些臨床癥狀的相關(guān)研究，比如注意缺陷多動(dòng)障礙(attention deficit/hyperactivity disorder,ADHD)，成癮行為(drug addition)和抑郁癥(depression)等。Li 等人(2017)將獎(jiǎng)賞學(xué)習(xí)的范式應(yīng)用于自閉癥(autism)兒童。結(jié)果發(fā)現(xiàn)，雖然自閉癥兒童學(xué)習(xí)獎(jiǎng)賞—面孔聯(lián)結(jié)的耗時(shí)比同齡正常兒童較長(zhǎng)，但學(xué)習(xí)卻可以提高兒童在有獎(jiǎng)賞關(guān)聯(lián)面孔干擾條件下的搜索速度。Sali等人則發(fā)現(xiàn)(2017)，相對(duì)于正常兒童，有注意缺陷的兒童較少受到獎(jiǎng)賞驅(qū)動(dòng)的注意效應(yīng)影響。由此提示獎(jiǎng)賞學(xué)習(xí)對(duì)調(diào)節(jié)ADHD兒童注意加工的重要影響。關(guān)于獎(jiǎng)賞學(xué)習(xí)在兒童發(fā)展過(guò)程中可能起到的作用，及其對(duì)于臨床多種癥狀的診斷，可能為獎(jiǎng)賞學(xué)習(xí)應(yīng)用于未來(lái)研究中提供指向性?；谔厥馊后w的研究還可能為獎(jiǎng)賞效應(yīng)的特殊性提供關(guān)鍵性證據(jù)。例如Anderson(2017)對(duì)比抑郁癥群體和正常被試經(jīng)過(guò)獎(jiǎng)賞學(xué)習(xí)和(無(wú)獎(jiǎng)賞的)選擇經(jīng)驗(yàn)所引發(fā)的注意效應(yīng)，結(jié)果發(fā)現(xiàn)，基于選擇經(jīng)驗(yàn)的注意效應(yīng)在兩個(gè)群體中并無(wú)顯著差異；然而，相較于正常被試，抑郁癥被試表現(xiàn)出較弱的獎(jiǎng)賞驅(qū)動(dòng)效應(yīng)，由此提示獎(jiǎng)賞學(xué)習(xí)與選擇經(jīng)驗(yàn)兩個(gè)概念對(duì)應(yīng)于發(fā)生機(jī)制的區(qū)別。

Abe,M.,Schambra,H.,Wassermann,E.M.,Luckenbaugh,D.,Schweighofer,N.,& Cohen,L.G.(2011).Reward improves long-term retention of a motor memory through induction of offline memory gains.CurrentBiology,21(7),557-562.

Anderson,B.,Laurent,P.,& Yantis,S.(2011).Value-driven attentional capture.ProceedingsoftheNationalAcademyofScience,108(25),10367-10371.

Anderson,B.A.(2013).A value-driven mechanism of attentional selection.JournalofVision,13(3),7-7.

Anderson,B.A.(2016).The attention habit:How reward learning shapes attentional selection.AnnalsoftheNewYorkAcademyofSciences,1369(1),24-39.

Anderson,B.A.,Chiu,M.,DiBartolo,M.M.,& Leal,S.L.(2017).On the distinction between value-driven attention and selection history:Evidence from individuals with depressive symptoms.PsychonomicBulletin&Review,24(5),1636-1642.

Anderson,B.A.,& Halpern,M.(2017).On the value-dependence of value-driven attentional capture.Attention,Perception,&Psychophysics,79(4),1001-1011.

Anderson,B.A.,Kuwabara,H.,Wong,D.F.,Gean,E.G.,Rahmim,A.,Bra?i?,J.R.,…Yantis,S.(2016).The role of dopamine in value-based attentional orienting.CurrentBiology,26(4),550-555.

Anderson,B.A.,Kuwabara,H.,Wong,D.F.,Roberts,J.,Rahmim,A.,Bra?i?,J.R.,& Courtney,S.M.(2017).Linking dopaminergic reward signals to the development of attentional bias:A positron emission tomographic study.NeuroImage,157,27-33.

Anderson,B.A.,Laurent,P.A.,& Yantis,S.(2014).Value-driven attentional priority signals in human basal ganglia and visual cortex.BrainResearch,1587,88-96.

Anderson,B.A.,& Yantis,S.(2013).Persistence of value-driven attentional capture.JournalofExperimentalPsychology:HumanPerceptionandPerformance,39(1),6-9.

Awh,E.,Belopolsky,A.V.,& Theeuwes,J.(2012).Top-down versus bottom-up attentional control:A failed theoretical dichotomy.TrendsinCognitiveSciences.16(8):437-443.

Bijleveld,E.,Custers,R.,& Aarts,H.(2010).Unconscious reward cues increase invested effort,but do not change speed-accuracy tradeoffs.Cognition,115(2),330-335.

Bijleveld,E.,Custers,R.,Van der Stigchel,S.,Aarts,H.,Pas,P.,& Vink,M.(2014).Distinct neural responses to conscious versus unconscious monetary reward cues.HumanBrainMapping,35(11),5578-5586.

Bisley,J.W.,& Goldberg,M.E.(2010).Attention,intention,and priority in the parietal lobe.AnnualReviewofNeuroscience,33(1),1-21.

Botvinick,M.M.,& Cohen,J.D.(2014).The computational and neural basis of cognitive control:Charted territory and new frontiers.CognitiveScience,38(6),1249-1285.

Bunzeck,N.,Doeller,C.F.,Fuentemilla,L.,Dolan,R.J.,& Duzel,E.(2009).Reward motivation accelerates the onset of neural novelty signals in humans to 85 milliseconds.CurrentBiology,19(15),1294-1300.

Bunzeck，.N.,Düzel.E.(2006).Absolute coding of stimulus novelty in the human substantia nigra/VTA.Neuron,51:369-379,

Cavanagh,J.F.,Eisenberg,I.,Guitart-Masip,M.,Huys,Q.,& Frank,M.J.(2013).Frontal theta overrides Pavlovian learning biases.JournalofNeuroscience,33(19),8541-8548.

Chelazzi,L.,Perlato,A.,Santandrea,E.,& Della Libera,C.(2013).Rewards teach visual selective attention.VisionResearch,85,58-62.

Chelazzi,L.,E?to?inov,J.,Calletti,R.,Gerfo,E.L.,Sani,I.,Della Libera,C.,& Santandrea,E.(2014).Altering spatial priority maps via reward-based learning.JournalofNeuroscience,34(25),8594-8604.

Chiew,K.S.,& Braver,T.S.(2011).Positive affect versus reward:Emotional and motivational influences on cognitive control.Frontiersinpsychology,2,279.

Connor,C.E.,Egeth,H.E.,& Yantis,S.(2004).Visual attention:Bottom-up versus top-down.CurrentBiology.14(19):R850-R852.

Cunningham,C.A.,& Egeth,H.E.(2016).Taming the white bear:Initial costs and eventual benefits of distractor inhibition.PsychologicalScience,27(4),476-485.

Desimone,R.,& Duncan,J.(1995).Neural mechanisms of selective visual attention.AnnualReviewofNeuroscience,18(1),193-222.

Failing,M.,Nissens,T.,Pearson,D.,Le Pelley,M.,& Theeuwes,J.(2015).Oculomotor capture by stimuli that signal the availability of reward.JournalofNeurophysiology,114(4),2316-2327.

Failing,M.,& Theeuwes,J.(2017).Selection history:How reward modulates selectivity of visual attention.PsychonomicBulletin&Review,1-25.

Foley,N.C.,Jangraw,D.C.,Peck,C.,& Gottlieb,J.(2014).Novelty enhances visual salience independently of reward in the parietal lobe.JournalofNeuroscience,34(23),7947-7957.

Frank,M.J.,Loughry,B.,& O’Reilly,R.C.(2001).Interactions between frontal cortex and basal ganglia in working memory:A computational model.Cognitive,Affective,&BehavioralNeuroscience,1(2),137-160.

Galea,J.M.,Mallia,E.,Rothwell,J.,& Diedrichsen,J.(2015).The dissociable effects of punishment and reward on motor learning.NatureNeuroscience,18(4),597.

Gaspelin,N.,& Luck,S.J.(2017).The role of inhibition in avoiding distraction by salient stimuli.TrendsinCognitiveSciences,22(1):79-92.

Gazzaley,A.,& Nobre,A.C.(2012).Top-down modulation:bridging selective attention and working memory.TrendsinCognitiveSciences,16(2),129-135.

Geng,J.J.(2014).Attentional mechanisms of distractor suppression.CurrentDirectionsinPsychologicalScience,23(2),147-153.

Gong,M.,Jia,K.,& Li,S.(2017).Perceptual competition promotes suppression of reward salience in behavioral selection and neural representation.TheJournalofNeuroscience,37(26),6242-6252.

Gong,M.,& Li,S.(2014).Learned reward association improves visual working memory.JournalofExperimentalPsychology:HumanPerceptionandPerformance,40(2),841-856.

Gong,M.,Yang,F.,& Li,S.(2016).Reward association facilitates distractor suppression in human visual search.EuropeanJournalofNeuroscience,43(7),942-953.

Guitart-Masip M,Bunzeck N,Stephan KE,Dolan RJ,Düzel E (2010) Contextual novelty changes reward representations in the striatum.TheJournalofNeuroscience,30:1721-1726

Hickey,C.,Chelazzi,L.,& Theeuwes,J.(2010).Reward changes salience in human vision via the anterior cingulate.TheJournalofNeuroscience,30(33),11096-11103.

Hickey,C.,Kaiser,D.,& Peelen,M.V.(2015).Reward guides attention to object categories in real-world scenes.JournalofExperimentalPsychology:General,144(2),264-273.

Hickey,C.,& Peelen,M.V.(2015).Neural mechanisms of incentive salience in naturalistic human vision.Neuron,85(3),512-518.

Hickey,C.,& Van Zoest,W.(2012).Reward creates oculomotor salience.CurrentBiology.22(7):R219-R220.

Hickey,C.,& Peelen,M.V.(2017).Reward selectively modulates the lingering neural representation of recently attended objects in natural scenes.JournalofNeuroscience,37(31),7297-7304.

Houghton,G.,& Tipper,S.P.(1994).A model of inhibitory mechanisms in selective attention.InInhibitoryprocessesinattention,memory,andlanguage(pp.53-112).Infanti,E.,Hickey,C.,& Turatto,M.(2015).Reward associations impact both iconic and visual working memory.VisionResearch,107,22-29.

Kastner,S.,& Ungerleider,L.G.(2000).Mechanisms of visual attention in the human cortex.AnnualReviewofNeuroscience,23(1),315-341.

Krebs,R.M.,Boehler,C.N.,Egner,T.,& Woldorff,M.G.(2011).The neural underpinnings of how reward associations can both guide and misguide attention.JournalofNeuroscience,31(26),9752-9759.

Laurent,P.A.,Hall,M.G.,Anderson,B.A.,& Yantis,S.(2015).Valuable orientations capture attention.VisualCognition,23(1-2),133-146.

Le Pelley,M.E.,Mitchell,C.J.,Beesley,T.,George,D.N.,& Wills,A.J.(2016).Attention and associative learning in humans:An integrative review.PsychologicalBulletin,142(10),1111-1140.

Le Pelley,M.E.,Pearson,D.,Griffiths,O.,& Beesley,T.(2015).When goals conflict with values:Counterproductive attentional and oculomotor capture by reward-related stimuli.JournalofExperimentalPsychology:General,144(1),158-171.

Le Pelley,M.E.,Mitchell,C.J.,Beesley,T.,George,D.N.,& Wills,A.J.(2016).Attention and associative learning in humans:An integrative review.PsychologicalBulletin,142(10),1111.

Lee,J.,& Shomstein,S.(2014).Reward-based transfer from bottom-up to top-down search tasks.PsychologicalScience,25(2),466-75.

Li,T.,Wang,X.,Pan,J.,Feng,S.,Gong,M.,Wu,Y.,…Yi,L.(2017).Reward learning modulates the attentional processing of faces in children with and without autism spectrum disorder.AutismResearch,10(11),1797-1807.

Libera,C.Della,& Chelazzi,L.(2009).Learning to attend and to ignore is a matter of gains and losses.PsychologicalScience,20(6),778-784.

Mackintosh,N.J.(1975).A theory of attention:Variations in the associability of stimuli with reinforcement.PsychologicalReview,82(4),276-298.

Moher,J.,Anderson,B.A.,& Song,J.H.(2015).Dissociable effects of salience on attention and goal-directed action.CurrentBiology,25(15),2040-2046.

Murayama,K.,& Kitagami,S.(2014).Consolidation power of extrinsic rewards:Reward cues enhance long-term memory for irrelevant past events.JournalofExperimentalPsychology:General,143(1),15.

Pavlov,I.P.(1927).Conditioned Reflexes.Oxford University Press (Vol.17).Peck,C.J.,Jangraw,D.C.,Suzuki,M.,Efem,R.,& Gottlieb,J.(2009).Reward modulates attention independently of action value in posterior parietal cortex.JournalofNeuroscience,29(36),11182-11191.

Peck,C.J.,& Salzman,C.D.(2014).Amygdala neural activity reflects spatial attention towards stimuli promising reward or threatening punishment.Elife,3:e04478

Pessiglione,M.,Schmidt,L.,Draganski,B.,Kalisch,R.,Lau,H.,Dolan,R.J.,& Frith,C.D.(2007).How the brain translates money into force:A neuroimaging study of subliminal motivation.Science,316(5826),904-906.

Pessoa,L.,& Engelmann,J.B.(2010).Embedding reward signals into perception and cognition.FrontiersinNeuroscience,4,17.

Posner,M.I.,& Petersen,S.E.(1990).The attention system of the human brain.AnnualReviewofNeuroscience,13(1),25-42.

Qi,S.,Zeng,Q.,Ding,C.,& Li,H.(2013).Neural correlates of reward-driven attentional capture in visual search.BrainResearch,1532,32-43.

Raymond,J.E.,& O’Brien,J.L.(2009).Selective visual attention and motivation:The consequences of value learning in an attentional blink task.PsychologicalScience,20(8),981-988.

Rescorla,R.A.,& Wagner,A.R.(1972).A theory of Pavlovian conditioning:Variations in the effectiveness of reinforcement and nonreinforcement.ClassicalConditioningIICurrentResearchandTheory,21(6),64-99.

Sali,A.W.,Anderson,B.A.,Yantis,S.,Mostofsky,S.H.,& Rosch,K.S.(2017).Reduced value-driven attentional capture among children with ADHD compared to typically developing controls.JournalofAbnormalChildPsychology,1-14.

Sawaki,R.,& Luck,S.J.(2010).Capture versus suppression of attention by salient singletons:Electrophysiological evidence for an automatic attend-to-me signal.Attention,Perception,&Psychophysics,72(6),1455-1470.

Schmidt,L.J.,Belopolsky,A.V.,& Theeuwes,J.(2015).Attentional capture by signals of threat.CognitionandEmotion,29(4),687-694.

Schultz,W.(2002).Getting formal with dopamine and reward.Neuron,36(2),241-263.

Seitz,A.R.,Kim,D.,& Watanabe,T.(2009).Rewards evoke learning of unconsciously processed visual stimuli in adult humans.Neuron,61(5),700-707.

Serences,J.T.(2008).Value-based modulations in human visual cortex.Neuron,60(6),1169-1181.

Stanisor,L.,van der Togt,C.,Pennartz,C.M.A.,& Roelfsema,P.R.(2013).A unified selection signal for attention and reward in primary visual cortex.ProceedingsoftheNationalAcademyofSciences,110(22),9136-9141.

Thomas,P.M.J.,Fitz Gibbon,L.,& Raymond,J.E.(2016).Value conditioning modulates visual working memory processes.JournalofExperimentalPsychology:HumanPerceptionandPerformance,42(1),6-10.

van Schouwenburg,M.,Aarts,E.,& Cools,R.(2010).Dopaminergic modulation of cognitive control:distinct roles for the prefrontal cortex and the basal ganglia.CurrentPharmaceuticalDesign,16(18),2026-2032.

Vuilleumier,P.(2005).How brains beware:Neural mechanisms of emotional attention.TrendsinCognitiveSciences,9(12),585-594.

Wang,L.,Yu,H.,& Zhou,X.(2013).Interaction between value and perceptual salience in value-driven attentional capture.JournalofVision,13(3),5-5.

Weil,R.S.,Furl,N.,Ruff,C.C.,Symmonds,M.,Flandin,G.,Dolan,R.J.,…Rees,G.(2010).Rewarding feedback after correct visual discriminations has both general and specific influences on visual cortex.JournalofNeurophysiology,104(3),1746-1757.

Wentura,D.,Müller,P.,& Rothermund,K.(2014).Attentional capture by evaluative stimuli:gain-and loss-connoting colors boost the additional-singleton effect.PsychonomicBulletin&Review,21(3),701-707.

Wittmann，.B.C.,Bunzeck，.N.,Dolan，R.J.,Düzel，E.(2007).Anticipation of novelty recruits reward system and hippocampus while promoting recollection.Neuroimage,38:194-202.

Woodman,G.F.,& Luck,S.J.(2007).Do the contents of visual working memory automatically influence attentional selection during visual search?JournalofExperimentalPsychology:HumanPerceptionandPerformance,33(2),363-377.

Xue,X.,Zhou,X.,& Li,S.(2015).Unconscious reward facilitates motion perceptual learning.VisualCognition,23(1-2),161-178.

Zedelius,C.M.,Veling,H.,Custers,R.,Bijleveld,E.,Chiew,K.S.,& Aarts,H.(2014).A new perspective on human reward research:How consciously and unconsciously perceived reward information influences performance.Cognitive,Affective,&BehavioralNeuroscience,14(2),493-508.