曹立春 智 敏

(內(nèi)蒙古師范大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院 內(nèi)蒙古 呼和浩特 010022)

0 引 言

計(jì)算機(jī)視覺(jué)領(lǐng)域的技術(shù)發(fā)展迅速,利用計(jì)算機(jī)視覺(jué)來(lái)減少對(duì)人力資源的消耗,具有重要的現(xiàn)實(shí)意義,其中,目標(biāo)檢測(cè)是近年來(lái)的研究熱點(diǎn),它不僅在智能視頻監(jiān)控領(lǐng)域有著重要作用,而且在機(jī)器人導(dǎo)航、醫(yī)療領(lǐng)域工業(yè)檢測(cè)、航天航空等諸多領(lǐng)域也有著舉足輕重的地位。然而,即使目標(biāo)檢測(cè)技術(shù)發(fā)展較為先進(jìn),但其中仍存在許多難題,例如圖像中的小目標(biāo)相比背景,所占的像素較少、目標(biāo)重疊或者遮擋導(dǎo)致的漏檢等,這些問(wèn)題無(wú)法有效解決從而導(dǎo)致最終的檢測(cè)精度不高、效果不完善。

卷積神經(jīng)網(wǎng)絡(luò)[1]的提出是計(jì)算機(jī)視覺(jué)領(lǐng)域一個(gè)質(zhì)的飛躍,改變了傳統(tǒng)的使用手工標(biāo)記特征方法,利用卷積神經(jīng)網(wǎng)絡(luò)自適應(yīng)地提取圖像特征極大地減少了計(jì)算的復(fù)雜度,并且提高了算法執(zhí)行速度。此后,研究者們陸續(xù)地在其基礎(chǔ)上構(gòu)建更加完善的神經(jīng)網(wǎng)絡(luò),例如基于RCNN系列[2-3],利用邊界框來(lái)選擇性搜索得到感興趣區(qū)域,并為每個(gè)區(qū)域提取特征,隨后進(jìn)行分類與回歸。后來(lái)的研究又提出通過(guò)RPN[4]來(lái)提取候選框,對(duì)目標(biāo)位置做出預(yù)測(cè),來(lái)提高目標(biāo)檢測(cè)效果。隨著科研人員的不斷完善,如今已經(jīng)發(fā)展到PV-RCNN[5]。另外,U型網(wǎng)絡(luò)[6]使用特征融合的方式,將網(wǎng)絡(luò)中的高層特征與底層特征融合,極大地提高了特征提取能力,達(dá)到對(duì)特征的高效利用。但盡管如此,在目標(biāo)檢測(cè)領(lǐng)域中的小目標(biāo)漏檢以及算法無(wú)法自主調(diào)整搜索路徑上依舊存在難題。

研究發(fā)現(xiàn)[7-8],特征質(zhì)量越好,越有助于小目標(biāo)的檢測(cè);檢測(cè)框?qū)δ繕?biāo)的包圍程度也會(huì)影響目標(biāo)檢測(cè)的精度。由此,本文提出將深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)相結(jié)合進(jìn)行目標(biāo)檢測(cè),其創(chuàng)新點(diǎn)主要有以下兩個(gè)方面:(1) 改進(jìn)特征提取部分。在改進(jìn)的U-net上引入上下文模型,聯(lián)系上下文,增強(qiáng)對(duì)小目標(biāo)的預(yù)測(cè)能力。(2) 引入強(qiáng)化學(xué)習(xí)輔助候選框調(diào)整,以達(dá)到精確定位的目的,從而提升目標(biāo)檢測(cè)精度。實(shí)驗(yàn)表明,通過(guò)上述改進(jìn)達(dá)到了提升小目標(biāo)檢測(cè)精度的效果。

1 相關(guān)工作

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)中的核心問(wèn)題,其方法可分為兩類:一階段檢測(cè)方法,例如SSD、YOLO等;二階段檢測(cè)方法,如R-FCN等。一階段法中,直接使用錨框?qū)φ麄€(gè)圖像的區(qū)域進(jìn)行預(yù)測(cè)、解碼,生成最終邊界框。而二階段法包含兩部分,使用第一部分生成候選對(duì)象提議集,第二部分進(jìn)行進(jìn)一步的分類和回歸,確定相應(yīng)的類別標(biāo)簽和準(zhǔn)確的對(duì)象區(qū)域。一階段法由于結(jié)構(gòu)相對(duì)簡(jiǎn)單,所以檢測(cè)的速度快,但是由于只有一階段的檢測(cè),丟掉了許多特征信息,因此在檢測(cè)精度上遜于二階段檢測(cè),尤其在小目標(biāo)較多的場(chǎng)景。

強(qiáng)化學(xué)習(xí)是一種與環(huán)境的不斷試錯(cuò)過(guò)程,通過(guò)環(huán)境反饋的獎(jiǎng)勵(lì)學(xué)會(huì)選擇可能會(huì)使獎(jiǎng)勵(lì)最大化的動(dòng)作,得到解決問(wèn)題的最優(yōu)策略。在計(jì)算機(jī)視覺(jué)中,將其與深度學(xué)習(xí)相結(jié)合,能夠讓agent通過(guò)數(shù)據(jù)來(lái)掌握運(yùn)動(dòng)感知技能,從而達(dá)到獎(jiǎng)勵(lì)最大化。二者相結(jié)合的深度強(qiáng)化學(xué)習(xí)已經(jīng)成功應(yīng)用到計(jì)算機(jī)視覺(jué)[9]、自然語(yǔ)言處理[10]等諸多領(lǐng)域[11-12]。

Actor-Critic(AC)算法是強(qiáng)化學(xué)習(xí)中較為完善的框架。它由策略函數(shù)與值函數(shù)構(gòu)成,策略結(jié)構(gòu)即Actor,值函數(shù)的計(jì)算即Critic。Actor網(wǎng)絡(luò)根據(jù)當(dāng)前的環(huán)境,選擇一個(gè)動(dòng)作,而Critic網(wǎng)絡(luò)根據(jù)當(dāng)前環(huán)境與剛選出的動(dòng)作給出的反饋,利用時(shí)間差分(Temporal Difference,TD)誤差項(xiàng)對(duì)Actor網(wǎng)絡(luò)進(jìn)行反饋打分,Actor網(wǎng)絡(luò)再根據(jù)反饋調(diào)整策略。在這個(gè)過(guò)程中,Actor不斷地迭代更新,得到每一個(gè)狀態(tài)下選擇每一動(dòng)作的合理概率,Critic也同樣迭代更新,不斷完善每個(gè)狀態(tài)下選擇每一個(gè)動(dòng)作的獎(jiǎng)懲值。由于這樣的結(jié)構(gòu)設(shè)置,使得AC模型相比其他模型來(lái)說(shuō)具有較高的學(xué)習(xí)速率。在其基礎(chǔ)上改進(jìn)的Soft Actor-Critic(SAC)[13]模型將策略熵放入反饋中,共同最大化,鼓勵(lì)agent在反饋區(qū)域內(nèi)增加探索。在機(jī)器人任務(wù)中,改進(jìn)后的算法明顯地提高了實(shí)驗(yàn)效率。

目標(biāo)檢測(cè)中增強(qiáng)特征提取的方法之一就是利用上下文模型。上下文模型有兩種方法:(1) 捕捉對(duì)象與對(duì)象[14]之間的關(guān)系;(2) 包含對(duì)象與場(chǎng)景[15]的上下文信息,利用目標(biāo)的上下文對(duì)目標(biāo)進(jìn)行預(yù)測(cè),相當(dāng)于放大了目標(biāo),在一定程度上對(duì)目標(biāo)檢測(cè)效果有了明顯的提升。文獻(xiàn)[16]提出了對(duì)抗性的學(xué)習(xí)框架,利用視頻中時(shí)域上下文信息改進(jìn)3D人體姿態(tài)估計(jì),提出一種幾何描述符來(lái)編碼身體關(guān)節(jié)之間的兩兩相關(guān)位置和距離,以彌合來(lái)自兩個(gè)域的預(yù)測(cè)位置和地面真值位置之間的差距,提高了三維人體位姿數(shù)據(jù)集的位姿估計(jì)精度。文獻(xiàn)[17]提出使用更密集的方式連接一組擴(kuò)張卷積從而獲得更大范圍的擴(kuò)張率,在Cityscapes上取得了最佳性能。文獻(xiàn)[18]提出一個(gè)包含位置注意力模塊和通道注意力模塊的雙注意力網(wǎng)絡(luò)用于場(chǎng)景分割。通過(guò)建立與注意力機(jī)制的特征之間的關(guān)聯(lián)來(lái)探索全局上下文信息,解決了類內(nèi)差異對(duì)識(shí)別準(zhǔn)確性的影響。文獻(xiàn)[19]使用上下文信息進(jìn)行行人檢測(cè),提出上下文實(shí)例擴(kuò)展模塊,用來(lái)搜索過(guò)濾場(chǎng)景中有用的上下文信息。并構(gòu)建了一個(gè)圖學(xué)習(xí)框架,以有效地使用上下文來(lái)更新目標(biāo)相似性,將兩個(gè)模塊建立在檢測(cè)和實(shí)例特征學(xué)習(xí)框架上,提高了學(xué)習(xí)特征的辨別力,實(shí)現(xiàn)了最先進(jìn)的性能。

本文主要在二階段檢測(cè)框架的基礎(chǔ)上進(jìn)行改進(jìn),以提升對(duì)圖像中小目標(biāo)的檢測(cè)率,首先,本文在U型特征提取網(wǎng)絡(luò)的基礎(chǔ)上加入上下文信息模塊,此模塊由語(yǔ)義池、知識(shí)圖譜與注意力機(jī)制構(gòu)成,用來(lái)生成新的特征。其次,在邊框回歸部分引入強(qiáng)化學(xué)習(xí),使用SAC強(qiáng)化學(xué)習(xí)模型輔助邊框更加緊密地包圍目標(biāo)。

2 本文算法模型

本文算法由兩部分構(gòu)成,首先通過(guò)改進(jìn)的U型網(wǎng)絡(luò)對(duì)輸入圖片進(jìn)行特征提取,其步驟為:經(jīng)RPN(區(qū)域生成網(wǎng)絡(luò))、ROI Align得到基本特征;由上下文網(wǎng)絡(luò)生成上下文特征;最后將這兩部分特征進(jìn)行融合,得到增強(qiáng)的特征。其次,強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)中,本文的強(qiáng)化學(xué)習(xí)部分選用SAC框架,輸入為帶有感興趣區(qū)域的特征圖,輸出為候選框移動(dòng)的動(dòng)作,本文對(duì)候選框設(shè)置了10種變形類別以及1種終止類別,即采用馬爾可夫策略對(duì)檢測(cè)框進(jìn)行迭代調(diào)整,從而提升精度。整體算法結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

2.1 特征提取網(wǎng)絡(luò)

2.1.1U型網(wǎng)絡(luò)

本文采用的U型網(wǎng)絡(luò)如圖 2所示,利用U型網(wǎng)絡(luò)自上而下的下采樣層與對(duì)應(yīng)的自下而上的上采樣層進(jìn)行特征融合,得到較好的特征,將注意力機(jī)制MDA-Net[20]嵌入到不同特征的橫向連接處,利用通道注意力與像素注意力機(jī)制,減弱噪聲,對(duì)有用信息增強(qiáng),無(wú)用信息減弱,進(jìn)而提高特征的利用能力。此外,U型網(wǎng)絡(luò)的輸出為多級(jí)輸出,這樣使得預(yù)測(cè)在每一層級(jí)別上獨(dú)立進(jìn)行,分別進(jìn)入對(duì)應(yīng)的RPN網(wǎng)絡(luò),最后再將不同RPN層的目標(biāo)框以向量拼接的方式融合得到較完善的帶有目標(biāo)框的特征圖。

圖2 U型網(wǎng)絡(luò)結(jié)構(gòu)

2.1.2上下文模型

由于圖像中不可避免地會(huì)有小目標(biāo)存在,其特征不明顯和背景差異較小,因此本文在初步特征提取后的網(wǎng)絡(luò)中加入上下文模型[21],上下文模型由三部分組成:

第一部分生成一個(gè)全局推理模塊。從感興趣區(qū)域網(wǎng)絡(luò)(ROI Align)中獲取分類器的權(quán)重,生成一個(gè)覆蓋所有類別的全局語(yǔ)義池M∈RC×D,集成所有高級(jí)語(yǔ)義表示,在所有的種類中進(jìn)行全局信息傳遞。在訓(xùn)練階段,分類器在每一次迭代中進(jìn)行更新,這樣得到的M越來(lái)越準(zhǔn)確。然后,通過(guò)根據(jù)知識(shí)圖譜在語(yǔ)義池中傳播所有語(yǔ)義表示來(lái)執(zhí)行全局推理。

第二部分引入知識(shí)圖譜。根據(jù)某種類型的知識(shí)圖譜在語(yǔ)義池中傳播所有的語(yǔ)義表示來(lái)進(jìn)行全局推理。知識(shí)圖譜中所有類別對(duì)應(yīng)的邊矩陣為ε∈RC×C,ε為無(wú)向圖,因此經(jīng)過(guò)知識(shí)圖譜后,所有的類別特征即可表示為εM。但是,由于全局圖推理是在所有類別上進(jìn)行的,因此可能會(huì)夾雜一些噪音干擾。這部分噪音由第三部分注意力機(jī)制解決。增強(qiáng)有用信息抑制無(wú)用信息,來(lái)減少噪音干擾。

第三部分在RPN網(wǎng)絡(luò)得到的特征圖中計(jì)算自適應(yīng)注意,自適應(yīng)注意部分借鑒Squeeze-and-Excitation網(wǎng)絡(luò)[22]的思想來(lái)自動(dòng)發(fā)現(xiàn)目標(biāo)的大部分相關(guān)類別,進(jìn)行自適應(yīng)推理。在squeeze階段,將整幅圖像的特征作為輸入,并“擠壓”為一半大小。Excitation階段是一個(gè)全連接層,使用Softmax函數(shù)得到每一個(gè)種類的注意力,最后由自適應(yīng)推理得到增強(qiáng)的特征。增強(qiáng)的特征可由式(1)得到:

f′=P(α?εM)WG

(1)

式中:f′表示為增強(qiáng)特征;P為類別映射概率;α表示每個(gè)種類的注意力;WG表示知識(shí)圖譜中共享的權(quán)重矩陣。

最后,將得到特征與原感興趣區(qū)域生成的特征進(jìn)行特征拼接,得到最終增強(qiáng)的特征。本文的上下文推理網(wǎng)絡(luò)如圖 3所示。

圖3 上下文信息模塊

2.2 基于強(qiáng)化學(xué)習(xí)的目標(biāo)檢測(cè)框架

為了在深度學(xué)習(xí)框架的基礎(chǔ)上進(jìn)一步提升檢測(cè)精度,本文引入強(qiáng)化學(xué)習(xí),利用馬爾可夫的系列決策輔助目標(biāo)框調(diào)整,進(jìn)而提升檢測(cè)框的精確度。

本文的強(qiáng)化學(xué)習(xí)框架使用上述SAC模型,與深度學(xué)習(xí)共同完成目標(biāo)檢測(cè)任務(wù),具體過(guò)程如下:首先,算法將增強(qiáng)后的特征向量作為強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的輸入,這時(shí),算法將整幅圖像看作是一個(gè)環(huán)境并將當(dāng)前檢測(cè)框定義為agent,SAC網(wǎng)絡(luò)根據(jù)輸入信息選擇agent將執(zhí)行的動(dòng)作并對(duì)動(dòng)作進(jìn)行打分,利用Critic網(wǎng)絡(luò)給出的反饋再指導(dǎo)agent,不斷循環(huán)使得agent逐漸學(xué)會(huì)選取動(dòng)作集合中能使結(jié)果更好的動(dòng)作,來(lái)對(duì)檢測(cè)框進(jìn)行變形移位等,直至檢測(cè)框緊緊地將目標(biāo)包圍住為止。為了構(gòu)建一個(gè)完整的強(qiáng)化學(xué)習(xí)系統(tǒng),本文的馬爾可夫建模如下。

2.2.1MDP建模

馬爾可夫決策過(guò)程(Markov Decision Process,MDP)由四元組(S,A,R,P)組成:

1)S表示狀態(tài)集合,狀態(tài)集合由網(wǎng)絡(luò)當(dāng)前的特征向量與所agent采取的歷史動(dòng)作向量組成,st∈S表示t時(shí)刻的狀態(tài)。

2)A是一個(gè)集合,代表agent可以采取的動(dòng)作集合,at∈A表示t時(shí)刻執(zhí)行的動(dòng)作,動(dòng)作集合定義:A={左移,右移,上移,下移,變大,變小,變寬,變窄,變高,變矮,終止},每個(gè)動(dòng)作根據(jù)當(dāng)前檢測(cè)框的大小,以比例0.2對(duì)檢測(cè)框進(jìn)行變形,變形動(dòng)作是一組離散的變化,終止動(dòng)作表示當(dāng)agent能夠確定當(dāng)前的檢測(cè)框已經(jīng)緊密地將目標(biāo)包圍住時(shí)執(zhí)行終止動(dòng)作,代表搜索截止。

3)R表示agent采取動(dòng)作a后環(huán)境反饋的獎(jiǎng)勵(lì)函數(shù),rt表示Agent在狀態(tài)st下執(zhí)行動(dòng)作at獲得的立即獎(jiǎng)勵(lì),獎(jiǎng)勵(lì)函數(shù)定義如下:

rπ(st,at)=r(st,at)+Est+1～p

[H(π(·|st+1))]

(2)

式中:π表示強(qiáng)化學(xué)習(xí)的隨機(jī)策略;H是期望的最小預(yù)期熵。在標(biāo)準(zhǔn)的獎(jiǎng)勵(lì)函數(shù)上增加熵函數(shù)項(xiàng),將熵也作為獎(jiǎng)勵(lì)R的一部分,共同最大化,鼓勵(lì)agent在反饋大區(qū)域內(nèi)增加探索,熵越高,策略的隨機(jī)性就越高,因此,加入熵的強(qiáng)化學(xué)習(xí)傾向于選擇能獲得高回報(bào)并且隨機(jī)性高的策略。

4)P表示當(dāng)前任務(wù)狀態(tài)間的轉(zhuǎn)移概率,當(dāng)狀態(tài)概率的真實(shí)理論分布未知的情況下,如果樣本容量足夠大,可以使用樣本分布來(lái)近似地描述狀態(tài)概率的真實(shí)理論分布,所以利用狀態(tài)轉(zhuǎn)移頻率近似地估計(jì)狀態(tài)轉(zhuǎn)移概率。p(st+1|st,at)表示在狀態(tài)st下采用動(dòng)作at轉(zhuǎn)移到狀態(tài)st+1的概率值。

此外,目標(biāo)函數(shù)如下:

αH(π(·|st))]

(3)

在原始的目標(biāo)函數(shù)基礎(chǔ)上增加了熵的部分,超參數(shù)α控制熵項(xiàng)的相對(duì)重要性。這樣設(shè)置目標(biāo)函數(shù)可以激勵(lì)policy更廣闊地探索,放棄無(wú)意義沒(méi)前途的行為,提高學(xué)習(xí)速度,同時(shí)也有利于防止策略過(guò)早地收斂到局部最優(yōu)。

2.2.2模型訓(xùn)練

對(duì)于一幅圖像,首先修改至224×224大小作為U-Net的輸入,經(jīng)特征提取后在RPN層得到具有不同尺度的特征圖;此時(shí),再由上下文網(wǎng)絡(luò)對(duì)特征圖進(jìn)行提取上下文信息;然后,通過(guò)軟映射機(jī)制,將推理模塊的輸出結(jié)果映射回區(qū)域建議,得到增強(qiáng)的特征;最后,將帶有檢測(cè)框的特征圖輸入到強(qiáng)化學(xué)習(xí)SAC模型中,由agent輔助檢測(cè)框的調(diào)整,達(dá)到提升檢測(cè)精度的效果。

在模型訓(xùn)練過(guò)程中,使用ε-greedy訓(xùn)練強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò),并設(shè)置當(dāng)IoU大于0.6時(shí)算法強(qiáng)制agent選擇終止動(dòng)作,提升檢測(cè)速度。使用Adam優(yōu)化器以1E-6的學(xué)習(xí)率來(lái)避免梯度爆炸,并設(shè)置折現(xiàn)系數(shù)γ=0.9,學(xué)習(xí)率η=0.001。

3 實(shí) 驗(yàn)

實(shí)驗(yàn)中的使用配置為:GPU為NVIDIA-GTX GPU,CPU為Intel i7-5500U,內(nèi)存為8 GB,主頻為2.4 Hz。Windows 10操作系統(tǒng),使用TensorFlow深度學(xué)習(xí)框架,結(jié)合Python 3.6對(duì)目標(biāo)進(jìn)行檢測(cè)。

3.1 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)中使用的是目標(biāo)檢測(cè)標(biāo)準(zhǔn)數(shù)據(jù)集Pascal VOC數(shù)據(jù)集,在目標(biāo)檢測(cè)、分割、分類中有廣泛應(yīng)用,該數(shù)據(jù)集中共有20個(gè)分類,包含11 530幅圖像,共標(biāo)記出27 450個(gè)感興趣區(qū)域。本文實(shí)驗(yàn)在VOC2007與VOC2012的訓(xùn)練集上訓(xùn)練網(wǎng)絡(luò),并在VOC2007的測(cè)試集上對(duì)網(wǎng)絡(luò)進(jìn)行測(cè)試,實(shí)驗(yàn)顯示,本文網(wǎng)絡(luò)框架取得了良好的實(shí)驗(yàn)結(jié)果。數(shù)據(jù)集示例如圖4所示。

圖4 數(shù)據(jù)集樣本示例

3.2 實(shí)驗(yàn)結(jié)果分析

本文對(duì)數(shù)據(jù)集圖像進(jìn)行測(cè)試,并與文獻(xiàn)[20]網(wǎng)絡(luò)作對(duì)比,如圖 5所示,其中實(shí)線表示檢測(cè)成功,虛線表示漏檢、誤檢等檢測(cè)失敗?？梢钥闯?相較于文獻(xiàn)[20]算法,本文算法的檢測(cè)結(jié)果有了明顯的提升,原因在于本文既考慮了高底層不同特征又考慮了特征的上下文關(guān)系,并利用強(qiáng)化學(xué)習(xí)輔助檢測(cè)框回歸,在提升特征利用率的基礎(chǔ)上加快檢測(cè)速度,從而得到了較好的檢測(cè)結(jié)果。

圖5 在VOC2007數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

此外,為了更清晰地了解兩處改進(jìn)的效果,本文做了消融實(shí)驗(yàn)對(duì)比,并羅列出了幾種較小的物體檢測(cè)結(jié)果,使用的評(píng)價(jià)指標(biāo)為均值平均檢測(cè)精度(mean Average Precision,mAP),如表1所示。將U-Net作為基準(zhǔn),mAP達(dá)到76.5%。U-Net與上下文信息結(jié)合將mAP提升至77.3%。U-Net+SAC表示將U-Net與強(qiáng)化學(xué)習(xí)SAC框架結(jié)合,mAP提升至76.9%。本文算法結(jié)合上下文與強(qiáng)化學(xué)習(xí)兩部分,得到實(shí)驗(yàn)結(jié)果為79.4%,可以看到本文算法對(duì)檢測(cè)結(jié)果有了明顯的提升。

表1 算法各部分改進(jìn)對(duì)比實(shí)驗(yàn)(%)

最后,為了驗(yàn)證本文算法的有效性,本文與文獻(xiàn)[20]和文獻(xiàn)[23]在單一類別目標(biāo)數(shù)據(jù)中做了實(shí)驗(yàn)比較,如表 2所示,相比文獻(xiàn)[20],本文算法精度提升的原因在于引入強(qiáng)化學(xué)習(xí)調(diào)整包圍框,使得檢測(cè)結(jié)果更精確。相比于文獻(xiàn)[23],本文算法提升的原因在于對(duì)深度學(xué)習(xí)部分的改進(jìn),引入上下文網(wǎng)絡(luò),增強(qiáng)了提取特征的能力?？梢钥闯?本文無(wú)論在單一目標(biāo)上還是在整體的平均檢測(cè)精度上,都有一定的提升,表明本文算法在提升目標(biāo)檢測(cè)精度上的促進(jìn)能力。

表2 各算法在Pascal VOC2007數(shù)據(jù)集上的檢測(cè)準(zhǔn)確率(%)

4 結(jié) 語(yǔ)

本文針對(duì)提升小目標(biāo)的檢測(cè)率,提出一種基于深度強(qiáng)化學(xué)習(xí)算法。算法在U-Net的基礎(chǔ)上添加上下文信息模塊,來(lái)捕獲目標(biāo)周圍可能存在的信息,有效地減少了漏檢和誤檢的概率。最后將融合后的特征送入強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò),利用SAC模型調(diào)整檢測(cè)框,使其緊緊包圍住目標(biāo),從而提升檢測(cè)精度。本文在一定程度上提高了目標(biāo)檢測(cè)的結(jié)果,證明了算法的可靠性。但是,由于增加了網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度,因此提高了整體的計(jì)算量,接下來(lái)的工作將考慮解決此問(wèn)題。