亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        超像素相似性傳遞的弱監(jiān)督語義分割算法設(shè)計

        2021-12-31 01:20:06國網(wǎng)信通億力科技有限責(zé)任公司興業(yè)銀行股份有限公司李良御
        電力設(shè)備管理 2021年13期
        關(guān)鍵詞:像素點相似性類別

        國網(wǎng)信通億力科技有限責(zé)任公司 席 勒 興業(yè)銀行股份有限公司 李良御

        近年來,注意力機制已經(jīng)成為神經(jīng)網(wǎng)絡(luò)領(lǐng)域中一個重要的概念,被廣泛地應(yīng)用于自然語言處理、語音識別以及圖像解釋等任務(wù)中。注意力機制類似于人類視覺的觀察機制,關(guān)注于從大量的數(shù)據(jù)中尋找當(dāng)前任務(wù)的關(guān)鍵信息,改善神經(jīng)網(wǎng)絡(luò)中有效特征的提取。

        目前,大量的基于圖像級標(biāo)簽的弱監(jiān)督語義分割方法中,使用神經(jīng)網(wǎng)絡(luò)的圖像注意力機制定位目標(biāo)的種子區(qū)域,并結(jié)合擴充算法尋找完整的目標(biāo)掩膜(mask)。例如,在SEC 算法中提出種子定位、種子擴張以及邊界限制三種損失函數(shù),旨在從注意力定位區(qū)域逐漸尋找完整的分割掩膜[1]。在DSRG 算法中提出運用經(jīng)典種子生長分割算法,產(chǎn)生從初始定位區(qū)域逐漸覆蓋于全圖像的分割掩膜[2]。然而,現(xiàn)有的圖像級監(jiān)督的語義分割方法,由于缺少精確的空間定位信息,通常會在邊緣處存在粗糙的分割結(jié)果。

        受到種子定位思路的啟發(fā),本文提出超像素相似性傳遞的弱監(jiān)督語義分割算法設(shè)計。如圖1所示,以圖像注意力機制為基礎(chǔ)定位目標(biāo)種子區(qū)域,并引入隨機游走算法以超像素塊的形式傳遞種子區(qū)域的相似性。本文通過邊緣檢測器尋找不同物體之間的邊緣線索,生成具有相同語義集合的超像素塊區(qū)域,并使用超像素塊代替像素點作為圖像基本單位擴張種子區(qū)域,保證了局部區(qū)域的相同語義特征。同時,在傳遞相似性特征過程中,將隨機游走結(jié)果以超像素的方式融合,提升了算法的準(zhǔn)確性和魯棒性。在PASCAL VOC2012數(shù)據(jù)集上進行驗證,結(jié)果表明本章提出的弱監(jiān)督語義分割方法相比于其它算法在mIoU 評價標(biāo)準(zhǔn)下精確度提升了2.1%,同時解決了語義分割標(biāo)簽邊緣粗糙以及容易產(chǎn)生錯誤分割區(qū)域的問題。

        圖1 類別掩膜生成流程圖

        1 超像素相似性傳遞的弱監(jiān)督語義分割算法

        本文算法總共分為兩個階段,第一階段通過優(yōu)化算法產(chǎn)生像素級語義標(biāo)簽;第二階段使用文中生成的語義標(biāo)簽訓(xùn)練語義分割模型,以該模型的輸出結(jié)果與其它弱監(jiān)督算法做出比較,以此判斷本文算法的有效性。在第一階段中,為了生成高質(zhì)量的語義分割標(biāo)簽,以圖像注意力機制為基礎(chǔ),在圖像預(yù)處理、種子標(biāo)定、產(chǎn)生像素標(biāo)簽三個方面進行設(shè)計。

        1.1 圖像預(yù)處理

        在傳統(tǒng)的圖像分割領(lǐng)域中,大部分算法以像素點作為分割的基礎(chǔ)單元,但隨著彩色圖像分辨率的增大,待處理的計算量也急劇增加。本文受靈感于UCM 算法[3]通過在多尺度上結(jié)合全局與局部特征,計算每個像素點屬于邊緣的概率值,并通過設(shè)定閾值生成圖像的超像素圖??梢员硎緸?。

        最終,gpb 的值經(jīng)過Sigmoid 函數(shù)變換,輸出值每一個像素點作為邊緣的概率值。為了產(chǎn)生圖像真邊界,在此基礎(chǔ)上使用分水嶺算法尋找真邊緣,邊緣強度由邊界在走勢方向上各像素點概率平均值確定。在本文中使用0.15作為閾值產(chǎn)生所有超像素圖,通過預(yù)處理的圖像,將圖像的最小單位擴大為了超像素塊,不僅減小了后處理的計算量,并且通過聚合相似性像素點,減少了圖像噪聲。

        1.2 種子標(biāo)定

        圖像級類別標(biāo)簽作為監(jiān)督信息時,缺少有效的目標(biāo)的定位線索,成為了弱監(jiān)督語義分割的難點。為了解決這個問題,Zhou 等人[4]提出分類網(wǎng)絡(luò)中卷積層保留了語義位置信息,然而這種定位效果由于全連接層的使用失效了。為了保留卷積層的定位效果,使用全局平均池化層代替全連接層,產(chǎn)生的類激活映射(class activation mapping,CAM)有效定位于目標(biāo)物體最具有辨別性區(qū)域。對于類別c 在卷積層空間位置(x,y)的激活值可以表示為。

        原算法類激活映射方式缺少關(guān)于背景區(qū)域的分值圖,則需要對各個類別的激活分值圖進行標(biāo)準(zhǔn)化操作,假設(shè)某類別的最大激活值為Mc-max。則修正后的關(guān)于圖像背景區(qū)域的類激活映射分值圖可表示為,其中α 為調(diào)整背景激活分值的超參數(shù)。通過這種方式有效的生成關(guān)于背景類別的激活映射分值圖。根據(jù)設(shè)定閾值t,將處于空間位置(x,y)處且低于閾值t(本章中t 取0.3)的激活值置為零,并選取相應(yīng)位置處的最大激活值類別作為該像素點語義。

        直觀來說,類激活映射就是將不同空間單元的激活值線性加權(quán)后的處理結(jié)果。然而,種子區(qū)域在邊緣處存在粗糙的分割結(jié)果,定位區(qū)域中不僅包含目標(biāo)物體,并且含有部分其它類別物體。因此需要利用超像素圖對定位結(jié)果進行修正,使得產(chǎn)生更加準(zhǔn)確的超像素塊定位區(qū)域。在超像素塊內(nèi)的各像素點之間具有較強的相似性特征。本文設(shè)計填充率選擇方案,根據(jù)粗糙定位區(qū)域?qū)Τ袼貕K的填充程度篩選超像素種子。假設(shè)當(dāng)前超像素塊中大部分區(qū)域?qū)儆诜N子點,則認為該像素塊與種子所含語義高度相關(guān),賦予當(dāng)前超像素塊相應(yīng)的語義信息,反之則認為超像素塊與種子無關(guān)。則超像素塊的填充率可表示為:

        其中,Bi表示圖像中索引號為i 的超像素塊,Sc表示類別C 的粗糙種子區(qū)域,通過計數(shù)區(qū)域內(nèi)像素點的方式,判別各超像素塊填充率數(shù)值。當(dāng)超像素塊內(nèi)填充率大于指定范圍時,判定為指定語義的超像素塊。同時,為了避免種子區(qū)域過小,填充率篩選后沒有產(chǎn)生相應(yīng)語義的超像素塊,取種子區(qū)域所在超像素塊直接賦予種子語義,保證了圖像內(nèi)存在的語義信息都有各自的定位區(qū)域。填充后的超像素種子,相比原始的粗糙種子包含更少的噪聲。

        1.3 相似性傳遞模塊

        超像素相似性傳遞模塊在建模過程中,以隨機游走算法[5]為靈感,首先將待分割圖像構(gòu)建成無向圖模型G=(V,E),其中V 為圖節(jié)點集合,E 為圖像的邊集合,連接兩個節(jié)點vi和vj的邊可以表示為eij。同時,為了保證兩個坐標(biāo)之間相似度有效傳遞,并且滿足圖像平滑性需求。不同于原始算法在4鄰域或8鄰域空間中計算節(jié)點對的相似性,本文設(shè)置搜索半徑為γ,并在HSV 顏色空間中,計算各節(jié)點對之間的相似性權(quán)值Wij,可以表示為。

        在上式中共包含兩項,第一項被稱作色域相似性,第二項被稱作空域相似性。在第一項中,n 表示HSV 顏色空間通道索引值,g 表示指定圖像位置在通道n 的強度。λ 為通道權(quán)重系數(shù),為了減輕光亮度對相似性傳播的影響,亮度通道的權(quán)重設(shè)為0.2,其余均為0.4。由此可知,在滿足搜索半徑-γ≤ij≤γ 的范圍內(nèi),當(dāng)兩個像素值越接近,則色域相似度越強。除此之外,當(dāng)兩節(jié)點對在空間距離越近時,則空域相似性越強。

        通常情況下,由于噪聲對于相似性傳遞的影響,利用概率最大值判別各像素點真實類別會產(chǎn)生不準(zhǔn)確的分割結(jié)果。因此延用超像素塊的思路,減少噪聲對于整體分割區(qū)域的影響。為了計算各超像素塊屬于某一類別的概率值Bc,該過程可以表示為,其中,S 表示指定超像素塊內(nèi)像素點的集合,N 為超像素塊內(nèi)像素點的數(shù)目。通過計算超像素塊內(nèi)各像素點的平均概率作為超像素塊的概率值,選擇最大概率值的類別作為相應(yīng)的語義標(biāo)簽。最終,利用相似性傳遞模塊的輸出結(jié)果作為語義標(biāo)簽,訓(xùn)練語義分割網(wǎng)絡(luò)。

        2 實驗結(jié)果與分析

        本章提出的算法在PASCAL VOC 2012數(shù)據(jù)集下進行驗證。PASCAL VOC 2012分割數(shù)據(jù)集中有包含背景在內(nèi)共21類的像素級標(biāo)簽,原始數(shù)據(jù)集中有1464張訓(xùn)練集圖像,引入SBD 數(shù)據(jù)集[6]將訓(xùn)練圖像擴充至10582張,同時包含1449張驗證集圖像。在本文中,僅利用訓(xùn)練集的圖像類別標(biāo)簽作為弱監(jiān)督信息,測試實驗效果時使用原數(shù)據(jù)集中的真實標(biāo)簽。為了驗證本文所提方法的有效性,本文采用平均交并比(mIoU)作為評價標(biāo)準(zhǔn)對分割結(jié)果進行測試。

        本文提出算法的兩個階段,均在VGG16網(wǎng)絡(luò)架構(gòu)上進行修改,并使用公開數(shù)據(jù)集ImageNet 的預(yù)訓(xùn)練參數(shù)對網(wǎng)絡(luò)進行初始化操作。在制作像素級標(biāo)簽的過程中,為了保留分類網(wǎng)絡(luò)對于目標(biāo)定位的效果,使用卷積層替換了全連接層fc6和fc7,并且緊接一個全局平均池化層,將整合后的全局特征輸入Softmax 預(yù)測層。在分類網(wǎng)絡(luò)的訓(xùn)練階段,輸入圖片的大小被調(diào)整為448×448,設(shè)置初始學(xué)習(xí)率為0.01,權(quán)重衰減為0.0001,動量0.9,圖像批量大小設(shè)置為16,共訓(xùn)練20輪。在推斷階段,共生成20個類別的激活映射分值圖。

        在語義分割模塊中,使用DeepLab-CRFLargeFOV 作為分割模型。其中,刪除了VGG16架構(gòu)最后的全連接層,使用卷積層代替。并且引入空洞卷積,將conv5中的三層卷積層設(shè)置空洞卷積參數(shù)為2,同時fc6設(shè)置空洞卷積參數(shù)為12,且pool4和pool5的采樣步長調(diào)整為1,使模型輸出尺度更大的語義分割結(jié)果。在語義分割網(wǎng)絡(luò)的訓(xùn)練階段,使用隨機梯度下降算法優(yōu)化網(wǎng)絡(luò),其中動量值為0.9,權(quán)重衰減為0.0005。對于網(wǎng)絡(luò)中進行結(jié)構(gòu)修改的部分,使用0均值且方差為0.05進行隨機初始化。設(shè)置初始學(xué)習(xí)率為0.001,并隨訓(xùn)練過程逐漸降低,衰減率為0.9,圖像批量大小設(shè)置為4,共訓(xùn)練15 輪。在推斷階段中,語義分割結(jié)果使用全連接條件隨機場進行后處理。

        2.1 語義標(biāo)簽效果分析

        為了探索本文算法里各個階段產(chǎn)生語義標(biāo)簽質(zhì)量的變化情況,在測試階段進行了實驗結(jié)果定量分析。在表1展示了語義標(biāo)簽對比效果,可以發(fā)現(xiàn)SPBCAM 相比SPN在精確度上提升了4.7%,原因在于本文所提方法通過結(jié)合全局相似性與局部相似性,更好的判別各個像素點屬于邊緣的情況,有效的過濾掉假邊緣噪聲,使得產(chǎn)生的超像素塊中聚合了相似性強的像素點。除此之外,額外的CAM 優(yōu)化步驟大量的減少了錯誤定位區(qū)域,因此產(chǎn)生的種子區(qū)域效果更好。

        另外,在使用了SPBCAM 作為種子標(biāo)記區(qū)域,本文提出的種子擴張策略相比隨機游走算法在語義標(biāo)簽平均交并比精確度上提升了5.5%,原因在于使用相似性搜索半徑的方式代替?zhèn)鹘y(tǒng)圖論算法中四鄰域或八鄰域的連接方式,使算法可以在更大的感受野范圍內(nèi)判別圖節(jié)點的相似性程度,減少了由于假邊緣產(chǎn)生的相似性傳遞隔斷。并且利用超像素塊作為圖像語義判別的基礎(chǔ)單位,增強了算法在擴張種子區(qū)域時的魯棒性。

        總體來看,本文提出的算法在多階段優(yōu)化策略下逐步改善語義標(biāo)簽效果,不僅提高了圖像種子區(qū)域的精確性,而且以種子區(qū)域為線索,有效的將相似性特征傳遞到圖像的未標(biāo)記區(qū)域。算法各階段語義標(biāo)簽質(zhì)量對比(%):CAM34.6、SPBCAM48.5、SPBCAM+RW56.7、SPBCAM+SPBRW62.2。

        2.2 弱監(jiān)督語義分割效果分析

        為進一步證明超像素相似性傳遞算法的有效性,使用本文產(chǎn)生的像素級語義標(biāo)簽訓(xùn)練語義分割網(wǎng)絡(luò)。另外,在驗證集中使用mIoU 評價標(biāo)準(zhǔn)對語義分割結(jié)果測試,并與目前主流的弱監(jiān)督語義分割方法進行效果對比,在表2中展示W(wǎng)SSL、STC、SEC、CBTS、AdvErasing、DSNA、MCOF 工作以及本章所提出的弱監(jiān)督語義分割方法的準(zhǔn)確率對比。為了便于觀察,在表內(nèi)對各個類別的最高分值進行加粗處理。

        在表2中可以看出,本章所提方法在21個類別(包括背景)的mIoU 分值上獲得了59.7%的分數(shù),相比于其它弱監(jiān)督語義分割方法在分割精度上提升2.1%,獲得了更精確的語義分割結(jié)果。尤其在例如“背景”、“鳥”、“?!钡榷鄠€類別中均獲得了最高的分值。分析原因在于本章方法產(chǎn)生的語義分割標(biāo)簽在邊緣處有著更精確的細節(jié)效果,同時超像素的方式可以聚合具有強相似性的像素點,在語義標(biāo)簽形成的過程中利用該特性可以有效的濾除噪聲區(qū)域,產(chǎn)生更加準(zhǔn)確的語義標(biāo)簽。除此之外,回顧表1可以發(fā)現(xiàn),超像素種子定位的效果很大程度上決定著同種類別下語義分割結(jié)果的質(zhì)量,例如類別“牛”在超像素種子定位階段獲得了62.2%的分值,種子區(qū)域經(jīng)過相似性傳遞后獲得了更精確的語義標(biāo)簽,因此類別“?!钡恼Z義分割效果相比于其它弱監(jiān)督語義分割方法中最好的結(jié)果仍然高出了4.7%。圖2中展示了部分圖像的語義分割效果。

        圖2 語義分割效果展示

        表2 監(jiān)督語義分割效果比對(單位:%)

        3 結(jié)論

        本文以圖像注意力機制為基礎(chǔ)定位目標(biāo)種子區(qū)域,同時以超像素作為圖像的基本分割單位,兩者相互結(jié)合產(chǎn)生高精確度的超像素種子代替隨機游走算法的人工交互標(biāo)記。除此之外,在相似性傳遞階段設(shè)計了搜索半徑以及超像素語義判別等優(yōu)化策略,解決了隨機游走算法容易受假邊緣影響的問題,產(chǎn)生了高質(zhì)量的語義標(biāo)簽。最后,利用語義標(biāo)簽訓(xùn)練語義分割網(wǎng)絡(luò),并在PASCAL VOC2012數(shù)據(jù)集以及SBD 補充數(shù)據(jù)集中,對語義標(biāo)簽和弱監(jiān)督語義分割性能以mIoU 指標(biāo)作為評價標(biāo)準(zhǔn)測試,并與其它主流圖像級弱監(jiān)督語義分割方法進行比較。實驗結(jié)果表明,本文所提出的弱監(jiān)督語義分割方法相比于其它主流方法在mIoU 分值上提高了2.1%,并且該算法具有更強的魯棒性,同時語義標(biāo)簽有著高精確度的邊緣分割效果。

        猜你喜歡
        像素點相似性類別
        一類上三角算子矩陣的相似性與酉相似性
        淺析當(dāng)代中西方繪畫的相似性
        河北畫報(2020年8期)2020-10-27 02:54:20
        基于canvas的前端數(shù)據(jù)加密
        基于逐像素點深度卷積網(wǎng)絡(luò)分割模型的上皮和間質(zhì)組織分割
        低滲透黏土中氯離子彌散作用離心模擬相似性
        服務(wù)類別
        新校長(2016年8期)2016-01-10 06:43:59
        基于Node-Cell結(jié)構(gòu)的HEVC幀內(nèi)編碼
        論類別股東會
        商事法論集(2014年1期)2014-06-27 01:20:42
        中醫(yī)類別全科醫(yī)師培養(yǎng)模式的探討
        聚合酶鏈?zhǔn)椒磻?yīng)快速鑒別5種常見肉類別
        亚洲一道一本快点视频| 午夜精品久久久久久中宇| 国产精品一区二区在线观看99 | 日本视频一区二区三区在线观看 | 一区二区三区中文字幕在线播放| 成人免费无码视频在线网站| 日本三级欧美三级人妇视频| 精品一区二区三区在线视频观看 | 午夜男女靠比视频免费| 国产伦精品免编号公布| 四月婷婷丁香七月色综合高清国产裸聊在线 | 北岛玲日韩精品一区二区三区| 最新日本久久中文字幕| 亚洲av乱码一区二区三区林ゆな| 亚洲精品无播放器在线播放| 国产高清在线精品一区αpp| 亚洲第一大av在线综合| 日本动漫瀑乳h动漫啪啪免费| 精品一区二区久久久久久久网站 | 亚洲一区二区三区厕所偷拍 | 国产三级在线视频播放| 激情视频在线观看免费播放| 国产av一区二区三区性入口 | 性动态图av无码专区| 国产日韩欧美视频成人| 免费人妖一区二区三区| 欧美成人猛交69| 中文字幕天堂网| 国产在线精彩自拍视频| 极品人妻被黑人中出种子| 欧美性开放bbw| 老熟女一区二区免费| 护士人妻hd中文字幕| 性高朝大尺度少妇大屁股| 欧美成人久久久| 亚洲中文高清乱码av中文| 免费人成在线观看| 久久国产成人午夜av影院| 中文字幕日本一区二区在线观看| 精品国产一区二区三区三级| 曰批免费视频播放免费直播|