潘亦堅(jiān) 林川 郭越 吳艷
摘要:輪廓檢測(cè)是計(jì)算機(jī)視覺的重要任務(wù)之一,并廣泛地用于醫(yī)學(xué),工程,交通等領(lǐng)域.針對(duì)這些領(lǐng)域的檢測(cè)需求,本文受非經(jīng)典感受野動(dòng)態(tài)特性的啟發(fā)提出一種仿生型輪廓檢測(cè)模型:在模擬初級(jí)視皮層(V1區(qū))神經(jīng)元的經(jīng)典感受野響應(yīng)時(shí),用改進(jìn)的神經(jīng)元激活函數(shù)sigmoid提取局部尺度信息,然后用局部最優(yōu)尺度代替現(xiàn)有模型中的全局感受野尺度,并將提取的局部最優(yōu)尺度信息對(duì)非經(jīng)典感受野抑制進(jìn)行調(diào)制.基RUG40和伯克利圖像數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果表明,本文的輪廓檢測(cè)模型較同類模型獲得了較高的性能評(píng)測(cè)指數(shù),有效地提高了輪廓檢測(cè)的性能。
關(guān)鍵詞:輪廓檢測(cè);非經(jīng)典感受野;動(dòng)態(tài)特性;局部最優(yōu)尺度
0引言
在雜亂的環(huán)境中分離背景紋理與目標(biāo)輪廓一直是計(jì)算機(jī)視覺中一項(xiàng)重要的任務(wù),輪廓檢測(cè)需要消除背景紋理及噪聲的影響從而提取圖像中的目標(biāo)輪廓,成為圖像分割、目標(biāo)輪廓提取等問(wèn)題的重要基礎(chǔ)技術(shù)。
大量視覺生理研究表明,初級(jí)視皮層(V1區(qū))的神經(jīng)元在從視覺場(chǎng)景中提取目標(biāo)輪廓信息中扮演著重要的角色,是近年來(lái)輪廓檢測(cè)的主要研究對(duì)象.普遍認(rèn)為v1區(qū)神經(jīng)元的每個(gè)感受野都有它自己的一個(gè)小的興奮區(qū)域,該區(qū)域被稱作經(jīng)典感受野(Classical Receptive Field,CRF),而周邊廣大區(qū)域則是其相鄰單元所產(chǎn)生的抑制區(qū),該區(qū)域被稱作非經(jīng)典感受野(non-Classical Receptive Field,nCRF).其中,神經(jīng)元的活動(dòng)被鄰近單元所施加的抑制所減弱,這種相互影響的側(cè)抑制作用在機(jī)器視覺研究中受到越來(lái)越多的關(guān)注.2003年Grigorescu等采用Gabor模型模擬經(jīng)典感受野的輸出,并利用非經(jīng)典感受野的抑制特性,提出圓環(huán)形抑制區(qū)域采用高斯差分(Difference 0fGaussian,DoG)模型來(lái)模擬其距離權(quán)值.基于該模型,不少研究者在非經(jīng)典感受野對(duì)視覺刺激響應(yīng)的抑制作用方面進(jìn)行了相應(yīng)的改進(jìn).2007年Sang等根據(jù)初級(jí)視皮層循環(huán)抑制特性建立了一種基于側(cè)抑制區(qū)的抑制模型,其通過(guò)抑制機(jī)制消除了背景中大量繁雜的紋理所產(chǎn)生的局部有向邊緣,但側(cè)抑制機(jī)制的引入導(dǎo)致部分檢測(cè)到的輪廓斷裂,在一定程度上降低了邊緣響應(yīng),2009年杜曉鳳等為了彌補(bǔ)側(cè)抑制機(jī)制對(duì)弱輪廓區(qū)域的損壞,引入了去抑制機(jī)制,使得較弱的輪廓區(qū)域得以保存,提取輪廓的整體性得到了進(jìn)一步的加強(qiáng).2011年Zeng等提出了蝶形抑制區(qū)域模型以及一種中心周邊相互作用的自適應(yīng)抑制方法,較好地去除了背景紋理產(chǎn)生的邊緣.Yang等通過(guò)上下文調(diào)制結(jié)合視覺系統(tǒng)中的線索來(lái)調(diào)制最終的神經(jīng)元周邊抑制,通過(guò)結(jié)合不同的視覺特征來(lái)加強(qiáng)抑制作用的性能.在之前的研究成果中,課題組模擬V1神經(jīng)元相互抑制機(jī)制提出了一種基于空間總和特性的輪廓檢測(cè)模型,有效地降低了背景紋理對(duì)于輪廓的負(fù)面影響。
然而上述輪廓檢測(cè)模型在模擬感受野的響應(yīng)計(jì)算中設(shè)定了全局尺度(定值),即每個(gè)像素點(diǎn)對(duì)應(yīng)的尺度因子均相同,導(dǎo)致目標(biāo)輪廓的信息不能被完整地提取.2014年Wei等模擬神經(jīng)節(jié)細(xì)胞的自適應(yīng)機(jī)制,通過(guò)動(dòng)態(tài)的尺度信息來(lái)自適應(yīng)地表達(dá)圖像,說(shuō)明感受野尺度在表達(dá)圖像局部信息中起到重要作用.而本文著重關(guān)注動(dòng)態(tài)尺度信息對(duì)于后續(xù)輪廓提取的調(diào)制作用.人類的感知機(jī)制能夠迅速地提取視野之中的目標(biāo)物體,是由于各視皮層中多種神經(jīng)元機(jī)制相互作用,只依賴一種類型神經(jīng)元的響應(yīng)很難實(shí)現(xiàn)提取最優(yōu)化.根據(jù)文獻(xiàn)[12]描述的人類視覺系統(tǒng)中視網(wǎng)膜——外膝體—初級(jí)視皮層(V1區(qū))這一視覺通路,視網(wǎng)膜神經(jīng)節(jié)細(xì)胞的感受野動(dòng)態(tài)特性會(huì)對(duì)V1區(qū)中經(jīng)典感受野響應(yīng)與非經(jīng)典感受野的抑制效應(yīng)造成影響,這也是本文實(shí)現(xiàn)的理論基礎(chǔ).單一空間頻率尺度下的經(jīng)典感受野響應(yīng)僅僅能表現(xiàn)出一定程度下的目標(biāo)輪廓提取細(xì)節(jié),而單尺度下的感受野尺度模板是不足以完全表現(xiàn)不同空間頻率尺度下圖像的各種細(xì)節(jié).本文基于以上生理學(xué)依據(jù)提出基于非經(jīng)典感受野動(dòng)態(tài)特性的輪廓檢測(cè)模型,引入尺度判斷這一處理機(jī)制,通過(guò)修正的sigmoid激活函數(shù)對(duì)像素點(diǎn)對(duì)應(yīng)的感受野模板尺度進(jìn)行判斷,并得到每個(gè)像素點(diǎn)的局部尺度.將判斷后得到的尺度信息用于經(jīng)典感受野響應(yīng)的計(jì)算,同時(shí)用提取的尺度矩陣對(duì)周邊抑制進(jìn)行調(diào)制從而得到最優(yōu)輪廓檢測(cè)結(jié)果.實(shí)驗(yàn)結(jié)果表明,本文的輪廓檢測(cè)模型較同類模型,獲得了較高的性能評(píng)測(cè)指數(shù),有效地提高了輪廓檢測(cè)的性能。
1基于感受野動(dòng)態(tài)特性的輪廓檢測(cè)模型
1.1輪廓檢測(cè)總體模型
本文提出的基于非經(jīng)典感受野動(dòng)態(tài)特性輪廓檢測(cè)模型總體框架如圖1所示。
1.2局部尺度計(jì)算方法
每個(gè)尺度對(duì)應(yīng)一組神經(jīng)元感受野大小,不同的感受野大小的神經(jīng)節(jié)細(xì)胞存在不同尺度下的特性.如圖2所示展示了不同尺度下的gabor能量表示經(jīng)典感受野響應(yīng),可以發(fā)現(xiàn)大尺度下的響應(yīng)能夠體現(xiàn)輪廓的整體情況,而小尺度下的響應(yīng)則突出了圖像更多的細(xì)節(jié).本文定義一個(gè)高斯差分算子DoG(x,y)來(lái)對(duì)輸入圖像進(jìn)行卷積計(jì)算作為尺度判斷的輸入。
1.3經(jīng)典感受野響應(yīng)
文中對(duì)于方向選擇性的V1神經(jīng)元模型,使用二維Gabor函數(shù)描述它們對(duì)cRF中刺激響應(yīng)的特性,其描述如下:
1.4非經(jīng)典感受野響應(yīng)
經(jīng)典感受野響應(yīng)在孤立的邊緣和紋理上的響應(yīng)都很強(qiáng)烈,不足以區(qū)分這兩種模式.相比之下抑制項(xiàng)對(duì)背景紋理的響應(yīng)要高于獨(dú)立的邊緣,所以當(dāng)經(jīng)典感受野響應(yīng)減去非經(jīng)典感受野抑制的時(shí)候,最終響應(yīng)就只會(huì)在獨(dú)立的邊緣上響應(yīng)強(qiáng)烈.對(duì)于輸入圖像中的某個(gè)像素點(diǎn)來(lái)說(shuō),抑制項(xiàng)通過(guò)經(jīng)典感受野周邊的圓環(huán)形區(qū)域計(jì)算得到.用標(biāo)準(zhǔn)化權(quán)重函數(shù)w(x,y)描述非經(jīng)典感受野:
2實(shí)驗(yàn)結(jié)果與討論分析
在硬件平臺(tái)CPU為Intel(R)core(TM)i3-4130,主頻為3.4GHz,內(nèi)存為8 GB的計(jì)算機(jī)上,使用MATLAB 2016a仿真軟件對(duì)各項(xiàng)同性模型、蝶形抑制模型、自適應(yīng)抑制模型、多線索抑制調(diào)制模型、文獻(xiàn)[10]中的輪廓檢測(cè)模型、Canny輪廓檢測(cè)模型以及本文提出的檢測(cè)模型進(jìn)行仿真實(shí)驗(yàn),同時(shí)使用標(biāo)準(zhǔn)評(píng)價(jià)指數(shù)F對(duì)所有模型得到的圖像數(shù)據(jù)結(jié)果進(jìn)行評(píng)測(cè)。
為測(cè)試本文檢測(cè)模型性能,分別從定性和定量?jī)蓚€(gè)方面進(jìn)行實(shí)驗(yàn)來(lái)論證本文模型的有效性:1)基于RUG40數(shù)據(jù)庫(kù),給出一個(gè)與同類模型的比較來(lái)說(shuō)明本文的輪廓提取結(jié)果在抑制背景紋理方面得到了提高;2)基于伯克利數(shù)據(jù)庫(kù)BSDS300,將本文模型得出的輪廓檢測(cè)結(jié)果與數(shù)據(jù)庫(kù)中給出的真實(shí)輪廓做定量比較來(lái)全面評(píng)測(cè)本文輪廓檢測(cè)的性能,表1給出了主要參數(shù)設(shè)置情況。
2.1基于RuG數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果及分析
圖3顯示的是基于RUG40數(shù)據(jù)庫(kù)的兩種模型的抑制效果比較,分別是本文模型與各向同性抑制模型(Isotropic Inhibition,ISO),其中圖3(a)是原始輸入圖像,圖3(b)為經(jīng)過(guò)1.2小節(jié)判斷之后得到的局部尺度信息,圖3(c)是經(jīng)局部尺度調(diào)制后得到的CRF響應(yīng),圖3(d)是經(jīng)局部尺度調(diào)制后得到的nCRF抑制項(xiàng),圖3(e)是圖3(c)減去圖3(d)后再經(jīng)過(guò)非極大值抑制和滯后閾值處理后得到的二值輪廓圖像,圖3(f)是ISO各項(xiàng)同性模型中提出的CRF響應(yīng),圖3(g)是ISO中提出的nCRF響應(yīng),圖3(h)是圖3(f)減去圖3(d)后再經(jīng)過(guò)非極大值抑制和滯后閾值處理后得到的二值輪廓圖像.通過(guò)圖3(e)和圖3(h)的對(duì)比可以看出本文檢測(cè)模型的優(yōu)勢(shì)之處:1)調(diào)制后的CRF的響應(yīng)使得圖3(e)保留了更完整的輪廓信息;2)調(diào)制后的nCRF響應(yīng)使得圖像的背景紋理得到了有效的抑制,可以清楚的看到就圖像下半部分的背景區(qū)域來(lái)說(shuō)圖3(e)中的噪點(diǎn)要遠(yuǎn)少于圖3(h),這說(shuō)明輸入圖像中多余的背景雜草部分通過(guò)本文方法檢測(cè)后大部分都得以消除。
2.2基BSDS300數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果及分析
基于表1中的參數(shù)設(shè)置,在伯克利圖像數(shù)據(jù)庫(kù)BSDS300中測(cè)試輪廓提取模型的性能,圖4給出了幾種輪廓檢測(cè)模型經(jīng)過(guò)非極大值抑制后的輪廓比較.其中第一列和第二列分別是數(shù)據(jù)庫(kù)給出的自然圖像以及人工繪制的邊界圖像,第三列是各向同性抑制模型ISO的實(shí)驗(yàn)結(jié)果,第四列是自適應(yīng)抑制模型的實(shí)驗(yàn)結(jié)果,最后一列是本文模型的實(shí)驗(yàn)結(jié)果,通過(guò)橫向比較可以發(fā)現(xiàn)我們的檢測(cè)模型對(duì)輪廓邊緣的還原度最高,并且在抑制背景紋理方面優(yōu)于其他兩種模型。
本文也通過(guò)該數(shù)據(jù)庫(kù)下的100幅圖像對(duì)提出的模型進(jìn)行定量評(píng)測(cè),該數(shù)據(jù)庫(kù)包括200張訓(xùn)練圖像和100張測(cè)試圖像.每一個(gè)圖像都對(duì)應(yīng)有5-10幅由不同人員繪制的真實(shí)輪廓圖.文獻(xiàn)[18]中用精確度一回歸度(覆蓋率)框架(precision-recall framework)來(lái)評(píng)價(jià)輪廓檢測(cè)性能的高低.當(dāng)對(duì)輪廓檢測(cè)模型進(jìn)行評(píng)價(jià)時(shí),有幾個(gè)重要的檢測(cè)量需要注意:1)True Positives-TP:正確檢測(cè)出輪廓的樣本數(shù);2)False Positives-FP:錯(cuò)誤檢測(cè)出的輪廓的樣本數(shù),比如將背景誤檢測(cè)為輪廓輸出;3)False Negatives-FN:漏檢樣本,即實(shí)際上是輪廓的區(qū)域被檢測(cè)成背景區(qū)域的樣本.于是評(píng)價(jià)方式為:精確度一回歸度(覆蓋率)曲線,這是一個(gè)包含閾值參數(shù)的曲線并且權(quán)衡了精確性和噪聲,在這條曲線中F值最大的點(diǎn)即為該算法的最優(yōu)性能指數(shù).精確度(P)是P=TP/(TP+FP);回歸度是R=TP/(TP+FN),即真實(shí)輪廓中輪廓的覆蓋率(R)評(píng)價(jià)標(biāo)準(zhǔn)為F指數(shù),其定義如下:
F指數(shù)為P和R的調(diào)和平均,其代表著模型的檢測(cè)結(jié)果與人類觀察輪廓的相似度。
表2中列出了一些優(yōu)秀檢測(cè)模型的F值結(jié)果,可以看到在最近幾年的仿生類輪廓檢測(cè)模型中,本文的方法達(dá)到了0.63,高于蝶形方法、多線索抑制調(diào)制模型(Multi-ple-Cue Inhibition,MCI)等,為了更加直觀地比較本方法與其他同類檢測(cè)方法的性能,用圖5中的PR曲線圖展示本文檢測(cè)模型同其他檢測(cè)模型的精準(zhǔn)度一回歸度走勢(shì).由于F值表示精準(zhǔn)度和回歸度的調(diào)和平均,可以看到隨著精準(zhǔn)度降低,回歸度升高,最終本文的F指數(shù)都高于其他方法。
2.3對(duì)nCRF抑制調(diào)制的實(shí)驗(yàn)結(jié)果
為了表現(xiàn)不同尺度下的局部圖像信息,用提取的尺度信息對(duì)經(jīng)典感受野響應(yīng)進(jìn)行計(jì)算;為了增強(qiáng)nCRF抑制項(xiàng)的抑制效果,又用局部尺度對(duì)nCRF抑制項(xiàng)進(jìn)行調(diào)制,目的是為了突出背景響應(yīng),減弱邊緣響應(yīng),這樣經(jīng)典感受野響應(yīng)減去該調(diào)制的抑制項(xiàng)后就能抑制掉更多的背景噪點(diǎn),從而突出輪廓信息.
為了驗(yàn)證這一步驟,本文基于BSDS300數(shù)據(jù)庫(kù)進(jìn)一步實(shí)驗(yàn)在無(wú)抑制調(diào)制的情況下,輪廓響應(yīng)的結(jié)果.PR曲線結(jié)果如圖6所示,本文的輪廓檢測(cè)算法在無(wú)抑制調(diào)制的情況下評(píng)價(jià)指數(shù)F值只能達(dá)到0.60,但是在進(jìn)行抑制調(diào)制過(guò)后評(píng)價(jià)指數(shù)F值達(dá)到了0.63,這充分說(shuō)明了本文的抑制調(diào)制方法使得模型整體的輪廓檢測(cè)性能得到了提高。
同時(shí)本文選取了5幅實(shí)驗(yàn)結(jié)果圖像用于對(duì)比有抑制調(diào)制和無(wú)抑制調(diào)制下的輪廓檢測(cè)結(jié)果,如圖7所示,可以看出抑制調(diào)制能夠有效地抑制圖像背景中多余的噪點(diǎn)使提取的輪廓更加完整。
3結(jié)論
近年來(lái),有許多生理學(xué)和神經(jīng)物理學(xué)方面的研究都主要關(guān)注于神經(jīng)視皮層V1區(qū)的周邊抑制現(xiàn)象,受到這些研究的啟發(fā),不少提取目標(biāo)輪廓的計(jì)算模型相繼被提出,盡管這些方法中的一部分在提高檢測(cè)輪廓成功率方面取得了不小進(jìn)步,然而很少有利用圖像的尺度信息對(duì)CRF響應(yīng)和nCRF抑制進(jìn)行調(diào)制.針對(duì)該問(wèn)題,提出了一種基于感受野尺度調(diào)制的輪廓檢測(cè)模型:將尺度信息融入到傳統(tǒng)的基于V1區(qū)神經(jīng)元感受野特性的輪廓檢測(cè)中.后續(xù)對(duì)于實(shí)驗(yàn)結(jié)果的分析也說(shuō)明本文的模型能夠在保留輪廓完整性的基礎(chǔ)上最大限度地抑制背景紋理,今后工作的重點(diǎn)是進(jìn)一步研究尺度線索能否與其他線索相結(jié)合對(duì)基于非經(jīng)典感受野的檢測(cè)模型進(jìn)行改進(jìn),如何更有效地利用局部最優(yōu)尺度也將會(huì)成為輪廓提取的重點(diǎn)。