宋建輝,楊明樹,于 洋,劉硯菊
(沈陽理工大學自動化與電氣工程學院,遼寧 沈陽 110159)
在圖像處理研究領(lǐng)域,認知心理學家研究表明,待識別對象的輪廓是目標識別過程中強有力的特征[1]。近些年來,輪廓作為對象的重要特征,具有抗光照,對顏色、紋理變化的抗干擾性強等優(yōu)勢,在目標匹配和識別遮擋目標的過程中被廣泛應用。因此,目標輪廓特征的有效提取和匹配方式,對目標檢測和匹配具有重要意義。
在遮擋目標輪廓匹配方面,學者們提出了許多提取輪廓特征片段,以期獲得更好的匹配效果的算法。文獻[2]采用多邊形近似方法得到輪廓分段,采用動態(tài)規(guī)劃法找到最佳匹配,方法簡單可是并未將輪廓分段的局部特征評價考慮在內(nèi),面對復雜輪廓該算法的識別性能表現(xiàn)出一些不足。文獻[3,4]計算輪廓曲率,通過曲率極值點、拐點等關(guān)鍵點作為分段點獲取輪廓分段數(shù)據(jù)集,提出部分相似度衡量匹配后的最佳分類結(jié)果,但經(jīng)常因為遮擋等因素丟失含重要特征的輪廓。文獻[5]根據(jù)局部曲率分布對輪廓進行分段,通過比較分段的特征性大小進行分段合并處理,得到完整描述目標的輪廓分段數(shù)據(jù),但對于細節(jié)特征較多的目標來說,這種輪廓特征描述算法還不夠穩(wěn)定,從而導致無法有效的識別遮擋目標。
從以上分析可以得出,僅靠部分相似度來描述輪廓分段特征是遠遠不夠的。為解決遮擋情況下目標識別率較低的問題,本次研究結(jié)合現(xiàn)有算法,提出了基于輪廓分段特征可信度的遮擋目標識別算法,根據(jù)輪廓曲率分布篩選特征點并進行初步分段,提出基于彎曲度的分段優(yōu)化算法來衡量輪廓片段對待識別目標的表達能力,對初步分段結(jié)果進行優(yōu)化后得到有效片段。在此基礎(chǔ)上提出加權(quán)相似度匹配,根據(jù)輪廓分段的局部性和重要性來評價分段的特征可信度,有效的表達輪廓分段突顯輪廓特征的能力和其相對長度,最后將有效分段的特征可信度與分段之間的相似度共同組成加權(quán)相似度,從而得到正確、穩(wěn)定的識別結(jié)果。
特征提取過程中,由于曲率具有平移、旋轉(zhuǎn)、縮放不變性等優(yōu)勢,曲率極值點被研究者們利用來提取關(guān)鍵點進行特征匹配。本文在圖像預處理過程中采用具有高檢測率和定位精度的Canny算子提取輪廓,然后計算輪廓曲率,根據(jù)曲率標準差將輪廓點分為特征點與非特征點,得到輪廓的初始分段,再根據(jù)各個分段的彎曲度進行合并優(yōu)化,得到設(shè)定數(shù)目的輪廓分段,最后將分段進行歸一化處理,使其具有不變性?;趶澢鹊姆侄蝺?yōu)化算法結(jié)構(gòu)圖如圖1所示。
圖1 基于彎曲度的分段優(yōu)化算法
考慮到傳統(tǒng)運用三點法求曲率抗噪性較差,在此引用文獻[6]中的十一點法計算輪廓近似曲率,獲得了良好的抗噪性。假設(shè)輪廓C邊緣由N個點(xi,yi)組成,則輪廓曲率可通過式(1)得出
ki=sign((xi-xi-5)(yi+5-yi)
(1)
其中,Ri1=Pi-Pi-5,Ri2=Pi+5-Pi
為更好的對輪廓特征進行描述,將輪廓點按以下原則劃分為特征點與非特征點
Pf={i:|k(i)|≥δ,δ=std(k)}
(2)
Pnf={i:|k(i)|<δ,δ=std(k)}
(3)
式中,k代表輪廓曲率,δ=std(k)代表輪廓曲率的標準差。
根據(jù)特征點的分布情況進行輪廓初步分段:從輪廓的起始點開始(n=1),按照逆時針方向不斷合并下一個點,如果非特征點數(shù)達到截止門限Tf,則開始下一個分段,直到循環(huán)合并到起始點,初分段完成。根據(jù)特征點分布完成后的初分段將輪廓的局部特征完整的描述出來。圖2給出初步分段過程,圖2(a)為MPEG-7數(shù)據(jù)庫里的樣本圖,圖2(b)所示為用黑色星號在初始輪廓上標出了特征點,圖b所示為根據(jù)特征點分布情況得到的輪廓初步分段結(jié)果,從圖2(c)可發(fā)現(xiàn)初步分段數(shù)量較多且容易產(chǎn)生無意義的輪廓分段,故通過輪廓分段優(yōu)化算法減小輪廓數(shù)量,得到能夠更好描述特征的有效分段。
圖2 輪廓初步分段圖
為更加有效的描述輪廓特征,去除初步分段結(jié)果中的無意義分段,提出彎曲度來衡量輪廓彎曲程度,進一步體現(xiàn)輪廓特征,然后通過分段優(yōu)化算法減小分段數(shù)量,獲得體現(xiàn)輪廓特征且符合人類視覺感知的輪廓分段。給出一輪廓分段si,并假設(shè)分段起點與終點分別為a和b,下面給出彎曲度定義如式(4)
(4)
其中,Tor(si)代表輪廓分段si的的彎曲度,length(si)表示分段si的長度,length(lab)表示a、b兩點所連直線的長度。
基于彎曲度的輪廓分段優(yōu)化算法流程如圖3所示。
圖3 基于彎曲度的分段優(yōu)化算法流程圖
分段優(yōu)化過程中,輪廓分段的彎曲度越大,其體現(xiàn)輪廓特征的能力也就越強,匹配效率越高;圖4給出了分段優(yōu)化過程的部分圖示,經(jīng)優(yōu)化算法后得到的兩條特征分段能更好的體現(xiàn)輪廓的局部特征,在識別遮擋目標時可以取得穩(wěn)定的識別效果。
圖4 分段優(yōu)化算法演化過程中圖示
將分段優(yōu)化算法得到的輪廓分段Si表示為一個有序點集,Si={v1,v2,…,vn,vi∈Si}。為了使其不受縮放、平移、旋轉(zhuǎn)的影響,得到的輪廓分段按照如下規(guī)則進行歸一化處理:v1→p1=(0,0),vn→pn=(1,0),其它的輪廓點也按照原則變換到新的坐標系,歸一化后的分段Sjp={p1,p2,…,pn,pi∈P}具有相似變換條件下的不變性。
輪廓分段在進行匹配時僅僅依靠相似度容易造成誤匹配,因此對輪廓分段進行評價得到特征可信度,將特征可信度與相似度一起組成加權(quán)相似度進行最終目標分類,有效的提高了匹配正確率。加權(quán)相似度匹配的流程圖如圖5。
圖5 加權(quán)相似度匹配流程圖
對于遮擋目標獲得的有效分段Sjp={p1,p2,…,pn,pi∈P},將其與數(shù)據(jù)庫中的特征分段SjQ={q1,q2,…,qn,qi∈Q}進行逐對匹配??紤]到形變給輪廓部分帶來的微小偏差,選擇形狀上下文距離Dsc作為分段匹配的相似性度量,Dsc越小越相似。
對于分段P的點pi和分段Q的點qj,它們的相似度用χ2檢驗得
(5)
其中,hi(k)為點pi的形狀直方圖hi(k)=#{q≠pi:(q-pi)∈bin(k)},k=60然后根據(jù)匈牙利算法計算Dsc,具體計算如式(6)
(6)
利用輪廓分段進行匹配不得不考慮到分段局部特征與輪廓整體特征的關(guān)系,文獻[5]采用輪廓片段的重要性和局部性兩個參數(shù)評價其可信度,取得了較好的匹配結(jié)果,本文進行了改進,用輪廓分段的彎曲度相對占比λw描述分段重要性,用輪廓分段的相對長度λl來評價分段的局部性,最后將輪廓分段的局部性和重要性聯(lián)合起來評價論文分段可信度。
重要性定義如下
λw(i)=Tor(Si)/max(Tor(Sj))j=1,2…
(7)
λw(i)反映了輪廓分段的重要程度,λw(i)越大,即輪廓分段彎曲度越大,輪廓特征越明顯,與其它目標的可區(qū)分性也就越好。
局部性定義如下
λl(i)=l(Si)/l(C)
(8)
其中,l(Si)表示目標輪廓片段長度,l(C)表示目標輪廓長度。λl(i)反映了輪廓分段表達整體目標的可信度,λl(i)越大,即輪廓分段長度越長,意味著部分代表整體的能力越強,對目標識別結(jié)果越有利。
將以上輪廓分段的局部性和重要性聯(lián)合起來定義分段特征可信度λ(i)。λ(i)越大,輪廓分段特征可信度越大。計算如式(9)
λ(i)=αλw+(1-α)λl,α∈[0,1]
(9)
式中,用參數(shù)α來判斷λw(i)和λl(i)對加權(quán)相似性度量λ(i)的影響程度,由于輪廓分段特征越明顯,對人來視覺感知來說越容易辨識,故選取α=0.6。
對于遮擋目標輪廓C′,應用分段優(yōu)化算法獲取輪廓分段Sjp(j=1,2…n),然后目標輪廓分段SjP與輪廓分段數(shù)據(jù)庫SjQ進行形狀上下文匹配,得到兩個分段的相似性度量,其中Dsc(SjP,SiQ)越小越相似。在匹配結(jié)果中最相似的前5個特征分段SkQ′(k=1,2,…,5)中找到距離最小的參考類別objj(j=1,2,…,n),最后用加權(quán)相似度篩選出匹配后的最終分類結(jié)果。
采用可信度與分段之間的相似度結(jié)合起來定義加權(quán)相似度Sim(SjP,SiQ),將分段的可信度加權(quán)到形狀上下文匹配最小代價上,得到最終衡量分類準確率的加權(quán)相似度,計算方法如式(10)
(10)
其中,λ(SjP)和λ(SiQ)分別代表形狀P和Q的第j和第i個輪廓分段的可信度。根據(jù)加權(quán)相似度的大小得出最佳的分類結(jié)果,加權(quán)相似度越小,輪廓分段分類結(jié)果越可靠。
為驗證所提算法有效性,運用Matlab軟件進行仿真并對結(jié)果進行分析。選取MPEG-7 Shape 1 Part B數(shù)據(jù)集進行目標分類實驗。為驗證算法可靠性,選出70類目標所有shape 1-10總共700張圖片來建立輪廓分段數(shù)據(jù)庫,并從所有shape 11-20中選出十類目標作為待匹配測試目標,對整體遮擋率在20%、30%、40%、50%的情況下的輪廓片段進行目標分類檢索實驗??紤]到待識別目標由于遮擋比例較大而獲取的分段可能較短,本次仿真設(shè)置分段數(shù)據(jù)庫的分段數(shù)為3,輪廓進行特征匹配時特征點采樣點數(shù)為60,測試目標類如圖6。
圖6 實驗測試目標類別
對于遮擋目標,首先基于彎曲度進行分段優(yōu)化獲得有效分段,表1第1列給出了butter類某目標在遮擋情況下劃分出的3個特征分段(加粗實線),1st-5th列所示為分段數(shù)據(jù)庫中與第一列特征分段匹配后的前5個最相似的分段(加粗實線)所屬類,由第2行可以看出輪廓分段通過形狀上下文匹配后的分類結(jié)果出現(xiàn)了誤匹配,因為形狀上下文屬于全局特征描述子,對于特征分段間的匹配并不能有效的描述局部特征的相似性。故在此基礎(chǔ)上通過輪廓分段的重要性和局部性評價其可信度,將局部特征與整體特征聯(lián)系起來得到加權(quán)相似度Sim。當分段的可信度越大,Sim越小。加權(quán)相似度將分段匹配后的前5個分類結(jié)果進一步篩選得到Sim最小的分段所屬類,即第7列的參考分類,最終根據(jù)Sim越小越相似的分類原則,通過比較測試目標3個特征分段參考分類的加權(quán)相似度,得到最終的分類結(jié)果。實驗分析得出,通過對有效分段的重要性和局部性進行分段可信度評價得到加權(quán)相似度,可以有效提高遮擋情況下的目標識別率。
表1 部分遮擋目標類識別結(jié)果(加權(quán)相似度最小值對應最終分類)
本次實驗為保證數(shù)據(jù)可靠性,對分段匹配進行100次隨機試驗,取識別結(jié)果的平均值作為識別率。本次實驗在不同遮擋率下的識別率如表2。
由表2數(shù)據(jù)可以得出,加權(quán)相似度匹配在識別不同遮擋比例的目標上是穩(wěn)定有效的。加權(quán)相似度依賴于輪廓分段的可信度,如果遮擋目標輪廓的多數(shù)局部特征得到保留,特征分段可信度較大,加權(quán)相似度匹配依然可以得到穩(wěn)定準確的識別結(jié)果。而對于Beef、Bird、Dog等細節(jié)特征較多的目標,因遮擋等因素造成特征丟失,進而影響了特征分段的可信度,導致了識別率較低的結(jié)果。根據(jù)實際情況通過增加特征分段長度,可以在一定程度上達到提高識別率的效果。
表2 不同遮擋比例下測試類別的識別率
表3給出了本文算法與文獻中遮擋目標的識別算法結(jié)果數(shù)據(jù)對比。由表可知,目標識別率隨著測試目標遮擋率的升高呈現(xiàn)降低趨勢,文獻[3]在遮擋比例50%情況下時識別效果較差,而本文算法根據(jù)實際遮擋情況提取彎曲度較大的輪廓分段進行加權(quán)相似度匹配,在遮擋比例大于40%情況下的目標識別率明顯優(yōu)于文獻[4]和文獻[9],對比文獻[5]中算法,其在遮擋比例50%下無參考數(shù)據(jù),本文算法在遮擋比例40%情況下的識別率提高了0.9%左右。
表3 不同識別算法在遮擋情況下的識別率
本文提出了一種基于輪廓分段特征可信度的目標識別算法用于遮擋目標的識別,在提取有效輪廓分段方面,根據(jù)基于彎曲度的分段優(yōu)化算法獲取具有顯著特征的有效分段。在特征分段匹配上,提出加權(quán)相似度,通過分段的重要性和局部性結(jié)合評價輪廓分段的特征可信度,最后將特征可信度與分段間的相似度結(jié)合成為加權(quán)相似度,根據(jù)加權(quán)相似度獲得了合理有效的識別結(jié)果。實驗結(jié)果表明,本文算法在識別遮擋情況下的目標時獲得了穩(wěn)定、準確的識別結(jié)果,與現(xiàn)有算法相比較,本文算法有效的提高了遮擋情況下的目標識別率。