張榮國 曹俊輝 胡 靜 張 睿 劉小君

圖像分割將圖像劃分為幾個(gè)不重疊且一致的區(qū)域,是計(jì)算機(jī)視覺中目標(biāo)分類和識別的關(guān)鍵步驟.在現(xiàn)有圖像分割算法中,聚類因其高效、快速的特點(diǎn),成為常用的圖像分割方法之一[1].由于數(shù)據(jù)采集技術(shù)的發(fā)展,數(shù)據(jù)來自多個(gè)數(shù)據(jù)源、或可以由多個(gè)特征表示,使多視圖聚類成為聚類研究的重要方向之一[2].目前,多視圖聚類面臨的問題是如何充分利用視圖的多樣性并保持多個(gè)視圖的一致性,通過多個(gè)視圖信息獲得良好的聚類結(jié)果.近年來,研究人員提出多種多視圖聚類算法,包括基于圖的多視圖聚類算法、基于矩陣分解的多視圖聚類算法和基于深度學(xué)習(xí)的多視圖聚類算法.

在基于圖的多視圖聚類算法中,為了去除原始高維數(shù)據(jù)的噪聲和冗余,Zhu等[3]提出OMSC(One-Step Multi-view Spectral Clustering),從低維數(shù)據(jù)中學(xué)習(xí)共同親和矩陣.Ren等[4]利用l1范數(shù),提出RAMC(Robust Auto-Weighted Multi-view Clustering).考慮到數(shù)據(jù)樣本在不同空間的結(jié)構(gòu)關(guān)系,胡素婷等[5]提出基于概念分解(Concept Factorization, CF)的顯隱空間協(xié)同多視圖聚類算法(CF-Based Collaborative Multi-view Clustering Algorithm in Visible and Latent Spaces, Co-MVCF),在通過CF保持?jǐn)?shù)據(jù)局部結(jié)構(gòu)關(guān)系的同時(shí),協(xié)同學(xué)習(xí)數(shù)據(jù)樣本在顯式空間和隱式空間的聚類,得到多個(gè)視圖之間統(tǒng)一的聚類結(jié)果.為了避免兩階段圖聚類算法中的后處理,Pan等[6]提出MCGC(Multi-view Contrastive Graph Clustering),學(xué)習(xí)拉普拉斯秩約束圖,直接由一致性融合圖獲得聚類結(jié)果.Zhong等[7]提出SCGLD(Simultaneous Con-sensus Graph Learning and Discretization),將共識圖學(xué)習(xí)和離散化整合到一個(gè)統(tǒng)一的框架中,避免后續(xù)的次優(yōu)聚類性能.目前,避免后處理的另一個(gè)研究方向是利用非負(fù)矩陣的可解釋性,即結(jié)合圖學(xué)習(xí)和矩陣分解.Kuang等[8]結(jié)合譜聚類與非負(fù)矩陣分解(Nonnegative Matrix Factorization, NMF),提出Sym-NMF(Symmetric NMF),在線性流形數(shù)據(jù)和非線性流形數(shù)據(jù)上均獲得較優(yōu)的聚類結(jié)果.受到文獻(xiàn)[8]的啟發(fā),Hu等[9]提出NESE(Multi-view Spectral Clus-tering via Integrating Nonnegative Embedding and Spec-tral Embedding),同時(shí)學(xué)習(xí)一個(gè)一致性非負(fù)嵌入矩陣和多個(gè)光譜嵌入矩陣,非負(fù)嵌入矩陣直接揭示聚類結(jié)果.

在基于矩陣分解的多視圖聚類算法中,為了保留流形的局部幾何結(jié)構(gòu),Khan等[10]提出MCNMF(Multi-view Data Clustering via NMF with Manifold Regularization),保留數(shù)據(jù)空間的局部幾何結(jié)構(gòu),在考慮到多個(gè)視圖的不同權(quán)重的同時(shí),學(xué)習(xí)共同聚類解.由于NMF對原始數(shù)據(jù)矩陣具有非負(fù)性約束,學(xué)者們提出許多改進(jìn)NMF的策略,Ding等[11]提出單側(cè)正交NMF的概念,通過對因子矩陣施加正交約束,可得到唯一的因子解.為了提高大規(guī)模多視圖聚類的效率,Yang等[12]提出FMCNOF(Fast Multi-view Clustering Model via Nonnegative and Orthogonal Factorization),結(jié)合基于錨圖的算法與矩陣分解的算法,提高大規(guī)模多視圖的聚類效率.

在基于深度學(xué)習(xí)的多視圖聚類算法中,為了充分利用多視圖圖數(shù)據(jù)中的嵌入特征,Zhang等[13]提出MDGRL(Unsupervised Multi-view Deep Graph Repre-sentation Learning),利用多個(gè)基于圖卷積網(wǎng)絡(luò)的自動編碼器挖掘局部結(jié)構(gòu),并融入全局結(jié)構(gòu)中.Cai等[14]提出GRAE(Graph Recurrent AutoEncoder),利用全局圖卷積網(wǎng)絡(luò)自編碼器和局部圖卷積網(wǎng)絡(luò)自編碼器,同時(shí)挖掘不同視圖的全局結(jié)構(gòu)和唯一結(jié)構(gòu),再融合為自適應(yīng)加權(quán)融合的自訓(xùn)練聚類模塊.Xia等[15]提出MVGC(Multi-view Graph Embedding Clus-tering Network),使用自表達(dá)方案對多個(gè)圖卷積網(wǎng)絡(luò)自編碼器生成的公式表示施加對角約束,獲得較優(yōu)的聚類能力.

基于圖的多視圖聚類算法在挖掘數(shù)據(jù)非線性結(jié)構(gòu)上具有優(yōu)勢,但存在需要后處理和時(shí)間效率較低等問題.在基于矩陣分解的多視圖聚類算法中,當(dāng)原始數(shù)據(jù)為非線性結(jié)構(gòu)時(shí),無法獲得良好的聚類性能,并且忽略數(shù)據(jù)的局部幾何結(jié)構(gòu).基于深度學(xué)習(xí)的多視圖聚類算法聚類能力較強(qiáng),但在學(xué)習(xí)和訓(xùn)練階段耗時(shí)較大.為此,本文提出基于非負(fù)正交矩陣分解的多視圖聚類圖像分割算法(Non-negative Orthogonal Matrix Factorization Based Multi-view Clustering Image Segmentation Algorithm, NOMF-MVC).首先,考慮到原始高維數(shù)據(jù)中存在噪聲和冗余問題,通過流形學(xué)習(xí)非線性降維方法,將高維數(shù)據(jù)映射到低維空間中,在低維空間中得到每個(gè)視圖的譜嵌入矩陣.然后,構(gòu)建每個(gè)視圖譜嵌入矩陣的譜塊結(jié)構(gòu),并將不同視圖譜嵌入矩陣的譜塊結(jié)構(gòu)通過設(shè)計(jì)的自適應(yīng)權(quán)重學(xué)習(xí)到具有一致性結(jié)構(gòu)的圖矩陣中.最后,通過非負(fù)正交分解將學(xué)習(xí)到的一致性圖矩陣分解為正交矩陣和非負(fù)矩陣,得到的非負(fù)矩陣直接揭示待分割圖像聚類結(jié)構(gòu).在多視圖數(shù)據(jù)集和圖像數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn),驗(yàn)證本文算法在聚類性能和圖像分割上具有一定優(yōu)勢.

1 相關(guān)知識

1.1 拉普拉斯特征映射

本文采用流形學(xué)習(xí)中拉普拉斯特征映射[16]進(jìn)行圖矩陣的構(gòu)造,拉普拉斯特征映射是一種非線性降維方法,能夠從高維數(shù)據(jù)中發(fā)現(xiàn)低維流形結(jié)構(gòu),得到高維數(shù)據(jù)和低維數(shù)據(jù)之間的映射關(guān)系.

拉普拉斯特征映射算法在高維空間中通常使用K-近鄰圖描述局部數(shù)據(jù)點(diǎn)之間的結(jié)構(gòu).若數(shù)據(jù)點(diǎn)xi與數(shù)據(jù)點(diǎn)xj互為近鄰,則采用高斯核函數(shù)

定義不同數(shù)據(jù)點(diǎn)之間的相似性,其中δ表示一個(gè)比例參數(shù).若數(shù)據(jù)點(diǎn)xi與數(shù)據(jù)點(diǎn)xj不是近鄰點(diǎn),則si,j=0.

設(shè)降維后的矩陣為

Y=[Y1,Y2,…,Yn]∈Rk,

n表示數(shù)據(jù)點(diǎn),k表示降維后低維空間的維數(shù).為了表示數(shù)據(jù)映射到低維空間中時(shí)依然可以保留在高維空間中的結(jié)構(gòu),設(shè)目標(biāo)函數(shù):

其中,yi、yj表示降維后的數(shù)據(jù)點(diǎn),si,j表示數(shù)據(jù)點(diǎn)xi和xj之間的相似性,S表示鄰接矩陣.

設(shè)

D=diag(d1,d2,…,dn)

為度矩陣,其中

表示數(shù)據(jù)點(diǎn)i的度,

L=D-S

表示拉普拉斯矩陣,為了使最終所有節(jié)點(diǎn)的嵌入向量能夠盡可能填充降維后的空間,添加約束條件

YTDY=I,

其中I表示單位矩陣.根據(jù)拉普拉斯矩陣的性質(zhì),有

求解上式,轉(zhuǎn)化為廣義特征值分解的問題:

D-1LY=λY.

對上式中D-1L進(jìn)行特征值分解,根據(jù)拉普拉斯矩陣最小特征值為0時(shí),對應(yīng)的特征向量為全1單位向量的性質(zhì).因此,取m個(gè)最小的非零特征值對應(yīng)的特征向量組成降維后的矩陣Y.

1.2 非負(fù)矩陣分解

非負(fù)矩陣分解(NMF)[17]將一個(gè)非負(fù)矩陣分解成兩個(gè)低秩的非負(fù)矩陣的乘積,可以提取數(shù)據(jù)內(nèi)部特征并實(shí)現(xiàn)降維,從而節(jié)省存儲空間和計(jì)算資源.NMF可表示為

其中:V∈Rn×m表示原始數(shù)據(jù)矩陣,具有非負(fù)性;W∈Rn×k、H∈Rk×m表示分解后的低秩矩陣,約束為非負(fù)矩陣,W表示基礎(chǔ)矩陣,H表示系數(shù)矩陣,n表示數(shù)據(jù)點(diǎn)的個(gè)數(shù),m表示原始數(shù)據(jù)點(diǎn)的維數(shù),k表示分解后數(shù)據(jù)點(diǎn)的維數(shù),一般情況下,k?m.

2 基于非負(fù)正交矩陣分解的多視圖聚類圖像分割算法

本文提出基于非負(fù)正交矩陣分解的多視圖聚類圖像分割算法(NOMF-MVC),先使用流形學(xué)習(xí)獲取圖像每個(gè)視圖的譜嵌入矩陣,構(gòu)建譜塊結(jié)構(gòu),進(jìn)而通過設(shè)計(jì)的自適應(yīng)權(quán)值將其融合成一致性圖矩陣.分解圖矩陣,獲取非負(fù)嵌入矩陣,由此獲得多視圖特征聚類,映射后得到圖像分割結(jié)果.

2.1 算法構(gòu)建

2.1.1 多視圖流形學(xué)習(xí)譜嵌入矩陣

設(shè)X1,X2,…,Xv為v個(gè)視圖的數(shù)據(jù)矩陣,

為第v個(gè)視圖的數(shù)據(jù)矩陣,其中,n表示數(shù)據(jù)點(diǎn)的個(gè)數(shù),dv表示第v個(gè)視圖的維數(shù).降維后的數(shù)據(jù)矩陣為Y1,Y2,…,Yv,

為第v個(gè)視圖降維后的數(shù)據(jù)矩陣,其中mv表示第v個(gè)視圖降維后的維數(shù).則多視圖流形學(xué)習(xí)的目標(biāo)函數(shù)可表示為

s.t. (Yv)TDvYv=I,

(1)

Lv=Dv-Sv

為拉普拉斯矩陣,將式(1)轉(zhuǎn)化為求解廣義特征值分解的問題:

(Dv)-1LvYv=λYv.

(2)

對式(2)中的(Dv)-1Lv進(jìn)行特征值分解,取m個(gè)最小的非零特征值對應(yīng)的特征向量組成每個(gè)視圖的譜嵌入矩陣Yv,m表示降維后低維空間的維度.

2.1.2 譜嵌入矩陣的譜結(jié)構(gòu)融合

考慮到不同視圖經(jīng)過非線性降維后數(shù)據(jù)之間的結(jié)構(gòu)會有差異,若在此階段直接將不同視圖的譜嵌入矩陣Yv融合為一致性圖矩陣,會造成數(shù)據(jù)信息受損,不能真實(shí)反映數(shù)據(jù)間的關(guān)系,而每個(gè)視圖譜嵌入矩陣的譜塊結(jié)構(gòu)Yv(Yv)T為嚴(yán)格的塊對角矩陣.圖1表示從ORL數(shù)據(jù)集的4個(gè)視圖上得到每個(gè)視圖的譜塊結(jié)構(gòu)Yv(Yv)T.

(a)全局特征 (b)局部二值模式(a)GIST (b)Local binary patterns

(c)方向梯度直方圖 (d)灰度共生矩陣(c)Histogram of oriented gradient(d)Grey Level co-occurrence matrices圖1 ORL數(shù)據(jù)集上4個(gè)視圖的譜塊結(jié)構(gòu)Fig.1 Spectrum block structure of 4 views on ORL dataset

由圖1可以看出,每個(gè)視圖的譜塊結(jié)構(gòu)大致相同,由譜塊結(jié)構(gòu)可以挖掘不同視圖間潛在的一致類簇結(jié)構(gòu).因此,在學(xué)習(xí)一致性圖矩陣之前構(gòu)建每個(gè)視圖譜嵌入矩陣的譜塊結(jié)構(gòu)是必要的.本文通過最小化每個(gè)視圖的譜塊結(jié)構(gòu)Yv(Yv)T與一致性圖矩陣S之間的差值實(shí)現(xiàn)譜結(jié)構(gòu)的融合.目標(biāo)函數(shù)如下:

(3)

2.1.3 自適應(yīng)權(quán)重一致性圖矩陣生成

由圖1可以看出,不同視圖的重要性存在差異,因此應(yīng)為每個(gè)視圖設(shè)計(jì)自適應(yīng)權(quán)值δv(v=1,2,…,V).視圖中包含的有用信息越多,賦予的權(quán)值越大,反之,賦予越小的權(quán)值.通過最小化一致性圖矩陣S與不同視圖譜結(jié)構(gòu)塊Yv(Yv)T之間的距離差值學(xué)習(xí)一致性圖矩陣S,目標(biāo)函數(shù)可以表示為

(4)

其中:δv表示每個(gè)視圖的權(quán)值,δT1=1,0≤δv≤ 1為自適應(yīng)權(quán)值δv的約束條件,δ表示元素為所有視圖權(quán)值的列向量,1表示元素全為1的列向量;si,j表示si的第j個(gè)元素;si∈Rn×1表示列向量;S表示一致性圖矩陣.

視圖的自適應(yīng)權(quán)值δv由一致性圖矩陣S與不同視圖譜結(jié)構(gòu)塊Yv(Yv)T的距離差值動態(tài)獲取:差值越小,表明兩者之間越相似,應(yīng)賦予越大的權(quán)值;反之,賦予越小的權(quán)值.因此,自適應(yīng)權(quán)值δv可以定義為

(5)

如果權(quán)值δv被固定為式(5),求解問題(4)可以等價(jià)于求解如下問題:

(6)

式(6)的拉格朗日函數(shù)為

(7)

其中,θ(Λ,S)表示由約束S≥0,1Tsi=1導(dǎo)出的形式化術(shù)語,Λ表示拉格朗日乘子.

對式(7)中的變量S求導(dǎo),將導(dǎo)數(shù)設(shè)為0,可表示為

(8)

其中δv可由式(5)表示.

如果對式(4)的拉格朗日函數(shù)求導(dǎo),同樣可得到式(8),因此式(4)等價(jià)于式(6).式(5)中每個(gè)視圖的權(quán)值由一致性圖矩陣S與不同視圖譜結(jié)構(gòu)塊Yv(Yv)T之間的距離誤差動態(tài)獲取,使每個(gè)視圖的權(quán)重可以自動分配.

2.1.4 一致性圖矩陣聚類

由于NMF約束輸入矩陣和輸出矩陣均為非負(fù)矩陣,存在一定的局限性,Ding等[11]提出單側(cè)正交NMF的概念,將一個(gè)數(shù)據(jù)矩陣分解為兩個(gè)因子矩陣,對分解后的矩陣分別施加正交約束和非負(fù)約束.分解后的正交矩陣可以保證解的唯一性,非負(fù)矩陣具有聚類可解釋性,可作為聚類指標(biāo)矩陣.單側(cè)正交NMF可表示為

其中,X∈Rn×m表示原始數(shù)據(jù)矩陣,H∈Rn×k表示非負(fù)矩陣,F∈Rm×k表示正交矩陣,n表示數(shù)據(jù)點(diǎn)的個(gè)數(shù),m表示原始數(shù)據(jù)點(diǎn)的維數(shù),k表示分解后數(shù)據(jù)點(diǎn)的維數(shù),一般情況下,k?m.

由式(4)得到一致性圖矩陣后,對其進(jìn)行單側(cè)正交NMF,直接揭示聚類結(jié)果,避免后處理帶來的不確定性.結(jié)合式(4),結(jié)合一致性圖矩陣學(xué)習(xí)和非負(fù)正交矩陣分解的目標(biāo),對生成的一致性圖矩陣分解,最終的目標(biāo)函數(shù)為:

(9)

其中:S表示由式(4)得到的一致性圖矩陣;F表示矩陣分解后得到的正交矩陣,每列表示一個(gè)基本向量;H表示矩陣分解后得到的非負(fù)矩陣,具有可解釋性,故最終的聚類結(jié)果由非負(fù)矩陣直接獲得;I表示單位矩陣.

目標(biāo)函數(shù)(9)中第一部分首先構(gòu)建每個(gè)視圖譜嵌入矩陣的譜塊結(jié)構(gòu)Yv(Yv)T,然后將不同視圖譜嵌入矩陣的譜塊結(jié)構(gòu)通過設(shè)計(jì)的自適應(yīng)權(quán)重學(xué)習(xí)到具有一致性圖矩陣S中.第二部分對一致性圖矩陣進(jìn)行非負(fù)正交分解,通過非負(fù)正交約束重新構(gòu)造一致性圖矩陣,最終獲得的非負(fù)矩陣作為聚類指標(biāo)矩陣,直接得到聚類結(jié)果,進(jìn)而獲得圖像分割結(jié)果.通過最小化目標(biāo)函數(shù)的這兩部分,使兩部分相互學(xué)習(xí),避免以往譜聚類后處理中聚類結(jié)果會受到初始一致性相似矩陣質(zhì)量影響的問題.

2.2 變量優(yōu)化

目標(biāo)函數(shù)(9)中有3個(gè)變量.由于該目標(biāo)函數(shù)具有非凸性,很難直接求解.因此,采用固定其它變量以更新一個(gè)變量的方法,求解該目標(biāo)函數(shù)的最優(yōu)解.優(yōu)化算法主要過程如下.

1)固定變量S和F,更新變量H.當(dāng)固定一致性圖矩陣S和正交矩陣F時(shí),目標(biāo)函數(shù)(9)可以簡化為

由于正交矩陣F具有正交性,FFT=I,上式可以等價(jià)為

則變量H的解可以表示為

H=max(SF,0).

(10)

2) 固定變量S和H,更新變量F.當(dāng)固定一致性圖矩陣S和非負(fù)矩陣H時(shí),目標(biāo)函數(shù)(9)可以簡化為

將上式轉(zhuǎn)化為矩陣跡的形式:

去掉多項(xiàng)式中全部為固定變量的項(xiàng),可以轉(zhuǎn)化為

(11)

其中ST、H為固定變量,因此令

Q=STH,

則式(11)可以表示為

在上式中,設(shè)矩陣Q的左奇異值U∈Rn×c和右奇異值V∈Rc×c,若給定一個(gè)矩陣M∈Rn×c,那么問題

中變量W的最優(yōu)解為

F=UVT.

(12)

3)固定H和F,更新變量S.當(dāng)固定非負(fù)矩陣H和正交矩陣F時(shí),目標(biāo)函數(shù)(9)可以表示為

將上式表述為矩陣跡的形式:

去掉多項(xiàng)式中全部為固定變量的項(xiàng),可以轉(zhuǎn)化為

合并同類項(xiàng),上式可以轉(zhuǎn)化為

繼續(xù)轉(zhuǎn)化為

則獲得變量S的最優(yōu)解:

(13)

2.3 算法步驟

NOMF-MVC根據(jù)像素特征數(shù)據(jù)之間的相似性分類,將像素特征數(shù)據(jù)劃分為不同的組.為此,先將圖像劃分為多個(gè)超像素塊[19],提取每個(gè)超像素塊的多個(gè)不同視圖特征,再進(jìn)行多視圖聚類和圖像分割.NOMF-MVC具體步驟如下.

算法1NOMF-MVC

輸入待分割圖像,超像素個(gè)數(shù)n

輸出分割后的圖像

step 1 將圖像劃分為n個(gè)超像素.

step 2 提取超像素的多個(gè)不同視圖特征作為多視圖數(shù)據(jù)矩陣Xv(v=1,2,…,V).

step 3 根據(jù)式(1)和式(2)計(jì)算非線性降維后的譜嵌入矩陣Yv.

step 4 計(jì)算每個(gè)視圖譜嵌入矩陣的譜塊結(jié)構(gòu)Yv(Yv)T.

step 5 根據(jù)式(3)和式(4)得到融合不同視圖譜塊結(jié)構(gòu)后的一致性圖矩陣S.

step 6 根據(jù)式(9)得到非負(fù)矩陣H和正交矩陣F.

step 7 判斷是否滿足收斂條件.若滿足,轉(zhuǎn)step 12;否則,轉(zhuǎn)step 8.

step 8 通過式(10)更新非負(fù)矩陣H.

step 9 通過式(12)更新正交矩陣F.

step 10 通過式(13)更新一致性矩陣S.

step 11 轉(zhuǎn)step 7.

step 12 由非負(fù)矩陣H同行不同列的最大值索引得到聚類結(jié)果.

step 13 將聚類結(jié)果映射到超像素中.

step 14 輸出分割結(jié)果圖.

算法1中的時(shí)間復(fù)雜度主要在step 3中計(jì)算變量Yv和step 9中更新變量F,step 3中對(Dv)-1Lv進(jìn)行特征值分解的時(shí)間復(fù)雜度為O(n3),step 9中對矩陣STH進(jìn)行奇異值分解的時(shí)間復(fù)雜度為O(n3),其中n表示數(shù)據(jù)量.因此,NOMF-MVC總的時(shí)間復(fù)雜度為O(2tn3),其中t表示迭代次數(shù).

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)在安裝Windows 10,CPU 2.40 GHz,16 GB RAM的計(jì)算機(jī)上通過 Matlab 2021a實(shí)現(xiàn).

3.1.1 實(shí)驗(yàn)數(shù)據(jù)集

本文在多視圖數(shù)據(jù)集COIL20、Outdoor Scene、ORL和圖像數(shù)據(jù)集Berkeley、COCO上分別進(jìn)行多視圖聚類實(shí)驗(yàn)和圖像分割對比實(shí)驗(yàn),驗(yàn)證NOMF-MVC的聚類性能和圖像分割效果.

COIL20數(shù)據(jù)集包含1 440幅圖像,分成20組,每組有72幅圖像.Outdoor Scene數(shù)據(jù)集包含2 688幅圖像,分成8組.ORL數(shù)據(jù)集包含10組400幅圖像.Berkeley數(shù)據(jù)集包括500幅圖像,大小為481×321或321×481.COCO數(shù)據(jù)集包含328 000個(gè)影像和2 500 000個(gè)標(biāo)注.

3.1.2 基線算法

為了驗(yàn)證本文算法的性能,選擇如下7種算法進(jìn)行對比.

1)NESE[9].將非負(fù)嵌入和譜嵌入集成到統(tǒng)一框架中的多視圖聚類算法.

2)S-MVSC(Sparse Multi-view Spectral Clus-tering)[20].從多個(gè)視圖中學(xué)習(xí)具有稀疏結(jié)構(gòu)的一致相似矩陣的多視圖聚類算法.

3)SMVSC(Scalable Multi-view Subspace Clus-tering with Unified Anchors)[21].將錨學(xué)習(xí)和圖構(gòu)建結(jié)合到一個(gè)統(tǒng)一的優(yōu)化框架中的大規(guī)模多視圖聚類.

4)UOMVSC(Unified One-Step Multi-view Spec-tral Clustering)[22].集成光譜嵌入和k-means進(jìn)入統(tǒng)一的框架,直接獲得離散聚類標(biāo)簽的多視圖聚類算法.

5)SFFCM(Superpixel-Based Fast Fuzzyc-means)[23].基于超像素的快速FCM聚類的圖像分割算法.

6)RSSFCA(Robust Self-Sparse Fuzzy Clus-tering Algorithm)[24].用于圖像分割的魯棒自稀疏模糊聚類算法.

7)Mask2Former(Masked-Attention Mask Trans-former)[25].能夠處理多種圖像分割任務(wù)(全景、實(shí)例或語義)的基于深度學(xué)習(xí)的圖像分割算法.

3.1.3 評價(jià)指標(biāo)

為了驗(yàn)證算法的有效性, 本文采用邊緣召回率(Boundary Recall, BR)、F1、分割精度(Segmenta-tion Accuracy, SA)[24]、交并比(Intersection Over Union, IOU)、邊緣位移誤差(Boundary Displace-ment Error, BDE)[26]和運(yùn)行時(shí)間這6個(gè)評價(jià)指標(biāo)進(jìn)行驗(yàn)證.另外,為了驗(yàn)證本文算法的抗噪魯棒性,選取峰值信噪比(Peak Signal to Noise Ratio, PSNR)作為量化指標(biāo).

BR為衡量真值邊界和算法生成邊界之間一致性程度的指標(biāo).BR 值越高,生成的分割邊界與真實(shí)邊界越接近.

F1是召回率(Recall)和精確率(Precision)的加權(quán)調(diào)和平均,綜合召回率和準(zhǔn)確率的結(jié)果,值越大,實(shí)驗(yàn)結(jié)果越優(yōu).

SA指正確分類的像素點(diǎn)占總分割像素點(diǎn)的百分比,SA 值越高,分割效果越優(yōu).

IOU指分割結(jié)果與真值之間交集與并集的比值.IOU值越大,分割結(jié)果越接近真實(shí)分割.

PSNR作為評價(jià)聚類算法抗噪性能強(qiáng)弱的指標(biāo),定義為

其中,均方誤差

Iij表示無噪聲干擾圖像分割結(jié)果的像素值,Kij表示噪聲干擾圖像分割結(jié)果的像素值,m×n表示圖像大小.PSNR值越大表明聚類分割算法抗噪性能越優(yōu),對噪聲抑制能力越強(qiáng).

3.2 多視圖聚類實(shí)驗(yàn)

為了更直觀地表現(xiàn)本文算法的聚類性能,在COIL20數(shù)據(jù)集上,分別給出由本文算法構(gòu)造的3個(gè)單視圖相似矩陣可視化結(jié)果和NESE、UOMVSC、NOMF-MVC多視圖融合后的相似矩陣可視化結(jié)果.具體如圖2所示,圖中對角線塊表示數(shù)據(jù)的相似性,對角線塊結(jié)構(gòu)越清晰,表明聚類性能越優(yōu).

由圖2(a)～(c)可見,對角線塊結(jié)構(gòu)較分散,(b)的對角線塊結(jié)構(gòu)比(a)更清晰,表明視圖2的性能優(yōu)于視圖1,也體現(xiàn)出不同視圖之間存在重要性差異.(d)～(f)中對角線塊結(jié)構(gòu)明顯清晰,表明多視圖可以探索出各視圖間的互補(bǔ)信息.對比(d)～(f),發(fā)現(xiàn)(f)的對角線塊最清晰,表明NOMF-MVC能夠探索出各個(gè)視圖之間的相關(guān)性,獲得最佳的聚類結(jié)果.

(a)視圖1 (b)視圖2(a)View1 (b)View2

(c)視圖3 (d)NESE(c)View3

(e)UOMVSC (f)NOMF-MVC圖2 相似矩陣可視化結(jié)果Fig.2 Similarity matrix visualization

在多視圖數(shù)據(jù)集Outdoor Scene上,應(yīng)用t-SNE(t-Distributed Stochastic Neighbor Embedding)非線性降維技術(shù)將高維空間中的數(shù)據(jù)映射到二維坐標(biāo)軸上,實(shí)現(xiàn)視圖可視化.圖3為降維后的可視化視圖,其中,(a)～(d)為4個(gè)單視圖的可視化視圖.將4個(gè)單視圖拼接為一個(gè)長向量,(e)為拼接后的可視化視圖.(f)為NOMF-MVC多個(gè)視圖融合后的可視化視圖.(g)為NOMF-MVC聚類后的可視化視圖.由圖3可見,相比(a)～(d)中的單視圖,(f)中相同顏色的數(shù)據(jù)點(diǎn)分布在一定區(qū)域內(nèi)相對集中,表明NOMF-MVC融合后的視圖是基于每個(gè)單視圖相似性獲取的.相比(e),(f)中具有相同顏色的數(shù)據(jù)點(diǎn)分布更集中,表明NOMF-MVC優(yōu)于傳統(tǒng)的拼接方法.相比(f),(g)中具有相同顏色的數(shù)據(jù)點(diǎn)基本分布在同一個(gè)區(qū)域內(nèi),表明NOMF-MVC具有良好的聚類性能.

(a)視圖1 (b)視圖2(a)View 1 (b)View 2

(c)視圖3 (d)視圖4(c)View 3 (d)View 4

(e)拼接后視圖 (f)融合后視圖 (g)聚類后視圖(e)Spliced view (f)Fused view (g)Clustered view圖3 降維后的可視化視圖Fig.3 Reduced-dimension visual view

3.3 圖像分割實(shí)驗(yàn)

為了在視覺上直觀地對比各算法的分割效果,在Berkeley、COCO數(shù)據(jù)集上分別選取部分圖像進(jìn)行圖像分割實(shí)驗(yàn),8種算法的圖像分割結(jié)果如圖4所示.

由圖4可見,S-MVSC和SMVSC需要后處理,聚類結(jié)果容易受到初始圖質(zhì)量的影響,導(dǎo)致在圖像分割時(shí)圖像前景輪廓容易受到背景干擾,出現(xiàn)誤分割和過分割的現(xiàn)象.NESE忽略特定視圖嵌入矩陣的信息,只考慮指標(biāo)矩陣的非負(fù)性,聚類性能受到限制,導(dǎo)致在圖像分割中表現(xiàn)不穩(wěn)定,如在圖像80273上出現(xiàn)誤分割現(xiàn)象.UOMVSC整體分割效果較優(yōu),但在保留原始數(shù)據(jù)框架時(shí)受噪聲影響,會出現(xiàn)少量的誤分割現(xiàn)象.RSSFCA考慮到圖像的局部空間信息,能分割出圖像的前景輪廓,但在細(xì)節(jié)中信息丟失過多.SFFCM整體分割效果相對較優(yōu),但僅提取直方圖特征,導(dǎo)致細(xì)節(jié)部分分割不理想,如在圖像23025上未分割出小女孩的臉部.Mask2Former在Transformer解碼器中使用屏蔽注意力,并使用多尺度高分辨率特征幫助模型分割小區(qū)域,故分割效果較理想.

(a)原始圖像(a)Original images

(b)SMVSC

(c)S-MVSC

(d)NESE

(e)UOMVSC

(f)RSSFCA

(g)SFFCM

(h)Mask2former

(i)NOMF-MVC圖4 各算法的圖像分割結(jié)果對比Fig.4 Comparison of image segmentation results of different algorithms

NOMF-MVC在目標(biāo)和背景相對復(fù)雜的圖像上,均能分割出整體輪廓,如圖4(i)所示.黃色方塊標(biāo)記為表現(xiàn)較好的細(xì)節(jié)部分,這是由于NOMF-MVC考慮到圖像數(shù)據(jù)固有的流形結(jié)構(gòu),挖掘出數(shù)據(jù)內(nèi)部的局部幾何結(jié)構(gòu),故在細(xì)節(jié)分割上表現(xiàn)較優(yōu);在數(shù)據(jù)融合階段考慮到不同視圖內(nèi)部結(jié)構(gòu)和重要性的差異,故出現(xiàn)相對較少的細(xì)節(jié)丟失現(xiàn)象.

為了定量說明NOMF-MVC的有效性,對上述圖像在BR、F1、SA、IOU、BDE和運(yùn)行時(shí)間上進(jìn)行對比,結(jié)果如表1所示.

表1 各算法的性能指標(biāo)評估結(jié)果對比Table 1 Comparison of performance index evaluation of different algorithms

由表1可以看出,NOMF-MVC的分割效果在總體上表現(xiàn)較優(yōu).在BR和F1上,NOMF-MVC次優(yōu)于Mask2Former,優(yōu)于其它算法.在SA上,NOMF-MVC表現(xiàn)最優(yōu),比Mask2Former提升4.73%,比SMVSC提升10.14%,表明NOMF-MVC在細(xì)節(jié)分割上具有較大優(yōu)勢,這是由于本文應(yīng)用非線性降維方法,充分探索出數(shù)據(jù)的局部幾何結(jié)構(gòu),并通過譜塊結(jié)構(gòu)保留數(shù)據(jù)的局部特征.在BDE上,NOMF-MVC在部分圖像上次優(yōu)于Mask2Former和SFFCM,但SFFCM不穩(wěn)定,如在80273這類圖像上出現(xiàn)邊緣位移誤差較大的現(xiàn)象.在時(shí)間效率上,NOMF-MVC是其它算法的1到12倍,表現(xiàn)最優(yōu),這是由于本文的非線性降維方法去除數(shù)據(jù)冗余,減小數(shù)據(jù)規(guī)模,另外,非負(fù)正交分解方法避免后處理,節(jié)省時(shí)間成本,故在保證分割精度最優(yōu)的條件下提高時(shí)間效率.

為了進(jìn)一步驗(yàn)證NOMF-MVC的有效性,對Berkeley 數(shù)據(jù)集上的全部500幅圖像進(jìn)行測試,圖5為各算法分別對500幅圖像的6個(gè)評價(jià)指標(biāo)取平均值后的結(jié)果對比.由圖可以看出,NOMF-MVC在6個(gè)評價(jià)指標(biāo)上均有良好的表現(xiàn),特別是在時(shí)間效率上有倍數(shù)級的提高.

(a)BR (b)F1

(c)SA (d)IOU

(e)BDE (f)運(yùn)行時(shí)間(f)Running time圖5 各算法在Berkeley數(shù)據(jù)集上的評價(jià)指標(biāo)平均值對比Fig.5 Average value comparison of evaluation indexes of different algorithms on Berkeley dataset

3.4 抗噪魯棒性實(shí)驗(yàn)

在Berkeley、COCO數(shù)據(jù)集上選取部分圖像添加高斯噪聲,并選取分割效果較優(yōu)的SFFCM和NESE與NOMF-MVC在原圖和噪聲圖上進(jìn)行圖像分割實(shí)驗(yàn),分割結(jié)果如圖6所示.

(a)原始圖像和噪聲圖(a)Original images and noisy images

(b)SFFCM

(c)NESE

(d)NOMF-MVC圖6 各算法對原圖與噪聲圖的分割結(jié)果Fig.6 Segmentation results of different algorithms for original images and noisy images

圖中第1列和第4列是各算法對原始圖像的分割結(jié)果,第2列和第5列是各算法對加入方差為0.01、均值為0.1高斯噪聲圖的分割結(jié)果,第3列和第6列是各算法對加入方差為0.01、均值為0.2高斯噪聲圖的分割結(jié)果.

由圖6可見,各算法對噪聲圖分割時(shí)均會出現(xiàn)不同程度的誤分割現(xiàn)象.SSFCM和NESE受噪聲影響較大,尤其是NESE,噪聲分割圖的整體輪廓丟失.而NOMF-MVC受噪聲影響較小,這是因?yàn)镹OMF-MVC通過非線性降維方式去除原始數(shù)據(jù)中噪聲和冗余,故抗噪魯棒性較優(yōu).

為了定量驗(yàn)證NOMF-MVC的抗噪魯棒性,分別為原始圖像加入方差為0.01、均值為0.1～0.5的高斯噪聲,不同算法在不同噪聲下的PSNR值如圖7所示.

(a)23025

(b)80273圖7 各算法在2個(gè)圖像上的PSNR對比Fig.7 PSNR comparison of different algorithms on 2 images

由圖7可以看出,所有算法的PSNR值隨著高斯噪聲均值的增大而變小,表明噪聲越大,聚類分割算法的抗噪性能越差.當(dāng)高斯噪聲的均值相同時(shí),NOMF-MVC的PSNR值均大于其它算法,表明其抗噪性能最優(yōu).

3.5 消融實(shí)驗(yàn)

各算法在ORL、COIL20兩個(gè)多視圖數(shù)據(jù)集和Berkeley 數(shù)據(jù)集上的評價(jià)指標(biāo)對比如圖8所示,對Berkeley數(shù)據(jù)集上500幅圖像的評價(jià)指標(biāo)取平均值得到(c)的柱狀圖.

(a)ORL

(b)COIL20

(c)Berkeley圖8 各算法在3個(gè)數(shù)據(jù)集上的評價(jià)指標(biāo)對比Fig.8 Evaluation index comparison of different algorithms on 3 datasets

由圖8可以看出,當(dāng)去除NOMF-MVC中關(guān)鍵部分后,聚類性能和分割效果均會下降,這表明NOMF-MVC中的每個(gè)組成成分都是有效的.

4 結(jié) 束 語

本文提出基于非負(fù)正交矩陣分解的多視圖聚類圖像分割算法(NOMF-MVC),通過非線性降維方法去除原始數(shù)據(jù)中存在的噪聲和冗余,挖掘數(shù)據(jù)的局部幾何結(jié)構(gòu).計(jì)算每個(gè)視圖譜嵌入矩陣的譜塊結(jié)構(gòu),使不同視圖具有一致的類簇結(jié)構(gòu),并在融合階段通過設(shè)計(jì)的自適應(yīng)權(quán)值學(xué)習(xí)一致性圖矩陣.對一致性圖矩陣進(jìn)行非負(fù)正交分解,直接揭示聚類結(jié)果,提高時(shí)間效率.在多視圖數(shù)據(jù)集、Berkeley、COCO數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證NOMF-MVC在聚類性能和圖像分割上均具有明顯優(yōu)勢.因?yàn)镹OMF-MVC主要集中在對完整多視圖圖像的聚類分割,因此對不完全多視圖圖像的聚類分割將是下一步研究的方向.