劉 玄 ,文 勇 ,梁建烈 ,馬 坤

(1.廣西民族大學(xué)電子信息學(xué)院,廣西 南寧 530006;2.廣西民族大學(xué)人工智能學(xué)院,廣西 南寧 530006;3.廣西民族大學(xué)材料與環(huán)境學(xué)院,廣西 南寧 530006)

0 引言(Introduction)

利用掃描電子顯微鏡可以觀察三種物相的局部平衡在顯微鏡下表現(xiàn)為這三個物相在某一點共存,三種物相共存的點即為三相平衡點。利用成分分析方法,確定與三相平衡點相連接的三個物相,即可以確定相圖的相區(qū),從而確定相圖[1-6]。

一個相圖的建立需要對大量掃描電子顯微鏡照片通過形貌區(qū)別進(jìn)行組織的標(biāo)定、比對,使得研究工作變得煩瑣、費力[7]。隨著科學(xué)技術(shù)的不斷發(fā)展,利用計算機(jī)視覺相關(guān)技術(shù)理論實現(xiàn)圖像的自動化處理已經(jīng)被證實是可行的,特別是近些年深度學(xué)習(xí)在圖像分割等領(lǐng)域取得了突破性的研究進(jìn)展[8-9]。在科學(xué)研究中,引入人工智能技術(shù),實現(xiàn)實驗的自動化和智能化,能夠大幅提高實驗效率。為減輕研究人員低水平的重復(fù)性工作,研究一種高效的三相平衡點自動識別方法具有重要意義。

1 總體方法(Overall method)

本文提出的識別三相平衡點的方法分為兩個階段:①三種物相語義分割階段,即三相分割;②三相平衡點識別標(biāo)注階段,即平衡點識別。三相分割階段,是在梯度回傳的圖像分割方法(Unsupervised Image Segmentation by Backpropagation,UISB)的基礎(chǔ)上進(jìn)行改進(jìn)后得出的方法,主要用于三相分割[10]。平衡點識別標(biāo)注階段,針對三相分割結(jié)果,設(shè)計一種基于卷積的識別算法識別三相平衡點所在的模式,三相平衡點所在的模式為三種不同物相交匯的區(qū)域,算法通過找到三相平衡點的位置,最終完成自動標(biāo)注。

圖1為本文所提方法的數(shù)據(jù)流圖。擬定輸入原圖像為I,在三相分割階段,對三種物相分割產(chǎn)生三相分割圖L,在平衡點識別標(biāo)注階段,在分割圖L上識別和標(biāo)注平衡點,最終輸出平衡點標(biāo)注圖T。

圖1 方法數(shù)據(jù)流圖Fig.1 Data flow of method

1.1 三相分割

基于UISB方法,上游任務(wù)中輸入為I,使用卷積網(wǎng)絡(luò)系統(tǒng)F提取特征信息,然后經(jīng)歸一化指數(shù)函數(shù)Soft max做出像素級的預(yù)測O=F(I)[10]。使用超像素預(yù)分割產(chǎn)生的超像素對預(yù)測結(jié)果細(xì)化產(chǎn)生偽標(biāo)簽O'=SR(O),通過計算CrossEntropy(O,O')反向傳播使網(wǎng)絡(luò)學(xué)習(xí)到有效特征,整個訓(xùn)練過程圖如圖2所示。

圖2 分割方法訓(xùn)練圖Fig.2 Training map of segmentation method

1.1.1 改進(jìn)的特征網(wǎng)絡(luò)

首先,原方法的卷積網(wǎng)絡(luò)系統(tǒng)F使用多個卷積層的堆疊,卷積核大小為3,存在感受野不足和隨層數(shù)加深丟失淺層信息的問題,因此在網(wǎng)絡(luò)中間第三個卷積層后加入空洞卷積模塊,如圖2 所示[11]。該模塊中包含三個不同空洞率(Dilation Rate)和不同核大小的卷積提取特征信息,同時擴(kuò)大了感受野,空洞卷積也不需要額外的計算量。

其次,為了關(guān)注分割數(shù)據(jù)的某些重要特征,如物相(語義)交界的區(qū)域,通過注意力機(jī)制的引入讓網(wǎng)絡(luò)F學(xué)習(xí)到需要關(guān)注的特征,提升分割精度[12]。在圖2中,在網(wǎng)絡(luò)中間第二個卷積層后插入通道注意力(Channel Attention,CA)模塊和空間注意力(Spatial Attention,SA)模塊,CA模塊將輸入的特征圖F進(jìn)行平均和最大池化,通過兩個不同數(shù)量神經(jīng)元的全連接層,將得出結(jié)果相加,然后經(jīng)過Sigmoid函數(shù),給不同通道的特征打分,最后Mc和F相乘得到不同重要程度的特征F'=Mc×F。SA模塊對通道調(diào)整的特征圖F'進(jìn)行打分,產(chǎn)生位置注意力分?jǐn)?shù)圖,Ms和F'相乘得到結(jié)果S'=Ms×F',兩個注意力模塊的結(jié)構(gòu)圖如圖3所示。

圖3 CA和SA模塊Fig.3 Modules of CA and SA

1.1.2 超像素預(yù)分割優(yōu)化

原方法使用SLIC算法簡單線性迭代聚類做預(yù)分割處理,在訓(xùn)練過程中用預(yù)分割結(jié)果細(xì)化網(wǎng)絡(luò)F的預(yù)測結(jié)果O[13]。本方法使用LSC線性譜聚類做處理,產(chǎn)生更緊湊且均勻的超像素,對于SLIC算法權(quán)衡顏色相似度和空間鄰近度的計算,LSC算法在圖像語義邊界的分割上擁有更好的貼邊性能,能生成更精準(zhǔn)的偽標(biāo)簽O'[14]。

1.2 三相平衡點識別算法

分割方法給三種物相分別分配了不同的類別標(biāo)簽,如圖4所示,展示了分割后的三相平衡點區(qū)域的類別標(biāo)簽特征圖的一種情況,每一種顏色表示一種類別(語義)即一種相,顯然三相平衡點區(qū)域的特點涵蓋了三種類別像素的區(qū)域,在類別標(biāo)簽圖上對具有這類特征的區(qū)域位置進(jìn)行捕捉辨別,然后進(jìn)行像素位置上的標(biāo)注,即標(biāo)注出三相平衡點。

圖4 類標(biāo)簽特征圖Fig.4 Feature map of class label

基于以上特征,提出一種快速有效的三相平衡點識別方法,其核心思想是偵測分割后的特征圖中的每一個像素點周邊一定范圍內(nèi)的像素類別的個數(shù),如果三種類別的像素點都超出一定的閾值,那么就認(rèn)定這個像素點是一個三相平衡點像素。在圖4示例中,設(shè)識別邊長s=5,當(dāng)以虛線框中的像素作為中心像素,從中心分別向4個方向擴(kuò)展2個單位,形成5×5的正方形偵測區(qū)域,如圖4中粗實線框出區(qū)域。顯然,正方形偵測區(qū)域中三種類別的像素數(shù)都大于等于閾值k,設(shè)k=5,認(rèn)定該點是一個三相平衡點像素。以此類推,每個滿足三相平衡點條件的像素,在空間位置上是臨近的,由此匯聚形成的像素塊,最終視覺上呈現(xiàn)為不規(guī)則形狀的點,在本文中把這種點稱為自動標(biāo)注的三相平衡點。三相平衡點識別與標(biāo)注算法,詳見表1。

表1 三相平衡點識別與標(biāo)注算法Tab.1 Three-phase equilibrium point identification and mark algorithm

算法描述如下:①輸入L∈Qh×w為三相分割的輸出圖,h和w表示輸入圖的高和寬,Q={1,2,3},其中系數(shù)代表三種分割類別,L i,j∈Q,i、j表示圖的具體位置。②輸出T∈Gh×w為平衡點標(biāo)注圖,G=0,1{ },0表示非平衡點標(biāo)記,1表示平衡點標(biāo)記,T i,j∈G,i、j表示圖的位置。③初始化T,令所有元素為0;設(shè)正方形偵測區(qū)域的識別邊長為s,類別數(shù)量的像素閾值為k,s、k∈N*;初始化值全為1 的s×s大小的卷積核kernel。④用L生成三張類別真值圖L1、L2、L3∈0,1{ }h×w,在L1、L2、L3中以每個位置的像素為中心,計算以每個像素為中心、s為邊長的框中同類像素的個數(shù)。⑤當(dāng)框的識別范圍內(nèi)三種類別的像素數(shù)量都超閾值k,則標(biāo)記該位置點為三相平衡點,即標(biāo)記該位置設(shè)定T i,j=1。⑥輸出平衡點標(biāo)注位置圖T。

1.3 測評指標(biāo)

本文用平均交并比(Mean Intersection over Union,MIo U)和平均像素精度(Mean Pixel Accuracy,

MPA)通用的語義分割度量標(biāo)準(zhǔn)對分割結(jié)果做出測評。計算公式分別如下:

在公式(1)和公式(2)中,k表示類別,p ij表示本屬于i類卻被預(yù)測為j類的像素數(shù)量。同理,p ji與p ii分別表示本屬于j類被預(yù)測為i類的像素數(shù)量和本屬于i類被預(yù)測為i類的像素數(shù)量。

針對識別算法設(shè)置識別有效性的測評指標(biāo),根據(jù)圖5中標(biāo)注對比的區(qū)別,定義兩個測評指標(biāo):檢出率dr(Detection Rate)和誤檢率er(Error Rate)。檢出率代表有多少比例的人工標(biāo)注的平衡點被正確地標(biāo)注出來,如果是100%,說明所有的平衡點都被自動標(biāo)注出來。誤檢率代表有多少比例的自動標(biāo)注點實際上不是平衡點,但被本文所提方法錯誤地標(biāo)注出來。其中,圖5(a)為人工標(biāo)注圖,人工標(biāo)注的平衡點以一個小正方形表示;圖5(b)為自動標(biāo)注圖,自動標(biāo)注的平衡點以一個類似圓形的點表示。如果有自動標(biāo)注點出現(xiàn)在正方形內(nèi),說明該平衡點被檢出(正確標(biāo)注),如圖5(b)中小點在正方形中則被檢出,正方形中無小點則未被檢出;如果自動標(biāo)注點不在任何正方形內(nèi),說明該自動標(biāo)注點被誤檢(錯誤標(biāo)注),如圖5(b)中右邊和正下方共4個小點沒出現(xiàn)在正方形內(nèi)。

圖5 標(biāo)注對比Fig.5 Comparison of mark

檢出率和誤檢率計算公式分別為如下:

其中,total為測評圖像的像素總數(shù),ml(Manual Labeling)為人工標(biāo)注的三相平衡點總數(shù),side為標(biāo)注的小正方形區(qū)域的邊長,tl(True Labeling)為被檢出的人工標(biāo)注的平衡點總數(shù),f l(False Labeling)為不出現(xiàn)在任何人工標(biāo)注點區(qū)域內(nèi)的自動標(biāo)注點的像素總數(shù)。

2 實驗結(jié)果與分析(Experimental results and analysis)

2.1 實驗環(huán)境

實驗方法運行在Linux Ubuntu 20.04.2操作系統(tǒng)上,使用Tensor Flow作為深度學(xué)習(xí)框架,采用Jupyter notebook在線編輯器編寫代碼和進(jìn)行實驗;硬件配置的CPU 為Intel(R) Xeon(R) Gold 6278CCPU@2.60 GHz,GPU為Tesla T4兩塊,顯存為16 GB。

2.2 數(shù)據(jù)集制作和設(shè)置

在三相分割中,使用326張512×512大小的三元合金相圖圖片作為測試數(shù)據(jù)集,在分割算法之前,對合金相圖數(shù)據(jù)采用不同程度的Clahe對比度增強(qiáng)和色度增強(qiáng)等手段。為了驗證三相平衡點識別算法有效性,對326張本文分割算法分割出的三相分割結(jié)果圖和對應(yīng)的人工分割圖構(gòu)成本文所提算法分割集和人工分割集,之后進(jìn)行測評。

2.3 實驗分析

2.3.1 分割方法實驗分析

驗證本文改進(jìn)的分割方法的有效性,實驗選取與原分割算法(UISB)進(jìn)行對比,在三元合金相圖數(shù)據(jù)集上進(jìn)行測試,根據(jù)公式(1)與公式(2)的指標(biāo)計算兩種方法的得分,量化的測評結(jié)果見表2,本文分割方法MIoU和MPA分別為49.86%和65.46%。實驗表明,本文分割方法在預(yù)分割階段采用LSC算法替換SLIC算法,實現(xiàn)對目標(biāo)語義整體和邊界更加精細(xì)的預(yù)分割,在網(wǎng)絡(luò)加入空洞卷積模塊和注意力模塊提升對感受野和重要特征關(guān)注度。對比UISB方法,在兩個指標(biāo)上均有精度提升。對三元相圖數(shù)據(jù)輸出更精準(zhǔn)的物相分割結(jié)果,將易于識別算法對三相平衡點進(jìn)行識別。

表2 量化測評對比Tab.2 Quantitative evaluation comparison

本文改進(jìn)的分割方法和UISB方法在部分?jǐn)?shù)據(jù)上的分割表現(xiàn)的對比結(jié)果如圖6所示,可以看出,改進(jìn)方法在分割精度上表現(xiàn)更好,而且不同物相的分割整體性較好。

圖6 分割對比圖Fig.6 Comparison diagram of segmentation

2.3.2 平衡點識別算法分析

驗證本文識別算法的有效性,對人工分割集和本文算法分割集在公式(3)與公式(4)測評指標(biāo)上進(jìn)行測試,在平衡點識別算法中使用不同參數(shù)k(2＜k＜10)、s(2＜s＜8)對單張圖片進(jìn)行測試,取最好結(jié)果計算均值,識別指標(biāo)對比見表3。算法在人工分割集上表現(xiàn)出色,平均檢出率93%,原因是人工對物相的分割結(jié)果存在的誤差較少,而本文分割方法輸出的三相分割結(jié)果圖存在像素誤分、零散像素干擾等情況,但也取得62%的識別檢出率,表明識別算法能識別并標(biāo)注大部分的三相平衡點。

表3 識別指標(biāo)對比Tab.3 Comparison diagram of identification index

圖7為三相平衡點標(biāo)注圖的可視化結(jié)果,以小點在原圖上的形式展示,方便觀察使用了方框框選部分結(jié)果,從視覺效果上看,在三種物相的交接處標(biāo)注出大部分的三相平衡點,雖然存在部分漏標(biāo)、錯標(biāo)的情況,但是總體來看,方法在自動標(biāo)注三相平衡點有一定的效果。

圖7 可視化結(jié)果Fig.7 Visualization of results

3 結(jié)論(Conclusion)

針對相圖測定中合金三相平衡點標(biāo)注的研究需要,提出三相平衡點識別方法進(jìn)行智能化的標(biāo)注。實驗結(jié)果表明,總體的三相平衡點識別方法存在一定局限性,三相平衡點識別標(biāo)注的表現(xiàn)會依賴分割階段的分割表現(xiàn),但方法仍能夠識別并標(biāo)注出大部分的三相平衡點?？傮w來看,本文方法在智能化標(biāo)注三相平衡點上有一定的應(yīng)用價值,能起到輔助人工標(biāo)注的作用。