陳詩媛， 廖一鵬， 張 進， 王衛(wèi)星

(福州大學 物理與信息工程學院，福建 福州 350108)

1 引 言

浮選是浮選機內(nèi)礦物與空氣中的微氣泡發(fā)生碰撞粘附，利用礦物與雜質(zhì)表面的親疏水性質(zhì)，可浮性高的礦物顆粒隨著氣泡上浮至液面泡沫層，從而將目標礦物從物質(zhì)組成復(fù)雜的礦石中分選出來的選礦方法[1]。研究表明，浮選過程中氣泡的生成和崩塌可有效反映礦物含量[2]，而圖像分割是浮選圖像處理分析和檢測新生成與崩塌的氣泡的關(guān)鍵，廣泛應(yīng)用于計算機視覺及工業(yè)生產(chǎn)等領(lǐng)域[3]。目前，浮選氣泡的分割主要在可見光圖像上進行，這種方法受光照影響很大，容易出現(xiàn)過分割和欠分割，因此可在紅外圖像上對浮選氣泡進行處理，提高抗干擾能力，更加準確地對新生成和崩塌的氣泡進行檢測。

浮選氣泡的穩(wěn)定性影響了回收率、精礦品位等生產(chǎn)指標性能[4]，準確地對泡沫圖像進行分割，能有效識別新生成和崩塌的氣泡，為后續(xù)氣泡的穩(wěn)定性、崩塌力計算打下基礎(chǔ)。但是氣泡不斷位移且發(fā)生形變，泡沫圖像存在光照不均、噪聲大、氣泡粘連等問題，導致氣泡識別檢測困難。目前，學者們提出了多種不穩(wěn)定氣泡的檢測方法。Sameer等人[5]利用分水嶺算法對泡沫圖像進行分割，提取圖像中氣泡，然后將第2幀中氣泡的質(zhì)心映射到第1幀的分割圖像中，計算連續(xù)幀之間氣泡的交點數(shù)進行崩塌判斷。該方法準確度受限于分水嶺分割結(jié)果，破裂的氣泡在氣泡的陰影較暗的區(qū)域容易被過度分割；Jahedsaravani等人[6]根據(jù)連續(xù)幀中氣泡出現(xiàn)和消失時在泡沫表面產(chǎn)生的反射和陰影之間的差異以及泡沫速度信息來判斷崩塌氣泡。該方法檢測精度受氣泡形變和光照的影響，形變氣泡的亮點和高亮邊緣易被誤檢。陳良琴等人[7]首先通過閾值分割法和分水嶺提取相鄰兩幀氣泡亮點區(qū)域和氣泡個體區(qū)域，然后根據(jù)氣泡破裂合并的內(nèi)在特點提取變化特征，最后將支持向量機引入，得到氣泡穩(wěn)定度數(shù)據(jù)；Nakhaei等人[8]研究了浮選操作條件對泡沫表面外觀特征的影響，使用分水嶺分割技術(shù)計算泡沫氣泡的大小，并通過分析連續(xù)幀和檢測氣泡中心的移動和變化率來計算泡沫速度和穩(wěn)定性。

目前，對浮選泡沫紅外圖像處理的研究較少，本文對泡沫表面紅外熱成圖像后發(fā)現(xiàn)，新生成和崩塌的氣泡會產(chǎn)生高溫，可通過對紅外圖像中高溫區(qū)域目標分割以實現(xiàn)新生成或者崩塌氣泡的提取，為后續(xù)氣泡的穩(wěn)定性、崩塌力檢測提供良好基礎(chǔ)。目前紅外圖像的分割方法較多，邵磊等人[9]先通過經(jīng)典單閾值分割將泡沫紅外圖像劃分為背景和目標兩部分，再選取目標灰度及平均值為圖像做二維雙閾值分割，能有效提取出目標，但抗噪性較差。圖像顯著性檢測被廣泛應(yīng)用于圖像分割、目標識別與追蹤等領(lǐng)域。Bi等人[10]提出利用顯著性映射將空間信息融合到傳統(tǒng)的GMM中進行圖像分割，能準確標識目標且很大程度上提高了目標分割的精度。Peng等人[11]綜合測地距離、外觀重疊信息和邊緣信息，提出自適應(yīng)調(diào)整各個約束項的交互式圖割方法，節(jié)省了實驗工作量，優(yōu)化了分割效果，但是需要手動選取前景和背景，不適用于工業(yè)生產(chǎn)領(lǐng)域。廖苗等人[12]基于自適應(yīng)分段非線性增強構(gòu)建圖割能量函數(shù)，實現(xiàn)自動分割，并采用形態(tài)學開操作對分割結(jié)果進行優(yōu)化，將其中錯誤分割區(qū)域剔除，提高分割正確率，且綜合分割性能優(yōu)于現(xiàn)有多種算法。泡沫紅外圖像存在分辨率和對比度低缺陷，噪聲干擾嚴重，氣泡邊緣的高溫區(qū)域模糊，圖像單尺度下的分割精度不高。近年來,多尺度幾何分析的發(fā)展為圖像分析處理開辟了新的研究方向,非下采樣Shearlet變換(NSST)[13]不僅繼承了NSCT的變換特性，而且具備運算效率高、分解方向不受限制等特質(zhì)，已應(yīng)用于圖像分割[14]，并取得較好的分割效果。

本文提出一種結(jié)合NSST域圖像顯著性區(qū)域的標識定位及圖割的泡沫紅外圖像分割方法。首先，通過非下采樣Shearlet變換(NSST)將泡沫紅外圖像分解為低頻子帶和多尺度高頻子帶；其次，采用GBVS算法對低頻子帶圖像進行顯著性檢測，得到顯著性值和視覺顯著圖；然后，對各個高頻方向子帶系數(shù)計算閾值和尺度相關(guān)系數(shù)，去除噪聲系數(shù)和非線性增強邊緣、弱邊緣系數(shù)；最后，結(jié)合NSST域視覺顯著性進行圖割：NSST重構(gòu)后結(jié)合圖像顯著值和亮度特征構(gòu)造包含區(qū)域項和邊界項的能量函數(shù)，再利用最大流/最小割算法求解能量函數(shù)的最小值進行目標分割，提取新生成的和崩塌的氣泡并計算分割精度。

2 NSST域顯著性檢測及增強去噪

2.1 泡沫紅外圖像的NSST分解

非下采樣Shearlet變換(NSST)包括多尺度分解和多方向分解兩部分，是對NSCT的優(yōu)化改進。NSCT繼承了Contourlet變換的多尺度多方向及良好的空域和頻域特性[15]，但是運算效率不高，不適用于對實時性要求高的場合。針對NSCT存在的缺點，Easley等人[16]提出了NSST，與NSCT相比，運行時間短，能夠滿足實時性要求。NSST具有多尺度多方向、平移不變的變換特性，而且運算效率高。泡沫圖像通過k級非下采樣金字塔(NSP)多尺度分解后，得到k+1個子帶圖像，其中包括1個低頻圖像和k個尺度不同的高頻圖像。對多尺度分解后子帶圖像進行l(wèi)級多方向分解，分解為2l+2個方向子帶圖像，NSST方向分解采用Shear濾波器保證圖像不失真，使圖像具有平移不變性，并有效抑制偽吉布斯效應(yīng)。

根據(jù)非下采樣Shearlet變換(NSST)特有的優(yōu)勢，可將其運用到氣泡檢測中，低頻子帶圖像去除噪聲，提高氣泡亮點對比度，保留氣泡輪廓信息，留下顯著性的高溫區(qū)域，有利于定位新生成的和崩塌的氣泡；高頻子帶圖像包含氣泡的邊緣、紋理特征，能有效估算崩塌位置和范圍進行分割，以提高算法整體的魯棒性。原圖像經(jīng)過NSST變換分解后的低頻圖像和高頻圖像如圖1所示。

圖1 氣泡圖像多尺度變換Fig.1 Multiscale transform of bubble images

2.2 低頻子帶圖像顯著性檢測

視覺顯著性檢測[17]是指通過智能算法模擬人的視覺特點，獲取圖像中局部視覺特征突出的顯著區(qū)域，即自動選擇感興趣的區(qū)域進行處理，忽略不感興趣的區(qū)域。顯著性檢測在應(yīng)用于提取顯著目標區(qū)域時，普遍采用閾值的分割方法缺乏廣泛適用性。本文在Graph cuts框架下，融入低頻子帶圖像的顯著性檢測，有效估計泡沫紅外圖像的前景與背景，將資源集中處理圖像中最能引起用戶興趣、表現(xiàn)圖像內(nèi)容的區(qū)域，減少計算量，提高信息處理效率和通用性。

顯著性檢測中的GBVS算法是對ITTI算法的優(yōu)化改進，特征提取方法與ITTI一致，且生成的顯著圖有利于閾值分割。本文采用GBVS算法對低頻子帶圖像進行顯著性檢測，引入馬爾可夫鏈[18]計算特征差異得到顯著性值，并通過歸一化顯著值和合并多個激活圖生成視覺顯著圖。從NSST分解后的低頻子帶圖像中提取亮度和方向視覺信息分別對應(yīng)的特征矩陣，獲得圖像尺寸為n×n的特征圖。依次以特征圖為輸入，計算相應(yīng)的激活圖。對于特征圖或者原圖，用馬爾可夫的方法來定義一個像素(i,j)和其領(lǐng)域的不同，并要求(i,j)對應(yīng)于激活圖中的位置處要有較高的值。我們需要構(gòu)造一個圖，首先以特征圖中的一個像素作為圖中的一個節(jié)點，然后根據(jù)像素點間的灰度值相似度和像素點位置間的歐氏距離作為連接權(quán)值，將每個像素點兩兩連接，構(gòu)成一個有向全連接的圖GA，從節(jié)點(i,j)和節(jié)點(p,q)的連接權(quán)重表示從某一節(jié)點(i,j)出發(fā)訪問到另一節(jié)點(p,q)的概率，定義為：

W((i,j),(p,q))=d((i,j)||(p,q))·
D(i-p,j-q)，

(1)

式中，G(i,j)和G(p,q)分別代表節(jié)點(i,j)和節(jié)點(p,q)的特征，兩者差異的具體衡量公式為：

(2)

D(i-p,j-q)表示節(jié)點(i,j)和節(jié)點(p,q)位置間的歐式距離，計算公式為：

(3)

在有向全連接圖GA上定義一個馬爾可夫鏈，因為馬爾可夫鏈中轉(zhuǎn)移概率矩陣具有從一個節(jié)點到其他所有節(jié)點的轉(zhuǎn)移概率之和必須為1的性質(zhì)，所以對連接權(quán)重進行歸一化，每一個連接權(quán)重都乘以一個系數(shù)使得總和為1，形成馬爾可夫狀態(tài)轉(zhuǎn)移矩陣。并將節(jié)點作為馬爾可夫鏈的狀態(tài)，邊權(quán)重作為馬爾可夫鏈中狀態(tài)的轉(zhuǎn)移概率。權(quán)值越大，轉(zhuǎn)移概率越大，節(jié)點視覺特征差異越大的點越顯著。根據(jù)多次迭代馬爾可夫轉(zhuǎn)移矩陣達到的馬爾可夫鏈平穩(wěn)分布對節(jié)點進行計算獲得顯著值。最后把每個特征的激活圖進行歸一化并相加，得到視覺顯著圖。

2.3 高頻子帶增強及去噪

(4)

(5)

(6)

(7)

(8)

(9)

(10)

3 基于顯著性檢測結(jié)果的圖割方法

視覺顯著性檢測是指通過智能算法模擬人的視覺特點，獲取圖像中局部視覺特征突出的顯著區(qū)域，即自動選擇感興趣的區(qū)域進行處理，忽略不感興趣的區(qū)域。顯著性檢測在應(yīng)用于提取顯著目標區(qū)域時，普遍采用閾值的分割方法缺乏廣泛適用性。本文在Graph cuts框架下，融入低頻子帶圖像的顯著性檢測，有效估計泡沫紅外圖像的前景與背景，將資源集中處理圖像中最能引起用戶興趣、表現(xiàn)圖像內(nèi)容的區(qū)域，減少計算量，提高信息處理效率和通用性。

融合各個尺度下的細節(jié)，對多尺度高頻子帶做增強和去噪處理后進行NSST重構(gòu)，并對該重構(gòu)圖像進行圖割。提取出圖像的區(qū)域特征與邊界特征并將二者融合，在此基礎(chǔ)上建立的模型即為圖割算法模型，具有全局最優(yōu)性，且在一定程度上解決了過分割或分割不足的問題。構(gòu)造一個包含區(qū)域項和邊界項的能量函數(shù)，把圖像映射成一個帶權(quán)圖G=(V,E)，V和E分別是頂點和邊的集合，圖割的能量函數(shù)構(gòu)建為：

(11)

為了突出泡沫紅外圖像中高溫區(qū)域表示的新生成和崩塌的氣泡，本文采用基于高斯擬合的氣泡亮度模型，氣泡亮度模型構(gòu)建公式為：

(12)

式中：I為圖像亮度，氣泡亮度范圍為[IL,IH]，參數(shù)k用于氣泡亮度模型中新生成和崩塌的氣泡與背景的對比度調(diào)節(jié)，k取1.5。亮度模型fI要進行各向異性濾波并歸一化到[0,1]之間。

對泡沫紅外圖像中的顯著性區(qū)域進行高斯擬合，運用高斯函數(shù)擬合其亮度分布，來獲取氣泡亮度范圍[IL,IH]，公式表示為：

(13)

Ip表示像素點p的亮度值，F(xiàn)I(fp)為亮度約束項，定義如下：

(14)

僅依賴亮度特征的區(qū)域項會出現(xiàn)不是目標的區(qū)域也被提取分割的現(xiàn)象。為彌補亮度特征判斷不足所產(chǎn)生的干擾結(jié)果，本文加入顯著性約束項，區(qū)域顯著值較大的被判定為目標；反之，判定為背景。

(15)

(16)

(17)

(18)

(19)

圖割能量函數(shù)中的邊界項用B(fp,fq)表示，公式為：

(20)

(21)

式中：Ip、Iq分別表示像素點p和像素點q的亮度值，d(p,q)為像素p和q之間的歐氏距離，SP為像素集P的像素總數(shù)。如果鄰域像素p和q越相似，那么B(fp,fq)越大；如果兩者存在很大差異，那么B(fp,fq)逼近于0，即能量越小，它們處于目標和背景的邊緣部分的可能性很大，則有較大可能被分割。

(5)單位面積吸能S(Unit area energy absorption)，定義為結(jié)構(gòu)壓潰前的總吸能E與承載面積A之比，見式(4)：

4 算法流程與步驟

綜上分析，本文泡沫紅外圖像的NSST域分割算法流程圖如圖2所示，具體實現(xiàn)步驟如下：

Step1：攝像機實時采集浮選槽表面的泡沫紅外圖像，并將圖像傳輸給后臺處理主機。

Step2：對泡沫紅外圖像進行NSST多尺度分解，得到1個低頻圖像和k個尺度不同的高頻子帶，各尺度高頻子帶再分解為l個方向子帶。

Step3：采用GBVS算法對低頻子帶圖像進行顯著性檢測，引入馬爾科夫鏈計算特征差異得到顯著性值，并通過歸一化顯著值和合并多個激活圖生成視覺顯著圖。

圖2 泡沫紅外圖像分割流程圖Fig.2 Flow chart of foam infrared image segmentation

Step5：結(jié)合NSST域視覺顯著性進行圖割，首先，融合各個尺度下的細節(jié)，并對增強和去噪處理后的多尺度高頻子帶、低頻子帶圖像進行NSST重構(gòu)，得到增強及去噪后的泡沫紅外圖像；然后，結(jié)合圖像顯著值和亮度特征構(gòu)造一個包含區(qū)域項和邊界項的能量函數(shù)；最后，利用最大流/最小割算法求解能量函數(shù)的最小值，得到分割結(jié)果。

5 實驗結(jié)果與分析

為驗證本文所提出的泡沫紅外圖像分割算法的有效性，以福建金東礦業(yè)股份有限公司的鉛礦浮選廠泡沫紅外圖像作為實驗測試對象，實驗的硬件平臺為Intel(R) Core(TM) i5-4260U CPU@1.40 GHz 2.00 GHz、4.00 GB RAM,運行環(huán)境為Windows 7+MATLAB 2017a。通過大量實驗對所提方法進行驗證，給出了各實驗步驟的結(jié)果及分析，并與現(xiàn)有方法進行了結(jié)果比較分析。

在完成圖像分割任務(wù)之后，需要對分割結(jié)果進行性能評估。一般采用的指標是IOU和假陽性率，公式為：

(22)

(23)

式中: TP為標準割和算法分割結(jié)果相交部分，F(xiàn)N為標準割減去TP部分，F(xiàn)P為算法分割結(jié)果減去TP部分，分割結(jié)果與標準割比較示意圖如圖3所示。

圖3 分割結(jié)果與標準割比較示意圖Fig.3 Comparison of segmentation results map with standard segmentation map

實驗1為泡沫紅外圖像分割實驗結(jié)果及對比。對浮選泡沫紅外圖像(見圖4(a))進行NSST分解，得到低頻子帶圖像(見圖4(b))和多尺度高頻子帶，其中高頻尺度1如圖4(c)所示、高頻尺度2如圖4(d)所示。對低頻子帶圖像進行GBVS顯著性檢測，GBVS圖如圖4(e)所示，顯著部分如圖4(f)所示，圖中點表示顯著部分的質(zhì)心。融合各個尺度下的細節(jié)，并對增強和去噪處理后的多尺度高頻子帶、低頻子帶圖像進行NSST重構(gòu)，得到增強及去噪后的泡沫紅外圖像如圖4(g)所示。最后對圖像進行圖割操作，分割結(jié)果如圖4(h)所示。

若采用直接對泡沫紅外圖像進行GBVS顯著性檢測，不在NSST低頻子帶圖像下進行顯著性檢測，GBVS圖如圖4(i)所示，而后進行圖割得到結(jié)果如圖4(j)所示，容易分割出非目標區(qū)域，分割精度較低。若沒有對多尺度高頻子帶先進行增強去噪處理再圖割，分割結(jié)果如圖4(k)所示，目標區(qū)域邊緣雜亂，精確度不高。泡沫紅外圖像標準割如圖4(l)所示。

圖4 本文分割算法的實驗結(jié)果及對比Fig.4 Experimental results and comparison of the segmentation algorithm in this paper

將本文分割算法與傳統(tǒng)分割算法相比較，區(qū)域生長算法分割結(jié)果如圖4(m)所示，分割存在區(qū)域空洞和邊緣模糊問題。分水嶺算法分割結(jié)果如圖4(n)所示，分割精度有所提高，但缺乏邊緣平滑。閾值分割算法分割結(jié)果如圖4(o)所示，分割速度較快但精度不高。K聚類算法分割結(jié)果如圖4(p)所示，分割后的圖像輪廓清晰，但是完整度較低。

實驗2 為驗證本文算法在紅外圖像下具有較好的抗噪聲性能，對浮選泡沫紅外圖像疊加了均值為0，方差為10%的高斯白噪聲，結(jié)果如圖5(f)所示，并與現(xiàn)有文獻方法和原始泡沫紅外圖像各文獻分割算法進行結(jié)果比較分析。各方法分割結(jié)果如圖5所示。用IOU和假陽性率對分割結(jié)果進行性能評估，驗證本文分割算法的精確度和有效性，各算法的實驗數(shù)據(jù)統(tǒng)計如表1所示。

圖5 加噪泡沫紅外圖像分割算法的對比Fig.5 Comparison of noise foam infrared image segmentation algorithms

表1 加噪泡沫紅外圖像分割結(jié)果比較Tab.1 Comparison of noised foam infrared image segmentation results

實驗3 為驗證本文算法在不同工況下，不同大小、個數(shù)和類型的氣泡圖像具有普遍性。對采集的100張256×256浮選泡沫熱成像圖，分別運用文獻[9]、文獻[10]、文獻[12]及文中算法進行分割，為了定量比較分割效果，選取有代表性的欠浮選、正常浮選、過浮選圖像進行試驗，試驗結(jié)果如圖6所示，計算分割后圖像的IOU、假陽性率，及算法的平均運行時間，各算法的性能統(tǒng)計結(jié)果如表2所示。

圖6 3種浮選紅外圖像分割算法的對比Fig.6 Comparison of three flotation infrared image segmentation algorithms

表2 3種浮選紅外圖像分割結(jié)果比較Tab.2 Comparison of segmentation results of three flotation infrared images

實驗數(shù)據(jù)表明：區(qū)域生長分割算法、閾值分割算法、文獻[9]和文獻[12]易受光照和運動形變影響，造成分割區(qū)域有空洞、分割出非目標區(qū)域，精確度較低。分水嶺分割算法存在邊界模糊問題且受限于分割參數(shù)的選取，存在一定的誤差。K聚類算法分割一定程度上解決了過分割和欠分割現(xiàn)象，分割后的圖像目標輪廓清晰，但精度仍較低。文獻[10]能準確識別目標，分割精度較其他方法有一定提高。本文方法受影響小，分割精度較高，且在噪聲較大的紅外圖像下，閾值分割算法、K聚類算法、文獻[9]和文獻[12]的分割精度急劇下降，而本文方法仍保持較高精度，有較好的抗噪性。各算法的平均運行時間統(tǒng)計如表2所示，本文分割方法的運行時間較長，是現(xiàn)有文獻方法的2～3倍，但本文方法能準確識別目標，精確分割出新生成或崩塌的氣泡，與實際氣泡的邊界較吻合，抗噪性好，分割精度高。

實驗4 為了進一步檢測新合成或崩塌氣泡提取方法的性能，選取正常浮選氣泡圖像、欠浮選氣泡圖像、過浮選氣泡圖像各50幅作為實驗對象進行定量對比。采用差異法對提取結(jié)果進行性能評估，采用的指標為氣泡檢測效率RD及準確率TC，公式為：

(24)

(25)

式中:Pn為專家人工標記的氣泡數(shù)量，Py為各方法提取到的氣泡數(shù)量，Pt為各方法檢測正確的氣泡數(shù)量，新合成或崩塌氣泡提取結(jié)果性能分析如表3所示。

將本文方法與改進分水嶺分割、文獻[9]、文獻[10]和文獻[12]等分割方法的運行時間進行比較，運行時間表見表2。

根據(jù)表3結(jié)果分析，對于正常浮選氣泡圖像，4種方法都呈現(xiàn)出較高的檢測效率和準確率，且相差不大。對于欠浮選氣泡圖像，文獻[6]檢測精度受氣泡形變和光照的影響，氣泡的亮點和高亮邊緣易被誤檢，文獻[7]和文獻[8]對小氣泡會造成誤檢誤分割，導致檢測效率和準確率下降，而本文方法一定程度上提高了分割提取精度，抑制了檢測效率和準確率下降。對于過浮選氣泡圖像，文獻[6]存在過分割，文獻[7]和文獻[8]方法受氣泡形變影響而造成誤識別，檢測效率和準確率不高，而本文方法受影響小，提取精度高。綜上分析，本文方法用于檢測新生成和崩塌的氣泡，表現(xiàn)出較高的檢測效率和準確率，在不同浮選工況下均表現(xiàn)出良好的魯棒性，滿足浮選生產(chǎn)在線檢測和動態(tài)變化需求。

表3 新合成或崩塌氣泡提取結(jié)果性能分析Tab.3 Performance analysis of extraction results of newly synthesized or collapsed bubbles

6 結(jié) 論

針對浮選泡沫紅外圖像目標邊界模糊、噪聲影響導致圖像分割困難的問題，提出一種結(jié)合非下采樣Shearlet變換(NSST)域顯著性檢測及圖割的泡沫紅外圖像分割方法。采用泡沫紅外圖像進行崩塌和新合成氣泡的分割，受光照影響很小，抗干擾能力強；在NSST域下進行多尺度多方向的高頻子帶增強及去噪，減少了噪聲影響，保留更多的氣泡輪廓信息、邊緣及紋理特征，有利于提高邊緣區(qū)域的分割精度；在Graph cuts框架下，融入高斯擬合的氣泡亮度模型和低頻子帶圖像的顯著性檢測，有利于準確估計泡沫紅外圖像的目標區(qū)域與背景，減少了過分割和欠分割現(xiàn)象，提高了分割精度。實驗結(jié)果表明，本文算法較現(xiàn)有文獻方法相比，受光照影響小,能有效對目標區(qū)域進行分割，一定程度上解決了過分割和欠分割問題。正常浮選檢測準確率為91.8%，欠浮選為87.1%，過浮選為88.9%。分割精度有明顯提高，能更加準確地對新生成和崩塌的氣泡進行檢測，且表現(xiàn)出良好的抗噪性，在不同工況下均表現(xiàn)出良好的魯棒性，適用于浮選生產(chǎn)檢測。