馬愛(ài)蓮，徐德剛，謝永芳，陽(yáng)春華，桂衛(wèi)華

?

基于復(fù)雜網(wǎng)絡(luò)時(shí)空特性的泡沫圖像動(dòng)態(tài)紋理特征分析

馬愛(ài)蓮，徐德剛，謝永芳，陽(yáng)春華，桂衛(wèi)華

（中南大學(xué)信息科學(xué)與工程學(xué)院，湖南長(zhǎng)沙 410083）

基于機(jī)器視覺(jué)的浮選過(guò)程監(jiān)控方法已經(jīng)被廣泛應(yīng)用于浮選過(guò)程中，泡沫表面紋理特征是過(guò)程監(jiān)控的關(guān)鍵視覺(jué)特征之一。當(dāng)前靜態(tài)紋理特征只能從空間維度描述圖像特征，在時(shí)間維度上刻畫(huà)圖像序列的內(nèi)在變化特性存在不足，不能準(zhǔn)確反映浮選泡沫浮選過(guò)程動(dòng)態(tài)特性。提出了基于復(fù)雜網(wǎng)絡(luò)時(shí)空特性的泡沫圖像序列動(dòng)態(tài)紋理特征方法。通過(guò)將每幀圖像的像素點(diǎn)映射到網(wǎng)絡(luò)各節(jié)點(diǎn)，利用鄰接矩陣建立復(fù)雜網(wǎng)絡(luò)模型和網(wǎng)絡(luò)權(quán)值動(dòng)態(tài)演化反應(yīng)不同時(shí)刻的圖像特征，基于復(fù)雜網(wǎng)絡(luò)時(shí)空特性提取泡沫圖像序列的動(dòng)態(tài)紋理特征。結(jié)合實(shí)際生產(chǎn)數(shù)據(jù)進(jìn)行仿真驗(yàn)證，實(shí)驗(yàn)結(jié)果表明該方法可準(zhǔn)確識(shí)別浮選動(dòng)態(tài)狀況，為浮選生產(chǎn)過(guò)程的實(shí)時(shí)調(diào)節(jié)提供重要的指導(dǎo)信息。

浮選；紋理特征；復(fù)雜網(wǎng)絡(luò)；動(dòng)態(tài)建模；過(guò)程控制

引 言

近年來(lái)，在選礦領(lǐng)域中，由于通過(guò)人工觀察浮選槽表面泡沫顏色、尺寸等視覺(jué)特征進(jìn)行操作，浮選現(xiàn)場(chǎng)環(huán)境惡劣復(fù)雜，勞動(dòng)強(qiáng)度大，存在主觀隨意性，導(dǎo)致工況波動(dòng)大[1]。因此，以泡沫浮選視覺(jué)特征作為機(jī)器視覺(jué)監(jiān)控對(duì)象，實(shí)現(xiàn)對(duì)礦物的自動(dòng)優(yōu)化過(guò)程監(jiān)控成為研究熱點(diǎn)并已廣泛應(yīng)用于實(shí)際生產(chǎn)中。

泡沫圖像表面紋理特征[2-4]主要用來(lái)表征浮選泡沫表面的均勻與光滑程度，與泡沫層表面的帶礦水平密切相關(guān)。紋理在浮選泡沫視覺(jué)特征中至關(guān)重要。目前已有諸多學(xué)者對(duì)泡沫圖像的紋理特征進(jìn)行研究。國(guó)外，Moolman等[5]通過(guò)提取浮選泡沫圖像表面紋理特征（熵、能量及慣性矩等）對(duì)浮選泡沫狀態(tài)進(jìn)行研究。Bartlacci等[6]分析了3種泡沫紋理特征的提取方法，對(duì)泡沫圖像紋理特征進(jìn)行提取，但結(jié)果并不理想。Kaartinen等[7]提取了泡沫灰度直方信息，再利用FFT計(jì)算功率譜數(shù)據(jù)，并提取了紋理特征信息，然而此方法計(jì)算量大、準(zhǔn)確度不高，不適合實(shí)際應(yīng)用。國(guó)內(nèi)，劉金平等[8]研究了基于Gabor小波的浮選泡沫圖像紋理特征提取方法，程翠蘭等[9]分析了基于模糊紋理譜的浮選泡沫圖像的紋理特征提取方法，Xu等[10]通過(guò)復(fù)雜網(wǎng)絡(luò)對(duì)礦物浮選泡沫圖像的紋理特征進(jìn)行提取和分類(lèi)，Yang等[11]分別采用改進(jìn)分水嶺以及谷底邊緣檢測(cè)等方法分割泡沫圖像提取特征信息。但這些方法都是提取靜態(tài)圖像特征分析，未考慮紋理的動(dòng)態(tài)性。

實(shí)際上，浮選泡沫不僅在單幀圖像上表現(xiàn)豐富的紋理特征，在時(shí)間域上也存在某些紋理特征即動(dòng)態(tài)紋理特征。動(dòng)態(tài)紋理特征是指描述某種動(dòng)態(tài)景觀，具有時(shí)間相關(guān)序列的某些重復(fù)相似特征，可以看做自相似性在時(shí)空域的延伸。相對(duì)于靜態(tài)紋理特征，引入動(dòng)態(tài)紋理特征更能綜合客觀反映浮選泡沫在實(shí)際生產(chǎn)過(guò)程的一段時(shí)間上的變化規(guī)律。文獻(xiàn)[12]將復(fù)雜網(wǎng)絡(luò)模型提取動(dòng)態(tài)紋理特征應(yīng)用于圖像分類(lèi)識(shí)別中；文獻(xiàn)[13]提出時(shí)空分形分析方法對(duì)動(dòng)態(tài)紋理進(jìn)行描述與分類(lèi)；文獻(xiàn)[14]將圖像動(dòng)態(tài)紋理特征應(yīng)用于氣固流化床流型識(shí)別，識(shí)別率高達(dá)98%；文獻(xiàn)[15]研究了礦物圖像序列動(dòng)態(tài)特征提取如浮選泡沫流動(dòng)速度、泡沫穩(wěn)定度等，初步實(shí)現(xiàn)了浮選泡沫特征實(shí)時(shí)提取與泡沫狀態(tài)的量化表示。因此，泡沫圖像的動(dòng)態(tài)紋理特征對(duì)客觀反映泡沫浮選狀況非常具有指導(dǎo)意義。

在描述動(dòng)態(tài)紋理特征的模型上，最經(jīng)典的為Soatto等[16]建立在系統(tǒng)識(shí)別理論基礎(chǔ)上提出的線(xiàn)性動(dòng)力系統(tǒng)(LDS)模型，也是基于統(tǒng)計(jì)的模型，通過(guò)不斷學(xué)習(xí)提取模型參數(shù)，計(jì)算量比較大。最近的模型有光流場(chǎng)、基于時(shí)空方向能量、基于時(shí)空局部二值模式(VLBP)以及其拓展到3正交面局部二值模式。以上幾種動(dòng)態(tài)紋理特征提取方法其數(shù)學(xué)推導(dǎo)復(fù)雜以及學(xué)習(xí)參數(shù)獲取的計(jì)算代價(jià)較高，不能很好地捕捉圖像的結(jié)構(gòu)特性[17-18]，本文提出了一種基于復(fù)雜網(wǎng)絡(luò)時(shí)空模型的泡沫動(dòng)態(tài)紋理特征提取方法，根據(jù)時(shí)空聯(lián)合表達(dá)的能量、熵、集聚系數(shù)、時(shí)空紋理相關(guān)系數(shù)等表征量作為動(dòng)態(tài)紋理特征，初步反映泡沫浮選的動(dòng)態(tài)工況。

1 圖像的復(fù)雜網(wǎng)絡(luò)特征描述

近幾年來(lái)，復(fù)雜網(wǎng)絡(luò)理論模型在圖像分析與模式識(shí)別中已有初步應(yīng)用。例如，Wu等[19]提出利用復(fù)雜網(wǎng)絡(luò)對(duì)基于局部維度的圖像邊緣進(jìn)行檢測(cè)。但用于工業(yè)過(guò)程圖像分析還未有報(bào)道。

1.1 復(fù)雜網(wǎng)絡(luò)拓?fù)浔硎?/p>

復(fù)雜網(wǎng)絡(luò)[20-22]是基于圖的拓?fù)浣Y(jié)構(gòu)描述，任何一個(gè)網(wǎng)絡(luò)都可以看作一些節(jié)點(diǎn)[23]按某種方式連接在一起而構(gòu)成的一個(gè)系統(tǒng)，源于對(duì)研究哥尼斯堡七橋問(wèn)題的瑞士數(shù)學(xué)家歐拉開(kāi)創(chuàng)的圖論以及隨后的隨機(jī)圖理論的發(fā)展，奠定了對(duì)復(fù)雜網(wǎng)絡(luò)特性研究的基礎(chǔ)?，F(xiàn)實(shí)世界存在大量的復(fù)雜網(wǎng)絡(luò)，如計(jì)算機(jī)網(wǎng)絡(luò)、社會(huì)關(guān)系網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)等[24-25]。

一個(gè)具體的網(wǎng)絡(luò)可抽象為由點(diǎn)集和邊集組成的圖=(,)，其中頂點(diǎn)集合和邊的集合分別用()和()表示?；趫D的拓?fù)浔硎?，便?gòu)成4種不同拓?fù)浣Y(jié)構(gòu)的網(wǎng)絡(luò)，如圖1所示。

1.2 復(fù)雜網(wǎng)絡(luò)的特征度量

復(fù)雜網(wǎng)絡(luò)是基于圖的表示，延伸了圖的基本特征屬性，存在大量的特征描述，如度、最短路徑長(zhǎng)度以及聚集系數(shù)等[26-27]。復(fù)雜網(wǎng)絡(luò)中節(jié)點(diǎn)的度k定義為與該節(jié)點(diǎn)連接的邊的總數(shù)目。對(duì)于有向網(wǎng)絡(luò)，則分入度和出度。網(wǎng)絡(luò)中所有節(jié)點(diǎn)的度k的平均值稱(chēng)為網(wǎng)絡(luò)的平均度。節(jié)點(diǎn)的度可以表示個(gè)體的影響力和重要程度，度越大表示該節(jié)點(diǎn)在某種意義上越重要，越能影響其他節(jié)點(diǎn)乃至整個(gè)網(wǎng)絡(luò)的屬性。基于網(wǎng)絡(luò)節(jié)點(diǎn)的度可以提取網(wǎng)絡(luò)的相應(yīng)其他統(tǒng)計(jì)特性，在此只介紹重要的基本特征度量。

度分布是隨機(jī)網(wǎng)絡(luò)的一個(gè)重要統(tǒng)計(jì)特征，一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的度分布表示節(jié)點(diǎn)度的概率分布，記為()，其含義為在隨機(jī)一致性的原則下從網(wǎng)絡(luò)中任意選擇一個(gè)節(jié)點(diǎn)恰好度為的概率，等于復(fù)雜網(wǎng)絡(luò)中度為的節(jié)點(diǎn)所占的比例，另外，平均路徑長(zhǎng)度是指網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)之間的平均距離，其計(jì)算公式為

(2)

其中為所有節(jié)點(diǎn)的最大度，記為=max(())，()為度為的總數(shù)。d表示節(jié)點(diǎn)與節(jié)點(diǎn)之間的最短距離，即到之間的最短路徑所包含的邊數(shù)。平均路徑長(zhǎng)度反映了網(wǎng)絡(luò)中節(jié)點(diǎn)的分離程度，即網(wǎng)絡(luò)有多小。

另一個(gè)衡量網(wǎng)絡(luò)的集團(tuán)化程度的量為集聚系數(shù)，設(shè)第個(gè)節(jié)點(diǎn)有k條邊將它與其他節(jié)點(diǎn)相連，這k個(gè)節(jié)點(diǎn)之間最多可能有k(k-1)/2條邊。而這k個(gè)節(jié)點(diǎn)實(shí)際存在的邊數(shù)E和總的可能邊數(shù)之比就定義為節(jié)點(diǎn)的集聚系數(shù)C，整個(gè)網(wǎng)絡(luò)的平均集聚系數(shù)即為各個(gè)節(jié)點(diǎn)的集聚系數(shù)平均值，反映了網(wǎng)絡(luò)的聚集程度，即網(wǎng)絡(luò)的集團(tuán)化程度、內(nèi)聚傾向。C、的計(jì)算公式為

1.3 圖像的復(fù)雜網(wǎng)絡(luò)描述

將復(fù)雜網(wǎng)絡(luò)在圖像處理中建模框圖如圖2所示。

2 基于復(fù)雜網(wǎng)絡(luò)時(shí)空特性的動(dòng)態(tài)紋理特征提取

本文基于灰度圖像矩陣進(jìn)行復(fù)雜網(wǎng)絡(luò)建模，對(duì)已獲取的浮選泡沫視頻的幀序列進(jìn)行處理，首先將RGB圖像(x×y×3)灰度化得到灰度圖像(,)，再濾波處理。為便于后文描述，將各像素點(diǎn)n(x,y,t）與灰度值v映射對(duì)(n,v)，其中x,y為像素點(diǎn)n在一幀中的平面坐標(biāo)位置，t為幀的時(shí)間坐標(biāo)，即視頻序列幀編號(hào)，最后，一段視頻便存儲(chǔ)為所有像素點(diǎn)n(x,y,t）集合的三維空間存儲(chǔ)()，其值為灰度值；然后基于泡沫圖像像素點(diǎn)的灰度矩陣進(jìn)行復(fù)雜網(wǎng)絡(luò)建模；其次基于已建立的復(fù)雜網(wǎng)絡(luò)模型提取表征圖像序列的動(dòng)態(tài)紋理特征向量；最后對(duì)已提取的幀序列的特征向量根據(jù)歐式距離匹配進(jìn)行高低工況分類(lèi)實(shí)驗(yàn)，以驗(yàn)證本文方法的正確性。

2.1 基于灰度矩陣的復(fù)雜網(wǎng)絡(luò)時(shí)空建模

對(duì)應(yīng)于復(fù)雜網(wǎng)絡(luò)=(，)，其中為像素點(diǎn)n(x,y,t）的某種約束下的集合，記對(duì)應(yīng)的節(jié)點(diǎn)為n，即={n}，為對(duì)應(yīng)n集合的邊集，其含義為節(jié)點(diǎn)n與n的連接邊權(quán)重e,nj，即={e,nj}。復(fù)雜網(wǎng)絡(luò)=(，)中，連邊e,nj的約束定義為

(5)

基于傳統(tǒng)復(fù)雜網(wǎng)絡(luò)的度量為節(jié)點(diǎn)的度，其節(jié)點(diǎn)的度K(n)定義為

式（5）中閾值為演化規(guī)則函數(shù)的求值。利用函數(shù)=fun(,0,d,,min,max)，其中代表取整數(shù)的演化時(shí)刻序列，d代表演化步進(jìn)，min,max分別代表網(wǎng)絡(luò)中設(shè)定的最小域值、最大域值，代表設(shè)定的歐式距離閾值。其函數(shù)內(nèi)容表達(dá)式如下

(7)

式中，網(wǎng)絡(luò)中設(shè)定的min、max分別在幀內(nèi)復(fù)雜網(wǎng)絡(luò)中和幀間復(fù)雜網(wǎng)絡(luò)中的權(quán)值求取最小值和最大值，從物理意義上講，即時(shí)空維度分離求取。幀內(nèi)的權(quán)值分布體現(xiàn)一幅浮選泡沫圖像的內(nèi)部分布信息，幀間的權(quán)值分布體現(xiàn)兩幅浮選泡沫圖像的時(shí)間上的變化分布信息，因此需單獨(dú)分離提取，同步實(shí)現(xiàn)各自維度網(wǎng)絡(luò)的動(dòng)態(tài)演化。同一幀（t=t）的像素節(jié)點(diǎn)n(x,y,t）、n(x,y,t）之間的連邊權(quán)值e使用幀內(nèi)的權(quán)閾值約束，幀間像素節(jié)點(diǎn)使用幀間的權(quán)閾值約束。

對(duì)演化序列l(=1,2,…,N-1)中的N取值，在同一幀內(nèi)歐式距離約束下，對(duì)節(jié)點(diǎn)n(x,y,t），以該節(jié)點(diǎn)為中心的圓區(qū)域包含的節(jié)點(diǎn)數(shù)記為[p2]，它與該區(qū)域內(nèi)節(jié)點(diǎn)有′=[p2]-1條連邊，由于兩點(diǎn)共一條邊，從整個(gè)網(wǎng)絡(luò)角度，則該節(jié)點(diǎn)平均邊數(shù)為′/2。經(jīng)過(guò)網(wǎng)絡(luò)動(dòng)態(tài)演化，該節(jié)點(diǎn)的邊從0～′過(guò)程的最壞情況下的演化次數(shù)平均為′/2，即該網(wǎng)絡(luò)從最稀疏到恢復(fù)初始建立的規(guī)則網(wǎng)絡(luò)的平均演化次數(shù)為′/2，因此取N= N′/2。初始建立的規(guī)則三維網(wǎng)絡(luò)經(jīng)過(guò)演化后得到幀內(nèi)網(wǎng)絡(luò)和幀間網(wǎng)絡(luò)(時(shí)間維度)，如圖3所示。

2.2 圖像序列的動(dòng)態(tài)紋理特征提取

動(dòng)態(tài)紋理是描述某種動(dòng)態(tài)圖景，具有時(shí)間相關(guān)序列的某些重復(fù)相似特征，可看作自相似性在時(shí)空域的延伸，或靜態(tài)紋理在時(shí)間域上的擴(kuò)展，也可理解為在整個(gè)運(yùn)動(dòng)過(guò)程中，在空間域和時(shí)間域上都表現(xiàn)出耦合性的重復(fù)的patterns的集合[30]。本文根據(jù)動(dòng)態(tài)紋理的定義，結(jié)合復(fù)雜網(wǎng)絡(luò)的特性以及描述圖像靜態(tài)紋理特征在時(shí)空域的聯(lián)合表達(dá)，提取其能量、熵、集聚系數(shù)等特征向量來(lái)描述。

2.2.1 圖像紋理的網(wǎng)絡(luò)時(shí)空特征描述 根據(jù)式（8）和式（9）計(jì)算復(fù)雜網(wǎng)絡(luò)節(jié)點(diǎn)的空間度D(n)和時(shí)間度D(n)，再由式（1）分別計(jì)算空間度分布k(n)和時(shí)間度分布k(n)

(9)

根據(jù)k(n)和k(n)分別計(jì)算各自的幀內(nèi)空間能量和幀間時(shí)間維度能量

(11)

在空間維度上計(jì)算復(fù)雜網(wǎng)絡(luò)聚類(lèi)系數(shù)Cs，由于前面歐式距離的約束，節(jié)點(diǎn)只與其局部區(qū)域節(jié)點(diǎn)相連，為控制整個(gè)網(wǎng)絡(luò)的計(jì)算規(guī)模，采用局部分割統(tǒng)計(jì)表示整個(gè)復(fù)雜網(wǎng)絡(luò)的聚集程度。在歐式距離的約束下的局部區(qū)域計(jì)算節(jié)點(diǎn)的聚類(lèi)系數(shù)，節(jié)點(diǎn)為該局部區(qū)域的中心像素點(diǎn)，以距離為步進(jìn)，則一個(gè)×像素點(diǎn)的圖像在計(jì)算規(guī)模上降為2/2，記參與計(jì)算Cs的節(jié)點(diǎn)集合為，一幀網(wǎng)絡(luò)的平均聚集系數(shù)計(jì)算公式類(lèi)比定義為

在時(shí)間維度上，該幀圖像以節(jié)點(diǎn)n為中心在歐式距離約束區(qū)域下正投影到后一幀的區(qū)域建立隱射關(guān)系。

在圖4中，將前一幀的每個(gè)圓形區(qū)域與后一幀的隱射圓區(qū)域的像素點(diǎn)為計(jì)算對(duì)象。為便于數(shù)學(xué)表達(dá)，該區(qū)域的點(diǎn)數(shù)直接用面積表示即p2，則前后同一隱射區(qū)域的像素點(diǎn)之間最多連邊為2。記第幀和第+1幀以節(jié)點(diǎn)n為中心該區(qū)域的實(shí)際連邊數(shù)為ESi,fk+1，則相應(yīng)該節(jié)點(diǎn)n的聚集系數(shù)Ct及整個(gè)相鄰兩幀間網(wǎng)絡(luò)平均聚集系數(shù)為

對(duì)泡沫序列通過(guò)復(fù)雜網(wǎng)絡(luò)建模的空間和時(shí)間域的基本特征量已提取，后文中根據(jù)復(fù)雜網(wǎng)絡(luò)的動(dòng)態(tài)演化構(gòu)建每個(gè)時(shí)刻的特征向量。

圖4 兩幀之間的區(qū)域隱射

Fig.4 Area mapping between two frames

2.2.2 動(dòng)態(tài)紋理特征量刻畫(huà) 前面已闡述了動(dòng)態(tài)演化模型，對(duì)于每個(gè)演化時(shí)刻l(=1,2,…,N-1)，幀內(nèi)即空間維度上，度分布能量的各時(shí)刻對(duì)應(yīng)的量記為，則第f幀的能量演化向量為

第f幀內(nèi)平均聚集系數(shù)以及幀間平均聚集系數(shù)的演化向量為

(16)

則第f幀的特征向量為

一段視頻的特征向量為

(18)

式中，N為該段視頻獲取幀數(shù)。

為簡(jiǎn)化計(jì)算，初步檢測(cè)浮選泡沫的動(dòng)態(tài)變化狀況，對(duì)每幀只取各動(dòng)態(tài)演化時(shí)刻對(duì)應(yīng)特征量求和的平均值，即每幀所求的幀間時(shí)間維度和幀內(nèi)空間維度的度分布能量、熵、集聚系數(shù)。則第f幀動(dòng)態(tài)演化完后相應(yīng)量的計(jì)算模式為

(20)

同時(shí)還定義兩幀間的集聚相關(guān)系數(shù)(f,f+1)，即相關(guān)系數(shù)，衡量幀間的浮選泡沫分布的相似程度，計(jì)算范式

其具體含義為第幀與第+1幀時(shí)間維度上集聚系數(shù)與各自幀的自身映射集聚系數(shù)之比。

2.3 基于動(dòng)態(tài)紋理的生產(chǎn)工況變化趨勢(shì)分析

在泡沫圖像復(fù)雜網(wǎng)絡(luò)模型中，能量反映了像素點(diǎn)特征變化的頻率，能量大像素特征變化頻率低，紋理越粗糙，反之紋理越細(xì)膩；熵反映了復(fù)雜網(wǎng)絡(luò)中噪聲的強(qiáng)弱，即節(jié)點(diǎn)度分布的均勻程度，熵值大表示該網(wǎng)絡(luò)節(jié)點(diǎn)度分布不均勻，反之，表示節(jié)點(diǎn)度分布較均勻?？偠灾?，能量值小熵值大表明圖像紋理細(xì)膩，工況品位低；能量值大熵值小表明圖像紋理粗糙，工況品位高。

網(wǎng)絡(luò)的集聚系數(shù)刻畫(huà)了網(wǎng)絡(luò)中節(jié)點(diǎn)的聚集程度，即網(wǎng)絡(luò)有多密。在泡沫圖像復(fù)雜網(wǎng)絡(luò)模型中，網(wǎng)絡(luò)的集聚系數(shù)越大，該像素點(diǎn)與特定周?chē)鷧^(qū)域像素點(diǎn)灰度變化越小，在整個(gè)圖像上體現(xiàn)出相似泡沫集聚分布越多；反之，整體泡沫也就大小不均及越分散混亂。相比于能量體現(xiàn)的紋理粗細(xì)，它還能體現(xiàn)泡沫的集聚分布情況。

時(shí)間維度上能量和熵反映了泡沫隨時(shí)間的變化情況。時(shí)間維度上的能量越大熵越小，泡沫波動(dòng)就越小。時(shí)間維度的集聚系數(shù)反映泡沫在時(shí)間維度上的像素聯(lián)系緊密程度，系數(shù)越大，對(duì)應(yīng)投影區(qū)域內(nèi)的像素聯(lián)系越密切。相關(guān)系數(shù)越大，越能體現(xiàn)出幀間變化的有序特性，即兩幀的泡沫分布就越相似；反之，幀間泡沫變化越無(wú)序混亂，分布差異越大。

3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文復(fù)雜網(wǎng)絡(luò)建模方法的可行性。從浮選現(xiàn)場(chǎng)視頻中提取連續(xù)15幀圖像作為實(shí)驗(yàn)樣本，使用本文方法提取紋理特征，結(jié)果如圖5所示，對(duì)工況相近的圖像使用該方法提取的紋理特征指標(biāo)波動(dòng)幅度很小；從浮選監(jiān)控系統(tǒng)數(shù)據(jù)庫(kù)中隨機(jī)選擇120幅銻粗選泡沫圖像（每種工況圖像各30幅），紋理特征指標(biāo)分布如圖6所示，本文方法提取的不同工況泡沫層紋理特征有很強(qiáng)的區(qū)分性。上述兩個(gè)實(shí)驗(yàn)驗(yàn)證了復(fù)雜網(wǎng)絡(luò)提取紋理特征的可行性。

為了驗(yàn)證本文方法的有效性，在實(shí)際浮選現(xiàn)場(chǎng)采集了不同時(shí)間段不同工況的泡沫視頻進(jìn)行實(shí)驗(yàn),驗(yàn)證了本文提出的方法所獲得的動(dòng)態(tài)紋理特征度量可以有效反映識(shí)別浮選動(dòng)態(tài)狀況，以及對(duì)泡沫視頻序列進(jìn)行分類(lèi)辨識(shí)能夠獲得較好的結(jié)果。圖7以從本文所進(jìn)行的大量實(shí)驗(yàn)中隨機(jī)挑選的連續(xù)21幀圖像序列的實(shí)驗(yàn)結(jié)果為例，顯示了根據(jù)本文提出的算法提取的時(shí)間維度表征動(dòng)態(tài)紋理特征的度分布能量及熵值。

在圖7的實(shí)驗(yàn)結(jié)果中，黑色小圓圈標(biāo)記1、2處取3幀序列，分別對(duì)應(yīng)于圖8(a)、(b)所示的3幀連續(xù)泡沫圖像序列。

可以看出：圖8(a)和圖8(b)泡沫均向右移動(dòng)，圖8(a)與圖8(b)的后兩幀之間移動(dòng)幅度都比各自前兩幀之間移動(dòng)幅度大，因此導(dǎo)致能量減??；圖8(b)后兩幀移動(dòng)幅度比圖8(a)后兩幀之間移動(dòng)幅度更大，因此對(duì)應(yīng)于2處的下降趨勢(shì)比1處更大，從這個(gè)角度說(shuō)明時(shí)間維度上的能量變化趨勢(shì)正確地反映了泡沫視頻波動(dòng)程度。

從上述22幀泡沫序列中取連續(xù)3幀如圖9所示，對(duì)其進(jìn)行圖10、圖11具體實(shí)驗(yàn)結(jié)果分析。圖10為22幀泡沫序列的幀內(nèi)集聚系數(shù)，該圖中黑色圓圈標(biāo)記的點(diǎn)表示了圖9中連續(xù)3幀泡沫序列的幀內(nèi)集聚系數(shù)，從左到右，先減小后增大，整體上分析，即圖9(b)較圖9(a)的較大泡沫集聚緊密程度低，中間夾雜著較小的泡沫。而圖9(c)較圖9(b)泡沫小泡沫整體變大，中間夾雜的小泡沫數(shù)變少，較大泡沫集團(tuán)化程度高。

圖11為衡量幀間泡沫分布的相似程度提出的幀間聚集相關(guān)系數(shù)，從該圖看出，前兩幀[圖9(a)、(b)]之間相關(guān)系數(shù)比后兩幀[圖9(b)、(c)]之間相關(guān)系數(shù)小，表明前兩幀圖像泡沫分布相似度較后兩者小，與圖9所示一致。圖11的最后一個(gè)數(shù)據(jù)由于最后兩幀基本無(wú)異，所以其相關(guān)系數(shù)接近1，符合圖像特征。

綜上實(shí)驗(yàn)分析可以得出，本文采用復(fù)雜網(wǎng)絡(luò)模型提取泡沫圖像序列的動(dòng)態(tài)紋理特征基本能正確反映泡沫序列動(dòng)態(tài)變化狀況。以此定性特性為基礎(chǔ)，為驗(yàn)證本文所提出的時(shí)空特性動(dòng)態(tài)紋理特征對(duì)實(shí)際工況的識(shí)別效果，分別從泡沫視頻庫(kù)中選取典型低品位與高品位工況視頻圖像，如圖12所示，在以下實(shí)驗(yàn)中選取兩種工況圖像序列各10幀。

圖13中藍(lán)、黑色折線(xiàn)分別對(duì)應(yīng)低品位和高品位泡沫視頻序列的幀間相關(guān)系數(shù)，兩者區(qū)分明顯。圖14顯示了兩工況下時(shí)間維度的能量和熵變化；圖15顯示了兩工況下各自幀內(nèi)的能量和熵變化，兩者較圖13幀間相關(guān)系數(shù)差別較小，但仍可區(qū)分。

根據(jù)高、低品位的能量、熵、集聚系數(shù)、相關(guān)系數(shù)構(gòu)成的紋理特征向量[式(17)]，采用文獻(xiàn)[31]所述方法對(duì)幀序列的特征向量根據(jù)歐式距離匹配進(jìn)行分類(lèi)。因?yàn)椴蓸有蛄芯哂袝r(shí)間性，為保證準(zhǔn)確性，相鄰兩幀間關(guān)系最密切，即第+1幀與第幀進(jìn)行特征向量的歐式距離匹配，較高的歸為同一類(lèi)。從泡沫視頻庫(kù)中取典型低、高品位圖像序列各100幀，其識(shí)別結(jié)果見(jiàn)表1。

表1 兩種工況識(shí)別率

由表1得出，本文所建模型提取的紋理特征能較為準(zhǔn)確地識(shí)別高品位和低品位工況，并且引入動(dòng)態(tài)紋理能夠提升識(shí)別率，意味著提升了泡沫序列變化準(zhǔn)確辨識(shí)性，提升了反映動(dòng)態(tài)工況的準(zhǔn)確性。鑒于現(xiàn)有浮選泡沫視頻的工況質(zhì)量類(lèi)別缺乏統(tǒng)一的標(biāo)準(zhǔn)以及標(biāo)準(zhǔn)樣本庫(kù)。因此，本文未來(lái)將繼續(xù)對(duì)泡沫視頻的工況分類(lèi)識(shí)別進(jìn)行研究，并對(duì)品位界限不明顯的工況識(shí)別率進(jìn)行改進(jìn)。

4 結(jié) 語(yǔ)

本文提出將復(fù)雜網(wǎng)絡(luò)應(yīng)用于浮選泡沫圖像動(dòng)態(tài)紋理時(shí)空建模中，分別在時(shí)間維度和空間維度提取能量和熵的紋理特征度量，提出引入復(fù)雜網(wǎng)絡(luò)的集聚系數(shù)刻畫(huà)泡沫的集團(tuán)分布密集程度，利用特征描述特性類(lèi)比思想進(jìn)行了理論分析。采用邊權(quán)值進(jìn)行復(fù)雜網(wǎng)絡(luò)的動(dòng)態(tài)演化提取特征向量，為簡(jiǎn)化計(jì)算模型取其平均值作為特征度量描述泡沫圖像的動(dòng)態(tài)特性。實(shí)驗(yàn)提取了時(shí)空兩個(gè)維度的能量和熵、集聚系數(shù)，以及集聚相關(guān)系數(shù)作為動(dòng)態(tài)紋理特征。結(jié)果表明，該方法能初步正確反映幀間泡沫的動(dòng)態(tài)變化特性，同時(shí)符合理論特征描述，提升了泡沫圖像工況的辨識(shí)性，為將復(fù)雜網(wǎng)絡(luò)應(yīng)用于研究浮選泡沫視頻的動(dòng)態(tài)紋理特征提供了新思路。在后期的工作中，繼續(xù)研究復(fù)雜網(wǎng)絡(luò)其他特性以及泡沫浮選的其他動(dòng)態(tài)紋理特征，以此對(duì)泡沫浮選視頻工況更準(zhǔn)確地分類(lèi)識(shí)別。

References

[1] 趙洪偉, 謝永芳, 蔣朝輝, 等. 基于泡沫圖像特征的浮選槽液位智能優(yōu)化設(shè)定方法[J]. 自動(dòng)化學(xué)報(bào), 2014, 40(6): 1086-1097.Zhao H w, Xie Y f, JIANG C H,An intelligent optimal setting approach based on froth features for level of flotation cells[J]. Acta Automatica Sinica, 2014, 40(6): 1087-1097.

[2] 桂衛(wèi)華, 廖茜, 陽(yáng)春華, 等. 一種新的浮選泡沫圖像紋理特征提取方法[J]. 中國(guó)科技論文, 2012, 7(4): 277-281.Gui W h, Liao X, Yang C h,A new texture extraction method for flotation froth images[J]. China Science Paper, 2012, 7(4): 277-281.

[3] 李建奇. 礦物浮選泡沫圖像增強(qiáng)與分割方法研究及應(yīng)用[D]. 長(zhǎng)沙:中南大學(xué), 2013.Li J Q. Froth image enhancement and segmentation method and its application for mineral flotation[D]. Changsha: Central South University, 2013.

[4] 林霞. 浮選泡沫圖像紋理特征提取研究及應(yīng)用[D]. 長(zhǎng)沙: 中南大學(xué), 2013.Lin X. Research and application of flotation froth image texture extraction[D]. Changsha: Central South University, 2013.

[5] Moolman D W, Aldrich C. Digital image processing as a tool for on-line monitoring of froth in flotation plants[J]. Minerals Engineering, 1994, 7(9): 1149-1164.

[6] Bartolacci G, Pelletier P J, Tessier J J,Application of numerical image analysis to process diagnosis and physical parameter measurement in mineral processes(Ⅰ): Flotation control based on froth textural characteristics[J]. Minerals Engineering, 2006, 19(6/7/8): 734-747.

[7] Kaartinen J, Koivo H. Machine vision based measurement and control of zinc flotation circuit[J]. Studies in Informatics and Control, 2002, 11(1): 97-105.

[8] 劉金平, 桂衛(wèi)華, 牟學(xué)民, 等. 基于Gabor小波的浮選泡沫圖像紋理特征提取[J]. 儀器儀表學(xué)報(bào), 2010, 31(8): 1699-1775.Liu J p, Gui W h, Mu X m,Flotation froth image texture feature extraction based on Gabor wavelets[J]. Chinese J. Sci. Instrum., 2010, 31(8): 1699-1775.

[9] 程翠蘭, 陽(yáng)春華, 周開(kāi)軍, 等. 基于模糊紋理譜的浮選泡沫圖像紋理特征提取[J]. 礦業(yè)工程研究, 2009, 24(4): 62-66.Cheng C l, Yang C h, Zhou K j,Flotation froth image texture extraction method based on fuzzy texture spectrum[J]. Miner. Eng. Res., 2009, 24(4): 62-66.

[10] Xu D g, Chen X, Xie Y f,. Complex networks-based texture extraction and classification method for mineral flotation froth images[J]. Minerals Engineering, 2015, 83: 105-116.

[11] Yang C h, Xu C h, Mu X m,Bubble size estimation using interfacial morphological information for mineral flotation process monitoring[J]. Transactions of Nonferrous Metals Society of China, 2009, (3): 694-699.

[12] Wesley N G, Bruno B M, Odemir M B. A complex network approach for dynamic texture recognition[J]. Neurocomputing, 2015, 153: 211-220.

[13] Xu Y, Quan Y h, Zhang Z m,Classifying dynamic texturesspatiotemporal fractal analysis[J]. Pattern Recognition, 2015, 48(10): 3239-3248.

[14] 周云龍, 李瑩, 趙紅梅. 基于圖像動(dòng)態(tài)紋理特征的氣固流化床流型識(shí)別[J]. 化學(xué)工程, 2011, 39(12): 59-63.Zhou Y L, Li Y, Zhao H m. Flow regime identification of gas-solid fluidized bed based on images dynamic texture characteristics[J]. Chemical Engineering (China), 2011, 39(12): 59-63.

[15] 牟學(xué)民. 礦物浮選泡沫圖像序列動(dòng)態(tài)特征提取及工業(yè)應(yīng)用[D]. 長(zhǎng)沙: 中南大學(xué), 2012.Mu X m. Dynamic features extraction and its industrial application of mineral flotation froth image sequences[D]. Changsha: Central South University, 2012.

[16] DORETTO G, CREMERS D, FAVARO P,. Dynamic texture segmentation [C]// Proceedings of IEEE International Conference on Computer Vision, 2003, 2: 1236-1242

[17] Luo B, Hancock E R. Structural graph matching using the EM algorithm and singular value decomposition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2001, 23(10): 1120-1136.

[18] Gao X, Xiao B, Tao D,Image categorization: Graph edit distance+edge direction histogram[J]. Pattern Recognition, 2008, 41(10): 3179-3191.

[19] Wu Z x, Lu X, Deng Y. Image edge detection based on local dimension: a complex networks approach[J]. Physica A: Statistical Mechanics and Its Applications, 2015, 440: 9-18.

[20] Albert R, Barabási A. Statistical mechanics of complex networks[J]. Rev.Mod.Phys., 2002, 74(1): 47-97.

[21] 周濤, 柏文潔, 汪秉宏, 等. 復(fù)雜網(wǎng)絡(luò)研究概述[J]. 物理, 2005, 34(1): 31-36.Zhou T, Bai W j, Wang B h,A brief review of complex networks[J]. Physics, 2005, 34(1): 31-36.

[22] NEWMAN M E J. The structure and function of complex networks [J]. SIAM Review, 2003, 45(2): 167-256.

[23] TANG J, JIANG B, CHANG C C,. Graph structure analysis based on complex network [J]. Digital Signal Processing, 2012, 22(5): 713-725.

[24] 汪小帆. 復(fù)雜網(wǎng)絡(luò)理論及其應(yīng)用[M]. 北京: 清華大學(xué)出版社, 2006.Wang X f. Complex Networks Theory and Its Application[M]. Beijing: Tsinghua University Press, 2006.

[25] 郭雷. 復(fù)雜網(wǎng)絡(luò)[M]. 上海: 上?？萍冀逃霭嫔? 2006.Guo L. Complex Networks[M]. Shanghai: Shanghai Scientific and Technological Education Publishing House, 2006.

[26] Zitova B, Flusser J. Image registration methods: a survey[J]. Image Vision Computing, 2003, 21(11): 977- 1000.

[27] DaCosta L F, Rodrigues F A, Travieso G,Characterization of complex networks: a survey of measurements[J]. Advances in Physics, 2008, 56(1): 167-242.

[28] Zhang B, Zhou Y, Xu X,Dynamic structure evolution of time-dependent network[J]. Physica A Statistical Mechanics & Its Applications, 2016, 456: 347-358.

[29] Zhan C, Chi K T, Small M. A general model for studying time evolution of transition networks[J]. Understanding Complex Systems, 2016, 73: 373-393.

[30] 王勇, 胡士強(qiáng). 基于混沌特征的運(yùn)動(dòng)模式分割和動(dòng)態(tài)紋理分類(lèi)[J]. 自動(dòng)化學(xué)報(bào), 2014, 40(4): 604-614 WANG Y, HU S Q. Chaotic features for motion pattern segmentation and dynamic texture classification[J]. Acta Automatica Sinica, 2014, 40(4): 604-614.

[31] 湯進(jìn), 陳影, 江波, 等.基于復(fù)雜網(wǎng)絡(luò)的圖像建模與特征提取方法[J]. 計(jì)算機(jī)工程, 2013, 39(5): 244-247.Tang J, Chen Y, Jiang B,Image modeling and feature extraction method based on complex network[J]. Computer Engineering, 2013, 39(5): 244-247.

Analysisof dynamic texture features of floatation froth images based on space-time characteristics of complex networks

MA Ailian, XU Degang, XIE Yongfang, YANG Chunhua, GUI Weihua

(School of Information Science and Engineering, Central South University, Changsha 410083, Hunan, China)

Methods for monitoring flotation processes based on machine vision has been widely used, which surface texture feature of froths is one of the key visual parameters in process monitoring. Static texture features can only describe images in space dimensions but do not well describe inherent variation characteristics of the image sequence in time dimension, so they can not accurately reflect dynamic characteristics of froths in flotation process. An extraction and analysis method for dynamic texture features of flotation froth images was proposed on a basis of space-time characteristics of complex networks. After pixels of each image were mapped into nodes of complex networks, a complex network model was established by adjacent matrix. The image characteristics at different time were described by network-weighted dynamic evolution and dynamic texture characteristics of image sequences were obtained by the space-time characteristics of complex networks. Simulation results with actual production data showed that the method could accurately identify flotation dynamic conditions and provide guidance for instant regulation of flotation process.

flotation; texture features; complex network; dynamic modeling; process control

10.11949/j.issn.0438-1157.20161632

TQ 028.8

A

0438—1157（2017）03—1023—09

國(guó)家自然科學(xué)基金項(xiàng)目（61473319）；國(guó)家自然科學(xué)基金創(chuàng)新研究群體項(xiàng)目(61321003)；中南大學(xué)創(chuàng)新驅(qū)動(dòng)計(jì)劃項(xiàng)目(2016CX014)。

2016-11-18收到初稿，2016-11-19收到修改稿。

聯(lián)系人：徐德剛。第一作者：馬愛(ài)蓮（1992—），女，碩士研究生。

2016-11-18.

Prof. XU Degang, dgxu@csu.edu.cn

supported by the National Natural Science Foundation of China (61473319), the Foundation for Innovative Research Groups of National Natural Science Foundation of China (61321003) and the Innovation Research Funds of Central South University(2016CX014).