張艷彬， 李偉林

（1. 南京郵電大學(xué)圖像處理與圖像通信實(shí)驗(yàn)室，江蘇 南京 210003；2. 揚(yáng)州職業(yè)技術(shù)大學(xué)信息工程學(xué)院，江蘇 揚(yáng)州 225000）

顆粒是物質(zhì)經(jīng)破碎或分裂加工過程（自然或人為因素）所得到的一組或一批在形狀、體積線度等物化特性方面具有某種共同特征的粒狀物群體。隨著現(xiàn)代科學(xué)技術(shù)的發(fā)展，顆粒技術(shù)作為一門新興的邊緣學(xué)科，已深入到兵器、航空、航天、航海、化工、冶金、石油、煤炭、電力、輕工、環(huán)保、地質(zhì)、水利、醫(yī)藥、食品、氣象、材料以及交通運(yùn)輸?shù)仍S多領(lǐng)域中。顆粒的基本物理特性包括孔隙、形狀、粒徑以及顆粒分布等參數(shù)。目前發(fā)展起來的顆粒顯微圖像檢測技術(shù)，可從顆粒的顯微圖像中提取出的顆粒的相關(guān)信息，如粒徑、形狀等參數(shù)及微觀結(jié)構(gòu)等，此技術(shù)在顆粒測量方面有著極大的發(fā)展?jié)摿1]。

在自然界中和工業(yè)生產(chǎn)中，顆粒往往分散于流體系統(tǒng)中，傳統(tǒng)的顆粒顯微圖像測量技術(shù)需要把顆粒采集到載玻片進(jìn)行觀測，這樣會(huì)造成分析過程繁瑣、周期長、不能實(shí)時(shí)檢測的缺點(diǎn)。為此人們對顯微環(huán)境下流動(dòng)顆粒的圖像測量問題進(jìn)行專門研究，取得了一些成果，目前普遍采用的檢測原理主要有電磁法，X射線、靜電法、光電法等，其中檢測精度最高的還是基于圖像的檢測技術(shù)。這方面比較成熟的成果有超譜公司推出的LNF-C型自動(dòng)磨損顆粒檢測系統(tǒng)[2]，能對油液中顆粒的形貌進(jìn)行檢測。但其檢測的功能主要還是顆粒的輪廓信息，輪廓計(jì)算尺寸的下限是 20μm。此外文獻(xiàn)[3]對沙子的顆粒外形計(jì)算進(jìn)行了研究；文獻(xiàn)[4]對水中的污染顆粒的檢測進(jìn)行了研究，能對顆粒進(jìn)行計(jì)數(shù)和尺寸計(jì)算；文獻(xiàn)[5]對顆粒光學(xué)檢測系統(tǒng)進(jìn)行了分析，總結(jié)了顆粒檢測的影響因素。綜合來看，目前基于圖像的顆粒檢測技術(shù)檢測信息不全面，精度不高，尤其是表面形貌信息涉及較少。這主要是由于流體器件的的設(shè)計(jì)和加工精度不夠，而且在圖像處理過程中沒有充分注意圖像的動(dòng)態(tài)特性。為此，我們在研制微機(jī)電技術(shù)加工的檢測器件基礎(chǔ)上，基于顆粒的動(dòng)態(tài)特性，提出了新的顆粒目標(biāo)提取和分析方法，具有更高的精度和更全面的檢測信息。

1 流動(dòng)顆粒顯微測量平臺的構(gòu)建

我們構(gòu)建了基于彩色數(shù)字?jǐn)z像機(jī)的雙光源顯微圖像采集與分析系統(tǒng)。系統(tǒng)的總體架構(gòu)如圖1所示，系統(tǒng)主要由液路部分（微量泵、檢測芯片和回油池）、光路部分（透、反射光源和顯微物鏡）和圖像采集處理部分組成。圖像的采集采用間隔采樣的方法，即不對所有顆粒圖像采樣，以免造成某些速度較慢顆粒在圖像中重復(fù)出現(xiàn)，浪費(fèi)計(jì)算資源，而且采集時(shí)間過短對計(jì)算機(jī)性能和算法的要求提高。采樣間隔定為2秒，能保證相鄰圖像間基本沒有重復(fù)的顆粒，檢測系統(tǒng)在采集流體圖像時(shí)不需要高速的攝像機(jī)和大容量高速度的存儲(chǔ)系統(tǒng)，在普通的PC機(jī)，甚至筆記本電腦上就能實(shí)現(xiàn)。

圖1 流動(dòng)顆粒圖像檢測系統(tǒng)組成原理圖

檢測芯片是整個(gè)系統(tǒng)的核心器件，是自行設(shè)計(jì)加工的有微管道的光學(xué)器件。考慮到圖像采集的需要和分析樣品之間的化學(xué)穩(wěn)定性，芯片采用玻璃為基體材料，加工工藝采用微機(jī)電系統(tǒng)(Micro Electro-Mechanical Systems, MEMS)加工工藝，其中微管道采用濕法腐蝕的方法得到，一般采用含氫氟酸的腐蝕劑，如 HF/HNO3，HF/NH4F等對玻璃基體進(jìn)行腐蝕，封裝采用熱鍵合技術(shù)，在管道的兩端加工有可連接毛細(xì)管的鋼管作為流體的出入口。芯片中微管道的深度為100μm，寬度為數(shù)百微米不等?？蓽y量顆粒的粒徑范圍在5～200μm之間。

2 流動(dòng)顆粒圖像特征分析

微管道內(nèi)流動(dòng)顆粒的成像要考慮運(yùn)動(dòng)模糊和流體對成像影響的問題。運(yùn)動(dòng)圖像的模糊可以理解為清晰圖像相對圖像感光面運(yùn)動(dòng)引起的圖像退化[6]。設(shè)圖像g(m, n)是清晰圖像，相對感光器件沿某一方向作二維勻速直線運(yùn)動(dòng)（即在x，y方向上同時(shí)都有勻速運(yùn)動(dòng)），在曝光時(shí)間內(nèi)，感光器件上每一個(gè)像素點(diǎn)則是多個(gè)采樣點(diǎn)進(jìn)行了疊加，這樣就形成了模糊圖像，設(shè)為f (m, n)。

為了分析問題的方便只討論圖像g(m, n)沿45°方向上作勻速直線運(yùn)動(dòng)，g(m, n)也選為方形圖像。則它們分別在x、y方向上勻速移動(dòng)的采樣點(diǎn)個(gè)數(shù)是相等的，都為N。圖像的采樣點(diǎn)共有M×M個(gè)，在x, y方向上分別選擇N×N個(gè)采樣點(diǎn)作為研究對象。設(shè)感光器件的曝光時(shí)間為T，在曝光時(shí)間T內(nèi)圖像沿45°方向移動(dòng)了N個(gè)像素點(diǎn)對任意一個(gè)像素點(diǎn)(m, n)來說，它的f (m, n)為

易知，N越大則圖像越模糊。N由傳感器件的曝光時(shí)間和g(m, n)的運(yùn)動(dòng)速度決定。在芯片垂直放置流體下行的情況下，流體——顆粒兩相流須保持一定的速度才能保證較好的顆粒跟隨性，同時(shí)流體—— 顆粒兩相流的速度越快則分析的速度也越快。曝光時(shí)間越小，則圖像的模糊越不明顯，但同時(shí)也會(huì)使圖像的灰度和對比度降低，損失圖像的信息，尤其是對于透明度較差的流體，因此圖像的曝光時(shí)間的設(shè)置也不能過低，所以圖像運(yùn)動(dòng)模糊的產(chǎn)生是必然的。

綜合考慮，我們把流體的平均速度設(shè)置為1mm/s，傳感器的曝光時(shí)間根據(jù)流體的透明度和光源的情況在5ms～10ms之間變化，目標(biāo)在成像平面上產(chǎn)生約5～10μm的拖尾，可見圖像的運(yùn)動(dòng)模糊問題比較嚴(yán)重，必須在圖像處理的過程中采用適當(dāng)?shù)姆椒右蕴幚怼?/p>

同時(shí)用于分析的流體包含了不同型號和使用條件的液體，具有不同的光學(xué)特性，使得顆粒成像的背景差別很大。流體的復(fù)雜性為顆粒目標(biāo)的識別帶來了很大的困難。有學(xué)者希望通過對顆粒圖像的預(yù)處理，消除流體光學(xué)性質(zhì)差別造成的影響，雖有一定的作用，但不可能根本上解決問題[7]。

3 微流動(dòng)顆粒的圖像分析流程

根據(jù)流動(dòng)顆粒圖像的特征，本文提出的以顆粒運(yùn)動(dòng)特性為基礎(chǔ)的圖像分析流程，如圖2 所示。

圖2 以顆粒運(yùn)動(dòng)特性為基礎(chǔ)的圖像分析流程

下面對參數(shù)計(jì)算之前的圖像分析過程進(jìn)行介紹：

1）微流動(dòng)顆粒圖像的預(yù)處理

為了穩(wěn)定的進(jìn)行特征提取等處理，必須對所得的原始圖像進(jìn)行平滑、去噪、灰度增強(qiáng)等預(yù)處理過程，以使圖像的質(zhì)量得到改善，這個(gè)過程叫圖像預(yù)處理。把圖像變成人眼容易觀察和機(jī)器容易處理的圖像，即為圖像的增強(qiáng)，使得后面的特征提取和模式識別更易于進(jìn)行。圖像增強(qiáng)的方法有多種，如直方圖均衡化、直方圖規(guī)定化、局部增強(qiáng)等。

2）基于基準(zhǔn)幀差分的流動(dòng)顆粒目標(biāo)提取

本文結(jié)合顆粒目標(biāo)的運(yùn)動(dòng)特性和灰度特征，構(gòu)建了基于基準(zhǔn)幀差分的流體顆粒的快速自動(dòng)提取算法。盡管不同的液體的光學(xué)性質(zhì)差別較大，但是對于同一份樣品，采集的圖像在去除流體中的懸浮物后背景相似。所以可以選取采集圖像的前幾幀，經(jīng)過處理形成基準(zhǔn)圖像，然后把待處理的圖像與基準(zhǔn)幀進(jìn)行差值。在差值圖像中首先用低通濾波去除噪點(diǎn)的影響，然后再利用懸浮物和顆粒表現(xiàn)出來的不同差值特征，對圖像進(jìn)行分割，提取顆粒目標(biāo)。

基準(zhǔn)幀應(yīng)該由固定不變的背景構(gòu)成，包括液體、顯微物鏡或者感光面上灰塵的圖像以及微管道管壁上粘附顆粒形成的陰影。對這幾種情況分別討論：

（1）圖像中一點(diǎn)對應(yīng)流體中的一點(diǎn)，如在前n幀圖像中這一點(diǎn)被顆粒或者半透明懸浮物所覆蓋，則其灰度降低；

（2）圖像中一點(diǎn)對應(yīng)顯微物鏡或者攝像機(jī)感光面上灰塵的圖像當(dāng)中的一點(diǎn)，由于灰塵始終遮住微流動(dòng)中的任何目標(biāo)，這一點(diǎn)的灰度始終不變；

（3）圖像中一點(diǎn)對應(yīng)微管道管壁上粘附的顆粒陰影中的一點(diǎn)，當(dāng)這一點(diǎn)被流體中的半透明懸浮物或者顆粒遮擋時(shí)，其灰度同樣降低。

由于油液中顆粒相對于流體體積較小，所以當(dāng)n取一定值以上時(shí)，n幀圖像中固定位置上的一點(diǎn)總會(huì)有背景點(diǎn)出現(xiàn)，一般取 n =10。綜上所述，基準(zhǔn)幀圖像可以由下式求得

背景的固定不變具有相對性，在分析的過程中也可以不斷對背景進(jìn)行更新，可以有效的抑制由于成像條件的突變（比如分析芯片的緩慢移動(dòng)，光源的變化，顯微鏡的調(diào)焦的變化等）帶來的消極影響。

在求得基準(zhǔn)圖像后，本文把差分處理和閾值分割結(jié)合起來進(jìn)行顆粒目標(biāo)的檢測。首先進(jìn)行圖像的差分處理，有示基準(zhǔn)圖像， dn( xi, yi)表示第n幅和基準(zhǔn)圖像的差分圖像。 dn(xi, yi)反映的是第n幅圖像相對于基準(zhǔn)圖像彩色特征量降低的情況。對差值圖像進(jìn)行灰度分布統(tǒng)計(jì)，對原始的灰度直方圖進(jìn)行平滑處理，得到了灰度分布曲線對平滑后的直方圖做一階微分：，從高到低檢測一階微分由正到負(fù)再到正的階躍點(diǎn)，即為對應(yīng)的波谷點(diǎn)。根據(jù)波谷點(diǎn)灰度值，即可將差值圖像和差值圖像對應(yīng)的原圖像中的所有的點(diǎn)劃分為背景點(diǎn)和顆粒點(diǎn)兩類。

3）微流動(dòng)顆粒圖像的運(yùn)動(dòng)模糊恢復(fù)

設(shè)f( x, y)為理想圖像，g( x, y)為退化圖像，h( x, y)為退化過程的點(diǎn)擴(kuò)展（PFS）函數(shù)，圖像運(yùn)動(dòng)模糊過程可用數(shù)學(xué)表達(dá)式表示為

其中，θ 和d分別為運(yùn)動(dòng)模糊的方向和長度。對于運(yùn)動(dòng)的顆粒，在短暫的曝光時(shí)間內(nèi)運(yùn)動(dòng)速度可認(rèn)為是不變的，造成的模糊的恢復(fù)可分成兩個(gè)步驟完成，第一是獲取圖像運(yùn)動(dòng)的方向，第二是獲取曝光時(shí)間內(nèi)運(yùn)動(dòng)的距離。

圖3 一模糊顆粒圖像以及其頻譜圖

運(yùn)動(dòng)方向和距離的確定，一般是在頻率域內(nèi)進(jìn)行。如圖3所示，將運(yùn)動(dòng)模糊圖像進(jìn)行傅利葉變換，其圖像呈現(xiàn)條紋狀，運(yùn)動(dòng)的方向與條紋的方向垂直，條紋的間距代表了運(yùn)動(dòng)的距離。條紋的方向可以通過霍夫(Hough)變換來確定。Hough變換時(shí)是利用圖像空間和 Hough參數(shù)空間的點(diǎn)－線對偶性，把圖像空間中的檢測問題轉(zhuǎn)換到參數(shù)空間。通過在參數(shù)空間里進(jìn)行簡單的累加統(tǒng)計(jì)，然后在Hough參數(shù)空間尋找累加器峰值的方法檢測直線。在求得運(yùn)動(dòng)模糊的方向以后，將圖像旋轉(zhuǎn)到水平方向，再根據(jù)條紋間隔計(jì)算運(yùn)動(dòng)距離，一般在對譜域（或倒譜域）或頻譜域進(jìn)行。

獲取了運(yùn)動(dòng)模糊的方向和距離，即獲得了運(yùn)動(dòng)模糊的PSF函數(shù)，維納濾波綜合考慮退化函數(shù)和噪聲統(tǒng)計(jì)特征兩個(gè)方面進(jìn)行復(fù)原處理的方法。方法建立在認(rèn)為圖像和噪聲是隨機(jī)過程的基礎(chǔ)上，而目標(biāo)是找一個(gè)未模糊圖像f的估計(jì)值了，使它們之間的均方誤差最小。誤差量由下式給出

E是宗量的期望值，這里假定：噪聲和圖像不相關(guān)，其中一個(gè)有零均值；估計(jì)的灰度級是退化圖像灰度級的線性函數(shù)。在這些條件下，式中誤差函數(shù)的最小值在頻域用下列表達(dá)式計(jì)算

G( u, v)和F1( u, v)分別為退化圖像和恢復(fù)圖像的傅利葉變換。

F1( u, v)就是維納濾波的結(jié)果。在空間域被復(fù)原的圖像由F1( u, v)的傅里葉反變換給出。未退化圖像的功率譜很少是已知的，當(dāng) Sη(u, v )/Sf(u, v)未知或不能估計(jì)時(shí)，經(jīng)常用特定常數(shù)代替。

4 微流動(dòng)顆粒圖像測量示例

在運(yùn)動(dòng)模糊恢復(fù)之后，可以根據(jù)恢復(fù)圖像進(jìn)行圖像參數(shù)的計(jì)算。以一潤滑油中的運(yùn)動(dòng)磨粒圖像為例，在恢復(fù)圖像參數(shù)計(jì)算之前首先要對起初磨粒目標(biāo)提取后的邊界輪廓進(jìn)行修正。這是由于顆粒的邊界的精確與否對形狀參數(shù)、灰度參數(shù)等具有較大的影響，基于基準(zhǔn)幀差分的運(yùn)動(dòng)圖像目標(biāo)提取是在模糊恢復(fù)之前獲得的邊界，和清晰圖像相比可能有誤差，應(yīng)該根據(jù)模糊恢復(fù)的結(jié)果做校正。由于基于基準(zhǔn)幀差分的運(yùn)動(dòng)圖像目標(biāo)提取已經(jīng)確定了磨粒的大致區(qū)域，所以邊界的提取比較簡單，可以運(yùn)用最大類間方差法等閾值分割法進(jìn)行。圖4為顆粒在模糊恢復(fù)前后目標(biāo)邊界提取結(jié)果對比。由圖4(b)可見處理后的顆粒的外形和表面形貌信息相比原圖像更容易觀測。

圖4 恢復(fù)前后目標(biāo)邊界提取結(jié)果對比

根據(jù)模糊恢復(fù)前后圖像以及矯正的邊界進(jìn)行顆粒各種參數(shù)的計(jì)算，計(jì)算結(jié)果如表1到表7所示。

表1 恢復(fù)前后磨粒尺寸參數(shù)的對比

表2 恢復(fù)前后磨粒形狀參數(shù)的對比

表3 恢復(fù)前后磨粒顏色參數(shù)的對比

表4 恢復(fù)前后磨粒灰度梯度參數(shù)的對比

表5 恢復(fù)前后磨粒矩參數(shù)的對比

表6 恢復(fù)前后磨粒熵與分形參數(shù)的對比

表7 恢復(fù)前后磨粒其它參數(shù)的對比

由表中數(shù)據(jù)可見恢復(fù)圖像和原圖像在形狀參數(shù)、灰度梯度參數(shù)上具有較大的差別，形狀參數(shù)的變化主要是由于在模糊恢復(fù)前后邊界形狀的變化，灰度梯度參數(shù)的變化來至于去模糊后帶來的圖像細(xì)節(jié)的增加，這兩類參數(shù)對此例中磨粒類型的確定有著重要影響，原圖像被判斷為層狀顆粒，而且模糊恢復(fù)后的圖像被判斷為嚴(yán)重滑動(dòng)顆粒。

5 總 結(jié)

本文首先根據(jù)流動(dòng)狀態(tài)下顆粒顯微圖像分析的需要，構(gòu)建了以基于 MEMS工藝的顆粒流動(dòng)測量器件為核心的顯微圖像采集平臺，然后在分析微流動(dòng)顆粒圖像特征的基礎(chǔ)上，提出了基于顆粒運(yùn)動(dòng)特性的圖像分析流程，最后以潤滑油中的磨粒圖像為例進(jìn)行了參數(shù)的計(jì)算，驗(yàn)證了論文提出的圖像分析方法在提高顆粒檢測效果方面的有效性。

[1]章 萍, 黃勇理. 基于顯微觀測及圖像處理的顆粒檢測綜述[J]. 現(xiàn)代測量與實(shí)驗(yàn)室管理, 2004, (2):3-6.

[2]Reintjes J, Tucker J E, et al. Application of laserNet fines to mechanical wear and hydraulic monitoring [C]//DSTO International Conference on Health and Usage Monitoring Melboure, 2001: 13-21.

[3]Miller N A, Henderson J J. Quantifying sand particle shape complexity using a dynamic digital imaging technique [J]. Agronomy Journal, 2010, 102(5):1407-1414.

[4]Rabinski G, Thomas D. Dynamic digital image analysis: emerging technology for particle characterization [J]. Water Science and Technology,2004, 50(12): 19-26.

[5]Saveyn, Hans, Thu L, el al. In-line comparison of particle sizing by static light scattering,time-of-transition, and dynamic image analysis [J].Particle and Particle Systems Characterization, 2006,23(2): 145-153.

[6]周 玉, 周序生, 戴圣偉, 等. 一種改進(jìn)的運(yùn)動(dòng)模糊圖像復(fù)原算法[J]. 計(jì)算機(jī)工程與科學(xué), 2009,31(10): 49-52.

[7]呂植勇, 嚴(yán)新平. 磨粒圖像背景光照不均勻分布圖像預(yù)處理[J]. 潤滑與密封, 2005, (5): 34-37.