周騖，龔文超，徐日辛

（1 上海理工大學能源與動力工程學院，上海 200093；2 上海市動力工程多相流動與傳熱重點實驗室，上海 200093）

自然界和日常生活生產中大量物質以離散的顆粒形態(tài)存在，包括氣泡、液滴和固體顆粒等，這里統稱為顆粒。兩相流動中稀疏顆粒相的三維運動速度分布、顆粒粒度分布以及數目濃度分布都是非常重要的場測量參數，而光學成像法由于非侵入、系統簡便、結果直觀、可同步在線測量上述參數等優(yōu)勢獲得了科研工作者的廣泛青睞。隨著光源、相機、鏡頭和圖像處理技術的飛速發(fā)展，圖像法近十年來在顆粒測量方面也獲得了日益廣泛的應用，是一種非常有潛力的非接觸式顆粒在線測量方法。

目前阻礙圖像法應用于顆粒在線測量的主要原因之一，是由于成像系統景深有限而易導致的離焦成像問題，繼而引起顆粒粒徑等參數測量的不準確性；尤其是在成像系統放大倍率較大或顆粒深度位置分布較寬時，離焦成像難以避免。然而，離焦圖像也暗含了顆粒的深度位置等信息，可基于該方法獲得準確的測量體空間大小、繼而獲得準確的顆粒數目濃度，這是激光多普勒法[1]、激光衍射法[2]等顆粒測量技術所不能或難以獲得的。

同時，離焦法顆粒測量尤其是速度測量技術的發(fā)展，與單相流動速度場測量技術是密不可分的，因為后者往往通過加入跟隨性和散光性良好的示蹤粒子，以表征流體流動，因此本文將后者的發(fā)展過程也納入介紹范圍，以便讀者對離焦測速技術的整體發(fā)展過程有較完整的了解。而在流體速度場測量時，一般認為示蹤粒子的大小均一，不考慮粒徑變化的影響或粒徑測量的問題；后文中在提及流體速度場測量研究時用“粒子”，在提及兩相流中顆粒相速度場測量時用“顆?！薄?/p>

需要指出的是，在離焦測距的圖像處理方法方面，根據被測對象的種類，可以分為適用于連續(xù)對象和離散對象兩種。本文主要針對顆粒相這類離散對象，而連續(xù)對象如生活中常見物體等場景，在處理時可以利用物體表面的連續(xù)特征進行處理分析，有大量專門的該方面算法的研究，不在本文綜述的范圍內。

本文首先簡述常用的粒子群三維位置信息獲取方法，以便讀者了解離焦法在三維測量中的地位；然后回顧三種主要的離焦測距方法的發(fā)展歷程、測量原理、最新進展及應用，包括基于單相機的特殊光闌法、基于單相機的像散法、基于雙相機的異像距法。通過分析比較不同方法的優(yōu)劣勢，指出離焦圖像法的發(fā)展方向和適用場合，以期為離焦圖像法在流場和顆粒在線測量方面的應用提供指導。

1 粒子群三維位置信息獲取方法概述

無論是單相流中添加的示蹤粒子，還是兩相流中本就存在的顆粒相，在速度場測量方面，應用較廣泛的光學非接觸式測量方法當屬粒子圖像測速（particle image velocimetry, PIV）和粒子追蹤測速（particle tracking velocimetry, PTV），而后者也尤其適用于稀疏顆粒相的速度場測量。而無論何種技術，高空間分辨率三維空間三分量（three dimension and three components, 3D3C）速度信息獲取方法的研究，仍是目前速度場測量研究的重點和難點。真正獲取粒子三維空間（3D）位置的方法主要包括層析成像法、光場成像法、全息成像法和離焦成像法。不同方法的比較見表1。

表1 不同三維成像方法的比較

層析成像法[3]在2006年的首次出現，代表了實驗流體力學的一個轉折點。它在雙目成像技術（2D3C）的基礎上，采用多目多角度成像配合體光源照明，通過層析三維重構算法（如代數重構ART，倍增代數重構MART，乘法視線MLOS 等）獲得粒子場散射光光強三維空間分布或粒子三維空間位置，再結合三維互相關或三維粒子追蹤技術如抖盒子技術（STB）[4]獲得粒子群（PIV）或粒子（PTV）的三分量速度，是目前商業(yè)化應用相對廣泛的3D3C速度場測量技術。

光場成像法[5]通過相機陣列或相機掃描、微透鏡陣列、掩膜等方式，同時控制或記錄包含位置和傳播方向在內的多維度光學參量，僅單相機單次曝光便可獲得三維空間信息；特別是在光學空間受限、多相機難以布置的實驗條件下，相比于其他成像方法具有更強的適用性。但從數據處理角度而言，本質上一般采用層析重構的處理方法，存在權重矩陣計算耗時且存儲量龐大，重建粒子在深度方向上有拉伸效應等問題；如何權衡空間分辨率和角度分辨率之間的矛盾，是制約其廣泛應用的一個難點。

全息成像法[6]基于菲涅耳衍射的成像原理，將物光波和參考光波形成的干涉條紋記錄在圖像傳感器中，再使用原參考光通過全息圖像，通過分層再現提取出物體的三維信息。數字全息通過建立數學模型求解來處理干涉圖像以實現顆粒三維定位，尤其在粒子追蹤測速方面頗具優(yōu)勢和潛力，已有研究將其與雙目視覺技術相結合實現粒子測速[7]。提高計算速度和三維重構質量，是目前數字全息粒子測速的重要發(fā)展方向之一。

離焦成像法則通過分析離焦圖像的模糊程度以獲取測量物的深度位置信息，只需要一個視角就能獲得三維空間的信息。就離焦測距或者離焦圖像深度測量方法而言，主要分為兩類：第一類僅需獲取單張圖像，如采用特殊的光闌[8-16]或帶像差的鏡頭[17-23]進行成像，通過成像特征的不同獲取深度信息；或其他以唯一確定粒子的深度位置；第二類需要獲取兩張圖片，即拍攝兩張不同成像參數或不同離焦程度的物體圖像[24-27]，通過兩張圖片的比較分析獲得物體深度。鑒于離焦測距原理是利用成像的離焦模糊信息，因此對小景深成像即易導致離焦模糊的場合尤其適用，例如微通道甚至納通道的流場測量[28]。該方法將是本文重點介紹的三維信息獲取方法。

就上述四種三維信息獲取方法比較而言，層析成像法一般采用3～6臺相機，而其他三種都屬于單鏡頭或單視角拍攝技術；層析成像一般適用于視場或景深較大的場合，高倍率成像時易產生離焦模糊而影響重構精度；光場成像具有單相機成像的優(yōu)勢，但比其他方法的空間分辨率有所降低；全息成像光路布置和數據處理流程相對較復雜，但測量深度/寬度比較其他方法大；離焦尤其適用于微小空間或測量系統景深相對小、測量對象深度范圍大從而離焦現象難以避免的場合。盡管部分離焦方法存在深度位置的二義性，但還是可以通過如聚焦在一側壁面等方法來解決的。后文則主要分析不同的離焦成像顆粒位置、粒徑和濃度測量方法。

2 單相機普通離焦法

普通非遠心鏡頭的離焦特征是，隨著粒子位置遠離清晰對焦面，彌散圓直徑逐漸增大，成像灰度逐漸與背景接近，但具有“近大遠小”的問題；物方遠心鏡頭則在此基礎上能保證粒子在不同深度位置處的成像大小不變。但在已知粒子直徑或直徑均一的情況下，都可通過粒子圖像的模糊度推知粒子的深度位置。而針對離焦二義性的問題，即不能唯一確定粒子位置在清晰對焦面哪一側的問題，通過將測量區(qū)域限制在對焦面的某一側來解決[29-31]，如圖1所示。這一常用且最簡單的辦法，往往適用于微通道等帶壁面邊界且厚度較薄的對象的速度測量；結合不同的測速方法，有離焦粒子追蹤測速[29-30]和離焦粒子軌跡測速[31]等技術。而該方法的關鍵，一是在于通過圖像處理準確估計或測量粒子成像大小，二是實現可靠的系統標定，因為光源、粒子大小、光學成像系統參數等都會影響粒子成像的大小和灰度分布。

圖1 單相機非遠心鏡頭離焦成像及單側離焦布置示意圖

該方法若采用簡單的圖像處理算法識別模糊圓的大小，一般僅適用于粒子直徑均一條件下的深度位置或速度測量，難以同時用于顆粒相粒度的表征。但Rao等[32]最新研究表明，當不考慮深度位置測量，僅為了測量粒徑時，可以結合粒子圖像的灰度分布和灰度梯度特征，基于高斯離焦模糊的原理和成像理論模型，形成用于粒徑測量的無量綱參數理論關系曲線（圖像特定灰度值處的灰度梯度值與模糊度關系、模糊度與顆粒半徑關系），從而實現免標定的顆粒粒徑及顆粒系粒度分布的測量。張小磊等[33]提出了一種基于深度學習和散焦圖像的粒子場定位方法，用訓練后的神經網絡來估計粒子的深度位置，提高了粒子的定位速度，減少了數據采集的工作量。

3 特殊光闌離焦法

單相機離焦測量的方法中，有一種方法通過采用特殊形狀的光闌實現粒子深度位置測量，主要包括三孔光闌和環(huán)形光闌。這兩種也可視為特殊的編碼光闌[9]，編碼光闌的概念更加廣泛，一般指具有更復雜的規(guī)則或不規(guī)則形狀的光闌，且更適合于常見物體或生活場景的距離測量。本文對其不展開闡述。

3.1 三孔光闌法

基于三孔光闌法的單相機三維粒子場離焦圖像測速最早由Willert 和Gharib[8]于1992年提出，在此后的二十年內獲得了較為深入的研究和發(fā)展。該方法通過將鏡頭光闌由常規(guī)同軸單孔光闌替換為離軸的正三角形分布的三孔光闌，同一粒子則同時形成三個光斑圖像并成正三角形分布；基于幾何成像關系，根據三個光點圖像之間的距離，可以獲得粒子和清晰對焦面的距離；而在遠近兩種不同離焦情況下，光斑構成的三角形指向相反，以此來判斷離焦二義性。如圖2所示，點O處于對焦平面上，與鏡頭距離為u0，其在相機成像面上清晰成像，相機成像面與鏡頭主平面距離為v0；點A、B與鏡頭距離為u1、u2，對應聚焦點A'、B'與光闌的距離為v1、v2，而在成像平面上的成像圖像為A″、B″。與立體視覺方法的立體視覺匹配不同，三孔光闌離焦測量系統需采用粒子圖像模式匹配進行圖像處理分析。在獲得粒子三維位置后，可結合粒子追蹤測速（PTV）技術，實現粒子三維速度場測量。

圖2 三孔光闌離焦成像及離焦定位示意圖

Pereira 和Gharib[10]將三孔光闌離焦成像與PIV圖像處理方法相結合，首先通過離焦信息解碼獲得物空間中粒子三維位置，再采用三維空間互相關法進行位移估計，早于層析PIV提出以三維體素為基本單元的三維互相關概念。該文章分析了該方法的不確定度，認為離焦PTV 較其他三維PTV 技術，能提高粒子濃度至PIV常用的濃度水平，而其粒子濃度上限由三維查詢區(qū)域大小和圖像傳感器像素分辨率決定。三孔光闌法得到了較為廣泛的應用，如Yoon和Kim[11]、杜軍等[12]、Winer等[13]分別將其應用在微流體器件的三維微流場可視化實驗研究中。

Pereira 和Gharib[14]更進一步提出，在確定入射光光強后，可結合米散射理論建立顆粒散射光強度（體現為顆粒圖像的灰度）與顆粒粒徑大小的理論關系模型，并通過實驗標定獲得顆粒粒徑-圖像灰度對應關系數據；驗證實驗表明，平均粒徑的測量誤差可低至2%以內，從而將離焦法應用于同時測量顆粒相（如氣泡）的速度和粒度。該方法能夠基于單相機實現粒子或顆粒三維位置測量，但仍需要對孔徑光闌進行特殊處理，尤其是圖像處理時仍存在粒子圖像匹配的問題，限制了可應用的粒子濃度范圍，因此在近十年來研究熱度有所下降。

3.2 環(huán)形光闌法

Lin 等[15]進一步提出環(huán)形光闌技術，如圖3 所示，每個粒子僅成像為單個圓點或圓環(huán)圖像，由圓環(huán)（如P″）尺寸大小即可獲得離焦程度或深度信息，避免了三孔光闌法中粒子模式匹配的問題。但環(huán)形光闌不能解決離焦二義性，即不能確定粒子實際上位于參考平面前或后，需將待測區(qū)間限制在對焦面的某一側或者結合其他方法如像散法等對前后離焦情況進行判斷。Dreisbach等[16]在散焦顆粒跟蹤測速中使用神經網絡（NN）進行顆粒檢測，與傳統算法相比，對于重疊顆粒的檢測更加準確可靠。

圖3 環(huán)形光闌成像示意圖

4 像差離焦成像法

像差法顆粒成像是另一種典型的基于單相機的測距方法，其中典型的是像散法[17-20]。像散法一般利用圓柱等像散元件，使不同入射平面內的光束經過柱面透鏡后成像有所差異，從而使對焦面前后兩側離焦成像光斑呈不同方向的橢圓形，以解決離焦二義性的問題，通過標定即可獲得顆粒瞬時三維位置。由于采用了柱透鏡等像散透鏡，將導致子午平面和弧矢平面內上光束的焦點位置不同，比如子午焦點比弧矢焦點離鏡頭更遠時，如圖4所示，點O在弧矢焦點處的成像為一條豎直線，而子午焦點處的成像為一條水平線；在弧矢焦點與鏡頭間的成像為長軸在豎直方向的橢圓，在子午焦點遠離鏡頭方向則反之。像散法離焦測距具有操作簡便和測量精度高等優(yōu)點，主要的應用場合是對微小尺寸的精密測量。 Brockmann 等[20]考慮了顆粒的球形鏡頭效應，將像散法應用于背光成像下的透明球形顆粒測量，并結合粒子追蹤測速提出了BLAPTV（ball lens astigmatism PTV）方法。

圖4 像散離焦成像及深度定位原理示意圖

Barnkob 等[21]提出了一種通用離焦粒子跟蹤（GDPT）方法，即以一組預先拍攝的不同深度粒子圖像為基準，通過尋找與測量圖像互相關值最大者來判斷粒子深度位置；方法可以用于不存在像散只存在球差、或者任何其他像差的場合，只要在深度方向上存在不同圖像特征的顆粒三維定位。Barnkob等[22]進一步比較了基于模型函數（MF methods）、互相關（CC methods）和神經網絡（NN methods）的離焦圖像處理方法，結果表明MF方法在低濃度情況下效果較好，而CC 方法更穩(wěn)定，在顆粒濃度較大且顆粒圖像重疊更強的情況下提供更好的性能；與MF和CC方法相比，目前NN方法測量誤差較大；但在未來硬件和計算能力發(fā)展下，NN 方法將具有巨大的發(fā)展?jié)摿?。徐日辛等[23]也根據顯微成像的球差特征，利用深度學習技術，在微通道中實現了顆粒粒度和深度位置的同步測量。

5 雙參數離焦成像法

離焦模糊程度除了和物體位置相關外，也受物體本身邊緣形貌、光照等條件影響，為避免上述影響而探求物體深度位置，一般需拍攝不同成像參數下的兩張圖片。Surya 等[24]于1993 年提出了STAMP方法，通過改變光圈的大小來獲取兩張模糊的圖像，從而利用散焦信息來獲取顆粒的深度位置，但是該方法的誤差較大，僅適用于在對焦平面附近的顆粒。Lebrun等[25]于1994年提出采用分束鏡將成像光束均分進入兩個相機，通過增減雙相機連接的墊片可以同時獲得某一時刻粒子模糊程度不同的兩張圖片。如圖5 所示，點A位于對焦平面1 左側，與鏡頭距離u1，對應聚焦點離鏡頭v1；點B位于對焦平面1、2 之間，與鏡頭距離u2，對應聚焦點離鏡頭v2；點C位于對焦平面2 右側，與鏡頭距離u3，對應聚焦點離鏡頭v3。以遠心鏡頭為例，模糊圓半徑暗含了粒子與鏡頭之間的距離信息；單鏡頭雙相機因為共用一個光軸，可以較好地避免雙目視覺中空間點匹配問題，通過兩張模糊程度不同的圖片可以判斷離焦二義性。在圖像處理方面，可以采用空間域反卷積、傅里葉變換后的頻率域處理[26-27]、深度學習處理[34]等方法識別顆粒圖像的模糊程度，以對應深度位置。

圖5 雙相機物方遠心鏡頭離焦系統示意圖[21]

Zhou等[35]基于雙相機離焦成像原理，針對球形噴霧顆粒，通過進一步構建離焦模糊理論模型，獲得了包含閾值處理粒徑、真實粒徑和真實深度位置的量綱為1參數關系，基于實驗標定獲得相關曲線后，實現了粒子深度位置、粒度分布和數目濃度的噴霧液滴多參數同步測量方法，并對該方法的影響因素進行的深入分析[36]。該方法在圖像處理方面僅需要進行簡單閾值處理，結合PTV 技術則可以實現三維速度場的測量。張翔云等[34]基于雙相機成像系統，搭建了基于卷積神經網絡的顆粒粒徑與位置同步預測模型，并于離焦測距理論模型相比，顆粒深度測量范圍有所提高，直徑測量誤差有所降低。

雙像距離焦成像法不用對鏡頭進行特殊處理，可以同時測量顆粒深度位置和粒徑大小，適用于不具有像散特征的成像系統即普通成像系統，或需要對粒度進行表征的顆粒相測量。但在連接兩個不同相機時，由于分光部件增大了像距，會使得鏡頭的工作距離或清晰對焦物面向鏡頭方向靠近，系統放大倍率也因此略有變化，需要在實驗時予以注意。

6 不同離焦成像方法的比較分析

基于單相機的特殊光闌法和像差法，以及雙參數法，都是從成像系統中鏡頭或光學系統成像位置的角度，形成具有一定離焦特征的圖像以用于三維位置的識別。在三維測量時還有一類方法是從光源角度考慮，形成顏色沿深度方向發(fā)生變化的照明光源，結合圖像色彩和離焦信息[37]可進一步擴大深度測量范圍或提高深度測量精度，在此則不作贅述。

就上述五種不同的離焦成像方法比較而言，各有其優(yōu)缺點，如表2所示。單相機普通成像法設備簡單，單相機環(huán)形光闌法易于圖像處理，但都不能解決前后離焦的二義性問題；單相機三孔光闌法可解決離焦二義性，但圖像匹配較為復雜，受粒子濃度的影響較大。像差法尤其是其中的像散法測量精度較高，但由于是利用像差測距，成像存在較大畸變，不適用于需要獲得清晰圖像的場合或者需要進行畸變修正。雙參數法因為是采用兩幅圖片的相對關系進行離焦特征識別和顆粒定位，在采用合適算法時，能夠避免測量對象如形貌、大小、顆粒種類等變化帶來的影響，具有較高的魯棒性。

表2 不同離焦成像測量方法的比較

7 結語

（1）與其他三維空間信息獲取手段比較而言，離焦圖像法具有僅需一個視角即可獲得三維信息的優(yōu)勢，且圖像處理過程較為簡單，尤其適合于微通道等難以進行多角度成像場合下的粒子速度測量。

（2）離焦圖像法中能夠解決離焦二義性的方法包括三孔光闌法、像差法和雙參數法。在實驗允許的情況下，在采用不能解決離焦二義性的測量方法時，將測量區(qū)域置于對焦面一側，也是簡單有效且常用的避免二義性的方法。

（3）與其他顆粒粒度測量方法相比，離焦圖像法具有可準確定位和測量單個顆粒的優(yōu)勢，從而能夠獲得測量區(qū)的顆粒數目濃度及分布。其中像差法、雙相距法分別由于精度高、魯棒性強而成為研究的主要方向。

（4）隨著深度學習等技術的飛速發(fā)展，相信離焦圖像法顆粒測量技術即將迎來蓬勃發(fā)展的階段，向著高空間分辨率、高時間分辨率、寬測速范圍和高精度等方向邁進。