謝賢峰,千佳,李星,黨詩沛,柏晨,閔俊偉,但旦,姚保利
(1 中國科學(xué)院西安光學(xué)精密機(jī)械研究所 瞬態(tài)光學(xué)與光子技術(shù)國家重點(diǎn)實(shí)驗(yàn)室,西安 710119)
(2 中國科學(xué)院大學(xué),北京 100049)
生命科學(xué)的發(fā)展需要對生物的微觀結(jié)構(gòu)分布和形態(tài)特征進(jìn)行全面觀察。光學(xué)顯微鏡因其低損傷和實(shí)時成像的優(yōu)勢成為生物研究的有力工具[1-2]。然而,由于成像景深的限制,傳統(tǒng)光學(xué)顯微鏡不具備三維顯微成像的能力。景深范圍內(nèi)的光線聚焦形成目標(biāo)像,而景深范圍外的光線散焦形成背景,兩者混合在一起,形成一個二維強(qiáng)度圖像,兩個部分彼此難以區(qū)分,影響對目標(biāo)的精確識別[3]。要解決這一問題,關(guān)鍵是如何從離焦背景中分離出在焦目標(biāo)。目前已有許多技術(shù)可以解決此問題,如激光掃描共聚焦顯微術(shù)(Laser Scanning Confocal Microscopy,LSCM)[4-5]、光片熒光顯微術(shù)(Light Sheet Fluorescence Microscopy,LSFM)[6-8]、光切片結(jié)構(gòu)光照明顯微術(shù)(Optical Sectioning Structured Illumination Microscopy,OS-SIM)[9-12]等。其中,OS-SIM技術(shù)由于其結(jié)構(gòu)簡單、成像速度快、兼容性好等優(yōu)點(diǎn),非常適合應(yīng)用于生物醫(yī)學(xué)和材料科學(xué)等領(lǐng)域。
1997 年,NEIL M A A 等[13]提出了SIM 顯微術(shù)的概念,用于消除寬場顯微鏡中的離焦背景,從而獲得光切片圖像。當(dāng)具有一定頻率的空間條紋圖案投射到物體上時,只有在焦平面區(qū)域的物體才可以承載條紋,而離焦區(qū)域則不受條紋圖案影響。通過對三種不同相位結(jié)構(gòu)光場照明下的圖像進(jìn)行簡單處理,即可提取光切片圖像[14]。在光切片重構(gòu)算法方面,由NEILM A A 等提出的均方根(Root Mean Square,RMS)算法在大多數(shù)情況下仍然被使用。然而,該算法也有一些缺點(diǎn)。RMS 算法在低信噪比和低條紋對比度的情況下,重構(gòu)出的光切片圖像往往信噪比較低,甚至出現(xiàn)殘留條紋。對于生物熒光樣品,大多數(shù)時候熒光信號很微弱,背景噪聲較高,使得RMS 算法的處理結(jié)果往往不夠理想。為了彌補(bǔ)RMS 算法的不足,一些改進(jìn)的重建算法相繼被提出。2014 年P(guān)ATORSKI K 等[15]提出了一種基于二維希爾伯特變換的FABMED-HS(Fast and Adaptive Bi-Dimensional Empirical Mode Decomposition-Hilbert Spiral Transform)算法。該方法在運(yùn)算過程中進(jìn)行了選擇性的濾波,可以在一定程度上去除光切片圖像中的噪聲,但需要對圖像進(jìn)行復(fù)雜的二維經(jīng)驗(yàn)?zāi)B(tài)分解和希爾伯特變換。之后,2015 年ZHOU Xing 等[16]提出了一種基于一維希爾伯特變換的SHT(Sequence Hilbert Transform)算法,大大簡化了處理流程,但該方法沒有涉及噪聲相關(guān)的操作,在噪聲抑制方面表現(xiàn)不佳。2020 年DANG Shipei 等[17]提出一種Fourier-OS-SIM 算法,該算法在頻域上對圖像進(jìn)行處理,可以使用多種濾波器抑制背景噪聲,提高圖像重構(gòu)質(zhì)量,但在頻域的運(yùn)算相對復(fù)雜,處理速度相對較慢。
本文從理論上分析并推導(dǎo)出了一種新的光切片算法:標(biāo)準(zhǔn)差(STandard Deviation,STD)算法,該算法結(jié)合了去背景和去卷積處理。去背景處理可以解決由于背景熒光過強(qiáng)導(dǎo)致條紋對比度較低的問題,去卷積處理可以消除系統(tǒng)點(diǎn)擴(kuò)散函數(shù)對成像的影響。與傳統(tǒng)的RMS 算法相比,STD 算法不僅可以實(shí)現(xiàn)光切片重構(gòu),還可以增強(qiáng)圖像中微小細(xì)節(jié)的可見性。設(shè)計并搭建了一套基于數(shù)字微鏡器件(Digital Micro-mirror Device,DMD)的結(jié)構(gòu)照明顯微成像系統(tǒng),并在該系統(tǒng)上進(jìn)行了一系列生物樣品的光切片實(shí)驗(yàn),通過與傳統(tǒng)RMS 算法的對比,證明了STD 算法的優(yōu)點(diǎn)和有效性。
RMS 算法在推導(dǎo)過程中使用了兩個近似:第一個是認(rèn)為背景強(qiáng)度在成像過程中是近似不變的,可以通過兩兩之間相減的方法消去;第二個是近似認(rèn)為系統(tǒng)點(diǎn)擴(kuò)散函數(shù)對圖像采集沒有影響。當(dāng)圖像信噪比和條紋對比度都較高時,這兩個近似對光切片重構(gòu)影響不大。然而,在弱熒光顯微的情況下,這兩個近似帶來的影響就會變得明顯,這也是RMS 算法重構(gòu)出的結(jié)果信噪比低,往往會灰度值缺失的原因。圖1 展示了使用Nikon 40×/NA0.75 的顯微物鏡,以小鼠腎臟細(xì)胞為樣品,得到的寬場圖像和RMS 算法重構(gòu)的結(jié)構(gòu)光照明光切片圖像。從圖中可以看出,RMS 算法重構(gòu)的光切片圖像中出現(xiàn)了許多殘留條紋和噪點(diǎn),這些缺陷掩蓋了圖像中的一些細(xì)節(jié)。
圖1 小鼠腎臟細(xì)胞的寬場圖像及RMS 算法重構(gòu)的SIM 光切片圖像Fig.1 Wide-field image and RMS reconstructed SIM optical sectioning image of mouse kidney cells
STD 算法的流程可分為五個部分:結(jié)構(gòu)光照明的生成和相移、陣列數(shù)碼相機(jī)捕獲熒光圖像、對獲取的熒光圖像進(jìn)行去背景處理、對去背景后的圖像進(jìn)行去卷積處理、光切片圖像重建。該流程如圖2 所示。
在OS-SIM 技術(shù)中,照明光源發(fā)出的照明光經(jīng)由空間光調(diào)制器(Spatial Light Modulator,SLM)或DMD 等光場調(diào)制器件調(diào)制后,經(jīng)過顯微物鏡在樣品上形成強(qiáng)度滿足一維余弦函數(shù)分布的結(jié)構(gòu)光場。該結(jié)構(gòu)光場可以表示為
式中,I0為結(jié)構(gòu)光場的光強(qiáng)平均值,m為條紋的調(diào)制度。k0和φ0分別為條紋的空間頻率和初相位。通過控制光場調(diào)制器件可以在樣品上產(chǎn)生任意的結(jié)構(gòu)光場,在OS-SIM 中,往往采用等間隔三步相移的余弦條紋光場。在熒光線性激發(fā)響應(yīng)的情況下,結(jié)構(gòu)光場照亮并激發(fā)樣品產(chǎn)生熒光信號,這些信號經(jīng)顯微系統(tǒng)成像后,在顯微成像系統(tǒng)的像面上,通過數(shù)字相機(jī)CMOS 或CCD 記錄三幅熒光圖像,記為D1(x′,y′)、D2(x′,y′)和D3(x′,y′),其中x′和y′表示像平面上的二維圖像坐標(biāo)。由于結(jié)構(gòu)光場只調(diào)制在焦分量Din(x,y),對離焦分量Dout(x,y)沒有影響,同時考慮到物體表面成像到數(shù)碼相機(jī)CMOS 或CCD 的過程,該過程可以認(rèn)為是結(jié)構(gòu)光場照明下的成像結(jié)果與系統(tǒng)點(diǎn)擴(kuò)散函數(shù)的卷積。結(jié)合式(1),此成像過程可以表示為
式中,x和y表示物平面上的二維圖像坐標(biāo),PSF 表示系統(tǒng)的點(diǎn)擴(kuò)散函數(shù),?表示卷積運(yùn)算。
由于背景熒光和噪聲的干擾,獲得的熒光圖像信噪比和條紋對比度往往較差,這會給后續(xù)的重構(gòu)算法帶來很大壓力。如果預(yù)先能夠從圖像中消除一部分背景熒光,則可以提高條紋對比度,從而緩解上述壓力,該過程可以用式(3)表示。目前已經(jīng)有很多方法可以實(shí)現(xiàn)此過程,比如使用深度學(xué)習(xí)的方法去除背景熒光[18],但這需要大量的時間和數(shù)據(jù)進(jìn)行訓(xùn)練,以確保它可以處理各種各樣的圖像。本文使用的是“滾球法(Rolling Ball)”方法[19-20]。該方法模擬了一個虛擬的球沿著圖像的強(qiáng)度曲線滾動,將滾球中心位置連接起來就是圖像的背景強(qiáng)度,將圖像的強(qiáng)度曲線與圖像的背景強(qiáng)度曲線相減,就可以達(dá)到去背景的目的。
在成像過程中,系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)會對圖像進(jìn)行調(diào)制,使點(diǎn)物不能形成點(diǎn)像,而是形成一個彌散斑,影響最終的成像效果。為此,在STD 算法中,加入去卷積運(yùn)算來消除這種影響。目前有許多流行的去卷積算法都可以實(shí)現(xiàn)該功能,如Wiener 濾波算法[21-22]、盲去卷積算法[23-24]和Lucy-Richardson 算法[25-26]。本文選用的是針對顯微圖像普適性較好的Lucy-Richardson 算法。對式(3)進(jìn)行去卷積運(yùn)算后,可得
式中,D′1(x,y)、D′2(x,y)和D′3(x,y)分別是經(jīng)過去背景和去卷積處理后的三步相移圖像。求解式(4)中的Din(x,y),可得
這就是需要的光切片圖像。因?yàn)槭剑?)形似標(biāo)準(zhǔn)差公式,所以將該方法稱為“STD”。其中,m和I0為常數(shù),取值由結(jié)構(gòu)光場的參數(shù)決定,DWF是式(4)中三幅圖像的均值,即寬場圖像。
為了驗(yàn)證STD 算法的性能,搭建了一套基于DMD 的結(jié)構(gòu)光顯微成像系統(tǒng),光路設(shè)計如圖3。光源采用激光二極管照明光源(Laser Diode Illuminator,LDI)(LDI-7,89NORTH Inc.),通過液體光導(dǎo)提供七個波長通道的照明,既可以保證照明光有良好的單色性和準(zhǔn)直性,也避免了散斑噪聲對成像的影響。光源發(fā)出的光束通過準(zhǔn)直透鏡(Lens 1,焦距30 mm)準(zhǔn)直,然后通過全內(nèi)反射(Total Internal Reflection,TIR)棱鏡耦合進(jìn)入DMD(1 920×1 080 像素,像元尺寸7.56 μm)。TIR 棱鏡基于全反射原理設(shè)計,可以保證較高的光能利用率,其原理示意如圖3(b)。光束首先通過TIR 棱鏡入射到DMD 芯片上,然后被DMD 上加載的條紋調(diào)制,最后通過TIR 棱鏡射出。TIR 棱鏡與DMD 的組合使用,既可以滿足DMD 特殊的24°入射角,又大大縮短了光路長度,使系統(tǒng)更加緊湊。然后經(jīng)調(diào)制的結(jié)構(gòu)光由Lens 2(焦距300 mm)收集后,進(jìn)入到Dove 棱鏡(PS994M,Thorlabs Inc.)中進(jìn)行旋轉(zhuǎn)。由于DMD 特殊的偏轉(zhuǎn)角度,調(diào)制光斑是旋轉(zhuǎn)傾斜的,使用Dove 棱鏡的旋像功能可以使獲得的圖像旋轉(zhuǎn)成水平方向,便于相機(jī)采集圖像。結(jié)構(gòu)光從Dove 棱鏡出射后,經(jīng)二向色鏡(490 nm 長通,DMLP490,Thorlabs Inc.)反射進(jìn)入顯微物鏡,最終在樣品焦面上匯聚。樣品激發(fā)的熒光通過顯微物鏡返回,再次通過二向色鏡,經(jīng)過濾光片(FL-004532,Semorock Inc.)濾除照明光和環(huán)境光后,使用筒鏡收集,最后在sCMOS 相機(jī)(ORCA-flash4.0,Hamamatsu Inc.)上采集熒光圖像。在三維成像過程中,利用電動位移工作臺(P-725,Physik Instrumente Inc.)在z軸上移動樣品,可獲得樣品不同深度位置的圖像數(shù)據(jù),經(jīng)過后期數(shù)據(jù)處理和整合后可獲得樣品的三維圖像。
圖3 實(shí)驗(yàn)光路Fig.3 Experimental optical path
2.2.1 STD 算法和RMS 算法的成像對比
為了比較STD 算法和RMS 算法在光切片上的差異,基于上述系統(tǒng)對小鼠腎臟細(xì)胞和牛肺動脈內(nèi)皮(Bovine Pulmonary Artery Endothelial,BPAE)細(xì)胞進(jìn)行了成像實(shí)驗(yàn)。首先以小鼠腎臟細(xì)胞為樣品,照明光波長為470 nm,顯微物鏡為Nikon 40×/NA0.75 物鏡。利用sCMOS 相機(jī)獲取了三幅具有2π/3 等間距相移、橫向條紋周期為1.35 μm 的原始圖像,然后分別使用RMS 算法和STD 算法進(jìn)行重建。圖4 為小鼠腎臟細(xì)胞成像結(jié)果。從圖4(d)~(f)和(g)~(i)中可以看出,RMS 算法和STD 算法都可以實(shí)現(xiàn)光切片的功能。但與STD 算法相比,RMS 處理結(jié)果中存在較嚴(yán)重的噪聲和殘余條紋,嚴(yán)重影響了光學(xué)切片圖像的質(zhì)量。從結(jié)果可以看出,STD 算法可以有效地抑制噪聲,消除殘余條紋,提高成像質(zhì)量。從圖4(j)中的歸一化強(qiáng)度曲線可以看出,STD 算法使圖像的背景強(qiáng)度更低,對比度更高。
為了進(jìn)一步驗(yàn)證STD 算法的優(yōu)越性,用同樣的顯微物鏡對BPAE 細(xì)胞進(jìn)行了成像實(shí)驗(yàn)。照明光波長依然為470 nm,二向色鏡和濾光片型號保持不變。與之前不同的是,本次實(shí)驗(yàn)的條紋對比度很低(小于0.1)。結(jié)果如圖5。從圖中可以看出,STD 算法的重構(gòu)結(jié)果中仍然具有更低的噪聲,更好的圖像對比度和更精細(xì)的微觀結(jié)構(gòu)。相比之下,RMS 算法的處理結(jié)果幾乎被噪聲淹沒。從圖5(j)還可以看出,RMS 重構(gòu)圖像對應(yīng)的曲線中有更多“毛刺”,而寬場圖像和STD 重構(gòu)圖像中幾乎沒有,這是由圖像中的噪聲引起的。這些“毛刺”嚴(yán)重影響光切片的質(zhì)量。這說明當(dāng)條紋對比度較低時,RMS 算法的重構(gòu)結(jié)果并不理想,而STD 算法仍然可以獲得較為理想的光切片圖像。
圖5 低條紋對比度時不同算法重構(gòu)牛肺動脈內(nèi)皮細(xì)胞的成像結(jié)果對比Fig.5 Comparison of imaging results reconstructed by RMS and STD algorithms for BPAE cells under low contrast structured illumination
2.2.2 與以前數(shù)據(jù)的重構(gòu)結(jié)果對比
STD 算法具有普適性,為了驗(yàn)證這一點(diǎn)將其應(yīng)用于以前采集的數(shù)據(jù)中,同樣得到了比RMS 算法更好的光切片圖像,如圖6。樣品為螨蟲樣本,顯微物鏡為Nikon 20×/NA0.45 物鏡。由于螨蟲樣本較厚,在寬場圖像中,清晰的在焦部分和模糊的離焦部分糅合在一起,沒有明顯的區(qū)分,而在光切片圖像中可以看出在焦部分和離焦部分有著明顯的區(qū)分。對比圖6(b)和6(c)可以發(fā)現(xiàn),RMS 算法和STD 算法都可以實(shí)現(xiàn)光切片,但RMS 算法重構(gòu)結(jié)果中有著明顯的噪點(diǎn),掩蓋了圖像中的一些細(xì)節(jié)結(jié)構(gòu)。STD 算法的重構(gòu)結(jié)果中沒有明顯噪聲,樣本中的細(xì)節(jié)結(jié)構(gòu)依然清晰可見,說明STD 算法有更加優(yōu)秀的光切片重構(gòu)能力。
圖6 使用RMS 算法和STD 算法重建螨蟲樣本的成像結(jié)果對比Fig.6 Comparison of imaging results reconstructed by RMS and STD algorithms for mite sample
2.2.3 雙波長通道光切片
實(shí)驗(yàn)中發(fā)現(xiàn)改變照明波長對成像位置的影響很小,這使得多波長的光切片成為可能。使用兩種波長的光照明小鼠腎臟細(xì)胞,顯微物鏡仍為Nikon 40×/NA0.75 物鏡。首先使用波長為470 nm 的光束照明樣品,圖像采集完成后,將光源波長切換為555 nm,更換相應(yīng)的二向色鏡(567 nm 長通,DMLP567,Thorlabs Inc.),繼續(xù)采集圖像。最后兩組原始圖像分別處理后疊加,即可獲得雙波長激發(fā)下的融合重構(gòu)圖像,結(jié)果如圖7。該樣品使用不同的熒光分子標(biāo)記細(xì)胞中的不同結(jié)構(gòu),因此在不同波長的光照激發(fā)下,能夠觀測到不同的熒光標(biāo)記結(jié)構(gòu),獲取更多的結(jié)構(gòu)信息,有利于對樣品的全面觀察。從圖7 中可以看出,在雙波長光源照明下,STD 依然具有良好的光切片效果。
圖7 雙波長照明激發(fā)下小鼠腎臟細(xì)胞的成像結(jié)果Fig.7 Imaging results of mouse kidney cells under dual wavelength illumination
2.2.4 三維顯微成像
OS-SIM 的最終目的是實(shí)現(xiàn)三維成像,STD 算法能重構(gòu)出更為理想的光切片圖像,使三維成像效果更加真實(shí)。如圖8,以花粉顆粒為樣品進(jìn)行了三維圖像重構(gòu)。使用的顯微物鏡放大倍率為20,數(shù)值孔徑為0.75,切片每層厚度為200 nm,視場大小為163.84 μm×163.84 μm,共采集了125 層。
圖8 花粉顆粒的三維成像結(jié)果Fig.8 3D image of pollen grains
本文在結(jié)構(gòu)光照明光切片成像理論的基礎(chǔ)上,提出一種新的光切片圖像重構(gòu)算法:STD 算法。該算法在原始圖像信噪比和條紋對比度不高時仍然可以獲得理想的光切片圖像。從理論上對STD 算法進(jìn)行了推導(dǎo),對STD 算法的流程進(jìn)行了說明。搭建了一套基于DMD 的結(jié)構(gòu)照明顯微成像系統(tǒng),利用該系統(tǒng)分別對小鼠腎臟細(xì)胞、牛肺動脈內(nèi)皮細(xì)胞等樣品進(jìn)行了OS-SIM 成像實(shí)驗(yàn)。結(jié)果表明,STD 算法在重構(gòu)效果上明顯優(yōu)于傳統(tǒng)的RMS 算法,能夠有效降低背景噪聲、消除殘余條紋,實(shí)現(xiàn)更精細(xì)的光切片成像。STD 算法對其它類型的結(jié)構(gòu)照明光場也具有適用性,這將在后續(xù)的工作中開展進(jìn)一步的研究。