亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        傅里葉疊層顯微術(shù)的光源位姿校正

        2023-06-13 06:06:44鄭傳建楊德隆張韶輝
        液晶與顯示 2023年6期
        關(guān)鍵詞:位姿校正頻譜

        鄭傳建,楊德隆,張韶輝,胡 搖,郝 群

        (北京理工大學(xué) 光電學(xué)院,北京 100081)

        1 引 言

        生命之美源于細(xì)胞結(jié)構(gòu)與行為的復(fù)雜多樣性。判天地之美,析萬物之理,人類探索世界規(guī)律的腳步從未停止。得益于16世紀(jì)末顯微鏡的誕生,人類可以通過顯微鏡觀察和理解微觀世界,但想要深究生命的奧秘,顯微鏡就必須能夠觀測更加精細(xì)的微觀結(jié)構(gòu),例如尺度在幾納米到幾百納米的細(xì)胞器和生物大分子。不幸的是,阿貝衍射理論[1]早已確定傳統(tǒng)顯微鏡的衍射分辨率極限為200 nm,遠(yuǎn)遠(yuǎn)低于生命科學(xué)的觀測需求。如今,顯微成像技術(shù)不斷革新,發(fā)展成為了生物醫(yī)學(xué)、生命科學(xué)和工業(yè)檢測等領(lǐng)域不可或缺的重要工具。但是,傳統(tǒng)顯微鏡“所見即所得”的成像模式并沒有發(fā)生根本性的變革,在面對現(xiàn)代科學(xué)研究所提出的實(shí)時超分辨成像[2]和高通量成像[3]等要求時,傳統(tǒng)顯微鏡顯得愈加無能為力,尤其在以下兩個方面:

        (1)難以實(shí)現(xiàn)大空間帶寬積成像??臻g帶寬積是用于表征系統(tǒng)傳輸信息能力的物理量[4],可以用成像視場內(nèi)能夠分辨的最多像元數(shù)來表示。為了提高顯微系統(tǒng)的信息傳輸能力,就要提高成像分辨率或擴(kuò)大成像視場。2014 年諾貝爾化學(xué)獎授予了光激活定位顯微術(shù)(Photo Activated Localization Microscopy,PALM)和受激發(fā)射損耗顯微術(shù)(STimulated Emission Depletion,STED)兩項(xiàng)超分辨率熒光顯微技術(shù)[5],可見高分辨率顯微成像對人類科學(xué)技術(shù)發(fā)展的重要推動作用。但是,因?yàn)轱@微鏡分辨率與成像視場之間的固有矛盾,在提高分辨率的同時,成像視場將減小,使得傳統(tǒng)顯微鏡的空間帶寬積難以提升,停留在百兆數(shù)量級。為了同時實(shí)現(xiàn)大視場和高分辨率的成像,常規(guī)顯微鏡系統(tǒng)一般利用精密機(jī)械移動平臺控制樣本或者鏡頭實(shí)現(xiàn)空間掃描,再通過圖像拼接融合算法將采集的多個小視場結(jié)合[6],得到最終的大視場圖像,但引入精密機(jī)械平臺也意味著系統(tǒng)體積和成本的增加。

        (2)對透明樣本成像工序復(fù)雜。光學(xué)顯微鏡通過光波與樣本的相互作用,將樣本的信息調(diào)制到光波的復(fù)振幅上,再通過人眼觀察或圖像傳感器記錄光波以獲得樣本的信息。然而,人眼和傳感器的響應(yīng)速度都難以企及光波1014Hz 的相位信息,只能獲得光波的振幅信息,這一缺陷使常規(guī)顯微鏡在觀測透明的生物細(xì)胞或組織時需要增加額外的工序,以提高成像對比度。該工序一般可以分為兩類,第一類是通過外源性的標(biāo)記物,如熒光造影劑標(biāo)記樣本。由于樣本不同部分對于特定染料的親和度的差異性,激發(fā)的熒光光譜可以明顯區(qū)分,從而提高成像對比度。但熒光劑的光毒性和光漂白性可能會影響細(xì)胞的結(jié)構(gòu)與行為,難以實(shí)現(xiàn)對細(xì)胞的動態(tài)觀測。第二類工序是間接地對光波的相位成像,它的無標(biāo)記特性使長時間的動態(tài)觀測成為了可能,分為定性和定量相位成像。經(jīng)典的定性相位成像的方法是Zernike相襯[7],在頻譜面通過相位板對零頻分量添加π/2 的相位延遲,可以實(shí)現(xiàn)高對比度的成像,但因?yàn)樵摲椒▽ο辔坏捻憫?yīng)是非線性的,只能定性反映樣本相位變化,難以得到細(xì)胞的表面特征和內(nèi)部結(jié)構(gòu)。定量的相位成像技術(shù)可以分為光強(qiáng)傳輸方程測量[8-9]、干涉相位測量[10]和衍射相位測量[11]。光強(qiáng)傳輸方程測量的基本原理是光波的相位會改變光波在平行于光軸方向平面內(nèi)的強(qiáng)度分布,通過建立強(qiáng)度變化量與相位之間的關(guān)系式,可以間接測量強(qiáng)度變化來求解相位信息。但該技術(shù)在采集不同面的強(qiáng)度信息時仍然需要依賴機(jī)械平移臺移動像面或物面,高精度、高穩(wěn)定性的移動臺會急劇增大系統(tǒng)成本。干涉相位測量技術(shù)通過兩束相干光疊加產(chǎn)生的干涉圖案求解光波相位信息,但其對環(huán)境的要求高,高相干光的散斑噪聲也極大地限制了其應(yīng)用范圍。衍射相位測量技術(shù)的經(jīng)典手段是相干衍射測量[12-13],通過測量透過樣本光波的衍射圖案,在施加各種約束的情況下,以逆源算法求解出樣本的相位信息。但求解的約束條件一般遠(yuǎn)小于求解相位的數(shù)量,問題的病態(tài)程度十分明顯,求解過程也不穩(wěn)定。

        傳統(tǒng)顯微成像技術(shù)存在的問題無疑減緩了人類對微觀世界的探索進(jìn)程,亟需一種可以同時實(shí)現(xiàn)大視場、高分辨率和定量相位成像的顯微技術(shù)。隨著計(jì)算機(jī)技術(shù)的發(fā)展,計(jì)算光學(xué)成像技術(shù)問世[14],其通過建立系統(tǒng)照明、集光和成像3 個模塊的數(shù)學(xué)模型,并結(jié)合人為引入的先驗(yàn)條件,如照明模塊的光強(qiáng)、相位和偏振調(diào)制等,可以使用計(jì)算機(jī)從拍攝的二維光強(qiáng)圖像中重建出樣本的復(fù)振幅透過率、3D 折射率分布等信息,打破了傳統(tǒng)顯微成像技術(shù)“所見即所得”的成像模式。

        2013 年提出的傅里葉疊層顯微術(shù)[15-17](Fourier Ptychographic Microscopy,F(xiàn)PM),因?yàn)橐胂闰?yàn)知識的巧妙性和成像性能的優(yōu)越性,成為了極具發(fā)展?jié)摿Φ挠?jì)算光學(xué)成像技術(shù)。FPM 系統(tǒng)的搭建十分簡單,只需要將現(xiàn)有顯微系統(tǒng)的照明光源替換為可變角度的光源,例如可編程LED 陣列[15]、數(shù)字微鏡(DMD)器件[18]、掃描振鏡[19]等。FPM 一般先通過具備大視場特性的低倍顯微物鏡采集一組不同照明角度的光強(qiáng)圖像作為原始數(shù)據(jù)集,隨后通過合成孔徑[20]和相位恢復(fù)[9]算法,將采集的圖像拼接融合,在保留低倍顯微物鏡大視場特性的前提下,得到了接近衍射極限的高分辨率復(fù)振幅圖像。FPM 自問世以來,因?yàn)槠鋬?yōu)越的性能和簡單易行的實(shí)現(xiàn)方式,受到了廣泛的關(guān)注,得到了快速的發(fā)展,如今已經(jīng)被應(yīng)用到數(shù)字病理[21]、血細(xì)胞計(jì)數(shù)[22-23]、3D 成像[24-26]等多個領(lǐng)域。

        作為一種計(jì)算光學(xué)成像技術(shù),F(xiàn)PM 重構(gòu)圖像質(zhì)量的高低很大程度上取決于重構(gòu)算法采用的數(shù)學(xué)模型與實(shí)際系統(tǒng)的匹配度。在重構(gòu)樣本信息時,F(xiàn)PM 將每一張采集圖像的振幅作為空域的模值約束,將其頻譜用于更新與照明角度對應(yīng)的子頻譜區(qū)域。在融合完所有的采集圖像后,重構(gòu)圖像頻譜的支持域會得到拓展,從而提高成像分辨率。在更新頻譜的過程中,每個子頻譜的位置與照明角度需要完全對應(yīng),否則重構(gòu)頻譜將發(fā)生畸變,所導(dǎo)致的偽影會降低重構(gòu)圖像的質(zhì)量。

        在經(jīng)典的FPM 系統(tǒng)中,通常使用一個可編程控制的LED 陣列作為照明光源提供變角度照明。在安裝誤差僅幾微米的現(xiàn)代裝配工藝下,可以認(rèn)為LED 陣列被規(guī)則地排布在一個剛體上,每個燈的位置可以根據(jù)排布規(guī)則計(jì)算得到。但在安裝、調(diào)節(jié)、更換LED 陣列時,LED 板的位姿卻很難調(diào)到理想位置,不可避免地會出現(xiàn)平移、旋轉(zhuǎn)和傾斜位姿偏差。如果仍然依據(jù)理想的LED 位姿計(jì)算,不匹配的子頻譜位置必將造成重構(gòu)圖像質(zhì)量的下降。為此,圍繞LED 陣列位姿校正的研究得到了廣泛關(guān)注,且發(fā)展迅速,成果顯著。經(jīng)典的機(jī)械校正法利用多自由度的精密機(jī)械調(diào)節(jié)臺,可以直接將LED 陣列調(diào)節(jié)到理想位置[27-28],從源頭上解決位姿不匹配的問題。但這類方法存在諸多問題,除了精密機(jī)械調(diào)節(jié)臺導(dǎo)致的系統(tǒng)體積大與成本高之外,調(diào)節(jié)LED 陣列到理想位姿這一過程對使用者也有較高的要求,通常需要了解光學(xué)系統(tǒng)的旋轉(zhuǎn)對稱特性并依賴水平儀等額外設(shè)備才能實(shí)現(xiàn)位姿校準(zhǔn)。此外,該類方法對系統(tǒng)變化也很敏感,在更換顯微物鏡或者移動系統(tǒng)之后就需要再次校準(zhǔn)。

        為了避免機(jī)械校正法的問題,許多研究者利用采集圖像間接地計(jì)算照明角度,提出了諸多的數(shù)據(jù)驅(qū)動校正方法。在這些方法中,基于模擬退火[26-33](Simulated Annealing,SA)的搜索算法最先被提出并快速發(fā)展,基于粒子群優(yōu)化[34-36](Particle Swarm Optimization,PSO)的搜索算法也得到了一定的關(guān)注。除了搜索算法外,梯度下降法[37-38]和明場頻譜定位法[39-40]的有效性和可行性也得到了驗(yàn)證,也有研究者采用機(jī)器學(xué)習(xí)的方法克服了位姿偏差的問題[41-43]。但是,直接從拍攝圖像的強(qiáng)度或頻譜信息得到位姿參數(shù)的龐大計(jì)算量會減緩成像速度,系統(tǒng)的像差[44-48]、噪聲[49-50]和照明光強(qiáng)波動[51-52]所導(dǎo)致的圖像變化也會與位姿偏差導(dǎo)致的圖像變化相互耦合,從而降低數(shù)據(jù)驅(qū)動校正法的精確度。近年來,本課題組也圍繞位姿校正問題開展了一系列的工作,除了改良的機(jī)械校正法[27]和機(jī)器學(xué)習(xí)法[41]外,我們針對數(shù)據(jù)驅(qū)動校正法的問題,提出了兩種基于光學(xué)系統(tǒng)成像機(jī)制的校正方法,可以根據(jù)拍攝圖像中易于檢測的幾何變化量來計(jì)算精確的照明角度,計(jì)算依據(jù)分別是離焦圖像的偏移量[53]和采集圖像中明暗場邊界的幾何參量[54]。

        本文對FPM 系統(tǒng)的光源位姿校正問題進(jìn)行了系統(tǒng)的綜述:簡述了FPM 的基本原理,并對光源位姿偏差的影響進(jìn)行了定量的比較和分析。介紹了機(jī)械校正法的基本原理、實(shí)現(xiàn)方式和優(yōu)缺點(diǎn)。詳細(xì)介紹了以SA 算法為代表的搜索算法的基本原理、發(fā)展歷程和優(yōu)缺點(diǎn),并給出了梯度下降法、明場頻譜定位法和機(jī)器學(xué)習(xí)法3 類數(shù)據(jù)驅(qū)動校正法的基本原理和優(yōu)缺點(diǎn)。闡述了基于系統(tǒng)成像機(jī)制的兩種代表性方法的基本原理和實(shí)現(xiàn)方式,并說明了該類方法的優(yōu)勢。最后,對照明光源位姿校正問題進(jìn)行了總結(jié)和展望。

        2 FPM 系統(tǒng)中的位姿偏差

        2.1 FPM 的基本原理

        FPM 系統(tǒng)可以在現(xiàn)有的顯微系統(tǒng)上直接搭建,只需要將照明光源替換為可編程LED 陣列即可,如圖1(a)所示。從系統(tǒng)結(jié)構(gòu)而言,F(xiàn)PM 系統(tǒng)通常包含圖1(b)所示的可編程LED 陣列、低數(shù)值孔徑(Numerical Aperture,NA)物鏡、筒鏡和相機(jī)。在采集作為原始數(shù)據(jù)集的低分辨率(Low Resolution,LR)圖像時,將LED 單元依次打開,并利用相機(jī)采集對應(yīng)的LR 圖像。如果LED 陣列距離樣本足夠遠(yuǎn),且LED 燈的發(fā)光面積足夠小,就可以認(rèn)為第m行、第n列的LEDm,n單元發(fā)出平面光波,相機(jī)采集的強(qiáng)度圖像可以表示為

        圖1 傅里葉疊層顯微系統(tǒng)和工作原理圖。(a)傅里葉疊層顯微系統(tǒng)實(shí)物圖[15];(b)傅里葉疊層顯微系統(tǒng)結(jié)構(gòu)圖[16];(c~e)傅里葉疊層顯微術(shù)的工作原理。Fig.1 System setup and principle of FPM.(a)System setup of FPM[15];(b)System configuration of FPM[16];(c~e)Imaging principle of FPM.

        其中:o(x,y)是樣本的復(fù)振幅透過率,p(x,y)是系統(tǒng)的點(diǎn)擴(kuò)散函數(shù),i是單位虛數(shù),(x,y)是二維空域坐標(biāo),(um,n,vm,n)是光波矢,?表示卷積運(yùn)算,O(u,v)是樣本的頻譜,P(u,v)是系統(tǒng)的光瞳函數(shù),(u,v)是二維空間頻率域坐標(biāo),?-1{}表示逆傅里葉變換運(yùn)算。

        式(1)表明,相機(jī)采集到的圖像在頻域內(nèi)是樣本頻譜O(u,v)和光瞳函數(shù)P(u,v)相乘的結(jié)果。當(dāng)采用傾斜照明時,圖像頻譜會發(fā)生與照明波矢(um,n,vm,n)相對應(yīng)的平移。所以,當(dāng)采用圖1(e)所示的一系列不同位置的LED 燈照明時,可以對不同位置的子頻譜進(jìn)行掃描采集,如圖1(c)所示。從數(shù)學(xué)上來說,照明波矢(um,n,vm,n)可以表示為

        其中:λ是照明光波的波長,(x0,y0)是樣本的子區(qū)域中心位置坐標(biāo),(xm,n,ym,n,zm,n)表示LEDm,n的位置坐標(biāo),h是LED 陣列到樣本之間的距離。

        在采集完LR 圖像數(shù)據(jù)集后,F(xiàn)PM 結(jié)合系統(tǒng)的數(shù)學(xué)模型與先驗(yàn)知識,通過重構(gòu)算法迭代恢復(fù)出具有大視場和高分辨率(High Resolution,HR)特性的樣本復(fù)振幅圖像。為保證算法收斂,整個重構(gòu)過程需要進(jìn)行J次迭代,每一次的迭代過程可以分為圖2所示的5個步驟。(1)初始化樣本的頻譜和系統(tǒng)的光瞳函數(shù),記為Oj(u,v)和Pj(u,v)。初始的樣本頻譜可以是一張過采樣的LR 圖像的傅里葉頻譜,也可以采用隨機(jī)的頻譜估計(jì)。初始的光瞳函數(shù)通常被設(shè)置為一個圓形的低通濾波器,在通帶內(nèi)振幅是1,在通帶外振幅是0,通帶內(nèi)外的相位都是0。(2)給出LEDm,n照明時的LR 圖像估計(jì)。由第一步給出的Pj(u,v)和Oj(u,v),將當(dāng)前LR 圖像的傅里葉頻譜估計(jì)計(jì)算為(u,v)=Oj(u-um,n,v-vm,n)Pj(u,v),對其進(jìn)行逆傅立葉變換得到LR 圖像的估計(jì)(3)用相機(jī)拍攝的LR 圖像替換LR 圖像的估計(jì),得到更新后的LR圖像:

        圖2 傅里葉疊層顯微術(shù)的重構(gòu)流程[15]Fig.2 Reconstruction flow chart of FPM[15]

        其中:*為復(fù)共軛運(yùn)算,δ1和δ2是用來防止分母為零的規(guī)范化常數(shù),j是當(dāng)前迭代的次數(shù),ΔΦj,m,n是更新過程的誤差輔助函數(shù):ΔΦj,m,n=(4)用步驟(2)和(3)處理其余照明角度的圖像,直到所有拍攝的LR圖像都被處理完畢。(5)整個迭代過程重復(fù)多次,直到重構(gòu)結(jié)果收斂。在重構(gòu)算法結(jié)束后,樣本頻譜的支持域?qū)⒈粯O大地拓展,再通過傅里葉變換到空域即可得到HR 的強(qiáng)度和相位圖像。

        2.2 位姿偏差的影響及評價

        值得注意的是,重構(gòu)得到高質(zhì)量的樣本圖像有一個重要前提,在選取圖2 中圓形區(qū)域所示的子頻譜時,其位置必須與實(shí)際的照明波矢相對應(yīng)。式(2)表明,LED 燈與樣本的相對空間坐標(biāo)直接決定對應(yīng)子頻譜的中心坐標(biāo),能否精確地定位LED 燈的位置直接影響重構(gòu)圖像的質(zhì)量。如果重構(gòu)算法中LED 燈的位置與實(shí)際位置不一致,則會在重構(gòu)圖像中引入偽影,影響對樣本信息的觀測。然而,在搭建FPM 系統(tǒng)時,需要相當(dāng)繁瑣的步驟才能將LED 陣列調(diào)節(jié)到預(yù)定的位姿,LED 陣列的位姿還有可能在后續(xù)的實(shí)驗(yàn)中因?yàn)榕鲎不蚋鼡Q系統(tǒng)零件而發(fā)生改變。所以,對LED 陣列的位姿進(jìn)行校正成為了重要的研究工作。

        在實(shí)際成像過程中,往往需要數(shù)十甚至上千個LED 燈進(jìn)行照明,直接測量數(shù)量如此龐大的LED燈位置是一件相當(dāng)費(fèi)時費(fèi)力的工作。不過,LED陣列的排布規(guī)則為解決這個問題提供了重要的先驗(yàn)知識?,F(xiàn)有的或定制的LED 陣列一般都是在一塊基底上按照某種規(guī)則排布LED 燈,比如方陣排布[15]、環(huán)形排布[55]和穹頂排布[56],這些排布規(guī)則使位姿校正問題的未知量急劇減少。以經(jīng)典的方陣LED 陣列為例,想要獲得每個LED 燈的位置,只需要求解圖3 所示的6 個位姿參數(shù),其中,z軸是物鏡光軸,Δx和Δy分別是LED 陣列沿著x軸和y軸的橫向偏移量,θz是LED 陣列繞著z軸的旋轉(zhuǎn)角,θx和θy分別是LED 陣列繞著x軸和y軸的傾斜角,h是樣本到x-o-y面的距離。只要知道了這6 個位姿參數(shù),就可以求解每一個LED 燈的坐標(biāo)為

        圖3 LED 陣列的位姿偏差[54]Fig.3 Pose misalignment of LED array[54]

        其中:dLED是相鄰LED 燈之間的距離,R是旋轉(zhuǎn)矩陣,可以表示為

        在得到LED 燈的位置坐標(biāo)(xm,n,ym,n,zm,n)后,就可以根據(jù)式(2)計(jì)算對應(yīng)的照明波矢,即子頻譜的中心位置坐標(biāo)。如果所采用的6 個位姿參數(shù)和實(shí)際系統(tǒng)參數(shù)一致,則子頻譜的中心位置完全正確,就能恢復(fù)出高質(zhì)量的樣本圖像。否則,子頻譜的錯位將導(dǎo)致重構(gòu)圖像中出現(xiàn)偽影,降低重構(gòu)圖像的質(zhì)量。不同的位姿參數(shù)的影響有所不同,下面將定量分析各個位姿偏差對重構(gòu)圖像的影響。

        (1)橫向偏移量對重構(gòu)圖像的影響。因?yàn)棣和Δy的差異只取決于對坐標(biāo)軸的定義,故只需要分析Δx即可。圖4(e1)展示了當(dāng)Δx從0 增加到2 000 μm 的過程中,441 個子頻譜的實(shí)際位置和理想位置相差的像元數(shù)總和Δp的變化曲線,Δp和Δx呈近似線性關(guān)系。不過,僅利用Δp作為評價指標(biāo)還不足以說明位姿偏差的影響,因?yàn)橄啾扔陬l域內(nèi)的樣本頻譜而言,空域內(nèi)的樣本強(qiáng)度和相位圖像更能表征樣本的吸收和折射性質(zhì)。圖4(e2)展示了相同的橫向偏移量下,重構(gòu)強(qiáng)度圖像與樣本強(qiáng)度圖像之間的均方根誤差(Root-Mean-Square Error,RMSE)曲線,圖4(e3)展示了相位的RMSE 曲線。有趣的是,RMSE 曲線不是線性變化的,而是呈現(xiàn)出一種階梯狀的增長方式。例如,當(dāng)Δx從600 μm 變到700 μm 時,強(qiáng)度和相位的RMSE 值都劇增,重構(gòu)圖像中出現(xiàn)了明顯的偽影,分別如圖4(b1)和(b2)所示??沼虻腞MSE 曲線和頻域的Δp曲線增長方式的差異,是重構(gòu)圖像中的偽影和不同位置的子頻譜對LED燈位置變化的響應(yīng)不同所導(dǎo)致的[37]。換句話說,如果不同位置的子頻譜的響應(yīng)一致,位姿偏差就只會導(dǎo)致整個頻譜平移,此時只需要根據(jù)傅里葉變換的平移不變性質(zhì),在空域內(nèi)添加一個共軛相位因子就能消除偽影,即能夠在Δp值很大時獲得很小的RMSE 值。

        圖4 位姿偏差對重構(gòu)圖像質(zhì)量的影響[54]。(a1~a2)樣本強(qiáng)度和相位圖像;(b1~b2)橫向偏移量為700 μm 時的重構(gòu)強(qiáng)度和相位圖像;(c1~c2)繞z 軸旋轉(zhuǎn)角為10°時的重構(gòu)強(qiáng)度和相位圖像;(d1~d2)繞y 軸傾斜角為10°時的重構(gòu)強(qiáng)度和相位圖像;(e1~e3),(f1~f3)所有子頻譜實(shí)際位置和理想位置相差的像元數(shù)總和Δp、重構(gòu)強(qiáng)度圖像與樣本強(qiáng)度圖像的均方根誤差、重構(gòu)相位圖像與樣本相位圖像的均方根誤差與橫向偏移量Δx,旋轉(zhuǎn)角θz,傾斜角θy 的關(guān)系曲線。Fig.4 Effects of pose misalignments on the quality of reconstructed images[54].(a1~a2)Intensity and phase images of sample;(b1~b2)Reconstructed intensity and phase images when the lateral shift Δx equals to 700 μm;(c1~c2)Reconstructed intensity and phase images when the rotation angle along z-axis equals to 10°;(d1~d2)Reconstructed intensity and phase images when the tilt angle along y-axis equals to 10°;(e1~e3),(f1~f3)Curves of the pixel number difference between all ideal and true sub-spectra,RMSE between reconstructed and true intensity images of sample,RMSE between reconstructed and true phase images of sample,versus as the lateral shift Δx,rotation angle θz,and tilt angle θy.

        (2)旋轉(zhuǎn)角θz以及傾斜角θx和θy對重構(gòu)圖像的影響。同樣地,因?yàn)棣葂和θy的影響完全一致,只需要分析θy即可。圖4(f1)展示了當(dāng)旋轉(zhuǎn)角θz和傾斜角θy從0 增加到10°的過程中,Δp的變化曲線。從頻域上來說,Δp也近似線性變化,且θz的影響遠(yuǎn)大于θy。但從空域上來看,θz和θy的影響差距并不大,強(qiáng)度和相位的RMSE 曲線都保持在0.1以下。此外,θz和θy的影響可以認(rèn)為小于Δx的影響,因?yàn)榧词顾鼈冞_(dá)到了裸眼都可以輕松看出的10°,在重構(gòu)圖像中仍然能分辨樣本的信息,如圖4(c1~c2)和(d1~d2)所示。

        (3)h對重構(gòu)圖像的影響。為了確保LED 燈能被認(rèn)為是點(diǎn)光源,LED 陣列與樣本之間的距離一般很大,可以忽略掉測量誤差,故h對重構(gòu)圖像的影響沒有其他5個參數(shù)明顯。但FPM 作為一種定量成像技術(shù),為了保證成像的準(zhǔn)確性,任何一個位姿偏差都不應(yīng)被忽略。

        3 機(jī)械校正法

        經(jīng)典的位姿校正方法是使用精密機(jī)械將LED 陣列調(diào)節(jié)到理想的位置。圖5 展示了機(jī)械校正法的原理,圖5(a)是一臺利用奧林巴斯倒置IX73 顯微鏡搭建的FPM 系統(tǒng),為校正位姿偏差,利用立柱和螺栓將LED 陣列固定,并利用水平儀裝配,確保無旋轉(zhuǎn)和傾斜偏差,如圖5(b)所示。安裝完畢后,先用二維機(jī)械平移臺將LED 陣列移動到圖5(c)所示的4 個邊緣位置并記錄坐標(biāo),再將LED 陣列調(diào)回坐標(biāo)的中點(diǎn),利用光學(xué)系統(tǒng)的對稱性消除了橫向偏移偏差[28]。

        圖5 精密機(jī)械校正位姿偏差的原理示意圖[28]。(a)系統(tǒng)示意圖;(b)旋轉(zhuǎn)與傾斜偏差校正;(c)橫向偏移偏差校正。Fig.5 Principle of pose calibration with precision mechanical stages[28].(a)System configuration;(b)Calibration of the rotation and tilt misalignments;(c)Calibration of the lateral shift misalignments.

        上述方法為了消除旋轉(zhuǎn)偏差,采用了大量額外的機(jī)械配件,導(dǎo)致系統(tǒng)的體積和裝調(diào)成本增加。本課題組利用遠(yuǎn)心物鏡搭建了一套小型的FPM 實(shí)驗(yàn)裝置,并提出了一種改進(jìn)的機(jī)械校正方法[27]。如圖6 所示,在校準(zhǔn)橫向偏移前,先調(diào)節(jié)LED 陣列和遠(yuǎn)心物鏡的相對位置,使得相機(jī)拍攝對焦的LED 陣列,以視場內(nèi)多個LED 燈的排布線是否與相機(jī)的坐標(biāo)軸方向一致作為判據(jù),可以調(diào)節(jié)實(shí)現(xiàn)o1x1和o2x2共面,o1y1和o2y2共 面,達(dá)到消除旋轉(zhuǎn)偏差的目的。如果相機(jī)拍攝的LED 陣列圖像如圖6(b1)所示,LED 燈的排布線(圖中虛線)與相機(jī)坐標(biāo)軸方向(圖中實(shí)線)存在夾角,說明LED 陣列存在旋轉(zhuǎn)偏差,需要利用旋轉(zhuǎn)臺調(diào)整LED 陣列,直到相機(jī)拍攝的圖像如圖6(b2)所示時,旋轉(zhuǎn)偏差被消除。隨后,再利用光學(xué)系統(tǒng)的對稱性消除其余位姿偏差,完成位姿校正。

        圖6 改進(jìn)的機(jī)械校正法[27]。(a)系統(tǒng)示意圖;(b1~b2)旋轉(zhuǎn)偏差校正;(c1~c4)橫向偏移偏差校正;(d)反映光學(xué)系統(tǒng)對稱性的孔徑光闌強(qiáng)度圖。Fig.6 Improved mechanical calibration method[27].(a)System configuration.(b1~b1)Calibration of the rotation misalignment;(c1~c4)Calibration of the lateral misalignments;(d)Intensity images of the aperture stop that imply the centrosymmetric characteristic of the optical system.

        4 數(shù)據(jù)驅(qū)動校正法

        針對FPM 系統(tǒng)中LED 陣列的位姿校正問題,以拍攝圖像強(qiáng)度或頻譜信息為驅(qū)動自動求解位姿參數(shù)的方法,本文中稱為數(shù)據(jù)驅(qū)動校正法。根據(jù)校正原理的不同,可以將其分為搜索算法、梯度下降法、明場頻譜定位法和機(jī)器學(xué)習(xí)法。

        4.1 搜索算法

        FPM 本質(zhì)上是疊層成像[57-58](Ptychographic Iterative Engine.PIE)的傅里葉對偶形式。在PIE中,為了保證重構(gòu)圖像的質(zhì)量,多種用于獲取照明探針位置的搜索算法被提出,包括遺傳算法[59]、SA 算法[60]以及全局漂移模型[61]等。而在FPM 中,基于SA 算法和PSO 算法的搜索算法的可行性也得到了驗(yàn)證,其中,SA 算法最早被用于校正LED 陣列的位姿偏差。SA 算法是在有限空間內(nèi)搜索未知變量,使得損失函數(shù)的值最小,其優(yōu)勢是不需要考慮所有可能的情況,只需要搜索幾個方向即可。

        在FPM 中,SA 算法需要在傅里葉頻域內(nèi)幾個特定的方向搜索子頻譜的正確位置,流程一般分為4 步。(1)初始化子頻譜位置(um,n,vm,n),搜索方向的數(shù)量R和搜索步長(Δur,m,n,Δvr,m,n);(2)利用初始化參數(shù)給出一組子頻譜序列:

        其中:r=1,2,…,R是一個搜索方向,(Δur,m,n,Δvr,m,n)是第r個方向的搜索步長;(3)確定最恰當(dāng)?shù)乃阉鞣较蚝妥宇l譜位置,用于評價搜索方向正確性的損失函數(shù)為

        (4)減小搜索步長(Δur,m,n,Δvr,m,n),并重復(fù)第(2)、第(3)步,達(dá)到終止條件時,認(rèn)為子頻譜位置與實(shí)際位置一致。

        2015 年,SA 算法首次被用于校正FPM 系統(tǒng)中的LED 陣列位姿誤差[29],圖7(a)給出了校正前后的照明NA??梢钥闯觯苯訉A 算法用于校正位姿偏差存在2 個主要問題:(1)對大照明NA 的校正誤差大。當(dāng)照明NA 大于物鏡NA 時,拍攝的圖像是信噪比較低的暗場,用E(r)作為評價指標(biāo)的誤差較大;(2)校正后的照明NA 分布混亂,與實(shí)際的LED 燈排布不符合。此外,該方法也極其耗時,由于在每一次迭代中都要校正每一個LED 燈的位置,F(xiàn)PM 的成像速度也降低了10 倍以上。

        圖7 基于SA 算法的搜索算法校正結(jié)果。(a)常規(guī)SA 算法[29];(b)pcFPM 方法[30]。Fig.7 Calibration results of SA-based search algorithms.(a)Conventional SA algorithm[29];(b)pcFPM method[30].

        為了解決常規(guī)SA 算法的問題,Sun 等人在2016年提出了pcFPM 方法[30]。針對校正后子頻譜排布混亂的問題,pcFPM 在SA 算法更新子頻譜位置后,利用實(shí)際LED 陣列的排布規(guī)則增加了一個非線性約束過程:

        其中:(Δx,Δy,θz,h)用來表征LED 陣列排布規(guī)則的4 個位姿參數(shù),Q(Δx,Δy,θz,h)表示SA 算法得到的子頻譜和LED 排布規(guī)則的差距,當(dāng)這種差距最小時,得到的(Δx,Δy,θz,h)u就可以用于表示LED 陣列的實(shí)際位姿。通過添加非線性約束的過程,校正后的子頻譜符合實(shí)際的排布規(guī)則,如圖7(b)所示。

        此外,針對常規(guī)SA 算法耗時長的問題,pcFPM 給出了一種新的迭代策略。常規(guī)SA 算法每次迭代都要校正每一個子頻譜的位置,顯著降低了成像速度。pcFPM 舍棄了這種迭代策略,在前幾次迭代時只校正信噪比較高的明場子頻譜位置,得到一個相對合理的初始值,然后在后續(xù)的迭代中引入暗場子頻譜,對全局的位姿進(jìn)行估計(jì)。這種迭代策略減少了搜索的時間損耗,例如,對包含25 個明場照明燈的225 個燈的位姿校正時,如果總迭代次數(shù)為12 次,在前9 次迭代中只校正明場子頻譜,那么總的時間消耗約為常規(guī)SA 算法的1/3。

        雖然pcFPM 方法在一定程度上解決了常規(guī)SA 算法的問題,但也還存在兩個問題:(1)當(dāng)LED陣列位姿偏差很大時,pcFPM 方法可能會陷入局部最優(yōu)解,甚至無法收斂。雖然可以通過增大搜索步長和搜索方向數(shù)量在一定程度上解決這個問題,但這也會進(jìn)一步增加計(jì)算時間;(2)pcFPM 方法對初始參數(shù)敏感,需要對實(shí)際位姿偏差有一個較好的初始估計(jì),才能保證算法的精確度。

        4.2 梯度下降法

        除了搜索算法之外,梯度下降也能校正位姿偏差。2017年,基于牛頓法的二階梯度下降法的有效性得到了驗(yàn)證[37]。與常規(guī)的梯度下降算法一樣,其通過求誤差矩陣對未知量的偏導(dǎo)數(shù)來確定未知量。在FPM 中,誤差矩陣為

        用牛頓法校正位姿偏差具有一定的可行性,但是因?yàn)榕nD法固有的局限性:(1)海森矩陣的計(jì)算非常耗時;(2)牛頓法只是局部搜索算法,極易陷入局部最優(yōu),牛頓法只能說提供了一個新的位姿校正思路。之后,針對牛頓法的兩個問題,采用遺傳算法提供全局估計(jì),再使用擬牛頓法近似計(jì)算海森矩陣的方法得到了驗(yàn)證[38]。該方法確實(shí)解決了局部收斂問題,校正的橫向偏移偏差可以達(dá)到幾個毫米,但是遺傳算法所增加的時間和擬牛頓法所減少的時間相比,是否有優(yōu)勢并沒有得到驗(yàn)證。

        總的來說,梯度下降法雖然可以解決一般性的優(yōu)化問題,但是在FPM 中,多張圖像、多次迭代中計(jì)算梯度所增加的時間損耗使梯度下降法在計(jì)算資源有限的情況下,實(shí)用性并不大。

        4.3 明場頻譜定位法

        除了構(gòu)建損失函數(shù)和誤差矩陣求解子頻譜位置外,還有一種可以定位子頻譜位置的頻譜分析法。頻譜分析法是對采集強(qiáng)度圖像的頻譜進(jìn)行分析,試圖從中找到解決問題的方案,曾被用于確定衍射圖案中心來校正系統(tǒng)[60-61]。在FPM 中,明場頻譜定位法[39]是一種用于校正子頻譜位置的頻譜分析法。對式(1)給出的采集圖像強(qiáng)度分布做傅里葉變換,可以得到采集圖像的頻譜為

        其中,★表示自相關(guān)運(yùn)算。式(14)表明,采集圖像的頻譜數(shù)學(xué)上是由兩個相同的圓形區(qū)域O(uum.n,v-vm,n)·P(u,v)在頻域內(nèi)掃描相乘得到。

        一般而言,樣本頻譜的振幅圖像中存在一個極強(qiáng)的零頻直流量,其余頻率分量的振幅會隨著頻率增大而快速衰減。隨著照明光角度的變化,直流量將會平移到點(diǎn)(um,n,vm,n),如果該點(diǎn)處于光瞳通帶內(nèi),為明場照明,反之,則為暗場照明。在明場照明時,作自相關(guān)運(yùn)算的圓形頻譜半徑為頻譜振幅在點(diǎn)(um,n,vm,n)有極大值且隨著頻率增大而快速衰減。兩個這樣的頻譜作相關(guān)運(yùn)算的結(jié)果,就是拍攝圖像的頻譜中出現(xiàn)兩個分別以(um,n,vm,n)和(-um,n,-vm,n)為圓心,以為半徑的圓形區(qū)域,如圖8(b)所示。這一現(xiàn)象意味著,只需要在拍攝圖像頻譜內(nèi)找到這樣的兩個圓的位置,就能確定子頻譜的位置。

        圖8 明場頻譜定位法的原理[39]。(a)傾斜照明示意圖;(b)明場圖像頻譜和暗場圖像頻譜;(c)預(yù)處理與全局位姿校正。Fig.8 Principle of brightfield spectral localization method[39].(a)Illuminating a sample with an oblique angle а;(b)Spectra of brightfield and darkfield images;(c)Pre-processing and global pose correction.

        不過,頻譜定位法只對明場圖像有效,因?yàn)閷τ诎祱鰣D像而言,點(diǎn)(um,n,vm,n)已經(jīng)落到了光瞳通帶外,采集圖像頻譜并不會出現(xiàn)與明場頻譜一樣的特性。因此,明場頻譜定位法通常用作預(yù)處理,然后再通過LED 陣列的排布規(guī)則擴(kuò)展得到暗場子頻譜的位置,最后通過其他的校正方法得到最終的子頻譜位置[40],如圖8(c)所示。

        該方法對平板LED 陣列、穹頂式LED 陣列和掃描振鏡照明的FPM 系統(tǒng)的位姿校正都有效,但是,也存在兩點(diǎn)問題。(1)該方法計(jì)算時間較長。如果只對明場校正,額外的幾十秒時間是可以接受的,但加上了暗場校正步驟,額外的上百秒計(jì)算時間無疑又降低了成像速度;(2)該方法難以實(shí)現(xiàn)全視場的或某些特殊照明角度的位姿校正。在視場圖像的某些區(qū)域,或者當(dāng)照明NA 接近物鏡NA 時,拍攝的圖像同時包含了明場和暗場,該方法將不再適用。

        4.4 機(jī)器學(xué)習(xí)法

        近幾年,受機(jī)器學(xué)習(xí)成功求解病態(tài)反演問題的啟發(fā),一些研究人員將機(jī)器學(xué)習(xí)方法引入到FPM 的研究中,利用神經(jīng)網(wǎng)絡(luò)模型克服LED 陣列位姿偏差所引起的問題。在機(jī)器學(xué)習(xí)中,傳統(tǒng)的監(jiān)督學(xué)習(xí)方法的訓(xùn)練過程是將真實(shí)基準(zhǔn)與模型輸出結(jié)果進(jìn)行對比,通過二者的誤差對模型進(jìn)行迭代更新,但由于FPM 觀測樣本的多樣性與LED 陣列位姿偏差的復(fù)雜性,有監(jiān)督學(xué)習(xí)下數(shù)據(jù)集的建立異常困難,并且隨著樣本特征的改變,有監(jiān)督學(xué)習(xí)下訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)對位姿偏差預(yù)測的置信度將受到挑戰(zhàn)。無監(jiān)督學(xué)習(xí)通常沒有一個與輸入數(shù)據(jù)相匹配的基準(zhǔn),而是通過輸入數(shù)據(jù)自身對模型的參數(shù)進(jìn)行更新,因此,利用無監(jiān)督的機(jī)器學(xué)習(xí)方法解決位姿校正問題引起了研究人員的關(guān)注。

        Zhang 等人在2020 年提出了一種用于校正LED 陣列位姿偏差的前向成像神經(jīng)網(wǎng)絡(luò)FNN-CP[42]。如圖9 所示,該方法直接將FPM 的前向傳播過程建模成神經(jīng)網(wǎng)絡(luò)的形式,每一層都代表一個具體的前向傳播過程,樣本的頻譜和(Δx,Δy,θz,h) 4 個位姿參數(shù)都被視為層中的可學(xué)習(xí)權(quán)重。通過最小化訓(xùn)練過程中的損失函數(shù),可以根據(jù)訓(xùn)練的位姿參數(shù)校正位姿偏差,還可以將樣本的傅里葉頻譜和不同Zernike 模式的系數(shù)設(shè)置為神經(jīng)網(wǎng)絡(luò)層中的可學(xué)習(xí)權(quán)重,用于校正物鏡的像差,也可以部分補(bǔ)償由LED 陣列位姿偏差對重構(gòu)的樣本的傅里葉頻譜造成的影響。

        圖9 傅里葉疊層顯微術(shù)中用于LED 陣列位姿校正的機(jī)器學(xué)習(xí)法Fig.9 Machine learning method for calibrating pose misalignment of the LED array in FPM

        除了將位姿參數(shù)作為學(xué)習(xí)權(quán)重之外,還有一種用于校正每一個LED燈位置的無監(jiān)督學(xué)習(xí)方法[43]。該方法直接以樣本的復(fù)振幅透過率作為重構(gòu)對象而非樣本的傅里葉頻譜,結(jié)合LED 陣列中不同LED 的位置與物鏡推算出系統(tǒng)的點(diǎn)擴(kuò)散函數(shù),利用兩者的卷積構(gòu)建FPM 的前向成像神經(jīng)網(wǎng)絡(luò)模型。該模型引入了用于描述每個LED 位置偏差的可學(xué)習(xí)權(quán)重,使神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中直接重構(gòu)樣本的復(fù)振幅透過率信息與每個LED具體位置。但由于該方法在建模過程中選擇了用卷積的方式構(gòu)建前向成像模型,隨著重構(gòu)樣本的圖像尺寸增大,該方法優(yōu)化所需要的時間將大幅增加。

        盡管機(jī)器學(xué)習(xí)方法在LED 位姿校正方面的研究和應(yīng)用較少,但機(jī)器學(xué)習(xí)方法仍舊展現(xiàn)出了一些性能上的優(yōu)越性。如果可以對FPM 成像過程中的多種偏差進(jìn)行綜合校正,對每個LED 做獨(dú)立的位置校正而無需嚴(yán)格的假設(shè),機(jī)器學(xué)習(xí)法仍是一類有前景的位姿校正方法。

        5 成像機(jī)制校正法

        從本質(zhì)上來說,上述的4 類數(shù)據(jù)驅(qū)動校正法都是利用采集圖像所包含的樣本信息求解子頻譜位置,但除了LED 陣列的位姿偏差外,照明光的強(qiáng)度波動、噪聲以及像差等其他系統(tǒng)誤差都會影響采集的樣本信息,數(shù)據(jù)驅(qū)動校正法難以從多種系統(tǒng)誤差中分離出準(zhǔn)確的位姿參數(shù)。為解決此問題,我們課題組嘗試直接從顯微系統(tǒng)的物理成像模型出發(fā),利用系統(tǒng)的本征特性來校正位姿偏差,提出了離焦校正法[53]和出瞳校正法[54]。這兩種方法不僅可以解耦得到準(zhǔn)確的位姿參數(shù),還可以將它們和針對其他系統(tǒng)誤差的校正方法聯(lián)合使用。

        5.1 離焦校正法

        離焦校正法利用離焦圖像的特性求解位姿參數(shù)并獲取子頻譜位置。當(dāng)樣本離焦時,采集的強(qiáng)度圖像變?yōu)?/p>

        其中,H(u-um,n,v-vm,n,zdefocus)是描述離焦圖像和對焦圖像關(guān)系的相位因子,可以表示為

        其中:Mag 是系統(tǒng)的放大倍數(shù),zdefocus是離焦距離。在傍軸近似條件下,可以得到:

        第一項(xiàng)表明,相比于對焦圖像而言,離焦圖像會發(fā)生平移;第二項(xiàng)表明,離焦圖像的質(zhì)量會變差。

        離焦校正法的基本原理可以用式(17)中的第一項(xiàng)描述:當(dāng)樣本離焦時,采集圖像會隨著照明光波矢的變化而平移,沿著x和y方向的平移量分別為

        式(18)表明,如果離焦距離zdefocus固定,那么子頻譜位置(um,n,vm,n)就可以通過測量離焦圖像的平移量而得到。圖10 展示了離焦校正法的一個應(yīng)用實(shí)例。在計(jì)算平移量時,通常選取圖10(b)所示的中心燈照明的對焦圖像作為參考,再計(jì)算得到圖10(e)所示的明場離焦圖像相對于參考圖像的平移量。同樣地,為了使LED 排布符合實(shí)際,離焦校正法也引入了非線性約束過程,計(jì)算(Δx,Δy,θz,h) 4 個位姿參數(shù)來表征所有LED 燈的位置。

        圖10 離焦校正法的原理[53]。(a)樣本的強(qiáng)度圖像;(b)用于參考的對焦圖像;(c~d)平移量與照明波矢相關(guān)的離焦圖像;(e)明場離焦圖像的平移量。Fig.10 Principle of defocusing calibration method[53].(a)Intensity image of sample;(b)Focused image used as reference;(c~d)Defocused images with the shift related to illumination wavevectors;(e)Shifts of the brightfield defocused images.

        離焦校正法與數(shù)據(jù)驅(qū)動校正法相比,有兩個的優(yōu)點(diǎn)。(1)離焦校正法所需要的時間極短,不需要任何搜索和迭代。如果只計(jì)算圖像某個區(qū)域的移動量,可以在20 μs 內(nèi)得到位姿參數(shù),計(jì)算時間縮短了3 個數(shù)量級以上。(2)離焦校正法的魯棒性更高,其精確度僅取決于圖像的平移量,受到其他系統(tǒng)誤差的干擾很小。但該方法也存在一個問題:將樣本從對焦位置調(diào)節(jié)到離焦位置的過程中,調(diào)焦旋鈕的誤差也會導(dǎo)致圖像平移,故此方法對調(diào)焦旋鈕的裝調(diào)精度要求較高。

        5.2 出瞳校正法

        相比于離焦校正法,出瞳校正法是一種全自動的位姿校正方法,不需要調(diào)焦等預(yù)操作,可以直接從采集的LR 圖像中求解LED 陣列的6 個位姿參數(shù)。在顯微系統(tǒng)中,因?yàn)楣怅@的限制作用,采集的圖像區(qū)域決定于出瞳(孔徑光闌)和CMOS靶面(視場光闌)的重疊區(qū)域。由于孔徑光闌對不同角度照明光的作用不同,這個重疊區(qū)域的特性對照明角度的響應(yīng)存在明顯的差異性,意味著可以利用采集圖像中這個重疊區(qū)域的幾何特性求解照明光的波矢,以獲得子頻譜位置。

        圖11 展示了出瞳校正法的基本原理。當(dāng)圖11(a1)中所示的中心LED 燈照明時,相機(jī)采集到的圖像可以用圖11(b1)表示,其中紅色方框?yàn)镃MOS 靶面,綠色虛線代表出瞳在CMOS 靶面上的投影(后文簡稱為“出瞳”),C0,0為出瞳圓心。此時,CMOS 靶面完全位于出瞳內(nèi),拍攝圖像的整個視場均為藍(lán)色所代表的明場(Bright Field,BF)圖像。當(dāng)圖11(a2)所示的照明NA 接近物鏡NA 的LED 燈照明時,出瞳圓心從點(diǎn)C0,0移動到點(diǎn)C-1,0,CMOS 的部分靶面位于出瞳外,成為了暗場(Dark Field,DF)圖像,圖像的整個視場呈現(xiàn)出明暗場共存的分布特性,如圖11(b2)所示。在采集的LR 圖像中,通常有數(shù)十張圖像具備這種圓弧狀的明暗場過渡邊界,出瞳校正法利用了這些邊界的圓心和半徑,實(shí)現(xiàn)了位姿校正。

        圖11 出瞳校正法的原理[54]。(a1)正入射照明;(a2)斜入射照明;(b1)正入射照明采集的圖像;(b2)斜入射照明采集的圖像;(c)出瞳圓心位置與LED 燈位置的關(guān)系。Fig.11 Principle of exist pupil calibration method[54].(a1)Normal illumination;(a2)Oblique illumination;(b1)Captured image with normal illumination;(b2)Captured image with oblique illumination;(c)Relationship between the position of exist pupil and LED unit.

        同計(jì)算光學(xué)成像原理相似,想要得到子頻譜位置,必須先建立物理模型來描述LED 燈的位置與明暗場邊界的關(guān)系。為便于分析,將顯微系統(tǒng)的像空間轉(zhuǎn)換到物空間,如圖11(c)所示,GH代表出瞳的共軛面,CC0,0代表CMOS 靶面的共軛面,即樣本面。點(diǎn)C0,0、C-1,0、C-2,0代表了圓弧邊界的圓心,它們與對應(yīng)的照明LED 燈的位置存在如下關(guān)系:

        其中:(xBD,m,n,yBD,m,n)為圓弧邊界的圓心坐標(biāo),h1是GH與CC0,0之間的距離,可以表示為

        其中,RBD是圓弧邊界的半徑。由式(19)和(20)可知,通過采集圖像中圓弧邊界的圓心和半徑,可以求解出LED 燈的位置(xm,n,ym,n,zm,n)。

        圖12 展示了出瞳校正法、常規(guī)FPM 方法和SA 搜索算法的校正對比圖。圖12(a)是LED陣列精確對準(zhǔn)時的重構(gòu)圖像,圖12(b1~b3)、(c1~c3)、(d1~d3)分別是在不同的位姿偏差下用常規(guī)FPM 方法、基于SA 算法的SC-FPM 方法[33]和出瞳校正法的重構(gòu)圖像。在位姿偏差較小時,相對于常規(guī)FPM 方法而言,SC-FPM 方法重構(gòu)圖像中的偽影幾乎都被消除,但是因?yàn)槠渌到y(tǒng)誤差的影響,成像對比度較低。當(dāng)位姿偏差較大時,SC-FPM 方法因?yàn)椴缓线m的初始參數(shù),重構(gòu)圖像不再收斂,出現(xiàn)了嚴(yán)重的偽影,如圖12(c3)所示。值得注意的是,出瞳校正法在給出的任意位姿偏差下,重構(gòu)圖像都與無位姿偏差時的重構(gòu)圖像相當(dāng),這種特性是數(shù)據(jù)驅(qū)動算法所不具備的。

        6 總結(jié)與展望

        傅里葉疊層顯微成像術(shù)打破了傳統(tǒng)光學(xué)顯微術(shù)的限制,能夠提供大視場、高分辨率的定量復(fù)振幅信息,在諸多領(lǐng)域得到了應(yīng)用。作為一種經(jīng)典的計(jì)算光學(xué)成像方法,重構(gòu)算法采用的物理模型與實(shí)際系統(tǒng)的匹配度是高質(zhì)量成像的重要保障。為保證高質(zhì)量的FPM 成像,LED 陣列照明光源的位姿偏差校正問題受到了廣泛關(guān)注,各種方法被相繼提出,且發(fā)展迅速。這些方法根據(jù)原理的不同,可以分為機(jī)械校正法、數(shù)據(jù)驅(qū)動校正法和成像機(jī)制校正法。

        機(jī)械校正法可以從源頭上解決LED 陣列的位姿偏差問題,但要求使用者在實(shí)驗(yàn)前預(yù)校準(zhǔn),費(fèi)時費(fèi)力,此外,引入的多自由度精密機(jī)械裝置也增大了系統(tǒng)的成本和體積。數(shù)據(jù)驅(qū)動校正法旨在消除人為調(diào)節(jié)的步驟,嘗試從拍攝的圖像中自動求解出照明角度信息,可以分為以SA 算法為代表的搜索算法、以牛頓法為代表的梯度下降法、明場頻譜定位法和機(jī)器學(xué)習(xí)法,這些方法能夠在一定程度上校正位姿偏差,但仍然存在校正時間長和校正參數(shù)耦合等問題。成像機(jī)制校正法通過分析顯微系統(tǒng)的成像機(jī)制,利用拍攝圖像的幾何特性校正位姿偏差,不僅校正魯棒性高,也能夠從多種系統(tǒng)誤差中分離出準(zhǔn)確的位姿參數(shù)。

        在各類方法中,通過挖掘和利用更簡單和清晰的物理模型來解決問題的成像機(jī)制校正法,本質(zhì)上符合計(jì)算光學(xué)成像的基本特性,是一種極具發(fā)展?jié)摿蛻?yīng)用前景的校正方法。但是,目前兩種成像機(jī)制校正法的作用對象只是明場或明暗場交界圖像,若能探索出校正暗場圖像的成像機(jī)制校正法,F(xiàn)PM 的光源位姿偏差問題將能被更快、更準(zhǔn)地解決。

        猜你喜歡
        位姿校正頻譜
        一種用于深空探測的Chirp變換頻譜分析儀設(shè)計(jì)與實(shí)現(xiàn)
        劉光第《南旋記》校正
        國學(xué)(2020年1期)2020-06-29 15:15:30
        一種基于稀疏度估計(jì)的自適應(yīng)壓縮頻譜感知算法
        一類具有校正隔離率隨機(jī)SIQS模型的絕滅性與分布
        機(jī)內(nèi)校正
        基于共面直線迭代加權(quán)最小二乘的相機(jī)位姿估計(jì)
        基于CAD模型的單目六自由度位姿測量
        小型四旋翼飛行器位姿建模及其仿真
        認(rèn)知無線電頻譜感知技術(shù)綜述
        基于幾何特征的快速位姿識別算法研究
        亚洲中文字幕国产综合| 国产午夜精品综合久久久| 日韩少妇人妻精品中文字幕| 欧美嫩交一区二区三区| 国产二级一片内射视频插放| 国产99r视频精品免费观看| 国语精品视频在线观看不卡| 最新日本女优中文字幕视频| 亚洲码欧美码一区二区三区| 极品新婚夜少妇真紧| 日韩欧美第一页| 久久免费精品视频老逼| 最新中文字幕亚洲一区| 国产无夜激无码av毛片| 成人免费网站视频www| 国产视频在线一区二区三区四区 | 国产在线一区二区三精品乱码| 玩弄丰满奶水的女邻居| 区二区欧美性插b在线视频网站| 国产思思久99久精品| 亚洲中文字幕综合网站| 国产一区二区三区久久精品| 东北老女人高潮疯狂过瘾对白| 久久精品—区二区三区无码伊人色| 在线观看人成网站深夜免费| 蜜桃尤物在线视频免费看| 97无码免费人妻超级碰碰夜夜| 国产精在线| 日本高清中文字幕二区在线| 成人久久久精品乱码一区二区三区| 天堂中文最新版在线中文| 久久久久亚洲av无码网站| 成人国产在线播放自拍| 人妻少妇精品视频一区二区三| 绝顶潮喷绝叫在线观看| 国产精品久久久久久久久KTV| 午夜视频免费观看一区二区| 国产一区二区三区av免费| 亚洲av无码专区亚洲av伊甸园 | 国产成人无精品久久久| 精品熟女av中文字幕|