蘇博 陶芬 李可 杜國(guó)浩 張玲 李中亮鄧彪? 謝紅蘭 肖體喬

1) (中國(guó)科學(xué)院上海應(yīng)用物理研究所, 上海 201800)

2) (中國(guó)科學(xué)院大學(xué), 北京 100049)

3) (中國(guó)科學(xué)院上海高等研究院上海光源中心, 上海 201204)

基于同步輻射的X射線納米成像技術(shù)是無(wú)損研究物質(zhì)內(nèi)部納米尺度結(jié)構(gòu)的強(qiáng)大工具, 本文總結(jié)了圖像配準(zhǔn)技術(shù)在納米CT成像領(lǐng)域的研究和應(yīng)用, 并根據(jù)發(fā)展階段進(jìn)行分類(lèi)分析.首先, 通過(guò)統(tǒng)計(jì)近年以來(lái)圖像配準(zhǔn)文獻(xiàn)的發(fā)表情況, 分析并預(yù)測(cè)納米尺度圖像配準(zhǔn)的未來(lái)研究方向.其次, 基于圖像經(jīng)典配準(zhǔn)算法理論, 詳細(xì)介紹了圖像配準(zhǔn)算法在納米成像領(lǐng)域最有效的前沿應(yīng)用.最后, 介紹了基于深度學(xué)習(xí)的圖像配準(zhǔn)方法的前沿研究, 并討論深度學(xué)習(xí)在納米分辨圖像配準(zhǔn)領(lǐng)域的適用性及發(fā)展?jié)撃? 根據(jù)納米尺度圖像數(shù)據(jù)的特點(diǎn)及各種深度學(xué)習(xí)網(wǎng)絡(luò)模型的特性, 展望了同步輻射納米尺度圖像配準(zhǔn)技術(shù)的未來(lái)研究方向及挑戰(zhàn).

1 引 言

基于同步輻射的X射線納米成像是無(wú)損研究物質(zhì)內(nèi)部納米尺度結(jié)構(gòu)的重要技術(shù), 主要包括: 全場(chǎng)透射X射線顯微鏡(transmission X-ray microscope, TXM)、納米斷層成像(nano computer tomography, Nano-CT)、納米探針掃描成像(X-ray nanoprobe)、相干衍射成像(coherence diffraction imaging, CDI)和幾何放大投影成像(projection imaging, PI)等, 空間分辨率可高達(dá)幾十納米甚至幾納米, 近年來(lái)發(fā)展迅速, 已廣泛地在材料科學(xué)、化學(xué)催化、生命科學(xué)、環(huán)境科學(xué)等多個(gè)領(lǐng)域深度應(yīng)用[1,2].

在納米級(jí)分辨率下, 機(jī)械、環(huán)境等的不穩(wěn)定性也變得顯而易見(jiàn).在CT掃描成像過(guò)程中, 假設(shè)投影數(shù)據(jù)只有已知旋轉(zhuǎn)角度的變化, 沒(méi)有其他任意方向的移動(dòng).由于機(jī)械不穩(wěn)定性、機(jī)械精度、輻射熱膨脹、射線強(qiáng)度波動(dòng)及探測(cè)器響應(yīng)不一致等因素影響, 會(huì)造成樣品位置偏移、旋轉(zhuǎn)中心偏移、投影襯度不均等誤差.這些誤差對(duì)低分辨CT成像影響不大, 甚至可視情況忽略不計(jì), 但在納米級(jí)分辨的納米CT上就被放大到明顯可見(jiàn), 導(dǎo)致投影數(shù)據(jù)失準(zhǔn), 嚴(yán)重影響樣品的重建質(zhì)量甚至無(wú)法正確重建.如圖1示例, 為失準(zhǔn)投影數(shù)據(jù)合成的Sinogram圖(a)和對(duì)應(yīng)的重構(gòu)圖像(b), 由于位置偏移誤差、射線能量波動(dòng)等原因, Sinogram圖上存在曲線不光滑、明顯截?cái)嗪圹E及襯度不均等問(wèn)題.因此在圖像重構(gòu)之前, 必須解決圖像失準(zhǔn)的問(wèn)題.

圖1 失準(zhǔn)投影合成的Sinogram圖及重構(gòu)切片圖 (a)發(fā)生偏移誤差時(shí); (b)發(fā)生X射線能量變化時(shí)[3]Fig.1.Sinogram graph synthesized by misalignment projection: (a) With translation errors including vertical and horizontal movement at each projection; (b) when the X-ray density of projection is changed during the beam time[3].

目前, 解決納米尺度圖像失準(zhǔn)的方法按工作原理可分為兩類(lèi): 一類(lèi)是通過(guò)硬件, 提高機(jī)械穩(wěn)定性或在線機(jī)械校準(zhǔn)的方法; 一類(lèi)是通過(guò)軟件, 在圖像后處理中進(jìn)行圖像配準(zhǔn).

現(xiàn)代納米成像裝置上通常采取使用高剛度材料、調(diào)頻防止器件共振及添加隔離墊等措施盡量減小樣品掃描過(guò)程中發(fā)生振動(dòng), 也可以利用激光干涉儀等裝置在線校正掃描過(guò)程中的跳動(dòng)誤差[4], 如圖2所示.但是, 在長(zhǎng)時(shí)間的納米CT全角度掃描中,保持旋轉(zhuǎn)軸和樣品穩(wěn)定轉(zhuǎn)動(dòng), 將旋轉(zhuǎn)樣品的抖動(dòng)偏移量控制在幾十納米內(nèi)仍是機(jī)械控制領(lǐng)域的技術(shù)瓶頸之一, 尚不能達(dá)到三維重構(gòu)的納米級(jí)精度要求.針對(duì)該問(wèn)題, 上海光源的程甲一等[5]利用可見(jiàn)光顯微鏡記錄樣品轉(zhuǎn)動(dòng)過(guò)程中的漂移軌跡, 采用配準(zhǔn)算法預(yù)測(cè)樣品的漂移規(guī)律, 再利用機(jī)械手段在線自動(dòng)校正由轉(zhuǎn)動(dòng)產(chǎn)生的樣品漂移, 將漂移控制在1 μm精度內(nèi), 如圖2(c)所示..雖然該方法的魯棒性、外推性及精度仍需提高, 但這種硬件與軟件結(jié)合的配準(zhǔn)方法可為在線配準(zhǔn)研究拓寬思路.

圖2 在線機(jī)械校準(zhǔn) (a)激光干涉儀[4]; (b)激光干涉儀記錄旋轉(zhuǎn)目標(biāo)偏移軌跡[4]; (c) 上海光源軟X光譜學(xué)顯微實(shí)驗(yàn)站樣品臺(tái)[5]Fig.2.Online mechanical calibration: (a) Laser interferometer[4]; (b) laser interferometer records the deviation trajectory of the rotating target[4]; (c) SSRF soft X spectroscopy microscope experimental station sample stage[5].

圖像配準(zhǔn)是將來(lái)自不同時(shí)間、角度、景深或探測(cè)器的不同圖片數(shù)據(jù)集轉(zhuǎn)換到同一坐標(biāo)系下的方法, 廣泛應(yīng)用在計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)成像、遙感衛(wèi)星、自動(dòng)控制、材料科學(xué)等領(lǐng)域.圖像配準(zhǔn)算法自20世紀(jì)60年代發(fā)展至今, 并沒(méi)有統(tǒng)一的分類(lèi)標(biāo)準(zhǔn).根據(jù)圖像數(shù)據(jù)獲取方式的不同, 可分為單模態(tài)圖像配準(zhǔn)、多模態(tài)圖像配準(zhǔn); 根據(jù)提取圖像信息的不同,可分為基于區(qū)域的圖像配準(zhǔn)、基于特征的圖像配準(zhǔn);根據(jù)空間變換性質(zhì), 可分為剛體變換配準(zhǔn)(旋轉(zhuǎn)、縮放、平移等)、非剛體變換配準(zhǔn)(徑向基函數(shù)、物理連續(xù)模型、大變換模型); 根據(jù)人機(jī)交互性, 可分為全自動(dòng)配準(zhǔn)、半自動(dòng)配準(zhǔn)、人工配準(zhǔn)等.

隨著計(jì)算能力的提高, 作為圖像處理與計(jì)算機(jī)視覺(jué)等領(lǐng)域的共同熱門(mén)課題-圖像配準(zhǔn)算法的研究進(jìn)入高速發(fā)展階段.本文使用多個(gè)關(guān)鍵詞在多個(gè)數(shù)據(jù)庫(kù)調(diào)研了圖像配準(zhǔn)相關(guān)研究的文章發(fā)表情況, 總結(jié)了圖像配準(zhǔn)算法的發(fā)展趨勢(shì).關(guān)鍵詞包括不限于圖像配準(zhǔn)(image alignment, image registration)、深度學(xué)習(xí)(deep learning)、CT(computer tomography)、卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)、生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network, GAN)、互相關(guān)(cross correlation)、互信息(mutual information)等, 搜索引擎使用谷歌學(xué)術(shù)、超星發(fā)現(xiàn)、Web of Science等, 數(shù)據(jù)庫(kù)包括Scopus文摘索引數(shù)據(jù)庫(kù)(荷)、SCI科學(xué)引文索引(美)、EI工程索引(美)、PubMed/Medline收錄、統(tǒng)計(jì)源期刊(中信所)、中文核心期刊(北大)、CSCD中國(guó)科學(xué)引文庫(kù)(中國(guó)科學(xué)院)等.如圖3(a)所示, 圖像配準(zhǔn)研究從20世紀(jì)90年代開(kāi)始發(fā)展,在20世紀(jì)迎來(lái)高速發(fā)展階段, 各種經(jīng)典算法相繼被提出.如圖3(b)所示, 近年來(lái), 圖像配準(zhǔn)的相關(guān)研究雖然逐漸遞減, 但基于深度學(xué)習(xí)的圖像配準(zhǔn)研究逐年增加.到2020年為止, 基于深度學(xué)習(xí)的圖像配準(zhǔn)研究預(yù)計(jì)達(dá)到全年圖像配準(zhǔn)相關(guān)文獻(xiàn)發(fā)表總量的1/4, 逐漸成為該領(lǐng)域的主流方法之一.

圖3 圖像配準(zhǔn)領(lǐng)域文章發(fā)表情況 (a) 近30年圖像配準(zhǔn)論文發(fā)表情況; (b) 近10年深度學(xué)習(xí)圖像配準(zhǔn)論文增長(zhǎng)趨勢(shì)Fig.3.Publication of papers in the field of image registration: (a) Publication of research papers on image registration in the past 30 years; (b) percentage of papers on deep learning image registration in the past 10 years.

本文針對(duì)同步輻射X射線納米尺度圖像配準(zhǔn)的研究方向, 根據(jù)圖像配準(zhǔn)算法的研究階段分別介紹: 經(jīng)典圖像配準(zhǔn)理論與算法、納米尺度圖像配準(zhǔn)前沿應(yīng)用研究及圖像配準(zhǔn)算法前沿研究.依據(jù)工作原理、交互方式、數(shù)據(jù)類(lèi)型等方面, 詳細(xì)闡述每類(lèi)配準(zhǔn)算法的原理、適用場(chǎng)景及優(yōu)化方向, 并簡(jiǎn)潔的對(duì)每種算法的貢獻(xiàn)及未來(lái)適用性進(jìn)行總結(jié), 本文概述導(dǎo)圖如圖4所示.

圖4 圖像配準(zhǔn)算法分類(lèi)概述導(dǎo)圖Fig.4.Classification overview map of image registration algorithms.

2 圖像配準(zhǔn)理論與算法

常規(guī)圖像配準(zhǔn)工作流程主要包括: 模型變換,特征檢測(cè)及描述, 尋優(yōu)策略選擇并建立映射關(guān)系,圖像重采樣或變換等, 如圖5所示.其中, 核心步驟為特征的檢測(cè)描述與匹配, 圖像配準(zhǔn)算法根據(jù)檢測(cè)特征信息算法的不同, 可分為基于區(qū)域的圖像配準(zhǔn)與基于特征的圖像配準(zhǔn)兩大類(lèi).

圖5 圖像配準(zhǔn)的常規(guī)流程圖Fig.5.General flow chart of image registration.

2.1 基于區(qū)域的圖像配準(zhǔn)算法

基于區(qū)域的圖像配準(zhǔn)算法是利用圖片的強(qiáng)度信息等來(lái)構(gòu)建特征空間的方法, 典型方法有: 互相關(guān)法、互信息法、傅里葉法等[6,7].

1971年, Leese等[8]在模式識(shí)別算法的基礎(chǔ)上提出一種基于圖像灰度的平均絕對(duì)差配準(zhǔn)算法(mean absolute differences, MAD).隨后, 基于該MAD算法改進(jìn)的絕對(duì)誤差和算法(sum of absolute differences, SAD)、誤差平方和算法(sum of squared differences, SSD)、平均誤差平方和算法(mean squared differences, MSD)、序貫相似性檢測(cè)算法 (sequential similarity detection algorithm, SSDA)[9]及絕對(duì)變換誤差和算法(sum of absolute transformed difference, SATD)等配準(zhǔn)算法被相繼提出, 此類(lèi)算法均采用圖像灰度值計(jì)算相似度進(jìn)行圖像配準(zhǔn), 計(jì)算速度、魯棒性、精度均有所提高, 但各有側(cè)重.1974年, Pratt[10]在灰度值配準(zhǔn)算法的基礎(chǔ)上提出互相關(guān)圖像配準(zhǔn)法, 并通過(guò)計(jì)算機(jī)仿真結(jié)果證明.1982年, 在圖像點(diǎn)互相關(guān)法的基礎(chǔ)上, Guckenberger[11]證明了通過(guò)互相關(guān)函數(shù)在線性連續(xù)物體圖像配準(zhǔn)中是有效的.隨后, 歸一 化 互 相 關(guān)(normalize cross-correlation, NCC)及快速歸一化互相關(guān)(fast normalize cross-correlation, FNCC)等算法被相繼提出, 進(jìn)一步地提高了配準(zhǔn)精度及速度[12,13].

1995年, Paul等[14]提出互信息配準(zhǔn)法, 引用熱力學(xué)中熵的概念來(lái)表達(dá)兩幅圖像之間信息的不確定程度.互信息配準(zhǔn)法適用于多模態(tài)配準(zhǔn), 如醫(yī)學(xué)影像配準(zhǔn)、雙能CT投影配準(zhǔn)[15]等.隨著尋優(yōu)算法的發(fā)展, 從20世紀(jì)90年代開(kāi)始, 遺傳算法[16]、粒子群算法[17]、蟻群算法[18]等尋優(yōu)算法相繼被用于提高互相關(guān)、互信息等圖像配準(zhǔn)算法的速度.

傅里葉變換圖像配準(zhǔn)法通過(guò)傅里葉變換將圖像數(shù)據(jù)由空域變換到頻域, 采用相位相關(guān)技術(shù)進(jìn)行計(jì)算匹配, 具有速度快、精度高等優(yōu)勢(shì)[19].基于傅里葉變換的圖像配準(zhǔn)常規(guī)流程如圖6所示.傅里葉變換針對(duì)平移、灰度變化、旋轉(zhuǎn)及縮放的圖像具有尺度不變性, 利用整幅圖像的灰度信息進(jìn)行配準(zhǔn),精度較高.然而, 針對(duì)旋轉(zhuǎn)角度、縮放尺度及位移偏差較大或非線性畸變等圖像魯棒性不高, 對(duì)噪聲也較為敏感.

圖6 基于傅里葉變換的圖像配準(zhǔn)流程圖Fig.6.Flow chart of image registration based on Fourier transform.

2.2 基于特征的圖像配準(zhǔn)算法

基于特征的圖像配準(zhǔn)算法根據(jù)圖像中的可識(shí)別特征進(jìn)行圖像匹配.根據(jù)特征提取方式及人機(jī)交互性等, 可分為手動(dòng)選取法和自動(dòng)檢測(cè)法; 根據(jù)特征屬性, 可分為人工特征(又稱(chēng)外部特征)法和自然特征(又稱(chēng)內(nèi)部特征)法.

特征手動(dòng)選取法是具有配準(zhǔn)功能的三維重構(gòu)軟件的常用功能, 如斯坦福大學(xué)的納米CT重構(gòu)軟件TXM wizard等[20].實(shí)際情況下, 由于光通量過(guò)低或不穩(wěn)定等原因, 導(dǎo)致CT投影數(shù)據(jù)襯度低及信噪比低, 圖像自然特征不明顯, 手動(dòng)選取特征變得尤為困難.20世紀(jì)90年代, 有研究人員在樣品中添加人工特征物-金顆粒, 人工特征在樣品投影中襯度高且易于檢測(cè), 有效降低了配準(zhǔn)計(jì)算的復(fù)雜度, 節(jié)省了大量時(shí)間.但人工特征法也因樣品制備困難、周期長(zhǎng)及價(jià)格昂貴等缺點(diǎn)受到限制.

自動(dòng)特征提取是指通過(guò)算法自動(dòng)檢測(cè)圖像的自然特征并加以描述的方法, 如: 點(diǎn)特征、線特征、中心特征、區(qū)域重心等, 將其作為圖像配準(zhǔn)算法的特征進(jìn)行匹配.上述特征應(yīng)是圖像中不受偏移、旋轉(zhuǎn)及縮放等變化影響的目標(biāo), 可稱(chēng)之為不變描述符.因此, 基于特征的圖像配準(zhǔn)算法的本質(zhì)是不變描述符的利用, 該不變描述符應(yīng)滿足條件有: 不變性、唯一性、穩(wěn)定性及獨(dú)立性.但是, 實(shí)際使用過(guò)程中并不能同時(shí)滿足所有條件, 可按照使用需求適當(dāng)權(quán)衡取舍, 實(shí)現(xiàn)最優(yōu)特征選取.

特征檢測(cè)描述方法的優(yōu)劣決定了圖像配準(zhǔn)計(jì)算的效率和精度.隨著計(jì)算力提升及圖像處理學(xué)科的發(fā)展, 從20世紀(jì)80年代起, 經(jīng)典的特征匹配算法, 如Moravec算子[21]、Harris角點(diǎn)檢測(cè)算子[22]、SIFT(scale-invariant feature transform)法及基于SIFT[23]改進(jìn)的PCA-SIFT[24]、SURF[25]、CSIFT[26]等被相繼提出, 不斷優(yōu)化圖像特征提取的效率、精度及穩(wěn)定性.2006年, Rosten等[27]提出一種快速檢測(cè)特征點(diǎn)的算法 (features from accelerated segment detection, FAST), 原理是若某像素與其周?chē)徲騼?nèi)足夠多的像素點(diǎn)相差較大, 則該像素便可能為角點(diǎn).2010年, Calonder等[28]提出一種二進(jìn)制的特征點(diǎn)描述子 (binary robust independent elementary features, BRIEF), 該算法沒(méi)有采用灰度直方圖, 極大減少了特征匹配時(shí)間.然而, BRIEF僅是特征點(diǎn)描述子, 還需FAST, Harris, SIFT等算法檢測(cè)特征點(diǎn).2011年, Rublee等[29]結(jié)合FAST特征點(diǎn)檢測(cè)法和BRIEF特征點(diǎn)描述法提出ORB(oriented brief)特征點(diǎn)檢測(cè)描述法, 不僅優(yōu)化了BRIEF的噪聲敏感問(wèn)題, 還兼具旋轉(zhuǎn)不變性.同年, Leutenegger等[30]提出一種二進(jìn)制特征檢測(cè)描述算法BRISK, 利用FAST進(jìn)行特征點(diǎn)檢測(cè), 構(gòu)造圖像金字塔多尺度表達(dá)使其具有尺度不變性, 特征點(diǎn)描述采用高斯濾波及局部梯度計(jì)算使其具有旋轉(zhuǎn)不變性.2012年, Alahi等[31]在BRISK算法的基礎(chǔ)上提出FREAK算法, 在兼具尺度不變性、旋轉(zhuǎn)不變性及噪聲不敏感性的基礎(chǔ)上, FREAK法采用與BRISK的均勻采樣法不同的視網(wǎng)膜拓?fù)洳蓸臃?如圖7所示), 核心區(qū)域處理高精度圖像信息, 過(guò)度區(qū)域及稀疏區(qū)域處理低精度圖像信息, 使魯棒性大幅提高.另外, 常見(jiàn)的邊緣提取算子有LOG (laplace of Gaussian)算子[32]、Robert算子、Sobel算子、Prewitt算子等[33], 計(jì)算效率等詳見(jiàn)參考文獻(xiàn)[31, 32].

圖7 FREAK算法的類(lèi)視網(wǎng)膜取樣模式[31]Fig.7.Retina-like sampling mode of FREAK algorithm[31].

在上述基于區(qū)域或特征的圖像配準(zhǔn)算法中:

1)互相關(guān)與傅里葉變換等算法采用圖像全局信息, 雖然針對(duì)圖像噪聲、大尺度偏移及旋轉(zhuǎn)等影響的魯棒性不高, 但是兼顧了圖像配準(zhǔn)的效率及精度, 很適用于圖像信息偏差不大, 高配準(zhǔn)精度要求的圖像;

2)基于特征的配準(zhǔn)算法則對(duì)旋轉(zhuǎn)、偏移等圖像具有高魯棒性, 通常采用點(diǎn)特征法進(jìn)行匹配, 比較點(diǎn)特征檢測(cè)描述算子的效率可知, ORB算法最快, 其次為FREAK, BRISK, SURF 及SIFT等,但若進(jìn)行模糊程度較高的圖像配準(zhǔn)時(shí), BRISK算法的性能表現(xiàn)最為出色;

3)互信息圖像配準(zhǔn)算法和特征匹配配準(zhǔn)算法均適用于多模態(tài)配準(zhǔn).

3 納米尺度圖像配準(zhǔn)的應(yīng)用研究

在過(guò)去幾十年里, 數(shù)種圖像配準(zhǔn)算法被應(yīng)用到X射線斷層成像技術(shù)中.每種算法都各有優(yōu)缺點(diǎn), 阻礙了它們?cè)赬射線納米成像高精度配準(zhǔn)中的廣泛應(yīng)用.例如, 基于互相關(guān)的圖像配準(zhǔn)算法雖然計(jì)算速度快, 但是鄰角度投影的亞像素級(jí)誤差會(huì)不斷累加, 難以解決復(fù)雜的幾何變換問(wèn)題; 基于特征的圖像配準(zhǔn)算法, 自動(dòng)檢測(cè)計(jì)算復(fù)雜, 人工標(biāo)記制樣困難等.

近年來(lái), 納米尺度圖像配準(zhǔn)的發(fā)展主要以高精度、高速度、高魯棒性為目標(biāo).瑞士保羅謝勒研究所(Paul Scherrer Institute, PSI)的研究人員針對(duì)納米相干衍射成像的投影數(shù)據(jù)展開(kāi)了一系列配準(zhǔn)研究.2008年, Guizar-Sicairos等[34]提出了3種基于互相關(guān)及離散傅里葉變換的亞像素級(jí)精度配準(zhǔn)算法, 與常規(guī)快速傅里葉變換方法相比, 有效減少了內(nèi)存需求, 計(jì)算效率得到極大提高.2017年,Gürsoy等[35]針對(duì)納米尺度成像技術(shù)提出一種基于迭代重投影技術(shù)的快速高精度圖像配準(zhǔn)技術(shù).2019年, Odstrcil等[36]針對(duì)相干衍射相位成像, 利用的投影數(shù)據(jù)的吸收及相移信息提出一種聯(lián)合配準(zhǔn)算法.該方法按照算法優(yōu)勢(shì)將互相關(guān)配準(zhǔn)法、共線垂直配準(zhǔn)法、投影匹配法等配準(zhǔn)算法分為預(yù)配準(zhǔn)(即粗配準(zhǔn))和精配準(zhǔn)兩部分進(jìn)行全自動(dòng)配準(zhǔn)研究, 算法流程如圖8所示.該篇文章用模擬數(shù)據(jù)實(shí)驗(yàn)對(duì)聯(lián)合配準(zhǔn)算法進(jìn)行測(cè)試, 如圖9所示的實(shí)驗(yàn)結(jié)果證明該方法在保證亞像素級(jí)精度配準(zhǔn)的前提下,有效避免了用戶交互過(guò)程, 實(shí)現(xiàn)了快速、高魯棒性的全自動(dòng)投影數(shù)據(jù)配準(zhǔn)與重建.

圖8 MR-PMA配準(zhǔn)法流程圖[36]Fig.8.Flow chart of MR-PMA image alignment[36].

圖9 通過(guò)MR-PMA方法配準(zhǔn)的FBP法重建質(zhì)量[36] (Dataset 1為標(biāo)準(zhǔn)數(shù)據(jù)集, Dataset2為欠采樣并包含161個(gè)噪點(diǎn)的數(shù)據(jù)集、Dataset 3在Dataset 2基礎(chǔ)上添加了10%的高斯噪聲.分別對(duì)每個(gè)數(shù)據(jù)集進(jìn)行32-1的降采樣法配準(zhǔn), 最后一列的插圖顯示了全分辨率數(shù)據(jù)集的重建質(zhì)量)Fig.9.FBP reconstruction quality after alignment by our MR-PMA method[36] (Columns show reconstruction at different downsampling levels from 32 up to 1, and rows correspond to different synthetic datasets.Insets in the last column show detail of the reconstruction quality for the full resolution dataset).

2018年, 斯坦福大學(xué)同步輻射光源及東華大學(xué)的Yu等[37]通過(guò)評(píng)估不同配準(zhǔn)算法的特性, 并提出一個(gè)聯(lián)合RP (reverse projection)、CM (center of mass), PC (phase correlation), SIFT, IAIR(intensity-based automatic image alignment)等多種配準(zhǔn)算法的特定使用序列以克服單個(gè)配準(zhǔn)算法的短板, 提供最佳的自動(dòng)配準(zhǔn)性能, 如圖10-圖12所示.首先, 利用RP法計(jì)算旋轉(zhuǎn)中心與投影中心的相對(duì)偏移量, 但是對(duì)于隨機(jī)振動(dòng)誤差無(wú)效.因此, 采用精度較低、計(jì)算速度快的CM法作為粗配準(zhǔn)步驟校正隨機(jī)振動(dòng)誤差.其次, 采用兼顧精度與計(jì)算速度的相位相關(guān)法進(jìn)一步提高配準(zhǔn)精度.最后, 采用SIFT法和IAIR法(對(duì)低信噪比的投影魯棒性不高)進(jìn)行最終偏移及旋轉(zhuǎn)誤差校正, 以達(dá)到最佳配準(zhǔn)精度.根據(jù)電池電極顆粒納米CT數(shù)據(jù)的實(shí)驗(yàn)結(jié)果證明, 該方法對(duì)納米尺度圖像有效配準(zhǔn), 實(shí)現(xiàn)高精度三維重建[37].

圖10 評(píng)估具有不同缺陷的不同圖像配準(zhǔn)算法的精度和魯棒性[37]Fig.10.Evaluation of the precision and the robustness of different image registration algorithms with added imperfections[37].

圖12 配準(zhǔn)后頁(yè)巖投影重建切片對(duì)比: (a) 原始數(shù)據(jù), (b) 手動(dòng)配準(zhǔn), (c) 自動(dòng)配準(zhǔn); 重投影后頁(yè)巖投影數(shù)據(jù)對(duì)比: (d) 實(shí)驗(yàn)數(shù)據(jù),(e) 手動(dòng)重投影, (f) 自動(dòng)重投影[37]Fig.12.Reconstructed slices through the center of the shale sample without alignment (a) and with manual (b) or automatic (c)alignment.Panel (d) is the experimentally measured projection image.Panels (e) and (f) are the numerically reprojected images,calculated from the manual and auto-aligned 3D matrixes, respectively[37].

圖11 納米級(jí)投影圖像迭代配準(zhǔn)重建流程圖[37]Fig.11.Schematics of the iterative projection image registration workflow for nanoscale X-ray tomographic reconstructions[37].

2020年, 中國(guó)臺(tái)灣光源的Wang等[38]針對(duì)納米成像投影數(shù)據(jù)提出一種無(wú)標(biāo)記全自動(dòng)配準(zhǔn)算法.先后利用頻域共線配準(zhǔn)法、空間共線配準(zhǔn)法、單層迭代重建與重投影法來(lái)處理投影面內(nèi)旋轉(zhuǎn)誤差、垂直誤差、水平誤差.如圖13和圖14所示, 實(shí)驗(yàn)結(jié)果表明, 這種聯(lián)合配準(zhǔn)算法有效降低了經(jīng)典配準(zhǔn)算法的計(jì)算復(fù)雜度, 提高了高精度配準(zhǔn)的收斂速度,總處理時(shí)間最多可減少4個(gè)數(shù)量級(jí).

圖13 Ji-Faproma算法不同噪聲水平下的配準(zhǔn)精度對(duì)比[38] (a)投影內(nèi)旋轉(zhuǎn)誤差的平均根方差; (b)投影垂直誤差和水平誤差的平均根方差; (c)配準(zhǔn)后面對(duì)不同噪聲時(shí)的重建質(zhì)量Fig.13.Performance of the JI-Faproma evaluated by comparing the alignment accuracy under different noise levels[38]: (a) Rootmean-square error of the in-plane rotational error correction; (b) root-mean-square errors of the vertical and horizontal error corrections; (c) reconstruction quality after JI-Faproma alignment for test phantoms containing different levels of noise.

圖14 Ji-Faproma算法在不同噪聲水平下的收斂情況[38]Fig.14.Ji-Faproma algorithm convergence under different noise level of raw projections[38].

此外, 中國(guó)科學(xué)院高能物理所的Wang等[39]針對(duì)納米分辨全場(chǎng)成像掃描過(guò)程中樣品抖動(dòng)的問(wèn)題, 提出了一種基于GMs(geometric moments)的校正樣品抖動(dòng)的配準(zhǔn)算法, 如圖15和圖16所示.實(shí)驗(yàn)表明, 該方法通過(guò)測(cè)量和擬合的GMs差異來(lái)估算樣品抖動(dòng)值以進(jìn)行圖像校正, 有效保留了CT投影數(shù)據(jù)的精細(xì)結(jié)構(gòu), 與手動(dòng)標(biāo)記法相比具有更好的空間分辨率和襯度, 相比于添加金顆粒特征(手動(dòng)標(biāo)記法), 該方法極大節(jié)省了實(shí)驗(yàn)成本.

圖15 GMs抖動(dòng)校正法的流程圖[39]Fig.15.Workflow of the proposed jitter correction[39].

圖16 采用不同矯正方法的重構(gòu)結(jié)果[39] (圖中: a列-d列分別是原始數(shù)據(jù)、手動(dòng)對(duì)齊、重投影法、GMs法的切片; 第1-第3行是從x–z平面重建的切片, 在y方向上均勻間隔了50個(gè)像素; 第4行是x–z平面中的重構(gòu)切片)Fig.16.Sinograms (top row) and reconstructed slices of a chlorella cell using different methods[39] (Row 2: reconstructed slices of row 1, displayed in the x–y plane.Row 3: reconstructed slices in the x–z plane.Columns from (a) to (d) are results of TXM without jitter correction, corrected by a re-projection-based method, by manual alignment and by the proposed GM method).

由上述研究可以看出, 由多種經(jīng)典算法組合而成的粗配準(zhǔn)-精配準(zhǔn)-聯(lián)合配準(zhǔn)算法模式是納米尺度圖像配準(zhǔn)的有效處理方法之一, 達(dá)到了亞像素級(jí)精度、高魯棒性、高速度的研究目標(biāo).隨著各種新特征檢測(cè)描述方法的不斷提出, 通過(guò)以經(jīng)典配準(zhǔn)重構(gòu)算法與新特征檢測(cè)描述算子結(jié)合使用的方式,聯(lián)合配準(zhǔn)算法的性能仍有進(jìn)一步提高的潛力.

4 基于深度學(xué)習(xí)的圖像配準(zhǔn)算法

深度學(xué)習(xí)的概念由Hinton等于2006年提出,是基于機(jī)器學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)的應(yīng)用研究, 目的是建立模擬人腦分析過(guò)程進(jìn)行學(xué)習(xí)的方法[40].近年來(lái), 隨著深度學(xué)習(xí)各項(xiàng)技術(shù)的快速發(fā)展, 陸續(xù)在多個(gè)領(lǐng)域的人工智能應(yīng)用上取得成功, 例如: 在計(jì)算機(jī)視覺(jué)和模式識(shí)別中, CNN能夠有效實(shí)現(xiàn)圖像識(shí)別, GAN顯著提高了圖像翻譯, 圖像編輯, 圖像修復(fù)和圖像融合等任務(wù)的性能等.此外, 還有循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)、自動(dòng)編碼神經(jīng)網(wǎng)絡(luò)(auto-encoder, AE)及強(qiáng)化學(xué)習(xí)(reinforcement learning, RL)等方法廣泛應(yīng)用于各個(gè)領(lǐng)域.圖像配準(zhǔn)作為圖像處理、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)等領(lǐng)域的交叉熱門(mén)研究課題, 現(xiàn)有的圖像配準(zhǔn)研究趨勢(shì)被深度學(xué)習(xí)的研究模式打破, 當(dāng)前圖像配準(zhǔn)的前沿研究大多涉及深度學(xué)習(xí).

自 2014年起, 基于深度學(xué)習(xí)的圖像配準(zhǔn)研究的會(huì)議論文和期刊論文發(fā)表數(shù)量迅速增加.如圖17所示, 基于CNN的圖像配準(zhǔn)研究增量最多, 增速最快, 目前已占比約為深度學(xué)習(xí)圖像配準(zhǔn)研究總數(shù)量的55%; 同時(shí), 基于GAN圖像配準(zhǔn)的研究趨勢(shì)也逐年增加, 增速迅速提升, 目前已經(jīng)占比約13%;基于自動(dòng)編碼神經(jīng)網(wǎng)絡(luò)與強(qiáng)化學(xué)習(xí)的圖像配準(zhǔn)研究增量較少, 分別占比約6%和7%.必須指出,上述方法并不是相互代替, 而是常常采用聯(lián)合使用的方式進(jìn)行圖像配準(zhǔn).總體來(lái)看, 基于無(wú)監(jiān)督的深度學(xué)習(xí)研究數(shù)量過(guò)半, 這是因?yàn)楸O(jiān)督學(xué)習(xí)方法需要從大量特征中選擇最優(yōu)的特征空間, 往往還需要用到人工特征進(jìn)行訓(xùn)練, 并且該方法還需要與預(yù)測(cè)估計(jì)值具有參照關(guān)系的目標(biāo)數(shù)據(jù)(ground truth)進(jìn)行訓(xùn)練[41-43].但是, 由納米成像技術(shù)獲得的圖像數(shù)據(jù)通常沒(méi)有目標(biāo)數(shù)據(jù), 目標(biāo)數(shù)據(jù)的計(jì)算過(guò)程不僅耗費(fèi)人力, 并且易受到人為主觀因素的影響, 極大影響了圖像配準(zhǔn)的準(zhǔn)確性.因此, 本文將根據(jù)納米成像數(shù)據(jù)的特點(diǎn)及難點(diǎn)展開(kāi)基于多種深度學(xué)習(xí)模式的前沿研究介紹.

圖17 深度學(xué)習(xí)研究論文發(fā)表情況統(tǒng)計(jì) (a) 2014年至2020年多種深度學(xué)習(xí)模式圖像配準(zhǔn)論文發(fā)表數(shù)量統(tǒng)計(jì); (b) 2014年至2020年多種深度學(xué)習(xí)模式的圖像配準(zhǔn)文章百分比圖; (c) 2014年至2020年無(wú)監(jiān)督與監(jiān)督深度學(xué)習(xí)圖像配論文發(fā)表百分比圖Fig.17.A survey of the publication of deep learning research papers: (a) Number of published image registration papers based on multiple deep learning methods since 2014; (b) percentage of image registration papers based on multiple deep learning methods since 2014; (c) The percentage of published image registration papers based on unsupervised and supervised deep learning since 2014.

2012年, 由Krizhevsky等[44]采用的深層CNN由輸入層、卷積層、ReLu層、池化層和全連接層組成.深層CNN具有的正則化多層感知器、卷積濾波和算子使其具有卓越的圖像提取能力, 是當(dāng)前深度學(xué)習(xí)圖像配準(zhǔn)使用最廣泛的網(wǎng)絡(luò)結(jié)構(gòu)模型.Cao等[45]基于深層CNN配準(zhǔn)方法提出了線索感知深度回歸網(wǎng)絡(luò), 建立從輸入圖像到輸出形變場(chǎng)的非線性映射模型, 實(shí)現(xiàn)準(zhǔn)確有效的非線性形變配準(zhǔn).該研究通過(guò)基于關(guān)鍵點(diǎn)的均衡化采樣方法在訓(xùn)練數(shù)據(jù)中采集足夠的訓(xùn)練樣本來(lái)訓(xùn)練CNN模型,方法流程如圖18所示.經(jīng)實(shí)驗(yàn)證明, 訓(xùn)練結(jié)果可擴(kuò)展至多樣數(shù)據(jù)集進(jìn)行配準(zhǔn), 具有高魯棒性.

圖18 基于線索感知深度學(xué)習(xí)網(wǎng)絡(luò)的圖像配準(zhǔn)[46]Fig.18.The framework of the proposed similarity-steered CNN regression for deformable image registration[46].

針對(duì)深度學(xué)習(xí)圖像配準(zhǔn)的監(jiān)督學(xué)習(xí)缺少目標(biāo)數(shù)據(jù)的問(wèn)題, 有研究者使用模擬數(shù)據(jù)進(jìn)行基于監(jiān)督學(xué)習(xí)的圖像配準(zhǔn)訓(xùn)練, 訓(xùn)練結(jié)果對(duì)真實(shí)數(shù)據(jù)的固定噪聲極其敏感, 圖像配準(zhǔn)的準(zhǔn)確性同樣難以保證.

Krebs等[47]通過(guò)大量模擬圖像數(shù)據(jù)與少量真實(shí)圖像數(shù)據(jù)混合使用的方式解決無(wú)目標(biāo)數(shù)據(jù)問(wèn)題.Rohé等[48]使用全局信息和結(jié)構(gòu)信息代替強(qiáng)度信息對(duì)部分區(qū)域進(jìn)行與配準(zhǔn), 以增加計(jì)算速度并避免陷入局部最優(yōu)化.隨后, 將配準(zhǔn)后的偏移信息作為目標(biāo)數(shù)據(jù)進(jìn)行監(jiān)督訓(xùn)練, 測(cè)試數(shù)據(jù)的結(jié)果表明模型的精度、魯棒性、速度均有所提高.

Wu等[49]采用卷積結(jié)構(gòu)的多層自動(dòng)編碼網(wǎng)絡(luò)對(duì)腦部圖像數(shù)據(jù)進(jìn)行無(wú)監(jiān)督的深度學(xué)習(xí)圖像配準(zhǔn),卷積結(jié)構(gòu)有效降低了多層自動(dòng)編碼網(wǎng)絡(luò)(即貪婪算法)的復(fù)雜度, 訓(xùn)練后的模型對(duì)測(cè)試數(shù)據(jù)具有一定的魯棒性, 為深度學(xué)習(xí)圖像配準(zhǔn)應(yīng)用的提供了思路.Fang等[50]提出了一種快速無(wú)監(jiān)督學(xué)習(xí)的全連接卷積網(wǎng)絡(luò), 直接進(jìn)行輸入圖像數(shù)據(jù)的密度偏移矢量場(chǎng)(dense displacement vector field, DVF)的估計(jì)學(xué)習(xí)訓(xùn)練, 并不需要目標(biāo)數(shù)據(jù)進(jìn)行標(biāo)定.經(jīng)使用公開(kāi)CT數(shù)據(jù)集測(cè)試表明, 該方法可以在保持與常規(guī)CNN訓(xùn)練模型同等精度下, 速度明顯提高.

2014年, GAN由Goodfellow等[51]提出, 迅速在各領(lǐng)域展開(kāi)了大量研究, 相關(guān)研究文章發(fā)表數(shù)量如圖19所示.GAN由兩個(gè)競(jìng)爭(zhēng)網(wǎng)絡(luò)組成, 分別為生成器和鑒別器.生成器從低維空間合成模擬真實(shí)數(shù)據(jù)的人工數(shù)據(jù)對(duì)鑒別器進(jìn)行區(qū)分訓(xùn)練, 通過(guò)對(duì)鑒別器的懲罰機(jī)制實(shí)現(xiàn)準(zhǔn)確預(yù)測(cè)真實(shí)數(shù)據(jù), 圖20為基于GAN的醫(yī)學(xué)圖像配準(zhǔn)流程示例[52].

圖19 基于GAN研究的論文發(fā)表情況Fig.19.Number of papers published related to GAN research.

圖20 基于GAN的醫(yī)學(xué)圖像配準(zhǔn)流程圖[52] (a) 生成器 (b)鑒別器Fig.20.Flow chart of medical image registration based on GAN[52]: (a) Generator network; (b) discriminator network.

Mahapatra等[53]通過(guò)訓(xùn)練GAN生成配準(zhǔn)圖像和相應(yīng)的形變場(chǎng)提出一種無(wú)監(jiān)督自適應(yīng)的 GAN深度學(xué)習(xí)框架.通過(guò)實(shí)驗(yàn)證明, 訓(xùn)練模型可以適用于不同類(lèi)型的圖像配準(zhǔn), 基于域自適應(yīng)的配準(zhǔn)方法比采用大量數(shù)據(jù)訓(xùn)練配準(zhǔn)法的性能更佳.Toriya等[54]針對(duì)低信噪比的衛(wèi)星遙感圖像特征不明顯等問(wèn)題, 采用基于GAN的pix2pix模型生成明顯特征點(diǎn)的光學(xué)圖像作為匹配之前的預(yù)處理步驟, 再用SIFT等算法進(jìn)行匹配, 如圖21所示.該方法驗(yàn)證了低信噪比圖像特征點(diǎn)強(qiáng)化后的特征匹配能力,所提出的深度學(xué)習(xí)特征預(yù)處理與基于特征配準(zhǔn)算法的結(jié)合模式也契合了納米CT圖像數(shù)據(jù)的特點(diǎn),如將pix2pix模型拓展為CycleGAN[55]模型以解決納米圖像數(shù)據(jù)無(wú)目標(biāo)數(shù)據(jù)等問(wèn)題, 為未來(lái)配準(zhǔn)工作提供了新思路.

圖21 GAN配準(zhǔn)前特征點(diǎn)預(yù)處理流程圖[54]Fig.21.Outline of using GAN as a preprocessing step before keypoint matching[54].

截止目前, 采用深度學(xué)習(xí)框架處理納米尺度圖像配準(zhǔn)的研究還較少, 但必須指出:

1) 無(wú)監(jiān)督的深度學(xué)習(xí)方法不受目標(biāo)數(shù)據(jù)的限制, 完全依靠原始數(shù)據(jù)進(jìn)行訓(xùn)練, 無(wú)需人工特征標(biāo)記;

2) 深度學(xué)習(xí)可用于特征匹配前預(yù)處理步驟,有效強(qiáng)化低信噪比圖像的自然特征.

因此, 上述方法均可外推至具有低信噪比、相鄰旋轉(zhuǎn)角度間連續(xù)偏移等特點(diǎn)的納米CT圖像數(shù)據(jù)集的配準(zhǔn)研究中, 尤其是基于GAN模型作為特征強(qiáng)化的配準(zhǔn)預(yù)方式.按照現(xiàn)有深度學(xué)習(xí)框架快速搭建, 無(wú)需人工交互即能完成納米尺度圖像配準(zhǔn),但要達(dá)到亞像素級(jí)精度、高速度及高魯棒性的目標(biāo)還需進(jìn)一步研究及驗(yàn)證.

5 結(jié)論與展望

圖像配準(zhǔn)技術(shù)是解決納米尺度圖像數(shù)據(jù)失準(zhǔn)問(wèn)題的有效方法.本文以圖像配準(zhǔn)經(jīng)典算法的發(fā)展過(guò)程為鋪墊, 詳細(xì)介紹了瑞士保羅謝勒研究所、美國(guó)阿貢實(shí)驗(yàn)室、美國(guó)斯坦福大學(xué)、中國(guó)科學(xué)院高能物理研究所、中國(guó)科學(xué)技術(shù)大學(xué)、中國(guó)臺(tái)灣光源、中國(guó)上海光源等先進(jìn)成像研究機(jī)構(gòu)關(guān)于納米級(jí)別圖像的配準(zhǔn)研究進(jìn)展.總結(jié)了當(dāng)前的研究目標(biāo)為開(kāi)發(fā)亞像素級(jí)精度、高速度及高魯棒性的配準(zhǔn)方法,并根據(jù)前沿文獻(xiàn)的調(diào)研情況指出目前納米成像領(lǐng)域中最行之有效的圖像配準(zhǔn)模式-聯(lián)合配準(zhǔn)算法模式, 及預(yù)測(cè)未來(lái)研究趨勢(shì)為深度學(xué)習(xí)與圖像配準(zhǔn)算法的結(jié)合模式.

本文通過(guò)從近年來(lái)發(fā)表的特征提取描述研究中篩選出適用于納米尺度圖像配準(zhǔn)的特征提取描述算子, 為聯(lián)合算法的進(jìn)一步優(yōu)化提供了重要參考.可以預(yù)見(jiàn), 隨著不斷有新特征檢測(cè)算子提出,與經(jīng)典配準(zhǔn)重構(gòu)算法的組合應(yīng)用也逐漸多樣化, 聯(lián)合配準(zhǔn)算法的性能即具有巨大的提升空間.

基于深度學(xué)習(xí)的研究改變了圖像配準(zhǔn)算法的發(fā)展趨勢(shì).CNN和GAN等深度學(xué)習(xí)網(wǎng)絡(luò)具有的卓越的圖像提取能力在納米成像投影配準(zhǔn)研究中有巨大的應(yīng)用潛力.不僅可以直接用于圖像配準(zhǔn),還可以優(yōu)化圖像配準(zhǔn)的預(yù)處理步驟.同時(shí), 本文也指出了深度學(xué)習(xí)在納米CT圖像配準(zhǔn)研究中面臨的挑戰(zhàn):

1)納米CT數(shù)據(jù)沒(méi)有真實(shí)目標(biāo)值(Ground Truth)進(jìn)行訓(xùn)練;

2)深度學(xué)習(xí)訓(xùn)練模型的配準(zhǔn)精度尚未優(yōu)于聯(lián)合配準(zhǔn)等算法;

3)深度學(xué)習(xí)作為圖像配準(zhǔn)算法的預(yù)處理步驟,強(qiáng)化自然特征;

4)保證及驗(yàn)證配準(zhǔn)圖像的真實(shí)性.

上述挑戰(zhàn)對(duì)基于深度學(xué)習(xí)的納米級(jí)別圖像配準(zhǔn)的未來(lái)研究方向具有一定的指導(dǎo)意義.隨著深度學(xué)習(xí)框架的發(fā)展及GPU計(jì)算能力的提升, 深度學(xué)習(xí)具有極大潛力成為納米成像領(lǐng)域圖像配準(zhǔn)的核心方法之一, 大大推動(dòng)同步輻射納米成像技術(shù)的發(fā)展.