王麗芳 王雁麗 藺素珍 秦品樂 高媛

摘 要：針對腦部圖像中存在噪聲和強度失真時，基于結(jié)構(gòu)信息的方法不能同時準(zhǔn)確提取圖像強度信息和邊緣、紋理特征，并且連續(xù)優(yōu)化計算復(fù)雜度相對較高的問題，根據(jù)圖像的結(jié)構(gòu)信息，提出了基于改進Zernike距的局部描述符（IZMLD）和圖割（GC）離散優(yōu)化的非剛性多模態(tài)腦部圖像配準(zhǔn)方法。首先，將圖像配準(zhǔn)問題看成是馬爾可夫隨機場（MRF）的離散標(biāo)簽問題，并且構(gòu)造能量函數(shù)，兩個能量項分別由位移矢量場的像素相似性和平滑性組成。其次，采用變形矢量場的一階導(dǎo)數(shù)作為平滑項，用來懲罰相鄰像素間有較大變化的位移標(biāo)簽;用基于IZMLD計算的相似性測度作為數(shù)據(jù)項，用來表示像素相似性。然后，在局部鄰域中用圖像塊的Zernike矩來分別計算參考圖像和浮動圖像的自相似性并構(gòu)造有效的局部描述符，把描述符之間的絕對誤差和（SAD）作為相似性測度。最后，將整個能量函數(shù)離散化，并且使用GC的擴展優(yōu)化算法求最小值。實驗結(jié)果表明，與基于結(jié)構(gòu)表示的熵圖像的誤差平方和（ESSD）、模態(tài)獨立鄰域描述符（MIND）和隨機二階熵圖像（SSOEI）的配準(zhǔn)方法相比，所提算法目標(biāo)配準(zhǔn)誤差的均值分別下降了1878%、10.26%和8.89%，并且比連續(xù)優(yōu)化算法縮短了約20s的配準(zhǔn)時間。所提算法實現(xiàn)了在圖像存在噪聲和強度失真時的高效精確配準(zhǔn)。

關(guān)鍵詞：多模態(tài);圖像配準(zhǔn);自相似性;Zernike矩;圖割

中圖分類號： TP391.41

文獻標(biāo)志碼：A

Abstract： When noise and intensity distortion exist in brain images， the method based on structural information cannot accurately extract image intensity information， edge and texture features at the same time. In addition， the computational complexity of continuous optimization is relatively high. To solve these problems， according to the structural information of the image， a non-rigid multi-modal brain image registration method based on Improved Zernike Moment based Local Descriptor （IZMLD） and Graph Cuts （GC） discrete optimization was proposed. Firstly， the image registration problem was regarded as the discrete label problem of Markov Random Field （MRF）， and the energy function was constructed. The two energy terms were composed of the pixel similarity and smoothness of the displacement vector field. Secondly， a smoothness constraint based on the first derivative of the deformation vector field was used to penalize displacement labels with sharp changes between adjacent pixels. The similarity metric based on IZMLD was used as a data item to represent pixel similarity. Thirdly， the Zernike moments of the image patches were used to calculate the self-similarity of the reference image and the floating image in the local neighborhood and construct an effective local descriptor. The Sum of Absolute Difference （SAD） between the descriptors was taken as the similarity metric. Finally， the whole energy function was discretized and its minimum value was obtained by using an extended optimization algorithm of GC. The experimental results show that compared with the registration method based on the Sum of Squared Differences on Entropy images （ESSD）， the Modality Independent Neighborhood Descriptor （MIND） and the Stochastic Second-Order Entropy Image （SSOEI）， the mean of the target registration error of the proposed method was decreased by 18.78%， 10.26% and 8.89% respectively; and the registration time of the proposed method was shortened by about 20s compared to the continuous optimization algorithm. The proposed method achieves efficient and accurate registration for images with noise and intensity distortion.

Key words： multi-modal; image registration; self-similarity; Zernike moments; Graph Cuts （GC）

0 引言

在臨床醫(yī)學(xué)中，不同的成像模式可以提供不同的生理信息。單模態(tài)醫(yī)學(xué)圖像提供的信息往往是有限的，而多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)則有利于將不同模態(tài)圖像之間的信息互補，信息互補的圖像能提供病變組織或器官的多種信息，為醫(yī)生作出準(zhǔn)確診斷提供有力的理論依據(jù)[1]。

非剛性多模態(tài)腦部醫(yī)學(xué)圖像配準(zhǔn)是將參考和浮動圖像的對應(yīng)點達到空間上的一致，主要有三個主要組成部分：轉(zhuǎn)換模型、相似性測度和優(yōu)化方法。目前針對多模態(tài)腦部醫(yī)學(xué)圖像配準(zhǔn)中的相似性測度計算方法主要分為兩類：一類是使用信息論度量作為相似性測度。互信息（Mutual Information，MI）[2]是目前廣泛使用的信息論度量，它利用圖像的灰度信息來計算兩幅圖像的相似度;但是MI忽略了圖像的局部特征和結(jié)構(gòu)信息，導(dǎo)致多模態(tài)圖像配準(zhǔn)精度降低。

另一類是使用結(jié)構(gòu)信息作為相似性測度。該方法是用局部描述符提取不同模態(tài)的結(jié)構(gòu)信息，從而把多模態(tài)配準(zhǔn)轉(zhuǎn)化為單模態(tài)配準(zhǔn)，使用簡單相似性測度進行配準(zhǔn)。在基于結(jié)構(gòu)信息的相似性測度中，Wachinger等[3]提出了兩種用于多模態(tài)圖像配準(zhǔn)的結(jié)構(gòu)表示方法：一種方法是在圖像中取每個像素的鄰域塊，計算鄰域塊的熵（即該點的鄰域結(jié)構(gòu)信息），將不同模態(tài)的圖像轉(zhuǎn)化為相同模態(tài)的熵圖，并使用基于熵圖像的誤差平方和（Sum of Squared Differences on Entropy images，ESSD）作為相似性測度。該方法計算速度快但是熵圖像較模糊。另一種方法使用拉普拉斯特征映射，高階流形通過構(gòu)建鄰域圖進行降維，然后計算拉普拉斯圖的L2距離。該方法配準(zhǔn)精度高但是計算成本非常高，并且特征降維也損失了圖像信息。Heinrich等[4]提出模態(tài)獨立鄰域描述符（Modality Independent Neighborhood Descriptor，MIND）用于多模態(tài)圖像配準(zhǔn)，根據(jù)相鄰圖像塊之間的相似性計算MIND，對非功能強度關(guān)系和圖像噪聲具有較好的魯棒性。但MIND不具有旋轉(zhuǎn)不變性，在圖像邊緣和復(fù)雜紋理區(qū)域圖像特征存在旋轉(zhuǎn)時，MIND會出現(xiàn)配準(zhǔn)誤差。Cun等[5]將隨機二階熵圖像（Stochastic Second-Order Entropy Image，SSOEI）用于多模態(tài)圖像配準(zhǔn)。SSOEI對局部強度變化具有魯棒性，但二階熵圖像仍較模糊。圖像矩是描述圖像全局特征的方法， 圖像正交矩更有數(shù)值穩(wěn)定和方便重構(gòu)等優(yōu)點。Zernike矩作為一種連續(xù)正交矩，能提供豐富的圖像幾何信息[6]，已被應(yīng)用于圖像處理、計算機視覺和模式識別等領(lǐng)域[7-9];但是傳統(tǒng)的Zernike矩不能同時提取圖像的特征和強度信息，且抗噪性較差。

圖像配準(zhǔn)的優(yōu)化算法可看成是能量函數(shù)的極值求解問題。通過構(gòu)造能量函數(shù)，采用優(yōu)化方法求解最小值，則最小值對應(yīng)最優(yōu)的配準(zhǔn)效果。優(yōu)化方法分為兩類：連續(xù)優(yōu)化和離散優(yōu)化[10]。連續(xù)優(yōu)化常用算法有梯度下降法、共軛梯度下降法、擬牛頓方法等。此類算法大部分依賴于目標(biāo)函數(shù)梯度的計算，導(dǎo)數(shù)的計算量較大，并且易陷入局部最小值?；隈R爾可夫隨機場（Markov Random Field，MRF）的離散優(yōu)化策略用來克服連續(xù)優(yōu)化的缺點[11]，該策略是無梯度的，計算復(fù)雜度相對較低，并且可通過較大的鄰域搜索空間進行優(yōu)化，能有效避免陷入局部最小值。在離散優(yōu)化中，Sarkis等[12]使用置信傳播法（Belief Propagation，BP）來解決立體匹配問題。BP是一種高效的算法，但是計算復(fù)雜度較高。Kolmogorov等[13]提出樹重加權(quán)消息傳遞法（Tree-ReWeighted message passing，TRW）用于能量最小化。與BP相比，TRW可用于更多的能量函數(shù)，但TRW不能保證其完全收斂。Glocker等[14]使用MRF和線性規(guī)劃（Linear Programming，LP）的優(yōu)化算法，把圖像配準(zhǔn)問題看作離散標(biāo)簽問題，可有效控制能量函數(shù)收斂;但是LP算法需要較大空間容量，這將限制LP對復(fù)雜變形的圖像進行精確配準(zhǔn)。Boykov等[15]提出了一種交互式的圖割 （Graph Cuts，GC） 法。GC是一種基于圖論的組合優(yōu)化方法，采用最大流/最小割理論來求MRF能量的全局最優(yōu)解，且GC所需的空間容量更小。Kolmogorov等[16]比較了常用的離散優(yōu)化算法，得出了GC法優(yōu)于其他優(yōu)化算法的結(jié)論。

針對非剛性圖像存在噪聲和強度失真時，基于結(jié)構(gòu)信息的方法無法同時準(zhǔn)確提取圖像混合信息，連續(xù)優(yōu)化計算復(fù)雜度相對較高且易陷入局部最小值的問題，本文根據(jù)圖像的結(jié)構(gòu)信息，提出了基于改進Zernike矩的局部描述符（Improved Zernike Moment based Local Descriptor， IZMLD）和GC離散優(yōu)化相結(jié)合的非剛性多模態(tài)腦部圖像配準(zhǔn)方法。IZMLD基于圖像的自相似性，構(gòu)造有效的局部描述符來提取圖像的結(jié)構(gòu)信息。結(jié)合不同階數(shù)和重數(shù)的Zernike矩可同時提取圖像的強度和特征信息，從而提高配準(zhǔn)的精度。由于自相似性計算對圖像噪聲具有良好的魯棒性，以及Zernike矩的旋轉(zhuǎn)不變性，所提出的基于IZMLD的方法在有圖像噪聲和強度失真的情況下，仍可以有效提取混合圖像特征，包括圖像強度以及邊緣、紋理特征。本文方法分別計算參考圖像和浮動圖像的IZMLD，將多模態(tài)配準(zhǔn)問題轉(zhuǎn)化為單模態(tài)配準(zhǔn)問題，使用描述符之間的絕對誤差和（Sum of Absolute Differences，SAD）來計算相似性測度。該方法采用MRF作為配準(zhǔn)模型，用描述符之間的SAD作為數(shù)據(jù)項，變形矢量場的一階導(dǎo)數(shù)作為平滑項來構(gòu)造能量函數(shù)，然后把能量函數(shù)離散化，使用GC的α擴展算法來求最優(yōu)解。實驗對比結(jié)果表明，使用IZMLD可提高配準(zhǔn)的精度，而采用GC優(yōu)化算法可有效縮短配準(zhǔn)時間，本文將兩者結(jié)合可同時提高非剛性多模態(tài)腦部圖像配準(zhǔn)的精度和效率。

1 相關(guān)工作

1.1 Zernike矩原理

4 結(jié)語

根據(jù)圖像的結(jié)構(gòu)信息，本文提出了基于改進的Zernike矩的局部描述符（IZMLD）和GC離散優(yōu)化相結(jié)合的非剛性多模態(tài)腦部圖像配準(zhǔn)方法，解決了非剛性圖像存在噪聲和強度失真時，基于結(jié)構(gòu)信息的方法無法同時準(zhǔn)確提取圖像強度和邊緣、紋理特征，連續(xù)優(yōu)化計算復(fù)雜度相對較高且易陷入局部最小值的問題。通過多模態(tài)腦部圖像數(shù)據(jù)集的實驗結(jié)果表明，本文方法提高了非剛性多模態(tài)腦部圖像配準(zhǔn)的精度和效率。本文主要針對二維多模態(tài)圖像，如何在三維圖像中實現(xiàn)高效、準(zhǔn)確的多模態(tài)配準(zhǔn)是下一步研究的重點。

參考文獻：

[1] OLIVEIRA F P M， TAVARES J M R S. Medical image registration： a review [J]. Computer Methods in Biomechanics & Biomedical Engineering， 2014， 17（2）： 73-93.

[2] FERRANTE E， PARAGIOS N. Slice-to-volume medical image registration： a survey [J]. Medical Image Analysis， 2017， 39： 101-123.

[3] WACHINGER C， NAVAB N. Entropy and Laplacian images： structural representations for multi-modal registration [J]. Medical Image Analysis， 2012， 16（1）： 1-17.

[4] HEINRICH M P， JENKINSON M， BHUSHAN M， et al. MIND： Modality independent neighbourhood descriptor for multi-modal deformable registration [J]. Medical Image Analysis， 2012， 16（7）： 1423-1435.

[5] CUN X， PUN C-M， GAO H. Applying stochastic second-order entropy images to multi-modal image registration [J]. Signal Processing： Image Communication， 2018， 65： 201-209.

[6] 楊建偉，金德君，盧政大.分數(shù)階的Zernike矩[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2017，29（3）：479-484.（YANG J W，JIN D J，LU Z D. Fractional order Zernike moment [J]. Journal of Computer-Aided Design & Computer Graphics， 2017， 29（3）：479-484.）

[7] CHEN Z， SUN S-K. A Zernike moment phase-based descriptor for local image representation and matching [J]. IEEE Transactions on Image Processing， 2010， 19（1）： 205-219.

[8] 汪榮貴，張新彤，張璇，等.基于Zernike矩的新型Retinex圖像增強方法研究[J].中國圖象圖形學(xué)報，2011，16（3）：310-315. （WANG R G， ZHANG X T， ZHANG X， et al. Anovel retinex algorithm for image enhancement based on Zernike momen [J]. Journal of Image and Graphics， 2011， 16（3）：310-315. ）

[9] 鄭寇全，楊文靜，張繼周，等.基于ZM相特征描述符的圖像配準(zhǔn)方法[J].計算機應(yīng)用研究，2017，34（1）：279-282. （ZHENG K Q， YANG W J， ZHANG J Z， et al. Method of image registration based on ZM phase featured description [J].Application Research of Computers， 2017， 34（1）：279-282.）

[10] ZHAO F， XIE X. Energy minimization in medical image analysis： methodologies & applications [J]. International Journal for Numerical Methods in Biomedical Engineering， 2016， 32（2）： e02733.

[11] HEINRICH M P， JENKINSON M， BRADY M， et al. MRF-based deformable registration and ventilation estimation of lung CT [J]. IEEE Transactions on Medical Imaging， 2013， 32（7）： 1239-1248.

[12] SARKIS M， DIEPOLD K. Sparse stereo matching using belief propagation [C]// Proceedings of the 2008 15th IEEE International Conference on Image Processing. Piscataway， NJ： IEEE， 2008： 1780-1783.

[13] KOLMOGOROV V. Convergent tree-reweighted message passing for energy minimization [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2006， 28（10）： 1568-1583.

[14] GLOCKER B， KOMODAKIS N， TZIRITAS G， et al. Dense image registration through MRFs and efficient linear programming [J]. Medical Image Analysis， 2008， 12（6）： 731-741.

[15] BOYKOV Y， VEKSLER O， ZABIH R. Fast approximate energy minimization via graph cuts [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2002， 23（11）： 1222-1239.

[16] KOLMOGOROV V， ROTHER C. Comparison of energy minimization algorithms for highly connected graphs [C]// ECCV 2006：Proceedings of the 2006 European Conference on Computer Vision， LNCS 3952. Berlin： Springer， 2006： 1-15.

[17] SO R W K， TANG T W H， CHUNG A C S. Non-rigid image registration of brain magnetic resonance images using graph-cuts [J]. Pattern Recognition， 2011， 44（10/11）： 2450-2467.

[18] BUADES A， COLL B， MOREL J-M. Nonlocal image and movie denoising [J]. International Journal of Computer Vision， 2008， 76（2）： 123-139.

[19] ZHU F， DING M， ZHANG X. Self-similarity inspired local descriptor for non-rigid multi-modal image registration [J]. Information Sciences， 2016， 372： 16-31.

[20] SO R W K， CHUNG A C S. A novel learning-based dissimilarity metric for rigid and non-rigid medical image registration by using Bhattacharyya distances [J]. Pattern Recognition， 2017， 62（C）： 161-174.

[21] KITWARE， Inc.Retrospective image registration evaluation project [EB/OL]. [2018-07-05] http：//insight-journal.org/rire/.

[22] JOHNSON K A， BECKER J A. The whole brain atlas [EB/OL]. [2018-07-05]. http：//www.med.harvard.edu/aanlib/home.html.

[23] MAURER M C， Jr.， FITZPATRICK J M， WANG M Y， et al. Registration of head volume images using implantable fiducial markers [J]. IEEE Transactions on Medical Imaging， 1997， 16（4）： 447-462.