姜世博， 孫躍文， 許碩， 吳志芳

(清華大學 核能與新能源技術研究院， 北京 100084)

隨著計算機技術和圖像處理技術的發(fā)展，CT在無損檢測、逆向工程等工業(yè)領域中取得了廣泛的應用。然而在實際應用過程中，由于射束硬化、散射、噪聲和容積效應等因素存在，實際的CT系統(tǒng)和理想的CT系統(tǒng)總是存在一定的誤差，主要體現(xiàn)在獲取的投影數(shù)據(jù)上。利用這些投影數(shù)據(jù)重建得到的CT圖像可能會存在硬化偽影、運動偽影、金屬偽影等各種偽影和噪聲等，嚴重影響成像質量和后續(xù)應用。金屬偽影主要表現(xiàn)為金屬區(qū)域周圍的黑色帶狀和明亮的放射性條紋狀偽影[1]，金屬偽影的存在會嚴重影響圖像質量和審圖判斷。在X-CT檢測中，重建算法要求射線的衰減嚴格遵循Lambert-Beer定律。然而能譜射線與金屬等高密度物質作用時，會產生射線硬化、散射光子占總輸入光子的比例增多、統(tǒng)計噪聲增大等現(xiàn)象，破壞投影數(shù)據(jù)和物體線衰減積分長度之間的線性關系，從而在重建圖像中引入嚴重的金屬偽影。

為了改善圖像質量和便于后續(xù)應用，工業(yè)CT圖像金屬偽影校正研究成為了輻射成像領域中重要的研究方向。現(xiàn)有的工業(yè)CT圖像金屬偽影校正方法主要分為投影域校正法和圖像域校正法[2]。投影域校正法是對投影數(shù)據(jù)進行校正，主要利用插值等方法，避免金屬區(qū)域的投影數(shù)據(jù)發(fā)生突變，從而達到去除金屬偽影的效果。圖像域校正方法是對重建得到的CT圖像進行后處理，如閾值法、聚類法、區(qū)域生長法等，從而確定CT圖像金屬區(qū)域的邊界。隨著對于金屬偽影校正要求的提升，基于投影域和圖像域混合校正算法也被提出。Meyer等[3]提出歸一化金屬偽影校正方法，先通過均值聚類分割方法獲取先驗模型，再進行插值，提出了對先驗投影數(shù)據(jù)進行歸一化處理的校正方法，能夠較好的消除金屬邊界的次級偽影。Bannas等[4]利用迭代壓縮感知重建技術得到先驗圖像，通過先驗圖像約束估計缺失信息，提升了圖像質量。采用插值校正投影值通常能在一定程度上去除金屬偽影，但是通常只能對局部投影值進項補償校正，對于金屬區(qū)域分割精度要求高的情況，投影域校正法容易引入其他偽影[5]，整體的校正效果不夠理想。

隨著深度學習技術的不斷發(fā)展，人工神經網絡已經成功應用于CT圖像降噪、超分辨率重建等圖像復原任務。Gjesteby等[6]將深度學習神經網絡引入金屬偽影校正領域，取得了視覺上的理想校正效果。Koike[7]提出一種基于循環(huán)一致對抗網絡(cycle-consistent adversarial network，CAN)的金屬偽影校正方法，有效抑制了金屬偽影效果。憑借強大的特征學習和映射能力，深度學習方法在CT圖像后處理中展示出了巨大的潛力和優(yōu)勢。因此，本文通過對工業(yè)CT圖像中金屬偽影的產生原理和特征分析，仿真生成了大批工業(yè)CT金屬偽影數(shù)據(jù)集，提出了一種基于生成對抗網絡(generative adversarial networks，GAN)的工業(yè)CT圖像金屬偽影校正方法，在較好地去除復雜金屬構件CT圖像金屬偽影的同時還較好地保留了CT圖像的尺寸、邊界等特征信息，驗證了基于深度學習的方法在CT圖像金屬偽影校正中有著獨特的優(yōu)勢和應用前景。

1 基于生成對抗網絡的CT圖像偽影校正

1.1 卷積神經網絡

卷積神經網絡(convolutional neural networks，CNN)是一種可以直接以原始圖像樣本作為輸入的深度學習模型，能夠自行學習圖像中復雜的深度特征[8]。典型的卷積神經網絡結包含卷積層、池化層和全連接層[9]。通過卷積操作可以逐層地提取圖像特征，獲取多種層次的特征信息。

池化層將特征圖的臨近區(qū)域進行合并，減小特征圖分辨率，降低計算量，有效地抑制過擬合問題，常用的池化操作主要是最大池化法和平均池化法[10]。全連接層將卷積層提取的特征圖組合為一維向量，通過全局連接的方式將上一層的特征信息系匯總[11]。由于卷積操作為線性變換，為了使神經網絡具有表征非線性系統(tǒng)的能力，需要引入非線性函數(shù)即激活函數(shù)。目前，常用的激活函數(shù)有sigmoid 函數(shù)，tanh函數(shù)和線性整流函數(shù)(rectified linear unit, ReLU)等[12]。卷積神經網絡的參數(shù)權值在訓練中不斷通過誤差反傳算法更新，使特征提取朝著有利于誤差減小的方向進行[13]。

1.2 生成對抗網絡

生成對抗網絡包含生成網絡和判別網絡2個部分，生成網絡用來不斷的學習輸入樣本的特征，生成盡可能接近真實的樣本。判別網絡用來鑒別樣本是來自真實還是生成網絡輸出。在訓練過程中生成網絡和判別網絡進行一個動態(tài)的博弈，最終達到判別網絡無法鑒別生成網絡的輸出是否為真實的樣本，同時也得到了一個理想的生成網絡。

1.3 網絡結構設計

本文采用的生成對抗網絡結構如圖1所示，通過全監(jiān)督的學習方式完成從含有金屬偽影圖像到無偽影的CT圖像的端到端的映射。其中判別網絡是由多層卷積層和反卷積層構成，負責特征提取，對金屬偽影精細化估計，獲取圖像多層次的特征信息。判斷輸入CT圖像中是否含有典型的金屬偽影。相對應的，生成網絡中也采取了卷積層和反卷積層用來提取金屬偽影特征并消除金屬偽影。除此之外，網絡中還加入了殘差網絡。通過向模型輸入一個帶有金屬偽影的CT圖片，在生成網絡輸出端給模型沒有金屬偽影的圖片，讓模型通過卷積自編碼器去學習去除金屬偽影的過程。

在判別網絡中，卷積層的特征圖和與其對應的反卷積層特征圖進行跳躍連接。對應像素直接相加后經過非線性函數(shù)激活層，輸出到下一層。這種跳躍連接加快了網絡的訓練過程，使反向傳播的梯度更大[14]。在生成對抗網絡中，CT圖像中的金屬偽影被逐層校正消除，得益于判別網絡的存在，在消除金屬偽影的同時也能較好的保留圖像細節(jié)特征[14]。

在確定網絡結構的基礎上，損失函數(shù)的設計對最后的重建質量有著至關重要的作用。為了得到更加貼近主觀感知的重建圖像，通過S-MAR方法設計了基于圖像感官質量的損失函數(shù)。該損失函數(shù)由3個部分組成，即灰度損失、對抗損失[15]、總變分損失。

灰度損失LMSE，即生成樣本與真實樣本之間的均方誤差，使生成樣本圖像的像素值盡可能貼近真實樣本的像素值：

(1)

式中：Np為訓練集中樣本圖像對數(shù)；Aw,bX表示重建圖像；Y表示真實樣本圖像。

圖1 生成對抗網絡的架構Fig.1 Structure of generative adversarial networks

對抗損失LADV，即由上述鑒別網絡輸出的樣本分類錯誤的概率為：

(2)

式中：Np為訓練集中樣本圖像對數(shù)；D(Aw,bX)為鑒別網絡判斷重建圖像為真實樣本圖像的概率。對抗損失可以對生成網絡G進行約束，使生成圖像具有更多高頻信息，使其更難以被鑒別網絡D鑒別，從而使生成圖像在感官上更貼近于真實圖像。

總變分損失LTV，即圖像中梯度值的積分為：

(3)

2 CT仿真實驗結果分析

2.1 實驗數(shù)據(jù)集

本文采用解析的仿真方法獲取一系列不同材質不同工件的含有金屬偽影的CT圖像和原始圖像。原理為對于可以在宏觀上描述或者近似解析的物理性質，可以用簡單的公式表示問題的本質。具有能譜Ω(E)的多色X射線可以根據(jù)能量大小分為不同的小能區(qū)，小能區(qū)內的光子都具有相近的能量，近似遵守Lambert-Beer定律。材料對于多色X射線的響應是所有能區(qū)響應的積分，如果X射線的能譜和衰減系數(shù)μE,S是已知的，那么入射X射線強度Io和出射射線強度I的關系為：

(4)

本文獲取了如圖2所示160 kV下X射線光管的能譜。將能量分為100個區(qū)間，針對不同模體的不同切片，采用扇形束投影得到一系列投影數(shù)據(jù)，在進行CT仿真過程中需要設置源到探測器距離等7個重要參數(shù)，參數(shù)設置如表1所示。

圖2 模擬X射線能譜Fig.2 X-ray energy spectrum obtained by simulation

通過濾波反投影重建，得到3 980組不同材質不同類型的含有典型金屬偽影的CT圖像。同時對這些模體的不同切片進行單色光投影，得到理想的投影數(shù)據(jù)，通過濾波反投影重建得到無偽影的理想CT圖像，數(shù)據(jù)集中部分圖像如圖3所示，第1行為帶偽影的CT圖像，第2行為對應的理想CT圖像。其中3 960組用于網絡訓練，20組用于測試網絡性能。測試集除了用于測試網絡性能的20組CT圖片外，還包含了10組應用工業(yè)錐束CT掃描齒輪、軸承、寶劍等金屬構件，獲取的含有金屬偽影的真實CT切片，部分圖像如圖4所示，用于驗證網絡在校正實際工業(yè)CT圖像金屬偽影方面的性能。

表1 仿真CT系統(tǒng)參數(shù)Table 1 Parameters of simulation CT system

圖3 仿真CT圖像與對應的理想CT圖像Fig.3 Simulated CT images and corresponding ideal CT images

圖4 含有金屬偽影的工業(yè)CT圖像Fig.4 Industrial CT images with metal artifacts

2.2 實驗環(huán)境及參數(shù)

本文采用生成對抗網絡模型，其生成網絡用來恢復圖像的細節(jié)特征，精細化金屬偽影的特征，并消除金屬偽影。判別網絡用來提取圖像特征，獲取圖像的特征細節(jié)和抽象信息。在網絡模型輸入端輸入含有金屬偽影的CT圖像切片，輸出端給與不含金屬偽影的CT圖像切片，引入殘差網絡，網絡模型可以通過卷積自編碼學習校正金屬偽影的過程。由LMSE、LADV和LTV組成的基于圖像感官質量的損失函數(shù)，可以獲取更貼近主觀感知的重建圖像，利用上述網絡對仿真得到的含金屬偽影CT圖像和真實含金屬偽影的工業(yè)錐束CT圖像進行金屬偽影校正處理。

網絡訓練過程采用Pytorch工具包，迭代訓練次數(shù)為900次，批處理尺寸batch_size=16，初始學習率設置為0.001。實驗環(huán)境為GPU：NVIDIA GeForce RTX3060；CPU：12th Gen Intel(R) Core(TM) i7-10700F 2.10 GHz。

2.3 實驗結果評價指標

峰值信噪比(peak signal to noise ratio，PSNR)是衡量圖像是否失真或噪聲水平的定量指標，數(shù)值越高說明待測圖像失真越小。MSE是待測圖像x與標簽圖像y的均方誤差，分別為：

(5)

式中：i,j為像素點；H、W分別為圖像的高、寬；n是單個像素的比特數(shù)，數(shù)值越高說明待測圖像失真越小。

結構相似性指數(shù)(structural similarity index measurement，SSIM)由5個參數(shù)來決定，用來衡量兩幅圖像結構相似度，SSIM(x,y)衡量待測圖像x與標簽圖像y的相似性，越接近1說明結構相識度越高：

(6)

式中：μx、μy為亮度均值；σx、σy為μx、μy的標準方差；C1和C2為對比度。

特征相似指數(shù)(feature similarity index measurement，F(xiàn)SIM)用來衡量兩幅圖像特征相似度，F(xiàn)SIM越接近1表明兩幅圖像的特征(如邊緣等)的相似度越高：

(7)

式中Ω代表整張圖像的像素域。

2.4 實驗結果對比分析

經過900次訓練，采用20張仿真得到的測試CT圖像和10張未知材質的不同工件的實際工業(yè)錐束CT圖像進行測試，得到30組金屬偽影校正圖像，部分測試結果與含金屬偽影圖像對比如圖5、6所示，其中第1行為輸入的帶金屬偽影的CT圖像，第2行為對應的輸出校正結果。

為了定量分析CT圖像的金屬偽影校正指標，本文采用峰值信噪比(PSNR)、結構相似性指數(shù)(SSIM)和特征相似指數(shù)(FSIM)作為金屬偽影校正的定量分析指標，相應結果如表2所示。并將工件4的校正效果與采用基于重投影的多項式擬合的金屬偽影校正方法做對比，如圖7所示，本文提出方法相比于基于投影域的重投影多項式擬合方法校正的效果有明顯提升。從相應的定量分析指標和針對實際工業(yè)錐束CT圖像的校正結果可以看出，基于生成對抗網絡的工業(yè)CT圖像金屬偽影校正方法達到了十分可觀的金屬偽影校正效果。

圖5 仿真CT圖像金屬偽影校正效果Fig.5 Metal artifact correction results of simulated CT images

圖6 實際工業(yè)CT圖像金屬偽影校正效果Fig.6 Metal artifact correction results of industrial CT images

表2 金屬偽影校正效果定量分析指標Table 2 Quantitative analysis index of metal artifact correction results

圖7 與基于重投影的多項式擬合方法校正結果的對比Fig.7 Comparison of correction results with polynomial fitting method based on reprojection

3 結論

1)本文提出的基于生成對抗網絡的去金屬偽影方法經過仿真和實際掃描的CT數(shù)據(jù)集實驗驗證，能夠較好地去除不同金屬材質工件CT圖像的金屬偽影，無論是從視覺感觀角度還是從定量分析指標數(shù)據(jù)上，都達到了較為理想的校正效果。

2)與基于重投影的多項式擬合方法校正結果對比，本文提出的方法在各種定量分析指標數(shù)據(jù)上都有明顯的提升。

3)本方法還可以通過豐富數(shù)據(jù)集中CT圖像的種類進一步提升本方法的泛化能力和校正效果。后續(xù)若將經過本方法處理的CT圖像用于后續(xù)的CT圖像分割中，相比于傳統(tǒng)校正方法，將明顯提升CT圖像分割質量。