◆李文霞 張玉 劉德樺 張坤 馬英婕 楊秀云

基于Python與OpenCV醫(yī)學(xué)圖像配準(zhǔn)軟件的實(shí)現(xiàn)

◆李文霞1張玉1劉德樺1張坤1馬英婕1楊秀云2

（1.山東第一醫(yī)科大學(xué)（山東省醫(yī)學(xué)科學(xué)院）醫(yī)學(xué)信息工程學(xué)院 山東 271016；2.山東第一醫(yī)科大學(xué)（山東省醫(yī)學(xué)科學(xué)院）現(xiàn)代教育技術(shù)中心 山東 271016）

醫(yī)學(xué)圖像配準(zhǔn)是醫(yī)學(xué)圖像分析的基礎(chǔ)課題，具有重要理論研究和臨床應(yīng)用價(jià)值。Python和OpenCV提供了適合醫(yī)學(xué)圖像處理與分析的豐富開(kāi)源工具包，本文采用Python和OpenCV兩種工具包的集成方式設(shè)計(jì)并實(shí)現(xiàn)了一套基于Python與OpenCV 醫(yī)學(xué)圖像配準(zhǔn)軟件。配準(zhǔn)算法采用自己提出的CNN-SIFT特征融合的配準(zhǔn)策略，能夠完成醫(yī)學(xué)圖像的多模態(tài)配準(zhǔn)任務(wù)，基本滿足實(shí)際應(yīng)用的需求。

Python；OpenCV；多模態(tài)；醫(yī)學(xué)圖像配準(zhǔn)

目前醫(yī)學(xué)圖像配準(zhǔn)在臨床醫(yī)學(xué)界是研究的熱點(diǎn)，醫(yī)學(xué)圖像配準(zhǔn)技術(shù)對(duì)臨床醫(yī)生輔助診斷病情具有很大的實(shí)用價(jià)值。采用合理的圖像配準(zhǔn)算法可以將多模態(tài)的醫(yī)學(xué)圖像信息準(zhǔn)確地集成到同一圖像中，使醫(yī)生更方便、更精確地從多個(gè)角度觀察器官的結(jié)構(gòu)和病灶。同時(shí)，通過(guò)對(duì)不同設(shè)備、不同時(shí)間采集的器官圖像進(jìn)行配準(zhǔn)與融合，可以較準(zhǔn)確地定量分析病灶和器官的變化情況，使得醫(yī)生制定放射治療計(jì)劃、手術(shù)計(jì)劃以及醫(yī)療診斷更準(zhǔn)確可靠。

目前已有大量的應(yīng)用系統(tǒng)軟件應(yīng)用于醫(yī)學(xué)圖像處理和分析的生產(chǎn)環(huán)境中，在這些應(yīng)用軟件中Python和OpenCV已投入使用，其中Python提供了很多醫(yī)學(xué)圖像配準(zhǔn)的開(kāi)源工具包，OpenCV也提供了大量用于醫(yī)學(xué)圖像配準(zhǔn)的算法。本文聯(lián)合Python和OpenCV兩種開(kāi)發(fā)工具設(shè)計(jì)開(kāi)發(fā)了一套基于Python與OpenCV 醫(yī)學(xué)圖像配準(zhǔn)軟件，可用于多模態(tài)的圖像配準(zhǔn)工作。

1 開(kāi)發(fā)工具

1.1 Python簡(jiǎn)介

Python是一門開(kāi)源的高級(jí)計(jì)算機(jī)程序設(shè)計(jì)語(yǔ)言，應(yīng)用于計(jì)算機(jī)視覺(jué)、云計(jì)算、人工智能等多個(gè)領(lǐng)域。Python自帶了很多可以免費(fèi)獲取的強(qiáng)大而便捷的圖像處理工具包，如圖像處理工具包（PIL）、Matplotlib類庫(kù)、NumPy工具包等。

PIL提供了免費(fèi)的通用的圖像處理算法，以及大量有用的基本圖像操作，比如圖像縮放、旋轉(zhuǎn)、裁剪、改變圖像大小、格式及顏色轉(zhuǎn)換、圖像增強(qiáng)、插值和濾波等。

Matplotlib是一個(gè)Python的2D繪圖庫(kù)，具有強(qiáng)大的繪制圖表、點(diǎn)線等功能，如可以生成繪制圖表或者直方圖，功率譜，以及在圖像上繪制點(diǎn)、直線和曲線等。

NumPy是Python科學(xué)計(jì)算工具包，可用來(lái)存儲(chǔ)和處理大型矩陣，可以實(shí)現(xiàn)矩陣轉(zhuǎn)置、乘積、向量乘積、解方程系統(tǒng)和歸一化等功能，為建模、圖像分類、圖像聚類、圖像變形等提供了基礎(chǔ)。

1.2 OpenCV簡(jiǎn)介

OpenCV是一個(gè)開(kāi)源C++庫(kù)，用于處理計(jì)算機(jī)視覺(jué)問(wèn)題。OpenCV自帶大量豐富的算法和函數(shù)，并提供了完善的Python接口，而且方便調(diào)用。OpenCV提供的一些圖像處理函數(shù)與Python形成了很好的互補(bǔ)。

1.3 Caffe框架

Caffe是一種高效的基于C++架構(gòu)的深度學(xué)習(xí)框架，支持Python、MATLAB接口以及命令行，模塊化設(shè)計(jì)，能使用Caffe提供的各層類型來(lái)自定義模型，并且自定義的模型在海量數(shù)據(jù)的情況下Caffe上運(yùn)行速度快。

2 醫(yī)學(xué)圖像配準(zhǔn)

醫(yī)學(xué)圖像配準(zhǔn)指將不同時(shí)間、不同成像設(shè)備或不同光照、攝像角度等條件下的兩個(gè)圖像坐標(biāo)系之間的變換矩陣計(jì)算，可以分為剛性配準(zhǔn)、非剛性配準(zhǔn)、同模態(tài)圖像配準(zhǔn)和多模態(tài)圖像配準(zhǔn)等。本文重點(diǎn)研究了多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)，多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)是指將兩幅來(lái)源于不同成像設(shè)備的待配準(zhǔn)的圖像經(jīng)尋找一個(gè)對(duì)應(yīng)的空間變換后完整地融合在一幅圖像中。本文采用常用的基于特征的圖像配準(zhǔn)方法，主要分圖像預(yù)處理、特征提取、特征匹配、空間變換模型的確定與參數(shù)估計(jì)、圖像的插值與坐標(biāo)變換等五個(gè)步驟。

3 配準(zhǔn)實(shí)現(xiàn)過(guò)程

3.1 AlexNet網(wǎng)絡(luò)模型訓(xùn)練

AlexNet是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）典型的網(wǎng)絡(luò)模型之一，包含5層卷積層、2層全連接層和1層分類器。由于醫(yī)學(xué)樣本數(shù)量有限，首先使用大量豐富的ImageNet圖像數(shù)據(jù)集在caffe框架中訓(xùn)練，然后利用卷積神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)法設(shè)定初始化訓(xùn)練參數(shù)，接著使用自己制作的腦部2000個(gè)樣本的訓(xùn)練集和100個(gè)樣本的測(cè)試集進(jìn)一步訓(xùn)練AlexNet網(wǎng)絡(luò)模型，訓(xùn)練批次為500次。

3.2 CNN特征提取

CNN提取的圖像特征在圖像分類和檢索方面表現(xiàn)出很好的性能，為圖像提供了大量的中高層信息。AlexNet模型的FC8階段的1000個(gè)神經(jīng)元一般用來(lái)圖像檢索分類，因此在實(shí)驗(yàn)中丟棄FC8層，直接采用FC6層輸出的4096個(gè)維度作為CNN圖像特征與SIFT特征融合，融合后的特征描述符作為特征匹配的對(duì)象。

3.3 CNN-SIFT特征融合

SIFT算法是在圖像配準(zhǔn)時(shí)的常用方法，但只使用了一些低層信息來(lái)進(jìn)行圖像配準(zhǔn)，丟失了許多中高層信息，對(duì)于多模態(tài)醫(yī)學(xué)圖像的配準(zhǔn)效果并不可觀。本文提出的CNN-SIFT特征融合的基本思想是首先采用SIFT選定一批優(yōu)質(zhì)的候選特征點(diǎn)，然后從圖像中以候選特征點(diǎn)為中心提取64×64像素的圖像塊，分別計(jì)算SIFT描述子和提取CNN特征描述子，根據(jù)二者關(guān)聯(lián)關(guān)系，將兩個(gè)向量歸一化為一個(gè)向量來(lái)表示新的候選特征點(diǎn)。最后采用Lower提出的一種穩(wěn)健的匹配準(zhǔn)則進(jìn)行新的候選特征點(diǎn)匹配，該匹配準(zhǔn)則是使用這兩個(gè)特征距離和兩個(gè)最匹配特征距離的比率，使用該方法可以使錯(cuò)誤的匹配數(shù)降低。

3.4 圖像配準(zhǔn)流程

基于Python與OpenCV 醫(yī)學(xué)圖像配準(zhǔn)基本流程如圖1所示。

圖1 基于CNN-SIFT特征融合的醫(yī)學(xué)圖像配準(zhǔn)基本流程

（1）利用SIFT算法分別讀取參考圖像和待配準(zhǔn)圖像的優(yōu)質(zhì)候選特征點(diǎn)；

（2）以每個(gè)優(yōu)質(zhì)特征點(diǎn)為中心分別提取參考圖像和待配準(zhǔn)圖像的64×64像素的圖像塊；

（3）調(diào)用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型讀取圖像塊的CNN特征描述子；

（4）將SIFT描述子和提取CNN特征描述子兩個(gè)向量歸一化為一個(gè)向量作為新的候選特征點(diǎn)；

（5）新的候選特征點(diǎn)匹配；

（6）空間變換模型的確定與參數(shù)估計(jì)，重復(fù)（3）~（5）步，直到取得最優(yōu)值；

（7）采用三次樣條插值法圖像插值與坐標(biāo)變換；

（8）配準(zhǔn)結(jié)束，輸出配準(zhǔn)后的圖像。

本文開(kāi)發(fā)的醫(yī)學(xué)圖像配準(zhǔn)軟件用于腦部MRI-PET圖像配準(zhǔn)的效果如圖2所示。

圖2 MRI圖像 PET圖像 配準(zhǔn)后圖像

4 結(jié)束語(yǔ)

利用Python與OpenCV的工具包，通過(guò)調(diào)用caffe訓(xùn)練的AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型，設(shè)計(jì)并開(kāi)發(fā)了一套醫(yī)學(xué)圖像配準(zhǔn)軟件，配準(zhǔn)過(guò)程采用了CNN-SIFT特征融合的多模態(tài)配準(zhǔn)策略，并用于實(shí)現(xiàn)了腦部MRI-PET圖像的配準(zhǔn)。

[1]鄭亞琴，田心. 一種射野圖像和參考圖像的自動(dòng)配準(zhǔn)方法[J]. 國(guó)醫(yī)學(xué)物理學(xué)雜志，2009，26（6）：1481-1484.

[2]侯艷陽(yáng).基于OpenCV的醫(yī)學(xué)圖像處理軟件設(shè)計(jì)與實(shí)現(xiàn)[J].無(wú)線互聯(lián)科技，2020（7）.

[3]李欽，游雄，李科，等. 圖像深度層次特征提取算法[J]. 模式識(shí)別與人工智能，2017，30（2）：127-136.

[4]江彤彤，成金勇，鹿文鵬. 基于卷積神經(jīng)網(wǎng)絡(luò)多層特征提取的目標(biāo)識(shí)別[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2017.

山東省級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（S201910439045）