，，

隨著大數(shù)據(jù)技術(shù)、數(shù)據(jù)挖掘技術(shù)及醫(yī)院信息化的發(fā)展，醫(yī)學(xué)圖像在醫(yī)院診療活動中發(fā)揮著更加重要的角色。同時，隨著醫(yī)學(xué)影像存儲與傳輸系統(tǒng)(Picture Archiving and Communication System，PACS)、醫(yī)學(xué)數(shù)字成像和通信(Digital Imaging and Communications in Medicine，DICOM)等標(biāo)準(zhǔn)的不斷發(fā)展和完善，醫(yī)學(xué)圖像數(shù)據(jù)呈現(xiàn)爆炸式的增長，醫(yī)院內(nèi)部約80%的數(shù)據(jù)都來自于醫(yī)學(xué)影像數(shù)據(jù)。若將這些海量醫(yī)學(xué)圖像數(shù)據(jù)高效、合理地組織起來，能夠很好地輔助醫(yī)學(xué)工作者快速、準(zhǔn)確地檢索到自己所要找的目標(biāo)圖像，因此建立一個高效、準(zhǔn)確的醫(yī)學(xué)圖像檢索系統(tǒng)成為迫切需要解決的問題和研究任務(wù)。

醫(yī)學(xué)圖像檢索技術(shù)是圖像檢索技術(shù)在醫(yī)學(xué)領(lǐng)域中的應(yīng)用，伴隨著圖像檢索技術(shù)的發(fā)展，醫(yī)學(xué)圖像檢索技術(shù)先后經(jīng)歷了3次變化，分別是基于文本的醫(yī)學(xué)圖像檢索(Text-Based Image Retrieval，TBIR)、基于內(nèi)容的醫(yī)學(xué)圖像檢索(Content-Based Image Retrieval，CBIR)和基于語義的醫(yī)學(xué)圖像檢索(Semantic-Based Image Retrieval，SBIR)。其中，基于文本的醫(yī)學(xué)圖像檢索是通過關(guān)鍵字和文本對醫(yī)學(xué)圖像進(jìn)行檢索，需要線下對所有圖像進(jìn)行標(biāo)注；基于內(nèi)容的醫(yī)學(xué)圖像檢索是提取圖像本身所具有的視覺特征，包括顏色、形狀、紋理等，建立特征向量，并以此構(gòu)建索引和匹配準(zhǔn)則進(jìn)行所需圖像的檢索；基于語義的醫(yī)學(xué)圖像檢索是通過分析醫(yī)學(xué)圖像的高層語義內(nèi)容，建立起底層視覺特征和高層語義內(nèi)容之間的映射關(guān)系，或用戶根據(jù)檢索結(jié)果進(jìn)行反饋來逐步減小語義鴻溝[1]。

1 醫(yī)學(xué)圖像檢索關(guān)鍵技術(shù)

1.1 基于文本的醫(yī)學(xué)圖像檢索技術(shù)

TBIR系統(tǒng)開始于20世紀(jì)70年代，是借鑒文本檢索技術(shù)對圖像進(jìn)行標(biāo)注，標(biāo)注方式包括人工手動標(biāo)注或采用半自動或自動化方法標(biāo)注，目前標(biāo)注的信息大多基于DICOM結(jié)構(gòu)中的信息[2]，包括患者的姓名、標(biāo)識、性別、年齡等個人信息和疾病名稱、疾病表征、診斷情況、圖像獲取時間、就診醫(yī)院等醫(yī)學(xué)信息；然后用戶輸入關(guān)鍵詞或相應(yīng)的文本描述，檢索系統(tǒng)在醫(yī)學(xué)圖像庫中查找出標(biāo)注信息和關(guān)鍵字信息相匹配的圖像，并將結(jié)果呈現(xiàn)給用戶，用戶根據(jù)自己對檢索結(jié)果的滿意度調(diào)整檢索策略，如進(jìn)一步修改關(guān)鍵詞或限制條件，來不斷提高檢索結(jié)果的準(zhǔn)確性。

當(dāng)對圖像進(jìn)行標(biāo)注后，基于文本的圖像檢索方法是快速、可靠的，但對于未標(biāo)注的圖像數(shù)據(jù)庫仍然無法進(jìn)行檢索；醫(yī)學(xué)圖像本身的內(nèi)容信息如視覺特征無法體現(xiàn)，而且標(biāo)注程序較為復(fù)雜、耗時較長，同時這些標(biāo)注帶有主觀性，與檢索用戶對圖像的理解并不完全一致；基于文本的查詢還經(jīng)常出現(xiàn)與結(jié)果無關(guān)的錯誤圖片，錯誤率高達(dá)16%[3]，準(zhǔn)確性較低[4]。因此，為實(shí)現(xiàn)更加高效的圖像檢索，CBIR方法產(chǎn)生了，并成為當(dāng)前醫(yī)學(xué)圖像檢索的研究熱點(diǎn)。

1.2 基于內(nèi)容的醫(yī)學(xué)圖像檢索技術(shù)

CBIR是根據(jù)醫(yī)學(xué)圖像的視覺特征構(gòu)建數(shù)據(jù)庫索引。目前一些商業(yè)化的基于內(nèi)容的圖像檢索系統(tǒng)已開放，如QBIC[5],Photobook[6],Virage[7],VisualSEEK[8]和Netra[9]。Eakins將圖像特征分為3個層次：一級—圖像原始特征，如顏色、紋理、形狀和空間位置等元素；二級—派生屬性或邏輯特征，對圖像中所描述對象的身份進(jìn)行某種程度的推理，典型的查詢例子如“查找大腦的圖像”；三級—抽象屬性，對物體或或場景描述的意義進(jìn)行復(fù)雜推理，典型的查詢例子如“查找有結(jié)節(jié)腫塊的肺部圖像”。大多數(shù)基于內(nèi)容的醫(yī)學(xué)圖像檢索系統(tǒng)能夠達(dá)到一級的檢索，二、三級檢索還處于不斷的探索研究中?；趦?nèi)容的醫(yī)學(xué)圖像檢索技術(shù)主要包括以下幾點(diǎn)。

1.2.1 圖像特征的提取

顏色特征是圖像檢索中最常用的視覺特征，因?yàn)槠湓趫D像底層特征中最具表現(xiàn)力，最容易被識別和提取。目前顏色特征提取的常用方法有直方圖法、顏色聚類法、顏色矩法、顏色相關(guān)圖、顏色集等[10]。但由于大多數(shù)醫(yī)學(xué)圖像都是灰度圖，因此顏色特征算法并不適用于醫(yī)學(xué)圖像。

紋理特征是反映圖像像素灰度級空間分布具有某種重復(fù)規(guī)律的視覺特征，包含6個分量：粗糙度、對比度、方向度、線像度、規(guī)整度和粗略度[1]，前三個特征對檢索更為重要，紋理特征可通過標(biāo)準(zhǔn)變換域工具進(jìn)行分析，如傅里葉變換、小波、Gabor或Stockwell過濾器，紋理特征對醫(yī)學(xué)圖像檢索是很有用的，能夠反映出圖像的細(xì)節(jié)結(jié)構(gòu)[4]。

形狀特征也是圖像的一種重要特征，同類物體的形狀總是類似的，因此形狀特征能夠反映更多的語義內(nèi)容。醫(yī)學(xué)圖像的形狀特征一般只需提取出目標(biāo)對象的局部區(qū)域，因此準(zhǔn)確有效的圖像分割技術(shù)顯得尤為重要。

目前醫(yī)學(xué)圖像分割技術(shù)主要有閾值法、邊緣檢測、區(qū)域分割和混合法，為解決平移、旋轉(zhuǎn)和縮放不變的問題[10]，還需用到等高線、曲線、表面等知識。目前許多方法都使用形狀特征測量圖像之間的相似性，除了顏色、紋理、形狀等反映圖像整體特征外，空間關(guān)系也是圖像檢索的重要特征，它能夠和其他特征結(jié)合起來，更全面、立體地表現(xiàn)圖像特征。目前空間關(guān)系特征的提取方法有兩種：一是分割出圖像中所包含的對象區(qū)域，對這些區(qū)域建立索引；二是將圖像按某種策略劃分成若干子塊，然后對這些子塊提取特征建立索引[11]。

1.2.2 相似性度量

相似性度量是對兩幅圖像的內(nèi)容信息進(jìn)行相似度比較，比較內(nèi)容即為圖像的各類特征，將提取的特征轉(zhuǎn)換為特征向量，用該特征向量表征相對應(yīng)的圖像，通過距離度量法計(jì)算圖像間的相似度。目前常用的基于向量模型的算法有歐氏距離法、Minkowski距離、曼哈頓距離、直方圖交、馬氏距離等，其中，歐氏距離用于特征向量正交無關(guān)的圖像，馬氏距離用于具有統(tǒng)計(jì)特性或進(jìn)行樣本的相關(guān)性分析，具體操作時應(yīng)根據(jù)不同特征選擇合適的度量方法[12]。另一種相似度匹配方法是基于學(xué)習(xí)的匹配技術(shù)[10]，首先對一部分病例圖像進(jìn)行訓(xùn)練學(xué)習(xí)，然后對未知圖像進(jìn)行分類，訓(xùn)練方法有支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等。如Wei Guohui等人提出了基于內(nèi)核的半監(jiān)督距離相似性度量法，通過內(nèi)核函數(shù)將原始數(shù)據(jù)映射到一個特征空間，在此空間中進(jìn)行半監(jiān)督距離度量的訓(xùn)練，其利用微分散射判別準(zhǔn)則來表示語義相關(guān)性，正則化項(xiàng)表示視覺相似性，從而測量出查詢圖像和參考圖像的相似性[13]。模仿人的主觀相似度感受，探索符合人類感知行為的人機(jī)交互方法是接下來的研究重點(diǎn)。

1.2.3 特征融合技術(shù)

單一的圖像特征僅能從一個角度反映圖像的信息，無法覆蓋多特征矢量特征，因此有研究學(xué)者提出了多特征組合或融合的方法。多特征融合技術(shù)一般分為同步和異步兩種組合方法，同步組合檢索先對不同特征單獨(dú)進(jìn)行相似性度量，然后加權(quán)得到綜合度量值；異步組合檢索是逐層進(jìn)行，上一層的檢索結(jié)果作為下一層的輸入圖像，不斷縮小檢索范圍來提高檢索精確度[14]。特征融合過程中，用戶首先可根據(jù)各項(xiàng)特征對檢索效果影響程度的不同，對每項(xiàng)特征賦予不同的權(quán)值，從而提高系統(tǒng)的檢索性能。因此，如何量化不同特征對檢索效果的影響程度是特征融合過程中的關(guān)鍵問題，目前相關(guān)反饋技術(shù)的應(yīng)用是解決此問題的一種有效方法。同時在研究特征融合算法過程中，因?yàn)椴煌卣鏖g相似度不具有可比性，因此需要對不同特征進(jìn)行歸一化處理。文獻(xiàn)[15]在研究基于不變距、小波紋理和高層語義特征等單一特征的基礎(chǔ)上，提出了基于底層-底層和底層-高層兩種級別的特征融合檢索方法，利用VC#和SQL Server2005實(shí)現(xiàn)了檢索結(jié)果，驗(yàn)證了方法的有效性[15]。文獻(xiàn)[16]提出了基于全局特征和相關(guān)反饋的檢索算法，并以標(biāo)準(zhǔn)臨床數(shù)字式X射線圖像數(shù)據(jù)庫為例進(jìn)行了實(shí)驗(yàn)，結(jié)果表明，查準(zhǔn)率能夠提高2-3倍[16]。文獻(xiàn)[17]提出了一種將DICOM文本信息和圖像紋理、形狀特征相結(jié)合的檢索方法，通過設(shè)定權(quán)值將這些特征相結(jié)合，結(jié)果表明聯(lián)合文本信息和底層特征能明顯提高檢索效能[17]。

1.2.4 相關(guān)反饋技術(shù)

在圖像檢索過程中，會出現(xiàn)“語義鴻溝”的現(xiàn)象，主要表現(xiàn)在兩方面，一是圖像的高層語義內(nèi)容和底層特征之間存在“缺口”，二是圖像的視覺特征和用戶對視覺特征理解的不一致性[18]。數(shù)據(jù)相關(guān)反饋技術(shù)(Relevance Feedback,RF)被應(yīng)用于CBIR中，就是為了解決“語義鴻溝”的問題。其原理是用戶根據(jù)第一輪檢索結(jié)果，對結(jié)果做出標(biāo)記，區(qū)分出不滿意的檢索結(jié)果，并將這些標(biāo)記信息反饋給系統(tǒng)，系統(tǒng)根據(jù)用戶的反饋對檢索策略做出調(diào)整，同時也是檢索系統(tǒng)學(xué)習(xí)的過程，然后系統(tǒng)再次進(jìn)行檢索，如此反復(fù)，逐步逼近用戶的需求。目前相關(guān)反饋技術(shù)主要有相似度量公式優(yōu)化、查詢點(diǎn)移動、特征空間變換、機(jī)器學(xué)習(xí)、概率統(tǒng)計(jì)分類法、聚類分析等[10,19 ]。相似度量公式優(yōu)化就是進(jìn)行權(quán)值調(diào)整，提高滿意度高的特征度量權(quán)值，降低滿意度低的特征度量權(quán)值，加快正例樣本聚攏；查詢點(diǎn)移動方法是基于圖像可向量化，將圖像特征抽象為查詢點(diǎn)，不斷移動查詢點(diǎn)，來逐步接近正例查詢點(diǎn)；特征空間變換是通過將非聚類的點(diǎn)移到另一個特征空間的點(diǎn)集，來達(dá)到降維的目的；機(jī)器學(xué)習(xí)法包括監(jiān)督學(xué)習(xí)、主動學(xué)習(xí)、集成學(xué)習(xí)、長期學(xué)習(xí)等，通過樣本訓(xùn)練得到檢索映射模型，再利用這些模型對未知圖像進(jìn)行檢索[20-21 ]。

1.2.5 檢索效果評價

檢索效果的評價主要是對不同檢索方式的有效性和滿意度進(jìn)行對比分析，對醫(yī)學(xué)圖像檢索系統(tǒng)的開發(fā)和改進(jìn)有重要的指導(dǎo)意義。評價方法主要包括查準(zhǔn)率和查全率、檢索效率、有效度、匹配百分?jǐn)?shù)等，查全率是檢索出來的正例圖像數(shù)與系統(tǒng)中所有正例圖像數(shù)的比值，查準(zhǔn)率是檢索出來的正例圖像數(shù)與所有結(jié)果數(shù)的比值；有效度是比較檢索系統(tǒng)和用戶對某個圖像的最終排序推斷檢索結(jié)果是否有效；匹配百分?jǐn)?shù)反映某個目標(biāo)正例圖像在所有目標(biāo)正例圖像中的排列位次，體現(xiàn)檢索效果的優(yōu)劣[1,17]。

2 基于語義的醫(yī)學(xué)圖像檢索技術(shù)

2.1 醫(yī)學(xué)圖像的語義特點(diǎn)

上文所描述到的顏色、紋理和形狀等特征都屬于圖像的底層特征，無法反映圖像概念層次上的內(nèi)容，而圖像檢索的最終目的是符合用戶對圖像內(nèi)在含義的理解，因此，如何挖掘醫(yī)學(xué)圖像的深層次的語義特征是當(dāng)前研究的熱點(diǎn)和難點(diǎn)。醫(yī)學(xué)圖像具有很強(qiáng)的專業(yè)性，是特定語義的直觀表達(dá)；醫(yī)學(xué)圖像的語義具有多層次多關(guān)聯(lián)的特點(diǎn)，抽象化地描述了人體解剖結(jié)構(gòu)和疾病信息，是醫(yī)學(xué)知識的一種表達(dá)方式。因此，可借助相關(guān)的醫(yī)學(xué)知識和計(jì)算機(jī)視覺特征領(lǐng)域技術(shù)，挖掘圖像視覺特征和高層語義之間、不同高層語義內(nèi)容之間的映射關(guān)系，完成醫(yī)學(xué)圖像的語義提取，實(shí)現(xiàn)基于語義的醫(yī)學(xué)圖像檢索。

2.2 醫(yī)學(xué)圖像的語義特征提取

目前醫(yī)學(xué)圖像的語義特征提取的主要思路是構(gòu)建高層語義到底層視覺特征的映射模型，同時在檢索過程中添加用戶反饋[1]。主要方法包括機(jī)器學(xué)習(xí)法、最近鄰分類法、支持向量機(jī)、貝葉斯網(wǎng)絡(luò)、決策樹等，文獻(xiàn)[22]以臨床醫(yī)師的分析和診斷內(nèi)容為基礎(chǔ)，提取肺部CT影像表征的關(guān)鍵詞語義空間，構(gòu)建醫(yī)學(xué)圖像語義層次模型，采用最近鄰分類方法進(jìn)行映射，將圖像的底層視覺特征映射到高層語義空間[22]。文獻(xiàn)[23]通過支持向量機(jī)映射方法獲得乳腺X影像鈣化病灶的一部分中層特征語義，另一部分通過醫(yī)生判斷給出，然后通過貝葉斯網(wǎng)絡(luò)獲得高層病癥語義節(jié)點(diǎn)[23]。文獻(xiàn)[24]將查詢圖像和數(shù)據(jù)庫中的每個圖像間的語義和視覺相似性融合為它們的成對相似點(diǎn)，然后構(gòu)造加權(quán)圖，其中節(jié)點(diǎn)代表圖像，邊緣測量它們的成對相似度；通過對加權(quán)圖使用最短路徑算法，獲取一個新的相似性度量，從而完成查詢圖像檢索。這種融合成對相似性能夠縮小語義鴻溝，利用該方法對肺疾病常見CT顯像的檢索進(jìn)行了評價，結(jié)果表明有較好的檢索結(jié)果和檢索效率[24]。文獻(xiàn)[25]根據(jù)DICOM和醫(yī)學(xué)診斷知識，設(shè)定不同層次類別語義(如采集設(shè)備、部位或疾病種類)，建立人工類別語義訓(xùn)練集，利用類別視覺特征語義標(biāo)注分類器，實(shí)現(xiàn)圖像的自動類別語義標(biāo)注[25]。

另一種語義特征提取方法是基于本體來構(gòu)建醫(yī)學(xué)圖像語義檢索，本體是描述語義術(shù)語關(guān)系概念模型的明確的規(guī)范說明，通常是由領(lǐng)域?qū)＜宜鶚?gòu)建的機(jī)器可理解的一種知識體。文獻(xiàn)[26]利用模糊本體中隸屬度的概念, 對查詢語句和圖像關(guān)鍵詞向量空間模型進(jìn)行模糊本體概念映射和概念相似度計(jì)算。實(shí)驗(yàn)證明, 這一方法具有良好的性能[26]。文獻(xiàn)[27]提出了一種基于高層次語義標(biāo)注的相似醫(yī)學(xué)數(shù)據(jù)庫圖像檢索方法，首先利用生物醫(yī)學(xué)本體語義術(shù)語自動標(biāo)注圖像內(nèi)容，該策略基于多尺度黎茲小波技術(shù)來描述圖像語義特征；然后對檢索出來的相似的數(shù)據(jù)庫圖像的語義術(shù)語間的相似性進(jìn)行評估，提出了一種基于圖像和本體論的相異性措施去量化相似圖像間語義術(shù)語的相似性。這兩種策略的組合有助于縮小語義鴻溝，準(zhǔn)確檢索數(shù)據(jù)庫中的相似圖像[27]。文獻(xiàn)[28]利用DICOM多樣豐富的醫(yī)學(xué)圖像信息，包括物理特征信息、高級語義、區(qū)域空間布局等內(nèi)容，對圖像進(jìn)行語義標(biāo)注，得到相應(yīng)的XML實(shí)例并組成組合概念實(shí)體集，構(gòu)成醫(yī)學(xué)圖像本體庫進(jìn)行查詢，但語義標(biāo)注過程需要懂圖像語義含義的專家完成，比較費(fèi)時費(fèi)力[28]。因此，如何利用知識獲取技術(shù)代替專家手工進(jìn)行自動標(biāo)注，是一個值得研究的方向。

3 展望

3.1 加強(qiáng)對醫(yī)學(xué)圖像顏色特征提取方法的探索

由于大多數(shù)醫(yī)學(xué)圖像是灰度圖，不同的圖像內(nèi)容灰度信息相似，區(qū)分度較低，目前一些顏色特征提取方法并不適用于醫(yī)學(xué)圖像，因此應(yīng)尋求適合醫(yī)學(xué)圖像特點(diǎn)的顏色特征提取算法和內(nèi)容表示方法，如根據(jù)病灶信息縮小范圍，結(jié)合空間布局分析等。

3.2 加強(qiáng)基于語義的醫(yī)學(xué)圖像檢索方法與技術(shù)的研究

目前對醫(yī)學(xué)圖像的底層特征已研究的較為成熟，如何挖掘出醫(yī)學(xué)圖像深層次的語義內(nèi)容，更加全面地反映醫(yī)學(xué)圖像本身的信息，進(jìn)一步解決“語義鴻溝”的問題，使檢索結(jié)果更接近于人的感知與理解，是下一步的研究重點(diǎn)。

如可利用數(shù)據(jù)挖掘技術(shù)、知識組織方法和機(jī)器學(xué)習(xí)方法對圖像語義信息進(jìn)行解讀，從視覺特征的相關(guān)研究中借鑒一些方法或思路。

3.3 加強(qiáng)醫(yī)學(xué)圖像檢索系統(tǒng)的應(yīng)用程度

目前大部分醫(yī)學(xué)圖像檢索系統(tǒng)都處于研究階段，應(yīng)用到實(shí)際中的很少，因此應(yīng)加強(qiáng)研究成果在實(shí)際中的應(yīng)用，可嘗試與醫(yī)院的PACS、RIS等系統(tǒng)進(jìn)行對接，探索相應(yīng)的應(yīng)用技術(shù)和應(yīng)用價值。

3.4 建立醫(yī)學(xué)圖像檢索系統(tǒng)的性能評價標(biāo)準(zhǔn)

圖像檢索領(lǐng)域的評價標(biāo)準(zhǔn)目前主要還是借鑒本文檢索領(lǐng)域的檢全率和檢準(zhǔn)率標(biāo)準(zhǔn)，但醫(yī)學(xué)圖像本身具有很強(qiáng)的專業(yè)性和特殊性，并不是精確匹配的，因此需根據(jù)自身特點(diǎn)建立一套更適合的性能評價標(biāo)準(zhǔn)。

3.5 借鑒其他領(lǐng)域經(jīng)驗(yàn)，破解技術(shù)難題

可從生物醫(yī)學(xué)工程、模式識別、仿生學(xué)等其他領(lǐng)域借鑒一些好的經(jīng)驗(yàn)，研究醫(yī)學(xué)圖像檢索不應(yīng)僅局限于圖像檢索這個領(lǐng)域，應(yīng)放開視野，進(jìn)行變通和融合，幫助突破技術(shù)難題。