【摘要】 近年來糖尿病足潰瘍（diabetic foot ulcer，DFU）患病率明顯增加，為促進潰瘍愈合，降低截肢率，必須對DFU患者足部情況及時進行評估，科學評估對制定正確治療方案及預測預后具有重要意義。由于DFU的復雜性，人工智能（AI）圖像識別技術可能是及時篩查和識別DFU風險的有效方法，本文將綜述DFU圖像識別技術對DFU患者創(chuàng)面評估、缺血/感染分類、評估療效及預測預后的研究進展。

【關鍵詞】 糖尿病 足潰瘍 圖像識別技術

Research Progress of Image Recognition Technology for Diabetes Foot Ulcer/XIA Zuwei， CAO Guanbai， LIU Xianqi. //Medical Innovation of China， 2023， 20（31）： -179

[Abstract] In recent years， the prevalence of diabetes foot ulcer （DFU） has increased significantly. In order to promote ulcer healing and reduce the amputation rate， it is necessary to evaluate the foot condition of DFU patients in a timely manner. Scientific evaluation is of great significance for formulating correct treatment plans and predicting prognosis. Due to the complexity of DFU， artificial intelligence （AI） image recognition technology may be an effective method to screen and identify the risk of DFU in a timely manner. This article will review the research progress of DFU image recognition technology in wound evaluation， ischemia/infection classification， evaluation of curative effect and prediction of prognosis of DFU patients.

[Key words] Diabetes Foot ulcer Image analysis

First-author's address： Jiulongpo District People's Hospital of Chongqing City， Chongqing 400050， China

doi：10.3969/j.issn.1674-4985.2023.31.040

糖尿病及糖尿病足的患病率近年來明顯增加，糖尿病足的主要不良結局是截肢和死亡，糖尿病足潰瘍（DFU）是糖尿病足最常見的表現(xiàn)，全球每年約有400萬糖尿病患者發(fā)生DFU，不同國家、地區(qū)之間DFU患病率差異很大，介于1.5%～16.6%[1]。我國糖尿病患者1年內新發(fā)DFU發(fā)生率為8.1%，愈合的DFU患者1年內再發(fā)潰瘍發(fā)生率為31.6%[2]。DFU是造成糖尿病患者截肢的主要原因，全球每20秒鐘就有一例糖尿病患者截肢[3-4]，85%以上的糖尿病患者截肢起因于DFU，DFU患者年死亡率達11%[4]。

糖尿病周圍神經(jīng)病變、下肢血管病變和足畸形是DFU發(fā)病風險增加的主要原因。年齡、性別、文化程度、經(jīng)濟條件、生活習慣和其他糖尿病并發(fā)癥或合并癥也是重要的發(fā)病因素。世界各地DFU的類型差別很大，在發(fā)達國家，60%的新發(fā)潰瘍與周圍動脈病變相關，即神經(jīng)缺血性或缺血性潰瘍；在發(fā)展中國家，更常見的是神經(jīng)性潰瘍[5]。及時對DFU風險進行評估，以及采取相應的預防措施對降低DFU截肢率相當重要。

隨著計算機技術的發(fā)展，人工智能可以輔助診療，增強醫(yī)務人員工作能力和效率，減輕數(shù)據(jù)分析壓力。目前，人工智能在醫(yī)學領域中，圖像識別技術的研究最多，包括DFU圖像識別技術，并取得了可喜的成功，圖像識別技術分析DFU正成為一個新興的研究領域。近年來，圖像識別技術用于DFU創(chuàng)面評估、感染缺血分類、療效評估及預測截肢風險等方面取得了明顯進步[6-8]。本文將綜述DFU圖像識別技術的研究進展。

1 創(chuàng)面評估

對DFU創(chuàng)面評估需準確反映潰瘍創(chuàng)面的部位、面積、體積、顏色、分泌物、潰瘍周圍炎癥反應、組織壞死及骨暴露情況，特別是深部潛行的竇道或組織間隙的探查，利用圖像識別技術能有效提高創(chuàng)面評估的準確性。

Goyal等[9]通過傳統(tǒng)機器學習和深度學習技術研究DFU自動實時定位算法，首先使用傳統(tǒng)機器學習方法生成支持向量機（SVM），但由于在解決DFU定位任務方面的速度緩慢而放棄。而后通過設計用于DFU實時定位的深度學習方法，生成幾個神經(jīng)網(wǎng)絡，即不同的超參數(shù)設置、區(qū)域卷積神經(jīng)網(wǎng)絡（R-CNN）、全卷積網(wǎng)絡（R-FCN）和單次多盒檢測器（SSD）。應用雙層轉移學習技術，在非醫(yī)學圖像的海量數(shù)據(jù)庫上預訓練網(wǎng)絡，從而避免僅從可用的有限醫(yī)學圖像生成網(wǎng)絡。兩位醫(yī)學專家通過使用注釋器軟件確定由1 775張DFU圖像組成的數(shù)據(jù)庫中的感興趣區(qū)域（ROIs），這些ROIs被用于性能評估，性能評估指標包括速度、模型大小、平均值和精度。研究發(fā)現(xiàn)所有深度學習方法對DFU具有良好定位能力，推斷率高。SSD獲得最佳的推斷速度，而R-CNN的平均精度均值最高。為證明實時預測解決方案的魯棒性和實用性，通過NVIDIA Jetson TX2和智能手機應用程序評估該模型性能，平均精度達到91.8%，推斷單個圖像的速度為48 ms，模型大小為57.2 MB。研究結果表明，深度學習模型能夠實時定位DFU。Goyal等[10]的另一項類似研究，專注于特定的CNN，稱為DFUNet，并將其性能與傳統(tǒng)網(wǎng)絡，如AlexNet、GoogLeNet、LeNet的性能進行比較。

Chan等[11]使用人工智能傷口成像移動應用程序（CARES4WOUNDS系統(tǒng)）與傳統(tǒng)手工創(chuàng)面測量DFU進行比較，傳統(tǒng)手工創(chuàng)面測量由訓練有素的專科護士完成。從28例糖尿病患者中收集75處DFU圖像，創(chuàng)面平均面積為3.75 cm2，共分析547張創(chuàng)面圖像。通過分析同一創(chuàng)面的三幅不同圖像，觀察到CARES4WOUNDS系統(tǒng)的內部可靠性極佳（0.933～0.994），而最重要的是CARES4WOUNDS系統(tǒng)與?？谱o士測量創(chuàng)面長度、寬度和面積之間，評價者間信度很好（0.825～0.934）。CARES4WOUNDS系統(tǒng)是監(jiān)測DFU創(chuàng)面的有用輔助工具。

2 缺血/感染分類

DFU感染及缺血是導致糖尿病患者病情惡化的最重要因素，也是住院時間和醫(yī)療費用增加的常見原因[12-13]。DFU患者就診時40%～70%已經(jīng)發(fā)生感染[14-15]，輕度感染者25%發(fā)展為重度深部感染[16]。糖尿病下肢血管病變是糖尿病患者常見慢性并發(fā)癥之一，不僅大、中動脈受損，而且更多膝下中、小動脈血管中膜鈣化、節(jié)段性狹窄或閉塞，從而導致缺血。感染/缺血的發(fā)生常導致截肢，重者導致死亡[17]。圖像識別技術對早期DFU感染/缺血評估可以幫助臨床醫(yī)生制定正確的治療方案，提高DFU創(chuàng)面愈合率。

Goyal等[18]將圖像識別技術應用于DFU缺血/感染的分類評估。首先使用基于DFU深度定位算法技術，對1 459例DFU圖像的初始數(shù)據(jù)庫進行數(shù)據(jù)擴充。其次，通過超級像素顏色描述符（SPCD）的新方法，從DFU圖像中提取ROI顏色信息，以識別缺血/感染的視覺線索。使用幾種用于缺血/感染分類的算法，從機器學習開始，提出隨機森林（RF）、貝葉斯網(wǎng)絡（BN）、多層感知機（MLP）及CNN算法，最后，采用集成CNN方法，結合三個CNN模型的特征，使用SVM來執(zhí)行分類。兩位醫(yī)學專家在數(shù)據(jù)庫圖像中確定缺血/感染。缺血/感染分類性能指標包括準確率、敏感度、特異度、F1-分數(shù)，MCC，ROC曲線下面積，結論是集成CNN算法表現(xiàn)最好，在缺血分類準確率為90%，感染分類準確率為73%?？偟膩碚f，檢測缺血比檢測感染效果更好，平均準確率為83.3%對65.8%。

Al-Garaawi等[19]的研究旨在開發(fā)一種基于CNN的DFU分類方法，除ROI的RGB圖像外，還使用DFU上的紋理信息。特別關注區(qū)分健康受試者和DFU受試者，以及區(qū)分缺血和非缺血，感染和非感染的能力。采用不同的模型，從基于RGB圖像的單個輸入開始。之后，使用包含紋理信息的圖像補充RGB圖像，使用紋理描述的局部二進制模式（LBP）技術從RGB圖像獲得紋理信息。通過逐步調整參數(shù)，如卷積層、最大池及濾波器數(shù)量，以產(chǎn)生紋理增強圖像，獲得最終的CNN模型。該模型經(jīng)過訓練，并通過自適應矩估計進行優(yōu)化。以敏感度、特異度、準確率、F1分數(shù)和ROC曲線下面積表示性能，該模型與最先進的AlexNet和GoogLeNet算法進行比較，結果表明，以紋理增強圖像作為輸入的CNN分類模型最優(yōu)，提供更好的性能，獲得DFU缺血/感染分類的ROC曲線下面積更大。

Xu等[20]的研究基于確定DFU缺血/感染的存在，在CNN測試階段，分類取決于單個輸入圖像和訓練網(wǎng)絡參數(shù)，但訓練數(shù)據(jù)中提供的知識沒有被明確充分利用。為了更好地使用訓練數(shù)據(jù)知識，提出經(jīng)典知識庫（CKB）方法。在該方法中，使用CKB中的每個單元來計算與輸入圖像的相似度。CKB中的單元之間的平均相似性是輸入圖像的代表性參數(shù)，可以有助于圖像分類，因為分類不僅取決于圖像和訓練參數(shù)，而且取決于從訓練數(shù)據(jù)提取并存儲在CKB中的數(shù)據(jù)。數(shù)據(jù)庫包括628例非感染病例和831例感染病例，以及1 249例非缺血病例和210例缺血病例。由于缺血/非缺血分類存在明顯的不平衡問題，因此應用數(shù)據(jù)擴充策略，缺血/非缺血圖像塊9 870個，感染/非感染圖像塊5 892個。性能指標包括準確度、敏感度、特異度、F1分數(shù)、ROC曲線下面積?；谏疃葘W習的感染分類顯示出很好的性能，特別是深度神經(jīng)網(wǎng)絡從DFU圖像中提取辨別特征，預測感染/缺血的能力。

Güley等[21]開展一項旨在解決DFU“經(jīng)典”四分類，即感染、缺血、感染和缺血及無感染和無缺血的鑒別。利用DFUC2021數(shù)據(jù)庫，該數(shù)據(jù)庫包括15 863張圖像，通過深度學習框架提供快速結合交叉驗證、數(shù)據(jù)預處理和數(shù)據(jù)擴充策略等，促進模型開發(fā)。通過評估一系列VGG網(wǎng)絡結構，包括不同的層、訓練策略、數(shù)據(jù)預處理和增強技術，訓練出三個版本的VGG網(wǎng)絡結構，即VGG11、VGG16和VGG19。根據(jù)ROC曲線下面積、F1分數(shù)等性能指標，該研究中的最佳模型與DFUC2021數(shù)據(jù)庫中的其他模型相比，排名第2至第7之間。

早期識別革蘭染色細菌類型有助于提供正確的治療方案，提高DFU愈合率。Illuminate?是一種多光譜自體熒光成像新型設備，有助于快速識別和分類細菌。Viswanathan等[22]評估Illuminate?與標準細菌檢測方法相比在檢測革蘭染色細菌類型方面的準確性，以及對革蘭染色細菌類型（陽性或陰性）或有無感染情況進行分類的能力。該研究共收集178例DFU患者資料，Illuminate?由訓練有素的研究人員操作，以拍攝DFU圖像。從DFU創(chuàng)面處采取203份樣本，樣本取自設備人工智能算法所指示的顏色編碼感染區(qū)域，樣本送細菌學檢測，將細菌學檢測與Illuminate?推斷進行比較，研究發(fā)現(xiàn)Illuminate?檢測革蘭陽性菌的陽性預測值（PPV）為86.27%，革蘭陰性菌陽性預測值（PPV）為80.77%，無感染為91.67%。革蘭陽性菌的陰性預測值（NPV）為87.25%，革蘭陰性菌的陰性預測值（NPV）為92%，無感染為96.12%。結果表明，這種新型多光譜自體熒光成像設備在識別和分類革蘭染色細菌類型方面具有較高準確性，有助于臨床醫(yī)生進行早期感染評估和治療。

3 評估療效

Wang等[23]根據(jù)基于深度學習算法的磁共振成像（MRI）數(shù)據(jù)特征評估復合皮片移植治療DFU效果。78例DFU患者隨機分為試驗組和對照組，每組39例患者，試驗組采用復合皮片移植治療，對照組采用自體皮片移植治療。治療前后行MRI掃描。單次多盒檢測器（SSD）深度學習算法被應用于MRI圖像分析，以定位和提取需要皮片移植的足部傷口特征。SSD利用CNN檢測與滑動窗方法不同的是在試驗組中MRI圖像的一些參數(shù)，如信號強度參數(shù)在治療前后有所不同，治療后試驗組掃描序列的T1加權成像（T1WI）顯著增加，脂肪抑制T2加權成像（T2WI）和脂肪抑制T1WI增強序列的信號強度顯著降低（Plt;0.05）。此外，與對照組相比，試驗組的復發(fā)率、愈合時間和瘢痕評分顯著降低（Plt;0.01），MRI成像信息對評價DFU療效的準確性、特異度及敏感度分別為85.2%、89.75%和86.47%。根據(jù)特異度和敏感度，繪制受試者操作特征曲線，曲線下面積為0.838。因此，基于深度學習算法的MRI圖像數(shù)據(jù)特征可以為DFU復合皮片移植的療效評估提供輔助參考信息。

4 預測預后

Kim等[24]進行旨在預測DFU愈合情況的研究，該研究資料來自從患者的電子健康記錄（EHR）中提取的臨床特征和從智能手機或平板電腦拍攝照片中提取的圖像特征。根據(jù)三年內2 291次就診的EHR，對155例患者的381處DFU進行臨床特征（48個變量）的研究。手動分割DFU照片，然后提取顏色和紋理特征，以及基于深度學習的特征。使用ResNet50的全局平均池化層深度CNN，在ImageNet數(shù)據(jù)庫上訓練，提供預訓練版本。然后訓練隨機森林和支持向量機以預測最終DFU愈合情況。使用手工制作影像學特征構建的模型優(yōu)于僅使用臨床特征或深度學習模型。使用功能訓練模型與使用手工制作訓練模型在影像學特征性能（ROC曲線下面積、準確度、精確度和F1分數(shù)等）方面相似。Kim等[24]認為由于最重要的特征主要是手工制作的成像特征，可能更適合在智能手機上操作。

在Yogapriya等[25]的研究中，假設感染對預測DFU患者截肢的可能性具有重要意義。分析的數(shù)據(jù)庫包括5 890張DFU圖像，2 945張感染圖像和2 945張非感染圖像。數(shù)據(jù)庫經(jīng)過適當?shù)臄?shù)據(jù)擴充方法，形成擁有29 450張圖像的數(shù)據(jù)庫。然后，根據(jù)DFU圖像開發(fā)出稱為糖尿病足感染網(wǎng)絡（DFINET）的CNN，以預測感染或非感染，該網(wǎng)絡基于22層CNN架構，批量歸一化層和丟棄層，對DFINET超參數(shù)進行分析和微調，以提高模型性能。DFINET與其他網(wǎng)絡模型，如AlexNet、GoogLeNet及VGG16的多項性能指標（準確度、敏感度、特異度、精確度、F1評分、MCC、PPV和NPV）進行比較。DFINET在幾乎所有指標上都優(yōu)于所有其他網(wǎng)絡模型。DFINET精度達到91.98%，遠高于精度不超過83%其他網(wǎng)絡模型。

鑒于DFU的復雜性和多因素性，在可能涉及的眾多變量中識別與DFU相關的變量，人工智能圖像識別技術似乎是一種有用的方法。近年來的研究表明圖像識別技術在DFU智能診療、預測預后方面的應用已取得了令人滿意的結果，利用圖像識別技術的非侵入檢測方法，可以更好地監(jiān)測DFU，而不會對DFU患者造成任何傷害。未來的研究需要設計開發(fā)更有效、簡單而廉價的工具和技術。

參考文獻

[1] ZHANG P，LU J，JING Y，et al.Global epidemiology of diabetic foot ulceration：a systematic review and meta-analysis[J].Ann Med，2017，49（2）：106-116.

[2] JIANG Y，WANG X，XIA L，et al.A cohort study of diabetic patients and diabetic foot ulceration patients in China[J].Wound Repair Regen，2015，23（2）：222-230.

[3] HASSANEIN M，AFANDI B，YAKOOB AHMEDANI M，et al.

Diabetes and Ramadan：Practical guidelines 2021[J].Diabetes Res Clin Pract，2022，185：109185.

[4]中華醫(yī)學會糖尿病學分會，中華醫(yī)學會感染病學分會，中華醫(yī)學會組織修復與再生分會.中國糖尿病足防治指南（2019版）（Ⅰ）[J].中華糖尿病雜志，2019，11（2）：92-108.

[5] BELLOMO T R，LEE S，MCARTHY M，et al.Management of the diabetic foot[J].Semin Vasc Surg，2022，35（2）：219-227.

[6] CHAN K S，LIANG S，CHO Y T，et al.Clinical validation of a machine-learning-based handheld 3-dimensional infrared wound imaging device in venous leg ulcers[J].Int Wound J，2022，19（2）：436-446.

[7] CHAN K S，LO Z J.Wound assessment，imaging and monitoring systems in diabetic foot ulcers：a systematic review[J].Int Wound J，2020，17（6）：1909-1923.

[8] MALONE M，SCHWARZER S，WALSH A，et al.Monitoring wound progression to healing in diabetic foot ulcers using three-dimensional wound imaging[J].J Diabetes Complications，2020，34（2）：107471.

[9] GOYAL M，REEVES N D，RAJBHANDARI S，et al.Robust methods for real-time diabetic foot ulcer detection and localization on mobile devices[J].IEEE J Biomed Health Inform，2019，23（4）：1730-1741.

[10] GOYAL M，REEVES N D，DAVISON A K，et al.DFUNet：convolutional neural networks for diabetic foot ulcer classifification[J].IEEE Trans Emerg Top Comput Intell，2020，4（5）：728-739.

[11] CHAN K S，CHAN Y M，TAN A H M，et al.Clinical validation of an artifificial intelligence-enabled wound imaging mobile application in diabetic foot ulcers[J].Int Wound J，2022，19（1）：114-124.

[12] JIANG Y，RAN X，JIA L，et al.Epidemiology of type 2 diabetic foot problems and predictive factors for amputation in China[J].Int J Low Extrem Wounds，2015，14（1）：19-27.

[13] SEN C K.Human wound and its burden：updated 2020 compendium of estimates[J].Adv Wound Care （New Rochelle），2021，10（5）：281-292.

[14] ATLAW A，KEBEDE H B，ABDELA A A，et al.Bacterial isolates from diabetic foot ulcers and their antimicrobial resistance profile from selected hospitals in Addis Ababa，Ethiopia[J].Front Endocrinol （Lausanne），2022，13：987487.

[15] SHAHROKH S，ALIYE T，YAZDI M，et al.Bacterial profile and antimicrobial resistance patterns of infected diabetic foot ulcers in Iran：a systematic review and meta-analysis of cross-sectional studies[J].Int J Low Extrem Wounds，2022，21（4）：364-373.

[16] HAWKINS B K，BARNARDd M，BARBER K E，et al.Diabetic foot infections：a microbiologic review[J].Foot（Edinb），2022，51：101877.

[17]中華醫(yī)學會糖尿病學分會，中華醫(yī)學會感染病學分會，中華醫(yī)學會組織修復與再生分會.中國糖尿病足防治指南（2019版）（Ⅲ）[J].中華糖尿病雜志，2019，11（4）：238-247.

[18] GOYAL M，REEVES N D，RAJBHANDARI S，et al.Recognition of ischaemia and infection in diabetic foot ulcers：dataset and techniques[J].Comput Biol Med，2020，117：103616.

[19] AL-GARAAWI N，EBSIM R，ALHARAN A F H，et al.Diabetic foot ulcer classifification using mapped binary patterns and convolutional neural networks[J].Comput Biol Med，2021，140：105055.

[20] XU Y，HAN K，ZHOU Y，et al.Classifification of diabetic foot ulcers using class knowledge banks[J].Front Bioeng Biotechnol，2021，9：811028.

[21] GüLEY O，PATI S，BAKAS S.Classification of infection and ischemia in diabetic foot ulcers using VGG architectures[J].Diabet Foot Ulcers Grand Chall（2021），2022，13183：76-89.

[22] VISWANATHAN V，GOVINDAN S，SELVARAJ B，et al.

A clinical study to evaluate autofluorescence imaging of diabetic foot ulcers using a novel artificial intelligence enabled noninvasive device[J].Int J Low Extrem Wounds，2021：15347346211047098.

[23] WANG C，YU X，SUI Y，et al.Magnetic resonance imaging data features to evaluate the effificacy of compound skin graft for diabetic foot[J].Contrast Media Mol Imaging，2022：5707231.

[24] KIM R B，GRYAK J，MISHRA A，et al.Utilization of smartphone and tablet camera photographs to predict healing of diabetes-related foot ulcers[J].Comput Biol Med，2020，126：104042.

[25] YOGAPRIYA J，CHANDRAN V，SUMITHRA M G，et al.

Automated detection of infection in diabetic foot ulcer images using convolutional neural network[J].J Healthc Eng，2022，2022：2349849.

（收稿日期：2023-03-07） （本文編輯：田婧）