曾雪，王浩，李佳戈

中國(guó)食品藥品檢定研究院 醫(yī)療器械檢定所，北京 102629

引言

近年來(lái)，人工智能醫(yī)療器械發(fā)展較快，成為有源醫(yī)療器械領(lǐng)域新的分支。這一類(lèi)醫(yī)療器械使用人工智能技術(shù)實(shí)現(xiàn)預(yù)期用途，形態(tài)包括醫(yī)療器械軟件、軟件組件、智能硬件或系統(tǒng)等，應(yīng)用場(chǎng)景不斷擴(kuò)展，包括方艙醫(yī)院[1-3]等特殊場(chǎng)所。例如新冠疫情期間，搭建方艙醫(yī)院使用的醫(yī)療影像設(shè)備、病人數(shù)據(jù)管理系統(tǒng)，需要適應(yīng)運(yùn)輸和非常規(guī)溫濕度條件。用于野外應(yīng)急救災(zāi)的武警省級(jí)移動(dòng)部署醫(yī)院，一般包含8～10輛專(zhuān)業(yè)醫(yī)療車(chē)和3～4個(gè)應(yīng)急醫(yī)療帳篷[4]，配備大量的專(zhuān)業(yè)醫(yī)療設(shè)備和手術(shù)設(shè)備[5-8]，人工智能醫(yī)療器械可能需要考慮極端溫濕度、振動(dòng)、碰撞等環(huán)境條件的影響[9-10]。

目前，人工智能醫(yī)療器械領(lǐng)域尚未建立環(huán)境試驗(yàn)專(zhuān)用要求，需要研究環(huán)境條件對(duì)算法性能的影響。從產(chǎn)品實(shí)際運(yùn)行的情況看，運(yùn)行人工智能算法的計(jì)算平臺(tái)需要納入評(píng)價(jià)范圍，例如計(jì)算機(jī)組件、服務(wù)器等。在現(xiàn)行有效的醫(yī)療器械行業(yè)標(biāo)準(zhǔn)中，針對(duì)對(duì)環(huán)境有特殊要求的相關(guān)硬件設(shè)備，例如醫(yī)用X射線設(shè)備、醫(yī)用超聲設(shè)備等，一般在醫(yī)用電器環(huán)境標(biāo)準(zhǔn)（GB/T 14710）[11]基礎(chǔ)上針對(duì)相關(guān)設(shè)備的特殊需求，分析制定專(zhuān)用環(huán)境試驗(yàn)要求。例如《YY/T 0291-2016 醫(yī)用X射線設(shè)備環(huán)境要求及試驗(yàn)方法》[12]、《YY T 1420-2016 醫(yī)用超聲設(shè)備環(huán)境要求及試驗(yàn) 方法》[13]，但都不涉及計(jì)算平臺(tái)。在工業(yè)領(lǐng)域，GB/T 9813系列標(biāo)準(zhǔn)[14]規(guī)定了計(jì)算機(jī)的環(huán)境試驗(yàn)條件，但與醫(yī)療器械存在差異。

為研究環(huán)境條件對(duì)AI算法的影響，本文用心電AI算法模擬實(shí)際的AI產(chǎn)品，在不同的環(huán)境試驗(yàn)條件和模式下連續(xù)運(yùn)行，觀測(cè)執(zhí)行效率和準(zhǔn)確性的變化情況[15-19]，為下一步明確人工智能醫(yī)療器械的環(huán)境試驗(yàn)要求提供參考。

1 材料與方法

運(yùn)行AI算法的計(jì)算平臺(tái)為聯(lián)想品牌的臺(tái)式計(jì)算機(jī)，內(nèi)存4 G，CPU型號(hào)參數(shù)：英特爾第三代酷睿i5-3470@3.20 GHz四核，安裝MATLAB程序，用于運(yùn)行心電AI算法。

1.1 AI算法選擇

本文選擇公開(kāi)的AI心電算法[20]作為本次性能測(cè)試的對(duì)象。該算法將心電信號(hào)分為4類(lèi)，分別是正常（Normal，N）、左束支阻滯（Left Bundle Branch Block，LBBB，L）、右束支阻滯（Right Bundle Branch Block，RBBB）及室性早搏（Ventricular Premature Beats，PVC）。算法采用MIT數(shù)據(jù)庫(kù)中的數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練和測(cè)試，共計(jì)20000個(gè)心拍， 4類(lèi)心拍各有5000個(gè)心拍。

AI心電算法模型訓(xùn)練完成后，使用測(cè)試集進(jìn)行測(cè)試，并計(jì)算4種心拍分類(lèi)的準(zhǔn)確率，準(zhǔn)確率的表述為一個(gè)測(cè)試集中被正確分類(lèi)的樣本數(shù)與總樣本數(shù)之比。

以判斷正常心拍（N）的二分類(lèi)問(wèn)題為例，如果MIT數(shù)據(jù)庫(kù)中的分類(lèi)結(jié)果為N，則作為陽(yáng)性心拍，否則作為陰性心拍；如果AI算法判定為N，則表示AI算法的結(jié)果為陽(yáng)性，如果判定為其余3種心拍，則表示AI算法的結(jié)果為陰性。分類(lèi)準(zhǔn)確率具體計(jì)算方法，見(jiàn)表1。

表1 AI測(cè)試結(jié)果的混淆矩陣

準(zhǔn)確率計(jì)算公式如式(1)所示。

式中，N1,1為真陽(yáng)性的數(shù)量，即被AI算法正確地預(yù)測(cè)為陽(yáng)性的陽(yáng)性心拍數(shù)量；N1,2為假陽(yáng)性的數(shù)量，即被AI算法錯(cuò)誤地預(yù)測(cè)為陽(yáng)性的陰性心拍數(shù)量；N2,1為假陰性的數(shù)量，即被AI算法錯(cuò)誤地預(yù)測(cè)為陰性的陽(yáng)性心拍數(shù)量；N2,2為真陰性，即被AI算法正確地預(yù)測(cè)為陰性的陰性心拍數(shù)量。

1.2 環(huán)境試驗(yàn)設(shè)計(jì)

1.2.1 隨機(jī)訓(xùn)練模式

首先，為了觀測(cè)環(huán)境條件對(duì)算法訓(xùn)練的影響，從MIT數(shù)據(jù)集中隨機(jī)抽取10000個(gè)心拍用于訓(xùn)練心電AI算法模型，剩下的用于測(cè)試。算法運(yùn)行的每個(gè)循環(huán)包括30次訓(xùn)練迭代和1次測(cè)試，訓(xùn)練的平均迭代時(shí)間被記錄下來(lái)，作為效率的表征。

根據(jù)極端使用情況考慮，按照GB/T 14710規(guī)定的氣候環(huán)境III組和機(jī)械環(huán)境III組的要求，設(shè)計(jì)環(huán)境試驗(yàn)方案，具體包括：

（1）額定工作濕熱試驗(yàn)條件。溫度：50℃，相對(duì)濕度：93%±3%，持續(xù)4 h。試驗(yàn)過(guò)程中，運(yùn)行MATLAB程序，記錄AI算法訓(xùn)練迭代時(shí)間和準(zhǔn)確率。

（2）濕熱貯存試驗(yàn)條件。溫度：60℃，相對(duì)濕度：93%±3%，持續(xù)48 h，恢復(fù)24 h。恢復(fù)后，運(yùn)行MATLAB程序，記錄AI算法訓(xùn)練迭代時(shí)間和準(zhǔn)確率。

1.2.2 固定參數(shù)模式

其次，作為對(duì)比，從MIT數(shù)據(jù)集中抽取固定的10000個(gè)心拍用于訓(xùn)練心電AI算法模型，其他心拍作為測(cè)試集。該模型的參數(shù)進(jìn)行鎖定后，算法循環(huán)運(yùn)行的每個(gè)循環(huán)僅包括1次測(cè)試，每次的測(cè)試時(shí)間被記錄下來(lái)，作為效率的表征。同樣按照GB/T 14710的氣候環(huán)境Ⅲ組和機(jī)械環(huán)境Ⅲ組的要求，進(jìn)行額定工作濕熱試驗(yàn)。

2 實(shí)驗(yàn)結(jié)果

2.1 隨機(jī)訓(xùn)練模式

環(huán)境試驗(yàn)各階段的AI算法準(zhǔn)確率和迭代時(shí)間結(jié)果，見(jiàn)表2。

表2 環(huán)境試驗(yàn)前后的AI算法準(zhǔn)確率和迭代時(shí)間

2.1.1 AI算法迭代時(shí)間

環(huán)境試驗(yàn)前，單次迭代時(shí)間的平均值為3.7521 s，標(biāo)準(zhǔn)差為0.0446，見(jiàn)圖1。

圖1 環(huán)境前初始結(jié)果：AI算法單次迭代時(shí)間

額定工作濕熱試驗(yàn)中，全程單次迭代時(shí)間的平均值為3.7722 s，標(biāo)準(zhǔn)差為0.0915，見(jiàn)圖2。將額定工作試驗(yàn)進(jìn)程分為濕熱工作期和濕熱恢復(fù)期兩個(gè)階段進(jìn)行分析。根據(jù)試驗(yàn)條件，截取第40～200個(gè)循環(huán)作為濕熱工作期，這部分的單次迭代時(shí)間平均值為3.8381 s，標(biāo)準(zhǔn)差為0.0791。使用Student’st-test，可以得到濕熱工作期的單次迭代平均時(shí)間與其余階段的單次迭代平均時(shí)間有顯著差異，P＜0.001。濕熱工作期單次迭代平均時(shí)間明顯增大，迭代效率降低。

圖2 額定工作濕熱試驗(yàn)：AI算法單次迭代時(shí)間

濕熱貯存試驗(yàn)恢復(fù)后，運(yùn)行MATLAB程序，單次迭代時(shí)間的平均值為3.6602 s，標(biāo)準(zhǔn)差為0.0261，見(jiàn)圖3。

圖3 濕熱貯存試驗(yàn)后結(jié)果：AI算法單次迭代時(shí)間

2.1.2 AI算法準(zhǔn)確率

圖4為正常心拍N、LBBB、RBBB、PVC四類(lèi)心拍在各個(gè)階段的盒狀圖，其中紅線位置顯示了準(zhǔn)確率的中位數(shù)，盒子的上下限分別對(duì)應(yīng)其分布的25%/75%，“+”顯示了離群值的分布情況。

圖4 環(huán)境試驗(yàn)AI算法四種心拍準(zhǔn)確率盒狀圖

2.2 固定參數(shù)模式

環(huán)境試驗(yàn)各階段的AI算法準(zhǔn)確率和迭代時(shí)間結(jié)果，見(jiàn)表3。

表3 環(huán)境試驗(yàn)前后的AI算法準(zhǔn)確率和迭代時(shí)間

環(huán)境試驗(yàn)前，單次測(cè)試時(shí)間的平均值為0.2752 s，標(biāo)準(zhǔn)差為0.0015，見(jiàn)圖5。

圖5 環(huán)境前初始結(jié)果，AI算法單次迭代時(shí)間

額定工作濕熱試驗(yàn)中，全程單次測(cè)試時(shí)間的平均值為0.2761 s，標(biāo)準(zhǔn)差為0.0019，見(jiàn)圖6。

圖6 額定工作濕熱試驗(yàn)，AI算法單次迭代時(shí)間

使用Student’st-test，未發(fā)現(xiàn)濕熱工作期的單次測(cè)試平均時(shí)間與環(huán)境前的單次測(cè)試平均時(shí)間存在顯著差異。

3 討論

本次研究選取了AI心電算法作為測(cè)試對(duì)象，在額定工作濕熱試驗(yàn)和濕熱貯存試驗(yàn)中運(yùn)行算法，在隨機(jī)訓(xùn)練和固定參數(shù)兩種模式下連續(xù)運(yùn)行并對(duì)AI算法準(zhǔn)確率和迭代時(shí)間進(jìn)行記錄。根據(jù)試驗(yàn)結(jié)果，在隨機(jī)訓(xùn)練模式下，額定濕熱工作期間的訓(xùn)練迭代效率有顯著下降；試驗(yàn)中，AI算法的準(zhǔn)確率有輕微變化，未發(fā)現(xiàn)與環(huán)境條件直接相關(guān)。作為對(duì)照，在固定參數(shù)模式下，AI算法的準(zhǔn)確率和運(yùn)行效率保持穩(wěn)定。

從理論來(lái)看，本次實(shí)驗(yàn)所設(shè)置的環(huán)境條件會(huì)影響運(yùn)行心電AI算法的計(jì)算機(jī)。溫度與電路元器件的穩(wěn)定息息相關(guān)。溫度過(guò)高則會(huì)加速元器件的老化，也會(huì)導(dǎo)致設(shè)備高溫報(bào)警停止工作，甚至燒壞電路板。溫度過(guò)低則會(huì)出現(xiàn)水汽凝聚和結(jié)霜，也會(huì)導(dǎo)致金屬元器件的鈍化。濕度太高會(huì)影響設(shè)備散熱，或易使電路板出現(xiàn)短路事故，對(duì)計(jì)算機(jī)的運(yùn)行速度和效率造成影響。濕度過(guò)低則易產(chǎn)生靜電，從而導(dǎo)致放電現(xiàn)象，造成電子電路的擊穿損壞，同時(shí)可能存在火災(zāi)隱患。此外，低濕度產(chǎn)生的靜電還容易吸附灰塵。從廣義環(huán)境試驗(yàn)的角度看，電源質(zhì)量、包裝運(yùn)輸、振動(dòng)碰撞等因素也會(huì)影響計(jì)算機(jī)的性能，將來(lái)需納入考慮。

一般來(lái)說(shuō)，普通計(jì)算機(jī)滿(mǎn)足GB/T 9813《計(jì)算機(jī)通用規(guī)范》系列標(biāo)準(zhǔn)[14]，其中包含了環(huán)境試驗(yàn)的相關(guān)要求。本次試驗(yàn)主要執(zhí)行醫(yī)療器械環(huán)境試驗(yàn)標(biāo)準(zhǔn)GB/T 14710[11]，試驗(yàn)條件的設(shè)置更加苛刻（表4），結(jié)果發(fā)現(xiàn)算法效率降低。這意味著當(dāng)計(jì)算機(jī)作為醫(yī)療器械組件或醫(yī)學(xué)AI計(jì)算平臺(tái)時(shí)，醫(yī)療器械生產(chǎn)廠家有必要以更嚴(yán)格的標(biāo)準(zhǔn)對(duì)整個(gè)系統(tǒng)進(jìn)行測(cè)試，避免在特殊或極端環(huán)境下出現(xiàn)質(zhì)量問(wèn)題。

表4 標(biāo)準(zhǔn)對(duì)比表

另外，對(duì)比固定參數(shù)的試驗(yàn)結(jié)果，當(dāng)僅針對(duì)固定模型進(jìn)行循環(huán)測(cè)試時(shí)，環(huán)境試驗(yàn)前和濕熱工作期的運(yùn)算效率沒(méi)有明顯變化，這暗示了AI算法單次任務(wù)的運(yùn)算量越小，算法受環(huán)境影響的可能性也越小。

在隨機(jī)訓(xùn)練模式下，四種心拍的準(zhǔn)確率在環(huán)境試驗(yàn)中有一定的差異，但未見(jiàn)明顯趨勢(shì)。產(chǎn)生這些差異的主要原因是訓(xùn)練集、測(cè)試集在每次循環(huán)時(shí)隨機(jī)確定。這意味著在數(shù)據(jù)總量不變的情況下，訓(xùn)練集和測(cè)試集的選取對(duì)于模型的性能是有影響的。對(duì)于不同類(lèi)型的心拍，數(shù)據(jù)集變化導(dǎo)致的波動(dòng)程度也不一樣。例如，正常心拍的變化范圍為0.9955～1；室性早搏的變化范圍為0.95～0.999，離群值甚至接近0.9。這說(shuō)明，用于多分類(lèi)的AI算法在進(jìn)行研發(fā)時(shí)，需要綜合考慮各個(gè)分類(lèi)的準(zhǔn)確率，數(shù)據(jù)的使用過(guò)程需要優(yōu)化。

4 結(jié)論

隨著人工智能醫(yī)療器械產(chǎn)業(yè)的發(fā)展，人工智能醫(yī)療器械預(yù)期使用的環(huán)境可能擴(kuò)展到方艙醫(yī)院、野戰(zhàn)醫(yī)院等更嚴(yán)苛的場(chǎng)所，需要考量環(huán)境對(duì)產(chǎn)品質(zhì)量的影響。本次試驗(yàn)初步揭示了溫濕度條件對(duì)算法運(yùn)行效率的影響，為后續(xù)制訂人工智能醫(yī)療器械環(huán)境試驗(yàn)規(guī)范積累了數(shù)據(jù)。

本研究的局限性在于，使用的心電數(shù)據(jù)屬于一維數(shù)據(jù)，而實(shí)際應(yīng)用中可能出現(xiàn)更復(fù)雜的情況，在之后的研究中，將嘗試用更復(fù)雜的二維三維影像數(shù)據(jù)繼續(xù)進(jìn)行分析和驗(yàn)證。另外，在每一個(gè)循環(huán)中，采用訓(xùn)練+測(cè)試的方式，沒(méi)有考慮數(shù)據(jù)本身的變化，數(shù)據(jù)池是固定的，沒(méi)有引入新的數(shù)據(jù)，與真實(shí)應(yīng)用中持續(xù)學(xué)習(xí)的場(chǎng)景有一定差距。

在人工智能醫(yī)療器械的實(shí)際使用中，有必要提前對(duì)可能面臨的惡劣環(huán)境進(jìn)行評(píng)估，從電源、溫濕度、振動(dòng)等方面做好相應(yīng)防護(hù)措施；并考慮到此條件下的算法迭代效率和準(zhǔn)確性可能會(huì)受到影響，應(yīng)采用其他手段進(jìn)行額外評(píng)估，以保證較好的使用效果。