江明尹,李 強,王道雄,孫冬杰
(華中科技大學(xué)同濟醫(yī)學(xué)院附屬同濟醫(yī)院器材科,武漢430030)
伴隨著科學(xué)技術(shù)的不斷發(fā)展,不少高精尖放射治療技術(shù)不斷進入臨床,并應(yīng)用于患者的腫瘤治療,大大提高了患者的腫瘤治療質(zhì)量和就醫(yī)安全性。然而,新放射治療技術(shù)的應(yīng)用在提高患者就醫(yī)質(zhì)量的同時,不可避免地引入了新的使用風(fēng)險。美國醫(yī)學(xué)物理師協(xié)會2016年發(fā)布的The report of Task Group 100 of the AAPM:application of risk analysis methods to radiation therapy quality management報告表明,35.4%的放射治療失誤是由人為使用失誤引起的[1]。相關(guān)研究表明,人為使用失誤的發(fā)生與醫(yī)療器械可用性設(shè)計密切相關(guān)[2]??捎眯栽O(shè)計低劣的放射治療信息系統(tǒng)未能考慮終端用戶的使用能力、知識水平及身體限制等因素,易引發(fā)使用人員的人為使用失誤。因此,如何客觀評估當(dāng)前在用放射治療信息系統(tǒng)的可用性是提高放射治療信息系統(tǒng)可用性設(shè)計水平的關(guān)鍵[3]。目前,針對放射治療產(chǎn)品可用性主要從主觀和客觀2個方面展開測量評估。如Chan等[4]利用客觀評價指標(biāo)任務(wù)完成時間、任務(wù)錯誤率和主觀使用意愿評價量表作為可用性評估指標(biāo),評估了優(yōu)化設(shè)計前后放射治療信息系統(tǒng)的可用性。Mazur等[5]通過可用性測試研究了放療物理師在放射治療計劃系統(tǒng)上執(zhí)行測試任務(wù)時主觀工作負(fù)荷和客觀工作負(fù)荷(瞳孔直徑、眨眼速率)評價指標(biāo)之間的相關(guān)關(guān)系。Jiang等[6]從用戶體驗的角度,利用美國國家航空航天局任務(wù)負(fù)荷指數(shù)(national aeronautics and space administration task load index,NASA-TLX)量表、測試后可用性問卷(poststudy system usability questionnaire,PSSUQ)評價了3種不同放射治療信息系統(tǒng)的可用性設(shè)計。
當(dāng)前,評價放射治療產(chǎn)品可用性時,研究學(xué)者大多采用1種或2種客觀評估指標(biāo)(如任務(wù)時間、錯誤率等)[4]、主觀評價量表指標(biāo)和眼動指標(biāo)[5-6],可用性評價的指標(biāo)集過于單一,未能全面囊括放射治療產(chǎn)品可用性設(shè)計對用戶使用的影響。此外,評價指標(biāo)過于單一容易導(dǎo)致評價的結(jié)果發(fā)生偏移。因此,豐富放射治療產(chǎn)品可用性評價指標(biāo),可在一定程度上確保評價結(jié)果的準(zhǔn)確性。研究表明,用戶的皮膚導(dǎo)電性、皮膚溫度、呼吸頻率、心率等作為使用放射治療產(chǎn)品時產(chǎn)生的直接生理反應(yīng),可用于評估放射治療產(chǎn)品可用性設(shè)計對用戶生理狀態(tài)的影響程度[7]。因此,本文采用效率、主觀評價量表、眼動和生理等可用性評價指標(biāo),通過用戶更為準(zhǔn)確地評估放射治療產(chǎn)品的可用性。此外,考慮到已有研究未能綜合整合不同類型的評價指標(biāo),使之形成系統(tǒng)的可用性評估模型,本研究采用偏最小二乘回歸法建立多指標(biāo)融合的放射治療信息系統(tǒng)可用性評估模型,實現(xiàn)對放射治療信息系統(tǒng)可用性較為準(zhǔn)確的評估。
本研究納入了臨床在用不同廠家和品牌型號的A(產(chǎn)品型號:Trilogy?linear accelerator system,軟件版本:Varian 9.1 control system)、B(產(chǎn)品型號:XHA600E system,軟件版本:XHA600E control system 1.3.12.174)2種放射治療信息系統(tǒng)作為本次可用性的研究對象。
為了有效評估在用放射治療信息系統(tǒng)的可用性,本研究擬從效率、主觀評價量表、眼動和生理4個維度選擇多個評價指標(biāo),綜合表征放射治療信息系統(tǒng)的可用性。
1.2.1 主觀評價量表
(1)系統(tǒng)可用性量表(system usability scale,SUS)。
放射治療信息系統(tǒng)可用性可使用SUS進行評判。SUS由10個主觀評測條目構(gòu)成,包含5個正向測評條目和5個反向測評條目,所有測評條目采用5分評分制(1~5分,1分為非常不同意,5分為非常同意),被試的評估得分經(jīng)過換算轉(zhuǎn)換為百分制得分[8]。研究表明,當(dāng)SUS得分>70分時,被評估系統(tǒng)的可用性是可以接受的[9]。
(2)任務(wù)難易程度量表。
放療技師在放射治療信息系統(tǒng)上完成的特定測試任務(wù)的難易程度通過9分制Likert scale(1分為非常困難,5分為中立,9分為非常容易)進行評估,以便研究人員從放療技師主觀維度了解放射治療信息系統(tǒng)的易用程度。
(3)NASA-TLX量表。
NASA-TLX量表由美國宇航局設(shè)計,用于評判被試在完成試驗任務(wù)時的工作負(fù)荷,主要包含腦力需求、體力需求、時間需求、業(yè)績水平、受挫程度以及努力程度6個評測維度[10]。從6個維度對被試進行評分,并換算成百分制得分,從而獲得被試完成實驗任務(wù)的工作負(fù)荷。
(4)有用性、滿意度、易用性(usefulness,satisfaction,and ease of use,USE)量表(界面友好性評估量表)。
USE量表主要從有效性、易用性、易學(xué)性以及滿意度4個維度綜合評估產(chǎn)品人機交互界面設(shè)計友好性[11]。USE量表共計30個評價條目,每個條目的評分分布從1分(不同意)到7分(非常同意)。
1.2.2 效率評價指標(biāo)
將任務(wù)完成時間作為效率評價指標(biāo),通過任務(wù)完成時間評測被試完成實驗任務(wù)的效率。
1.2.3 眼動指標(biāo)
借助已有可用性研究文獻[12-14],本次研究中選取了如下眼動評價指標(biāo):瞳孔大小、注視點個數(shù)、平均注視時間、總注視時間、眨眼次數(shù)、平均眨眼時間、眨眼頻率、眼跳次數(shù)、總眼跳時間。
1.2.4 生理指標(biāo)
為進一步完善放射治療信息系統(tǒng)可用性評價指標(biāo),本研究將被試完成實驗任務(wù)時的生理信號作為可用性評價指標(biāo)。依據(jù)已有研究[7],本研究將皮膚導(dǎo)電性、皮膚溫度、呼吸頻率、心率4個生理指標(biāo)作為可用性評價指標(biāo)。
本研究的目的是對2種臨床在用放射治療信息系統(tǒng)開展可用性測試研究,建立放射治療信息系統(tǒng)可用性評估模型,用于臨床在用放射治療信息系統(tǒng)的可用性評估。因此,依據(jù)臨床使用人員日常使用的功能和操作流程,提煉了以下4個任務(wù)用于可用性測試:(1)查找患者信息及導(dǎo)入放射治療計劃;(2)審核患者放射治療計劃;(3)患者進行放射治療時讀取治療界面參數(shù)信息;(4)讀取放射治療信息系統(tǒng)聯(lián)鎖報警信息。
放射治療信息系統(tǒng)一般由放療技師進行操作,因此選取放療技師作為本研究的被試。項目組通過制定嚴(yán)格的篩選標(biāo)準(zhǔn),共選取了30名放療技師參與本研究。參與研究的放療技師具有豐富的放射治療信息系統(tǒng)操作經(jīng)驗,從而能夠?qū)Ρ狙芯康臏y試內(nèi)容進行正確應(yīng)答。
實驗的數(shù)據(jù)采集設(shè)備包括用于記錄被試眼動數(shù)據(jù)的Tobii Glasses 2眼動儀和采集被試生理數(shù)據(jù)的PsyLAB生理采集系統(tǒng)。
在進行正式實驗測試前,所有被試都處于良好的健康狀態(tài)。具體實驗流程如圖1所示。
圖1 放射治療信息系統(tǒng)可用性測試實驗流程圖
(1)實驗流程介紹及被試資料收集。項目研究人員簡要向被試介紹實驗流程以及實驗注意事項,并利用問卷收集被試人口學(xué)資料。
(2)熟悉實驗放射治療信息系統(tǒng)。實驗前,項目研究人員將對被試進行實驗放射治療信息系統(tǒng)的操作培訓(xùn),避免被試出現(xiàn)使用偏倚。同時,被試在測試人員的指導(dǎo)下可進行與實驗任務(wù)無關(guān)的操作。
(3)調(diào)試數(shù)據(jù)采集設(shè)備。實驗前,對眼動、生理數(shù)據(jù)采集設(shè)備進行調(diào)試,為被試佩戴好數(shù)據(jù)采集設(shè)備,使數(shù)據(jù)采集設(shè)備處于可用狀態(tài)。
(4)采集生理基線資料,進行眼動儀校準(zhǔn)。實驗前,需要采集被試在靜息狀態(tài)下的3 min生理信號基線資料,用作后期的數(shù)據(jù)處理。同時,需要被試在研究人員的指導(dǎo)下校準(zhǔn)眼動儀,確保實驗中采集的數(shù)據(jù)準(zhǔn)確可靠。
(5)正式實驗。被試在研究人員的引導(dǎo)下完成4個測試任務(wù)。在被試完成實驗任務(wù)過程中,研究人員將采集被試的眼動、生理和任務(wù)完成時間數(shù)據(jù)。被試在某一型號放射治療信息系統(tǒng)完成所有試驗任務(wù)后,依次填寫任務(wù)難易程度量表、NASA-TLX量表、USE量表和SUS。填寫完主觀評價量表后,被試依據(jù)實驗流程開展下一個放射治療信息系統(tǒng)的可用性測試實驗。
通過實驗研究,共獲得30名被試在2種不同型號放射治療信息系統(tǒng)進行可用性測試的效率(任務(wù)完成時間)、主觀評價量表(任務(wù)難易程度量表、USE量表、NASA-TLX量表、SUS)、眼動數(shù)據(jù)和生理數(shù)據(jù)。首先,進行數(shù)據(jù)的整理,剔除異常數(shù)據(jù);其次,將SUS得分作為分類變量。研究表明,當(dāng)SUS得分>70分時,被評估系統(tǒng)的可用性是可以接受的;當(dāng)SUS得分≤70分時,被評估系統(tǒng)的可用性不可接受[9]。
通過整理,共獲得60組有效數(shù)據(jù)。以SUS得分作為分類變量將所獲得的60組數(shù)據(jù)分為2組(>70分作為一組,≤70分作為另一組)。然后再以SUS得分作為影響因素,利用SPSS 26.0統(tǒng)計軟件對放射治療信息系統(tǒng)可用性測試實驗獲得的效率數(shù)據(jù)、主觀評價量表數(shù)據(jù)、眼動數(shù)據(jù)和生理數(shù)據(jù)進行方差齊性檢驗,結(jié)果見表1。
表1 放射治療信息系統(tǒng)可用性評價指標(biāo)方差齊性檢驗
方差齊性檢驗的結(jié)果表明,所有可用性評價指標(biāo)(效率指標(biāo)、主觀評價量表、眼動指標(biāo)和生理指標(biāo))P均>0.05,可進一步用于放射治療信息系統(tǒng)可用性評估建模研究。同時,研究人員利用SPSS 26.0統(tǒng)計分析軟件的P-P圖功能對所有指標(biāo)數(shù)據(jù)的分布進行了檢驗,結(jié)果表明,所有數(shù)據(jù)均近似服從正態(tài)分布。在此基礎(chǔ)上,研究人員進一步對所有可用性評價指標(biāo)進行單因素方差分析,結(jié)果見表2。
表2 放射治療信息系統(tǒng)可用性評價指標(biāo)單因素方差分析
單因素方差分析結(jié)果表明,效率指標(biāo)(任務(wù)完成時間)、主觀評價量表(任務(wù)難易程度量表、USE量表、NASA-TLX量表)、眼動指標(biāo)(眨眼頻率、總注視時間)6個指標(biāo)P<0.05,可用于放射治療信息系統(tǒng)的可用性評估建模。生理指標(biāo)由于不滿足建模指標(biāo)入選條件,未能納入建模研究。
為正確建立放射治療信息系統(tǒng)可用性評估模型,必須確認(rèn)評估指標(biāo)間的相關(guān)關(guān)系,表3揭示了建模指標(biāo)間的相關(guān)系數(shù)。通過統(tǒng)計學(xué)相關(guān)分析方法,可以判斷兩變量之間是否存在相關(guān)關(guān)系。已有研究表明:當(dāng)變量之間存在高度相關(guān)關(guān)系時,變量相關(guān)系數(shù)絕對值在0.8~1.0;當(dāng)變量之間存在強相關(guān)關(guān)系時,變量相關(guān)系數(shù)絕對值在0.6~0.8;當(dāng)變量之間存在中等程度相關(guān)關(guān)系時,變量相關(guān)系數(shù)絕對值在0.4~0.6;當(dāng)變量之間存在弱相關(guān)關(guān)系時,變量相關(guān)系數(shù)絕對值在0.2~0.4;當(dāng)變量之間為極弱相關(guān)或不相關(guān)關(guān)系時,變量相關(guān)系數(shù)絕對值低于0.2[15]。
表3 放射治療信息系統(tǒng)可用性建模指標(biāo)間相關(guān)關(guān)系(r值)
建模指標(biāo)相關(guān)關(guān)系分析表明,不同可用性評價指標(biāo)間存在多重共線性關(guān)系,各個評價指標(biāo)并非相互獨立,傳統(tǒng)的多元回歸建模方法并不一定完全適用。因此,本研究選擇偏最小二乘回歸法作為建模方法。偏最小二乘回歸法建模所需要的樣本量少,能解決建模指標(biāo)高度相關(guān)問題,并能較好地解釋多個自變量與因變量的關(guān)系,且建模結(jié)果更加穩(wěn)定可靠,更適用于本研究的模型構(gòu)建[16]。
以效率指標(biāo)(任務(wù)完成時間)、主觀評價量表(任務(wù)難易程度量表、USE量表、NASA-TLX量表)、眼動指標(biāo)(眨眼頻率和總注視時間)作為自變量,以SUS得分作為因變量。同時,從獲得的60組樣本數(shù)據(jù)中隨機挑選53組作為訓(xùn)練樣本進行建模,剩余7組作為模型驗證樣本,并利用MATLAB軟件作為建模工具,標(biāo)準(zhǔn)化建模數(shù)據(jù)集,編寫偏最小二乘回歸代碼,從而獲得放射治療信息系統(tǒng)可用性評估模型:
式中,Y為SUS預(yù)測得分;X1為任務(wù)完成時間;X2為任務(wù)難易程度量表得分;X3為USE量表得分;X4為NASA-TLX量表得分;X5為眨眼頻率;X6為總注視時間。
由獲得的放射治療信息系統(tǒng)可用性評估模型可知,在所有可用性評價指標(biāo)中,起重要作用的指標(biāo)是USE量表和眨眼頻率,其次為任務(wù)難易程度量表和總注視時間。在這些可用性評價指標(biāo)中,任務(wù)完成時間、任務(wù)難易程度量表、NASA-TLX量表和總注視時間4個指標(biāo)起負(fù)向作用,USE量表和眨眼頻率這2個指標(biāo)起正向作用。使用人員在放射治療信息系統(tǒng)完成操作任務(wù)時間越長,主觀感覺任務(wù)完成難度越大,工作負(fù)荷越大;在完成任務(wù)時使用人員總注視時間越長,表明放射治療信息系統(tǒng)可用性越差。此外,使用人員USE量表評分越高,眨眼頻率數(shù)值越大,表明放射治療信息系統(tǒng)可用性越好。
為驗證放射治療信息系統(tǒng)可用性評估模型的有效性,將7組剩余的評價指標(biāo)數(shù)據(jù)代入所得評估模型中,獲得放射治療信息系統(tǒng)SUS預(yù)測得分,并利用SPSS 26.0統(tǒng)計軟件將模型SUS預(yù)測得分與實際得分進行配對樣本t檢驗。結(jié)果表明,預(yù)測值與實際值比較P=0.593>0.05,表明預(yù)測值與實際值無顯著性差異,說明研究獲得的放射治療信息系統(tǒng)可用性評估模型有效,可用作放射治療信息系統(tǒng)的可用性評估。圖2為模型可用性預(yù)測得分與實際得分對比圖。
圖2 放射治療信息系統(tǒng)可用性評估模型預(yù)測得分和實際得分對比
研究結(jié)果表明,效率指標(biāo)(任務(wù)完成時間)、主觀評價指標(biāo)(任務(wù)難易程度量表、USE量表和NASATLX量表)、眼動指標(biāo)(眨眼頻率和總注視時間)可用于放射治療信息系統(tǒng)可用性設(shè)計評估。任務(wù)完成時間作為效率考核指標(biāo),常常用于評價醫(yī)療器械可用性設(shè)計的優(yōu)劣。醫(yī)療器械可用性設(shè)計的優(yōu)劣關(guān)系到使用人員的操作效率,在本研究中,任務(wù)完成時間在單因素方差分析中具有顯著性差異,表明放射治療信息系統(tǒng)制造廠商需要注重放射治療信息系統(tǒng)的使用效率。此外,不少可用性研究將主觀評價量表作為可用性評估的重要指標(biāo)。如任務(wù)難易程度量表,Uzawa等[17]評估呼吸機可用性時,將任務(wù)難易程度量表作為評價呼吸機可用性的主觀評價指標(biāo),通過獲取使用人員完成任務(wù)時的主觀感知難易度側(cè)面評估醫(yī)療器械可用性設(shè)計的優(yōu)劣。同時,醫(yī)療器械可用性設(shè)計優(yōu)劣同樣會影響使用人員的工作負(fù)荷(NASA-TLX量表得分)和用戶友好體驗(USE量表得分)。研究表明,可用性設(shè)計較差的醫(yī)療器械產(chǎn)品會增大使用人員的工作負(fù)荷和降低用戶體驗[18]。
另外,眼動指標(biāo)中的眨眼頻率和總注視時間在單因素方差分析中也存在著顯著性差異。注視時間代表被試完成任務(wù)時關(guān)注某塊興趣區(qū)域的停留時間,反映了被試獲取試驗任務(wù)相關(guān)信息的難易程度。相關(guān)研究結(jié)果表明,注視時間持續(xù)越長,被試的認(rèn)知負(fù)荷越大,醫(yī)療器械可用性設(shè)計越差[19]。同時,相關(guān)研究還表明,眨眼頻率與被試的工作負(fù)荷存在相關(guān)關(guān)系[5]。被試的眨眼頻率會隨著工作負(fù)荷的增大而降低。因此,本研究中將眨眼頻率作為放射治療信息系統(tǒng)的可用性評價指標(biāo)。
此外,在本研究中,不同可用性評價指標(biāo)之間存在著相關(guān)關(guān)系,如任務(wù)完成時間與USE量表、眨眼頻率呈負(fù)相關(guān),與任務(wù)難易程度量表、NASA-TLX量表和總注視時間呈正相關(guān),表明被試任務(wù)完成時間越長,工作負(fù)荷越大,主觀感知任務(wù)難易程度越大,放射治療信息系統(tǒng)可用性設(shè)計越差。因此,可以綜合使用多種指標(biāo)表征系統(tǒng)可用性。本研究建立的放射治療信息系統(tǒng)可用性評估模型可靠有效。放射治療信息系統(tǒng)制造廠商可依據(jù)研究建立的模型有針對性地優(yōu)化、改進系統(tǒng)可用性設(shè)計,進一步提高臨床使用人員的用戶體驗。
本文以放射治療信息系統(tǒng)可用性設(shè)計為研究對象,選取了30名放療技師在2種臨床在用放射治療信息系統(tǒng)上完成特定的實驗任務(wù),運用效率指標(biāo)、主觀評價量表、眼動指標(biāo)和生理指標(biāo)綜合評估放射治療信息系統(tǒng)的可用性。通過對實驗采集的評價指標(biāo)數(shù)據(jù)進行方差齊性檢驗和單因素方差分析,篩選了6個可用性評價指標(biāo)用于評估建模,利用偏最小二乘回歸法篩選建模指標(biāo),建立了放射治療信息系統(tǒng)可用性評估模型,并對評估模型的有效性進行了驗證。研究表明,效率指標(biāo)、主觀評價量表和眼動指標(biāo)會因為放射治療信息系統(tǒng)可用性設(shè)計的不同產(chǎn)生不同變化。本文建立的放射治療信息系統(tǒng)可用性評估模型可通過主觀和客觀測量數(shù)據(jù)對放射治療信息系統(tǒng)的可用性進行評判,為放射治療信息系統(tǒng)的可用性優(yōu)化設(shè)計提供了優(yōu)化方法和評價工具。