1.復(fù)旦大學(xué)護(hù)理學(xué)院，上海200032；2.復(fù)旦大學(xué)附屬華東醫(yī)院；3.復(fù)旦大學(xué)循證護(hù)理中心

由荷蘭、美國(guó)、西班牙等研究機(jī)構(gòu)的心理測(cè)量學(xué)專(zhuān)家組成的COSMIN(Consensus-Based Standards For The Selection of Health Measurement Instruments)指導(dǎo)委員會(huì)提出了規(guī)范制作患者報(bào)告結(jié)局測(cè)量工具(Patient-Reported Outcome Measures，PROMs)系統(tǒng)評(píng)價(jià)的COSMIN方法，以指導(dǎo)研究者和使用者選擇最合適的PROMs[1]。其中，評(píng)價(jià)PROMs的內(nèi)容效度是COSMIN方法中非常重要的一部分，其包括3個(gè)步驟：第1步是使用COSMIN偏倚風(fēng)險(xiǎn)評(píng)價(jià)清單中的框目1評(píng)價(jià)PROMs開(kāi)發(fā)過(guò)程的偏倚風(fēng)險(xiǎn)；第2步是使用COSMIN偏倚風(fēng)險(xiǎn)評(píng)價(jià)清單中的框目2評(píng)價(jià)PROMs內(nèi)容效度研究的偏倚風(fēng)險(xiǎn)；第3步是綜合PROMs開(kāi)發(fā)過(guò)程及內(nèi)容效度研究的所有證據(jù)，以及評(píng)價(jià)者對(duì)PROMs本身內(nèi)容效度的評(píng)分，使用COSMIN提出的評(píng)分系統(tǒng)評(píng)價(jià)PROMs的內(nèi)容效度。由于第3步中如何應(yīng)用評(píng)分系統(tǒng)評(píng)價(jià)PROMs的內(nèi)容效度比較復(fù)雜，因此，將對(duì)此進(jìn)行單獨(dú)介紹，以便于研究者和使用者更好地理解和應(yīng)用該工具。

1 方法

PROMs內(nèi)容效度的評(píng)分系統(tǒng)主要包括3個(gè)子步驟：①根據(jù)PROMs內(nèi)容效度的10項(xiàng)質(zhì)量準(zhǔn)則對(duì)每項(xiàng)研究中PROMs的內(nèi)容效度進(jìn)行評(píng)價(jià)，同時(shí)也考慮評(píng)價(jià)者對(duì)PROMs本身內(nèi)容效度的評(píng)分(3a)；②對(duì)PROMs開(kāi)發(fā)過(guò)程、所有內(nèi)容效度研究以及評(píng)價(jià)者的評(píng)分進(jìn)行定性總結(jié)，以評(píng)價(jià)PROMs的內(nèi)容效度(3b)；③使用改良的GRADE方法評(píng)價(jià)證據(jù)質(zhì)量等級(jí)，以確定對(duì)內(nèi)容效度評(píng)價(jià)結(jié)果的確信程度(3c)。對(duì)于PROMs的每個(gè)量表或子量表，評(píng)價(jià)者都應(yīng)根據(jù)內(nèi)容效度的評(píng)分系統(tǒng)填寫(xiě)表1。

表1 評(píng)價(jià)PROM內(nèi)容效度的COSMIN質(zhì)量準(zhǔn)則和評(píng)分系統(tǒng)

1.1 評(píng)價(jià)每項(xiàng)研究中PROM的內(nèi)容效度(3a)

根據(jù)COSMIN開(kāi)發(fā)的PROM內(nèi)容效度的10項(xiàng)質(zhì)量準(zhǔn)則(相關(guān)性準(zhǔn)則1～5項(xiàng)，全面性準(zhǔn)則6項(xiàng)，可理解性準(zhǔn)則7～10項(xiàng))對(duì)每項(xiàng)研究中PROM的內(nèi)容效度進(jìn)行評(píng)價(jià)，并考慮評(píng)價(jià)者的判斷。每項(xiàng)準(zhǔn)則均可以評(píng)為“+”“-”“?”，其一般評(píng)價(jià)規(guī)則如下：“+”指PROM(或子量表)中≥85%的條目符合準(zhǔn)則；“-”指PROM(或子量表)中<85%的條目符合準(zhǔn)則；“?”指沒(méi)有足夠的信息或研究的偏倚風(fēng)險(xiǎn)被評(píng)為“不良”。其具體步驟分為以下3步：第1步，需要根據(jù)質(zhì)量準(zhǔn)則(相關(guān)性準(zhǔn)則1～5項(xiàng)，全面性準(zhǔn)則6項(xiàng)，可理解性準(zhǔn)則7～8項(xiàng))對(duì)PROM開(kāi)發(fā)過(guò)程及每項(xiàng)內(nèi)容效度研究的結(jié)果進(jìn)行評(píng)價(jià)，并應(yīng)考慮每項(xiàng)研究的偏倚風(fēng)險(xiǎn)。此外，評(píng)價(jià)者還需要對(duì)PROM本身的內(nèi)容效度做出判斷，并對(duì)相關(guān)性(準(zhǔn)則1～5項(xiàng))、全面性(準(zhǔn)則6項(xiàng))、可理解性(準(zhǔn)則9～10項(xiàng))進(jìn)行評(píng)分。需要注意，評(píng)價(jià)者的判斷在PROM的內(nèi)容效度評(píng)價(jià)中所占權(quán)重較小。每項(xiàng)質(zhì)量準(zhǔn)則評(píng)為“+”的標(biāo)準(zhǔn)見(jiàn)表2。如果不清楚研究具體做了什么，或者研究的偏倚風(fēng)險(xiǎn)被評(píng)為“不良”，或者沒(méi)有報(bào)告結(jié)果，建議將對(duì)應(yīng)的質(zhì)量準(zhǔn)則評(píng)為“?”，其他情況則評(píng)為“-”。經(jīng)過(guò)這一步驟，可以得出PROM開(kāi)發(fā)過(guò)程、每項(xiàng)內(nèi)容效度研究以及評(píng)價(jià)者的評(píng)分，評(píng)價(jià)者需要填在表1每列中每項(xiàng)準(zhǔn)則對(duì)應(yīng)的白色區(qū)域。第2步，匯總每項(xiàng)準(zhǔn)則的評(píng)分，可以獲得每項(xiàng)研究和評(píng)價(jià)者對(duì)PROM的相關(guān)性、全面性和可理解性評(píng)分，其可以評(píng)為“+”“-”“?”和“±”。評(píng)價(jià)者需要將評(píng)分填在表1每列中相關(guān)性、全面性和可理解性對(duì)應(yīng)的藍(lán)色區(qū)域。具體指導(dǎo)見(jiàn)表3。第3步，總結(jié)每項(xiàng)研究和評(píng)價(jià)者對(duì)PROM的相關(guān)性、全面性和可理解性評(píng)分，確定每項(xiàng)研究中PROM的內(nèi)容效度評(píng)分及評(píng)價(jià)者對(duì)PROM內(nèi)容效度的評(píng)分，并填在表1最后一行藍(lán)色區(qū)域。具體指導(dǎo)見(jiàn)表4。

表2 根據(jù)內(nèi)容效度的10項(xiàng)質(zhì)量準(zhǔn)則給予“+”評(píng)分的指南

表3 每項(xiàng)研究中PROM相關(guān)性、全面性和可理解性的評(píng)分指導(dǎo)

表4 評(píng)價(jià)每項(xiàng)研究中PROM內(nèi)容效度的指導(dǎo)

1.2 評(píng)價(jià)PROM的內(nèi)容效度(3b)

在這一步驟中，需要綜合考慮步驟3a中所有PROM開(kāi)發(fā)過(guò)程和內(nèi)容效度研究中PROM內(nèi)容效度(包括相關(guān)性、全面性、可理解性)的評(píng)分結(jié)果，以及評(píng)價(jià)者的評(píng)分，并對(duì)其進(jìn)行定性總結(jié)，以確定PROM的內(nèi)容效度，其評(píng)分應(yīng)在表1倒數(shù)第二列綠色區(qū)域中填寫(xiě)。PROM的內(nèi)容效度可以被評(píng)為“+”或“-”或“±”。“?”的評(píng)分是不可能的，因?yàn)樵u(píng)價(jià)者的評(píng)分總是可用的(+/-/±)。如果每項(xiàng)研究中PROM內(nèi)容效度評(píng)分為“+”或“-”，那么PROM的內(nèi)容效度也為“+”或“-”。如果沒(méi)有內(nèi)容效度研究，或內(nèi)容效度研究的偏倚風(fēng)險(xiǎn)被評(píng)為“不良”，以及PROM開(kāi)發(fā)過(guò)程的偏倚風(fēng)險(xiǎn)被評(píng)為“不良”，那么評(píng)價(jià)者的評(píng)分將決定PROM的內(nèi)容效度。此外，如果PROM開(kāi)發(fā)過(guò)程或內(nèi)容效度研究中PROM內(nèi)容效度的評(píng)分為“?”，那么該評(píng)價(jià)結(jié)果也可以忽略。注意：COSMIN建議對(duì)每個(gè)(多維)PROM的子量表的內(nèi)容效度分別進(jìn)行評(píng)分。然而，對(duì)于多維PROMs，如果其需要將子量表的分?jǐn)?shù)相加作為總分，則可以通過(guò)結(jié)合各子量表的證據(jù)對(duì)多維PROMs的相關(guān)性、全面性、可理解性和內(nèi)容效度進(jìn)行評(píng)分。如果所有子量表的內(nèi)容效度評(píng)分為“+”或“-”，那么多維PROMs的內(nèi)容效度評(píng)分也是“+”或“-”。如果各子量表的內(nèi)容效度評(píng)分不一致，那么多維PROMs的內(nèi)容效度的評(píng)分將為“±”。

如果PROM開(kāi)發(fā)過(guò)程的評(píng)分、內(nèi)容效度研究的評(píng)分和評(píng)價(jià)者的評(píng)分不一致，應(yīng)探討不一致的原因。如無(wú)任何原因，則PROM內(nèi)容效度的評(píng)分將為不一致。引起不一致的原因可能是人群(例如疾病嚴(yán)重程度不同的人群)、PROM的語(yǔ)言版本、PROM的開(kāi)發(fā)年份等。如果可以找到不一致的原因，評(píng)價(jià)者可以考慮進(jìn)行分組，并對(duì)亞組內(nèi)結(jié)果一致的研究進(jìn)行評(píng)價(jià)，以確定PROM的內(nèi)容效度。例如，如果PROM內(nèi)容效度的研究分別在急性病病人和慢性病病人中進(jìn)行，并且其內(nèi)容效度的評(píng)分不同，那么可以考慮分別評(píng)價(jià)兩類(lèi)人群中的PROM內(nèi)容效度(如在急性病病人中內(nèi)容效度的總體評(píng)分可能為“+”，但在慢性病病人中為“-”)。在評(píng)分不一致的情況下，某些研究可能提供了更多的證據(jù)，從而決定了PROM的內(nèi)容效度。例如：①內(nèi)容效度研究比PROM開(kāi)發(fā)過(guò)程提供了更多的證據(jù)(因?yàn)樵趦?nèi)容效度研究中詢(xún)問(wèn)了受試者PROM的相關(guān)性、全面性和可理解性，但PROM開(kāi)發(fā)過(guò)程則不包括此項(xiàng)內(nèi)容)；②內(nèi)容效度研究和PROM開(kāi)發(fā)過(guò)程比評(píng)價(jià)者的評(píng)分提供更多的證據(jù)(因?yàn)閬?lái)自研究的證據(jù)應(yīng)該比評(píng)價(jià)者的主觀意見(jiàn)更有分量，即使評(píng)價(jià)者是專(zhuān)家)；③偏倚風(fēng)險(xiǎn)低的研究比偏倚風(fēng)險(xiǎn)高的研究提供了更多的證據(jù)。例如：可以考慮只根據(jù)偏倚風(fēng)險(xiǎn)評(píng)分為“很好”或“良好”的研究來(lái)確定PROM的相關(guān)性評(píng)分，而忽略評(píng)分為“模糊”的研究結(jié)果。此外，在某些情況下，更新的證據(jù)可以認(rèn)為比舊的證據(jù)更重要。

1.3 使用改良的GRADE(Grade of Recommendation Assessment Development and Evaluation)方法對(duì)證據(jù)質(zhì)量進(jìn)行評(píng)級(jí)(3c)

在這一步驟中，需要使用改良的GRADE方法對(duì)PROM內(nèi)容效度的全部證據(jù)(即證據(jù)體)進(jìn)行質(zhì)量評(píng)級(jí)，以反映對(duì)步驟3b中PROM的內(nèi)容效度(包括相關(guān)性、全面性和可理解性)評(píng)價(jià)結(jié)果的確信程度。COSMIN在原先的GRADE方法基礎(chǔ)上[2]，專(zhuān)門(mén)針對(duì)PROMs的系統(tǒng)評(píng)價(jià)，開(kāi)發(fā)了一個(gè)改良的GRADE方法，將證據(jù)質(zhì)量分為高、中、低和極低。其中，對(duì)于PROM的內(nèi)容效度，其證據(jù)質(zhì)量只根據(jù)偏倚風(fēng)險(xiǎn)、不一致性和間接性這3個(gè)因素進(jìn)行分級(jí)(沒(méi)有考慮不精確性和發(fā)表偏倚)。需要注意，如果在步驟3b中忽略了某些研究的結(jié)果，那么在確定證據(jù)質(zhì)量時(shí)也應(yīng)該忽略這些研究。例如，如果在確定PROM的內(nèi)容效度時(shí)只考慮高質(zhì)量研究的結(jié)果，那么確定證據(jù)質(zhì)量時(shí)也只需要考慮高質(zhì)量的研究。所有的質(zhì)量評(píng)級(jí)結(jié)果都將在表1的最后一列綠色區(qū)域中填寫(xiě)。

1.3.1 偏倚風(fēng)險(xiǎn)

COSMIN根據(jù)改良的GRADE方法將PROM內(nèi)容效度的全部研究初定為高質(zhì)量證據(jù)。當(dāng)研究的偏倚風(fēng)險(xiǎn)是“模糊”或“不良”時(shí)，或存在(無(wú)法解釋的)不一致或間接結(jié)果時(shí)，應(yīng)考慮將證據(jù)質(zhì)量按因素降低等級(jí)。如果內(nèi)容效度研究的偏倚風(fēng)險(xiǎn)評(píng)分為“模糊”，建議降低證據(jù)質(zhì)量等級(jí)1級(jí)。如果沒(méi)有內(nèi)容效度研究(或僅有偏倚風(fēng)險(xiǎn)“不良”的研究)以及PROM開(kāi)發(fā)過(guò)程的偏倚風(fēng)險(xiǎn)評(píng)分為“模糊”，建議降低2級(jí)。如果沒(méi)有內(nèi)容效度研究(或僅有偏倚風(fēng)險(xiǎn)“不良”的研究)以及PROM開(kāi)發(fā)過(guò)程的偏倚風(fēng)險(xiǎn)評(píng)分為“不良”，建議降低3級(jí)(證據(jù)質(zhì)量極低)。在最后一種情況下，內(nèi)容效度將只基于評(píng)價(jià)者的評(píng)分。

1.3.2 不一致性

不一致性是指PROM開(kāi)發(fā)過(guò)程和其他內(nèi)容效度研究中PROM內(nèi)容效度評(píng)分不一致，或者這些研究的評(píng)分與評(píng)價(jià)者對(duì)PROM的評(píng)分不一致。對(duì)于解決不一致性的問(wèn)題，一種方法是步驟3b中提到的將結(jié)果類(lèi)似的研究進(jìn)行分組評(píng)價(jià)；另一種方法則是對(duì)PROM的內(nèi)容效度進(jìn)行評(píng)價(jià)，包括所有研究，如果每項(xiàng)研究的評(píng)分不一致，那么降低不一致證據(jù)的質(zhì)量。

1.3.3 間接性

如果系統(tǒng)評(píng)價(jià)中關(guān)注的人群、構(gòu)念或使用情境與PROM開(kāi)發(fā)過(guò)程或內(nèi)容效度研究中關(guān)注的不一致，那么就會(huì)出現(xiàn)間接性。這樣的研究盡管可以提供PROM可理解性的證據(jù)，但由于關(guān)注的構(gòu)念和人群不同，其相關(guān)性和全面性的證據(jù)可能是間接的。在這種情況下，可能要考慮降低證據(jù)質(zhì)量的等級(jí)(請(qǐng)注意，間接證據(jù)的權(quán)重要小于直接證據(jù))。例如，在關(guān)于手骨關(guān)節(jié)炎病人PROMs的系統(tǒng)評(píng)價(jià)中，上肢功能障礙評(píng)定量表(DASH)是針對(duì)更廣泛的目標(biāo)人群開(kāi)發(fā)的(上肢肌肉骨骼疾病病人)，而不僅僅限于系統(tǒng)評(píng)價(jià)中所關(guān)注的人群(手骨關(guān)節(jié)炎病人)。如果只有少數(shù)手骨關(guān)節(jié)炎病人參與了DASH量表的開(kāi)發(fā)，那么評(píng)價(jià)者可能無(wú)法確定DASH量表的條目對(duì)于手骨關(guān)節(jié)炎病人是否具有相關(guān)性和全面性。在這種情況下，評(píng)價(jià)者也可能會(huì)因間接性考慮降低PROM開(kāi)發(fā)過(guò)程中證據(jù)的質(zhì)量。

2 討論

2.1 COSMIN評(píng)分系統(tǒng)使用過(guò)程中的注意事項(xiàng)

由于目前一些PROMs的內(nèi)容效度不夠好，且缺乏標(biāo)準(zhǔn)化的方法評(píng)價(jià)內(nèi)容效度，導(dǎo)致相關(guān)研究者和使用者很難判斷使用的PROMs是否合適，因此，COSMIN制定了評(píng)價(jià)PROMs內(nèi)容效度的方法，以指導(dǎo)其選擇高質(zhì)量的PROMs[3]。該評(píng)價(jià)方法分為3個(gè)步驟，本文詳細(xì)介紹了第3個(gè)步驟中如何應(yīng)用COSMIN評(píng)分系統(tǒng)來(lái)評(píng)價(jià)PROMs的內(nèi)容效度，并對(duì)其證據(jù)質(zhì)量進(jìn)行評(píng)級(jí)。在使用評(píng)分系統(tǒng)時(shí)，前兩個(gè)步驟中PROMs開(kāi)發(fā)過(guò)程和內(nèi)容效度研究的偏倚風(fēng)險(xiǎn)評(píng)價(jià)結(jié)果應(yīng)考慮在內(nèi)。應(yīng)當(dāng)注意，在系統(tǒng)評(píng)價(jià)中對(duì)PROMs的內(nèi)容效度進(jìn)行評(píng)分時(shí)，評(píng)價(jià)者應(yīng)考慮系統(tǒng)評(píng)價(jià)中關(guān)注的構(gòu)念、人群和使用情境，因?yàn)橛行㏄ROMs在廣泛應(yīng)用時(shí)，內(nèi)容效度可能會(huì)有所變化，如在最初開(kāi)發(fā)時(shí)PROMs在目標(biāo)人群中的內(nèi)容效度可能很好，但在另一個(gè)受試者人群中使用時(shí)不一定好。另外，在報(bào)告PROMs內(nèi)容效度的結(jié)論時(shí)，應(yīng)同時(shí)提到PROMs的內(nèi)容效度(包括相關(guān)性、全面性和可理解性)的質(zhì)量和證據(jù)的質(zhì)量等級(jí)。若是PROMs相關(guān)性、全面性和可理解性的評(píng)分差異很大，COSMIN建議不要報(bào)告內(nèi)容效度評(píng)分，而是分別報(bào)告相關(guān)性、全面性和可理解性的評(píng)分。例如，有中等質(zhì)量的證據(jù)表明某PROM具有“+”的相關(guān)性和可理解性，但有極低質(zhì)量的證據(jù)表明該P(yáng)ROM具有“不足”的全面性。

2.2 COSMIN評(píng)分系統(tǒng)存在的局限性

COSMIN提出的評(píng)分系統(tǒng)非常具體清晰，能夠規(guī)范地指導(dǎo)研究者和使用者如何對(duì)PROMs的內(nèi)容效度進(jìn)行評(píng)價(jià)，然而也存在一些不足。例如，在步驟3a中根據(jù)內(nèi)容效度的10項(xiàng)質(zhì)量準(zhǔn)則給予評(píng)分時(shí)，“不確定”和“不足”的評(píng)分標(biāo)準(zhǔn)并不十分具體；又例如，在對(duì)由多個(gè)子量表組成的PROMs進(jìn)行內(nèi)容效度的評(píng)價(jià)時(shí)，其評(píng)價(jià)方法也可能不是很清晰；此外，此評(píng)分系統(tǒng)評(píng)價(jià)PROMs的過(guò)程比較復(fù)雜，步驟較多，需要耗費(fèi)較多的時(shí)間。COSMIN建議評(píng)分系統(tǒng)需要在對(duì)PROMs的多個(gè)系統(tǒng)評(píng)價(jià)中進(jìn)一步測(cè)試，以評(píng)價(jià)其適用性。因此，未來(lái)仍然需要不斷地對(duì)此評(píng)分系統(tǒng)進(jìn)行完善，其他更多信息可以見(jiàn)COSMIN網(wǎng)站[4]。