郝軍 郎欣月 王楊 曹也丁 李衛(wèi)

醫(yī)院排行榜受到越來越多的關(guān)注，其相對客觀地反映了醫(yī)療機構(gòu)的學(xué)科建設(shè)及技術(shù)水平在行業(yè)內(nèi)的地位，也為醫(yī)院管理者更好決策、患者就醫(yī)選擇提供一定的參考。其中獨立的第三方機構(gòu)綜合評價已經(jīng)是發(fā)達國家醫(yī)院綜合評價的主要形式，主要聚焦于臨床診療水平等方面，例如美國新聞與世界報道（U.S. News ＆ World Report）最佳醫(yī)院排行榜、美國國際醫(yī)療衛(wèi)生機構(gòu)認證聯(lián)合委員會（Joint Commission International，JCI）醫(yī)療機構(gòu)評價和英國醫(yī)療質(zhì)量委員會（Care Quality Commission，CQC）醫(yī)療機構(gòu)評價等[1-3]。在我國，常見的醫(yī)院排行榜有復(fù)旦大學(xué)醫(yī)院管理研究所最佳醫(yī)院排行榜、中國醫(yī)學(xué)科學(xué)院醫(yī)學(xué)信息研究所中國醫(yī)院科技量值排名（Science and Technology Evaluation Metrics，STEM）和艾力彼的中國醫(yī)院競爭力排行榜[4]。上述國內(nèi)醫(yī)院排行榜的指標體系均考慮了醫(yī)療機構(gòu)的科研水平和學(xué)術(shù)影響，又各有側(cè)重。此外，2022 年9 月，中國心臟大會在線發(fā)布了《2016～2021 年全球心血管疾病科技影響力評價報告》（以下簡稱“評價報告”），公布了全球及中國醫(yī)院心血管疾病科技影響力指標體系及排行結(jié)果。該指標體系在借鑒國內(nèi)主要醫(yī)院排行榜指標體系的同時，為了體現(xiàn)“科技成果分類多維度評價”的導(dǎo)向，將評價指標分為“一般指標”和“高端指標”，并且根據(jù)高端指標數(shù)量將待評價機構(gòu)劃分梯隊，在不同梯隊內(nèi)按照不同的規(guī)則進行排名，整合排名結(jié)果，最終得到全球及中國醫(yī)院心血管疾病科技影響力排行結(jié)果。

除制定指標評價體系之外，評價方法的選擇也是綜合評價過程中的重要一環(huán)。目前，在醫(yī)院管理、科研管理等領(lǐng)域，綜合評價方法多種多樣、應(yīng)用廣泛[5-7]，而不同評價方法的選擇將對綜合評價結(jié)果產(chǎn)生重要影響[8]。上述多種國內(nèi)外醫(yī)療機構(gòu)評價及排行榜采用的綜合評價方法各具特色，其中，評價報告中采用的層級式多維度指標綜合評價法是將層級式指標體系、分梯隊評價規(guī)則和秩次評價法結(jié)合在一起的綜合評價過程。然而目前國內(nèi)外對于醫(yī)院排名綜合評價方法的比較研究較少，針對于不同評價方法的選擇缺乏參考依據(jù)。因此本研究旨在以評價報告中采用的層級式多維度指標綜合評價法為基礎(chǔ)，將該方法的評價結(jié)果與目前綜合評價領(lǐng)域中最常用的3 種方法（包括標準化處理法、極值處理法和秩次評價法）的評價結(jié)果進行比較，為評價報告提供方法學(xué)解釋及依據(jù)，同時為國內(nèi)醫(yī)療機構(gòu)綜合評價實踐提供一定參考。

1 資料與方法

1.1 數(shù)據(jù)來源

本研究依據(jù)的全球及中國科技影響力綜合評價體系及指標權(quán)重，具體見表1 和表2。本研究的文獻數(shù)據(jù)來源于Web of Science、PubMed 和Scopus數(shù)據(jù)庫。此外，還采集了F1000、基本科學(xué)指標（Essential Science Indicators，ESI）高被引、期刊引證報告（Journal Citation Reports，JCR）分區(qū)和影響因子、被引頻次、美國心臟協(xié)會（AHA）/美國心臟病學(xué)會（ACC）/歐洲心臟病學(xué)會（ESC）指南被引、Clinicaltrial.gov 注冊臨床研究等相關(guān)數(shù)據(jù)庫的指標數(shù)據(jù)。針對中國醫(yī)院心血管疾病領(lǐng)域科技影響力綜合評價，除了上述指標，本研究還納入了國家縱向課題（國家自然科學(xué)基金重點項目、國家自然科學(xué)基金面上項目、國家自然科學(xué)基金青年項目）、發(fā)明專利、國家級成果、中華醫(yī)學(xué)獎、國家級和省部級平臺等能夠代表機構(gòu)科研水平的相關(guān)數(shù)據(jù)。

表1 全球醫(yī)療機構(gòu)心血管疾病論文影響力綜合評價體系及指標權(quán)重

表2 中國醫(yī)院心血管疾病科技影響力綜合評價體系及指標權(quán)重

1.2 層級式多維度指標綜合評價過程

評價報告采用了層級式多維度指標綜合評價法，對2016～2021 年全球醫(yī)療機構(gòu)心血管疾病論文影響力、全國醫(yī)院心血管疾病科技影響力進行排名，具體步驟如下。首先將指標數(shù)據(jù)分成高端、一般指標。對于全球醫(yī)院心血管疾病科技影響力評價方法，指標體系包括6 項高端指標，即注冊臨床試驗數(shù)量、影響因子＞10 文章數(shù)量、JCR 分區(qū)Q1 區(qū)文章占比、亞學(xué)科覆蓋度、被AHA/ACC/ESC 指南引用數(shù)、ESI和F1000 標引數(shù)量；2 項一般指標，即總發(fā)文量和總影響因子。對于中國醫(yī)院心血管疾病科技影響力評價方法，指標體系包括10 項高端指標，除了6 項論文相關(guān)指標外還包括國家縱向課題重點項目、發(fā)明專利、國家級成果及國家級平臺，其余均為一般指標。將高端指標按有無計數(shù)（Q1 區(qū)文章占比≥0.1%記為“有”，亞學(xué)科數(shù)量≥9 記為“有”），有4 個及以上高端指標為第一梯隊，2 個或3 個高端指標為第二梯隊，剩余1 個或無高端指標為第三梯隊。每個梯隊內(nèi)，將二級指標分別升序排秩次，按其所在指標分類，利用秩次乘以對應(yīng)權(quán)重得到一般、高端指標秩次加權(quán)求和指標值。每個梯隊內(nèi)，將合成的一般、高端指標秩次加權(quán)求和指標值分別升序排秩次，并分別標化至（60，100），得到一般、高端指標標化得分；將指標標化得分以（80，80）為圓心建立直角坐標系分割象限，其中Y 軸為一般指標得分，X 軸為高端指標得分。每個梯隊內(nèi)，將兩坐標軸分別10 等分，按所在象限，計算第一象限一般、高端標化得分坐標位置所在正數(shù)百分比區(qū)域；第三象限標化得分坐標位置所在倒數(shù)百分比區(qū)域。每個梯隊內(nèi)，按所在象限，計算第一、三象限點圓心距得到線段長度；第二象限點據(jù)Y 軸正軸斜率；第四象限點據(jù)X 軸正軸斜率。每個梯隊內(nèi)，第一象限按坐標所在正數(shù)百分比區(qū)域升序排列，每個百分比區(qū)域內(nèi)按線段長度降序排列；第二、四象限按斜率升序排列；第三象限按坐標倒數(shù)百分比區(qū)域降序排列，每個百分比區(qū)域內(nèi)按線段長度升序排列，得到每個象限內(nèi)排名。每個梯隊內(nèi)，按第一象限，第二、四象限，第三象限順序?qū)⑾笙迌?nèi)排名連接合并，得到梯隊內(nèi)排名。按第一梯隊、第二梯隊、第三梯隊順序?qū)⑻蓐爟?nèi)排名連接合并，得到總排名。

1.3 其他綜合評價方法

除層級式多維度指標綜合評價法外，本研究還選擇了在綜合評價領(lǐng)域常用的標準化處理法、極值處理法和秩次評價法3 種方法，對2016～2021 年全球醫(yī)療機構(gòu)心血管疾病論文影響力、2016～2021 年全國醫(yī)院心血管疾病科技影響力進行排名，具體方法介紹如下。

1.3.1標準化處理法

處理后變量均值為0，標準差為1，各指標的最大值、最小值不相同。對標化后的指標數(shù)據(jù)進行加權(quán)匯總排序，即為綜合評分結(jié)果。

1.3.2極值處理法

極值處理法，是消除變量量綱和變異范圍影響最簡單的方法。具體的操作方法為：首先需要找出該指標的最大值（xjmax）和最小值（xjmix），并計算極差（R=xjmax-xjmix），然后用該變量的每一個觀察值（x）減去最小值（xjmix），再除以極差（R）[9]，即：

經(jīng)過極差標準化方法處理后，無論原始數(shù)據(jù)是正值還是負值，該變量各個觀察值的數(shù)值變化范圍都滿足0 ≤x'≤1，并且正指標、逆指標均可轉(zhuǎn)化為正向指標，作用方向一致。但是如果有新數(shù)據(jù)加入，就可能會導(dǎo)致最大值和最小值發(fā)生變化，就需要進行重新定義，并重新計算極差。對指標數(shù)據(jù)進行上述方法處理后，加權(quán)求和排序即為綜合評分結(jié)果。

1.3.3秩次評價法

秩次評價法是指以每一個單項指標的實際數(shù)據(jù)為基礎(chǔ)進行排序，按指標方向（高優(yōu)或低優(yōu)指標）給予秩次（r1，r2，…rn），若出現(xiàn)并列時取平均秩次；對每一分項獲得的秩次進行加權(quán)匯總排序，即為最終綜合評價結(jié)果。

2 結(jié)果

2.1 全球醫(yī)療機構(gòu)心血管疾病論文影響力四種評價方法結(jié)果比較

本研究應(yīng)用層級式多維度指標綜合評價法、標準化處理法、極值處理法、秩次評價法4 種方法，分別對全球醫(yī)療機構(gòu)心血管疾病研究論文影響力進行排名，排行榜前6 名基本一致。被層級式多維度指標綜合評價法排名在前20 的醫(yī)院中，19 家（95%）醫(yī)院被標準化處理法、極值處理法以及秩次評價法判定為排名前20（表3）。被層級式多維度指標綜合評價法納入百強的醫(yī)院中，89 家醫(yī)院（89%）被標準化處理法判定為百強醫(yī)院，90 家醫(yī)院（90%）被極值處理法和秩次評價法判定為百強醫(yī)院。

表3 2016～2021 年全球醫(yī)療機構(gòu)心血管疾病論文影響力四種評價方法綜合排名（第1～20 名）

被標準化處理法和極值處理法評為第7 名的醫(yī)院17，由于高端指標僅5 項，缺少AHA/ACC/ESC指南被引成果，導(dǎo)致其高端指標得分較低（89 分），盡管其一般指標得分（98 分）較高，但是仍然被層級式多維度指標綜合評價法排為第17 名。被標準化處理法和極值處理法評為第11 名的醫(yī)院7，被層級式多維度指標綜合評價法排為第7 名，由于其有更多的注冊臨床研究數(shù)量，高端指標得分較高（98 分），因此超越了醫(yī)院8、醫(yī)院9 和醫(yī)院10 三家醫(yī)院；同時其高端指標數(shù)量（6 個）較多，因此超越了醫(yī)院17。

2.2 中國醫(yī)院心血管疾病科技影響力四種評價方法結(jié)果比較

本研究應(yīng)用上述四種評價方法，對全國醫(yī)療機構(gòu)心血管疾病科技影響力進行綜合排名，排行榜前3 名完全一致。被層級式多維度指標綜合評價法排名在前20 的醫(yī)院中，19 家醫(yī)院（95%）被標準化處理法、極值處理法以及秩次評價法判定為排名前20（表4）。被層級式多維度指標綜合評價法納入百強的醫(yī)院中，93 家醫(yī)院（93%）被標準化處理和極值處理法判定為百強醫(yī)院，95 家醫(yī)院（95%）被秩次評價法判定為百強醫(yī)院。

表4 2016～2021 年中國醫(yī)院心血管疾病科技影響力四種評價方法綜合排名（第1～20 名）

被標準化處理法和極值處理法評為第10 名的醫(yī)院4，由于其高端指標相對較多（8 個），AHA/ACC/ESC 指南被引成果和國家縱向課題重點項目較多，有較高的高端指標得分（98 分），因此超越了醫(yī)院6、7、9、10、11；與醫(yī)院8 相比，醫(yī)院4 有更多的國家縱向課題面上和青年項目，其一般指標得分為97 分，高于醫(yī)院8（94 分）。最終，該醫(yī)院被層級式多維度指標綜合評價法排為第4 名。被標準化處理法和極值處理法分別評為第13 名和第12 名的醫(yī)院19，由于其影響因子大于10 分文章數(shù)量和注冊臨床研究數(shù)量相對較少，導(dǎo)致其高端指標得分較低（87 分），因此被層級式多維度指標綜合評價法排為第19 名。

3 討論

本研究在對全球醫(yī)療機構(gòu)研究論文影響力以及中國醫(yī)院心血管疾病科技影響力進行綜合評價排名時，將層級式多維度指標綜合評價結(jié)果與綜合評價領(lǐng)域中常用的標準化處理法、極值處理法、秩次評價法的結(jié)果，開展了比較研究。研究結(jié)果表明，4種評價方法的結(jié)果一致性較高，其中標準化處理法和極值處理法的結(jié)果較為接近，秩次評價法與層級式多維度指標綜合評價法的相似度較高。層級式多維度指標綜合評價整合了分類指標體系、評價規(guī)則和秩次評價法，更能夠突出高質(zhì)量科技成果的重要性。

目前在科研綜合評價過程中最常用的是標準化處理法和極值處理法。上述兩種方法均為線性無量綱化方法[10]，且基于原始數(shù)據(jù)的描述統(tǒng)計量，如均值、標準差和極值等，保留了原始數(shù)據(jù)信息。標準化處理法基于原始數(shù)據(jù)的均值和標準差對變量取值進行處理，穩(wěn)定性相對較好，而極值處理法則基于極大值和極小值，容易受到個別極端值的影響，穩(wěn)定性較差[11]。秩次評價法則是基于原始數(shù)據(jù)的秩次，將醫(yī)院之間指標取值的差距壓縮為等距的秩次，更加注重每個醫(yī)療機構(gòu)的所有評價指標在整個被評價單位中所處的相對“位置”。因此，基于秩次的秩次評價法的結(jié)果與基于原始數(shù)據(jù)信息的標準化處理法和極值處理法的結(jié)果存在一定差異。盡管損失了原始數(shù)據(jù)信息，但是取而代之的優(yōu)點是受原始數(shù)據(jù)影響較小。特別是對于存在“偏科”現(xiàn)象的被評價單位，如果采用基于原始數(shù)據(jù)的標準化處理法和極值處理法，很容易被某一項指標拉高或者降低排名，而秩次評價法可以較好地避免這一問題，其更加關(guān)注的是被評價單位在每項指標排名中所處的“位置”，能夠較為綜合地反映被評價單位在同行之間中所處的水平。

然而上述3 種方法均是簡單地基于原始數(shù)據(jù)或秩次直接進行加權(quán)求和，無法體現(xiàn)分級分層評價的思想。醫(yī)學(xué)科技評價體系應(yīng)當建立多元評價體系、分類評價體系和分級分層評價機制[12]。層級式多維度指標綜合評價首先將指標進行分類，分為“一般指標”和“高端指標”，并且根據(jù)高端指標數(shù)量將待評價單位劃分梯隊，在不同梯隊內(nèi)按照不同的規(guī)則采用秩次評價法進行排名，最終整合排名結(jié)果。與上述其他方法相比，層級式多維度指標綜合評價是將層級式指標體系、分梯隊評價規(guī)則和秩次評價法整合在一起的綜合評價過程。該方法能夠突出科技影響力評價體系注重高質(zhì)量科技成果，體現(xiàn)了分級分層評價的思想，積極響應(yīng)現(xiàn)在的科技成果評價導(dǎo)向，是我國當前推行的“注重高質(zhì)量成果，推進高質(zhì)量發(fā)展”的科技成果評價機制的良好實踐[13]。該方法在心血管領(lǐng)域的應(yīng)用與實踐引起了社會的廣泛關(guān)注，評價結(jié)果將進一步促進我國心血管研究事業(yè)的健康發(fā)展。因此，該方法可以嘗試在心血管醫(yī)學(xué)領(lǐng)域之外的其他領(lǐng)域開展應(yīng)用實踐，進一步印證該方法的可操作性和可推廣性。

綜合評價方法是科技影響力綜合評價的最后且關(guān)鍵的環(huán)節(jié)，其需要建立在科學(xué)合理的指標體系及權(quán)重、穩(wěn)定可靠的數(shù)據(jù)來源、嚴謹細致的數(shù)據(jù)清洗和整理基礎(chǔ)之上，之前任一環(huán)節(jié)出現(xiàn)問題，都將導(dǎo)致最終評價結(jié)果的差異，甚至出現(xiàn)違反常識的結(jié)果。綜合評價方法的選擇，除了需要從方法學(xué)角度考慮之外，還應(yīng)結(jié)合實際數(shù)據(jù)情況采用多種評價方法進行評價，分析多種評價結(jié)果的異同，結(jié)合實際情況謹慎進行選擇。

利益沖突：所有作者均聲明不存在利益沖突