李 行 蔣 泓

復(fù)旦大學(xué)公共衛(wèi)生學(xué)院 國家衛(wèi)生健康委員會(huì)衛(wèi)生技術(shù)評估重點(diǎn)實(shí)驗(yàn)室 上海 200032

衛(wèi)生領(lǐng)域合作作為共建“一帶一路”倡議的重要內(nèi)容之一，以“健康絲綢之路”為主線，通過加強(qiáng)全球公共衛(wèi)生治理，達(dá)到構(gòu)建人類衛(wèi)生健康共同體的目標(biāo)。[1]婦幼衛(wèi)生是全球衛(wèi)生領(lǐng)域合作的重要關(guān)注點(diǎn)，繼聯(lián)合國千年目標(biāo)(Millennium Development Goals，MDGs)后，2030年可持續(xù)發(fā)展目標(biāo)(Sustainable Development Goals，SDG)繼續(xù)將改善孕產(chǎn)婦保健、降低兒童死亡率等作為核心指標(biāo)。[2]

中國在改善婦幼健康方面積累了豐富的經(jīng)驗(yàn)，并且是全球少數(shù)幾個(gè)同時(shí)實(shí)現(xiàn)MGD4和MGD5，改善兒童和孕產(chǎn)婦生存和健康指標(biāo)的國家之一。[3- 4]其中有很多經(jīng)驗(yàn)和做法對其他發(fā)展中國家具有借鑒意義。長期以來，中國向其他發(fā)展中國家提供力所能及的援助，尤其在以可持續(xù)發(fā)展為目標(biāo)的時(shí)代，更強(qiáng)調(diào)全球所有國家的參與和合作伙伴關(guān)系的發(fā)展[5]，中國也因此增加了對援外培訓(xùn)的支持，其中包括為發(fā)展中國家衛(wèi)生專業(yè)人員提供培訓(xùn)，促進(jìn)其技能提升以實(shí)現(xiàn)持續(xù)發(fā)展[6]。

2019年起，國家衛(wèi)生健康委員會(huì)國際交流與合作中心(IHECC)和聯(lián)合國兒童基金會(huì)合作(UNICEF)共同開展“一帶一路”婦幼衛(wèi)生合作示范培訓(xùn)基地的建設(shè)，旨在在國內(nèi)建立整合最佳資源以支持南南合作交流的培訓(xùn)基地網(wǎng)絡(luò)，依托該網(wǎng)絡(luò)開展長期可持續(xù)的“一帶一路”發(fā)展中國家婦幼衛(wèi)生援外培訓(xùn)。[7]目前，我國在努力促進(jìn)全球?qū)崿F(xiàn)SDG目標(biāo)的進(jìn)程中，已積極開展了諸多涉外培訓(xùn)活動(dòng)，婦幼健康作為發(fā)展中國家衛(wèi)生工作的薄弱點(diǎn)，是“一帶一路”倡議培訓(xùn)活動(dòng)的重點(diǎn)領(lǐng)域，但當(dāng)下仍缺乏一套規(guī)范化的評估工具以了解培訓(xùn)成效。同時(shí)，由于新冠疫情對全球的影響，在線培訓(xùn)的模式將會(huì)長期持續(xù)，因此指標(biāo)體系的制定也應(yīng)結(jié)合線上與線下婦幼衛(wèi)生援外培訓(xùn)項(xiàng)目的特點(diǎn)。研究如何建立“一帶一路”婦幼衛(wèi)生培訓(xùn)評價(jià)指標(biāo)條目并形成專家共識(shí)，是規(guī)范、持續(xù)、動(dòng)態(tài)地開展和推進(jìn)婦幼衛(wèi)生援外培訓(xùn)所必須的。

本研究旨在制定“一帶一路”發(fā)展中國家婦幼衛(wèi)生評價(jià)指標(biāo)體系，用于開展培訓(xùn)后，對受援國學(xué)員進(jìn)行婦幼衛(wèi)生援外培訓(xùn)的評估，從而為改善中國婦幼衛(wèi)生合作示范培訓(xùn)的質(zhì)量提供可靠的工具。

1 資料與方法

1.1 研究框架與指標(biāo)來源

本研究以決策導(dǎo)向型(Context,Input,Process,Product,CIPP)評價(jià)模型作為理論框架，CIPP模型是將培訓(xùn)項(xiàng)目本身作為一個(gè)對象進(jìn)行分析，由背景評價(jià)(Context evaluation)、投入評價(jià)(Input evaluation)、過程評價(jià)(Process evaluation)、結(jié)果評價(jià)(Product Evaluation)四項(xiàng)評估活動(dòng)的首字母組成[8]，根據(jù)文獻(xiàn)回顧確定二級指標(biāo)。三級指標(biāo)建立的主要參考標(biāo)準(zhǔn): 一是現(xiàn)有援外培訓(xùn)評估表，如商務(wù)部《中國對外援助培訓(xùn)項(xiàng)目學(xué)員評估調(diào)查表》；二是基于文獻(xiàn)研究評閱，如援外醫(yī)療培訓(xùn)質(zhì)量評價(jià)研究、遠(yuǎn)程教育質(zhì)量保證標(biāo)準(zhǔn)研究等；三是現(xiàn)有原則，如南南合作原則、布魯姆教育目標(biāo)分類法(提供了從培訓(xùn)結(jié)果的角度描述和刻畫達(dá)成各教學(xué)目標(biāo)的依據(jù)，分別為認(rèn)知，理解，分析，應(yīng)用，綜合，評價(jià))。[9]

在初步構(gòu)建了三級指標(biāo)體系后，課題組邀請了3名分別來自婦幼衛(wèi)生、衛(wèi)生政策、全球衛(wèi)生領(lǐng)域的專家進(jìn)行定性訪談。基于培訓(xùn)背景、投入、過程、結(jié)果四個(gè)維度，結(jié)合目前“一帶一路”婦幼衛(wèi)生培訓(xùn)與開展的現(xiàn)況收集專家對指標(biāo)體系的意見與建議，完善并形成了初擬的指標(biāo)體系。

1.2 專家咨詢法遴選指標(biāo)

1.2.1 確定函詢專家

2021年10—11月，本研究邀請?jiān)趮D幼衛(wèi)生領(lǐng)域有豐富理論和實(shí)踐經(jīng)驗(yàn)并開展或參與過援外培訓(xùn)活動(dòng)的專家。專家入選標(biāo)準(zhǔn)：(1)具有高級職稱或者在國際衛(wèi)生組織擔(dān)任資深項(xiàng)目官員；(2)具有從事公共衛(wèi)生、婦幼衛(wèi)生和護(hù)理相關(guān)領(lǐng)域工作或者全球衛(wèi)生、衛(wèi)生政策工作經(jīng)驗(yàn)；(3)具有參與援外培訓(xùn)項(xiàng)目制定的經(jīng)驗(yàn)。最終確定了來自婦幼衛(wèi)生、助產(chǎn)、衛(wèi)生政策等領(lǐng)域?qū)＜夜?6人。

1.2.2 實(shí)施專家函詢

本研究共發(fā)放兩輪咨詢問卷，第二輪咨詢問卷是在匯總第一輪專家咨詢意見的基礎(chǔ)上形成的，主要內(nèi)容與第一輪基本一致。采取指標(biāo)必要性得分均值小于0.40且變異系數(shù)大于0.25作為指標(biāo)排除標(biāo)準(zhǔn)。同時(shí)在問卷中，請專家進(jìn)行重要度評判時(shí)綜合考慮指標(biāo)的可行性、適用性等因素，對于一些不適合指標(biāo)，直接提出“刪除”建議。將量化評判和專家意見相結(jié)合，決定是否對指標(biāo)進(jìn)行增加、刪除和修改。最后依據(jù)兩輪專家函詢結(jié)果及討論分析，建立“一帶一路”發(fā)展中國家婦幼衛(wèi)生培訓(xùn)評價(jià)指標(biāo)體系。

1.3 統(tǒng)計(jì)分析

1.3.1 Delphi法結(jié)果計(jì)算

專家積極系數(shù)，即專家對研究的關(guān)心程度=實(shí)際參與調(diào)查的專家人數(shù)/全部邀請專家人數(shù)，專家的權(quán)威程度根據(jù)熟悉程度和判斷依據(jù)的影響程度計(jì)算，專家權(quán)威系數(shù)=(對專家判斷影響程度+專家對問題的熟悉程度)/2。專家意見集中程度根據(jù)指標(biāo)的必要性賦值計(jì)算，專家意見協(xié)調(diào)程度根據(jù)變異系數(shù)和協(xié)調(diào)系數(shù)計(jì)算，專家協(xié)調(diào)系數(shù)采用肯德爾(Kendall)和諧系數(shù)W檢驗(yàn)，和諧系數(shù)(W)取值范圍在0～1之間，W值越大，表明專家的意見越統(tǒng)一，協(xié)調(diào)程度越高，對W值的顯著關(guān)系進(jìn)行檢驗(yàn)，若P<0.05，則表示意見具有顯著一致性。

1.3.2 層次分析法確定指標(biāo)權(quán)重

應(yīng)用層次分析法測定各項(xiàng)指標(biāo)的組合權(quán)重：(1)根據(jù)專家評分對各指標(biāo)必要性進(jìn)行兩兩比較，按照Satty 1-9比例標(biāo)度賦值，構(gòu)造判斷(成對比較)矩陣。(2)采用方根法計(jì)算矩陣特征向量的近似值。(3)對判斷矩陣的一致性進(jìn)行檢驗(yàn)，若一致性比例CR<0.1, 則認(rèn)為判斷矩陣的一致性可以接受。

2 結(jié)果

2.1 初擬指標(biāo)體系

本研究對婦幼衛(wèi)生援外培訓(xùn)項(xiàng)目背景、培訓(xùn)課程的投入、實(shí)施和效果4個(gè)維度進(jìn)行評價(jià)，依據(jù)這4個(gè)維度的內(nèi)容，制定評價(jià)指標(biāo)體系建設(shè)方案(表1)。

表1 CIPP模型評價(jià)指標(biāo)體系建設(shè)方案

基于CIPP模型，課題組結(jié)合文獻(xiàn)回顧、專家訪談意見與工作實(shí)際，初步構(gòu)建了“一帶一路”婦幼衛(wèi)生培訓(xùn)項(xiàng)目的評價(jià)指標(biāo)體系，包含4個(gè)一級指標(biāo)，19個(gè)二級指標(biāo)，83個(gè)三級指標(biāo)。

2.2 Delphi咨詢結(jié)果

2.2.1專家情況

參與咨詢的16位專家平均年齡為50歲，平均工作年限為26年，主要分布在婦幼衛(wèi)生、衛(wèi)生政策與管理、助產(chǎn)和護(hù)理學(xué)、全球衛(wèi)生等專業(yè)領(lǐng)域，都對援外培訓(xùn)工作有豐富的理論和實(shí)踐經(jīng)驗(yàn)(表2)。

表2 專家基本情況(N=16)

2.2.2 專家積極系數(shù)

專家積極系數(shù)根據(jù)問卷的有效回收率計(jì)算，本研究兩輪咨詢的問卷回收率均為100%，受詢專家具有較高積極性。

2.2.3 專家意見權(quán)威程度

專家意見權(quán)威程度用專家權(quán)威系數(shù)來表示，本研究專家的權(quán)威系數(shù)為0.91，說明專家意見較為權(quán)威。

2.2.4 專家意見協(xié)調(diào)系數(shù)

第一輪咨詢的一級指標(biāo)、二級指標(biāo)、三級指標(biāo)Kendall協(xié)調(diào)系數(shù)分別為0.133、0.115、0.203，經(jīng)過調(diào)整后，第二輪的咨詢一級指標(biāo)、二級指標(biāo)、三級指標(biāo)Kendall系數(shù)為0.207、0.229、0.262，差異均有統(tǒng)計(jì)學(xué)意義(P<0.05)，表明專家意見具有一致性。

2.2.5 指標(biāo)體系修改與調(diào)整

第一輪咨詢后，課題組根據(jù)專家評分及修改意見，進(jìn)行如下修改與調(diào)整：(1)刪除二級指標(biāo)“學(xué)員在線課程的可及性”“在線培訓(xùn)及時(shí)性”“在線培訓(xùn)效果”。(2)刪除“機(jī)場接送”“文化”“健康保障制度”等11個(gè)三級指標(biāo)。(3)調(diào)整三級指標(biāo)“教師資質(zhì)”為“師資配備”，“學(xué)員招募”為“招生信息介紹”等。形成4個(gè)一級指標(biāo)，16個(gè)二級指標(biāo)，55個(gè)三級指標(biāo)。

第二輪咨詢后，課題組根據(jù)專家修改意見，進(jìn)行如下修改與調(diào)整：(1)刪除三級指標(biāo)“培訓(xùn)課程設(shè)計(jì)”“‘南南合作’發(fā)展”。(2)為保證布魯姆認(rèn)知目標(biāo)分類體系完整性，保留對于變異系數(shù)大于0.25的三級指標(biāo)“評價(jià)”。

經(jīng)調(diào)整，確定最終納入的指標(biāo)后，根據(jù)層次分析法計(jì)算各層級各指標(biāo)的權(quán)重，最終的“一帶一路”婦幼衛(wèi)生培訓(xùn)項(xiàng)目的評價(jià)指標(biāo)體系包含4個(gè)一級指標(biāo)，16個(gè)二級指標(biāo)，53個(gè)三級指標(biāo)(表3)。

表3 “一帶一路”發(fā)展中國家婦幼衛(wèi)生培訓(xùn)評價(jià)指標(biāo)體系及權(quán)重(學(xué)員評估)

3 討論

3.1 評價(jià)指標(biāo)體系的科學(xué)性和合理性

3.1.1 應(yīng)用Delphi法的科學(xué)性和合理性

Delphi專家咨詢已被廣泛的運(yùn)用于指標(biāo)評價(jià)研究，是一種客觀性較強(qiáng)的專家咨詢法[10]，其研究結(jié)果的可靠性由函詢專家的積極性、權(quán)威性及意見協(xié)調(diào)程度等確定。[11]

問卷回收率達(dá)70%時(shí)說明專家積極性良好[12]，本研究兩輪專家函詢的問卷回收率均為100.0%，且多位專家針對指標(biāo)條目提出修改意見，專家積極性較高。

運(yùn)用Delphi法的關(guān)鍵在于權(quán)威專家的選擇和嚴(yán)謹(jǐn)?shù)难芯窟^程。[13]本研究遴選的專家長期從事婦幼衛(wèi)生、衛(wèi)生政策、衛(wèi)生管理、衛(wèi)生體系、護(hù)理教育及全球衛(wèi)生等工作，專家全部為高級職稱，工作年限在20年以上的專家占81.3%，并均深入?yún)⑴c過援外培訓(xùn)的開展。一般認(rèn)為當(dāng)權(quán)威系數(shù)Cr>0.800時(shí)，專家對內(nèi)容的決定很有把握。[14]本研究專家的權(quán)威系數(shù)為0.91,說明專家作出的判斷是建立在理論知識(shí)和實(shí)踐經(jīng)驗(yàn)上的，具有可信性。

專家意見的協(xié)調(diào)程度包括變異系數(shù)與Kendall協(xié)調(diào)系數(shù)，變異系數(shù)反映專家評分的集中程度，第一輪專家咨詢后，刪除了變異系數(shù)大于0.25的條目如組織管理中的“機(jī)場接送”和“南南合作”精神體現(xiàn)中的“無附加條件”。在第二輪中除“評價(jià)”外指標(biāo)變異系數(shù)均小于0.25，且集中程度較第一輪高。Kendall系數(shù)常用于考察多位評分者評分的一致性程度，P<0.05，說明專家意見具有一致性。[15]本研究第一輪和第二輪咨詢?nèi)壷笜?biāo)的Kendall協(xié)調(diào)系數(shù)分別為0.133和0.207，P值均小于0.01，說明專家意見趨于一致且具有一致性。

3.1.2 指標(biāo)體系的權(quán)重分析

本研究構(gòu)建的指標(biāo)體系分為背景評價(jià)、投入評價(jià)、過程評價(jià)和結(jié)果評價(jià)4個(gè)維度，其中背景評價(jià)權(quán)重系數(shù)最高，且二級指標(biāo)權(quán)重系數(shù)相同，表明背景評價(jià)對于援外培訓(xùn)尤為重要，培訓(xùn)需求和培訓(xùn)目標(biāo)的評價(jià)均為培訓(xùn)背景評價(jià)的重要組成部分。因此，在培訓(xùn)開展前對受援國學(xué)員進(jìn)行需求分析，制定科學(xué)合理的培訓(xùn)目標(biāo)對提高培訓(xùn)質(zhì)量有重要意義；在投入評價(jià)中，培訓(xùn)方案權(quán)重系數(shù)最高，且三級指標(biāo)培訓(xùn)大綱占比最重，表明培訓(xùn)大綱的適宜性對于培訓(xùn)非常關(guān)鍵。而對于在線培訓(xùn)條件，最重要的是有豐富的在線課程資源；在過程評價(jià)中，“南南合作”精神體現(xiàn)權(quán)重系數(shù)最高，其次為培訓(xùn)態(tài)度(教師備課、尊重學(xué)員、溝通交流)和培訓(xùn)內(nèi)容；在結(jié)果評價(jià)中，滿意度權(quán)重系數(shù)最高，其次為“南南合作”影響。表明專家認(rèn)為“南南合作”精神、學(xué)員滿意度是援外培訓(xùn)需關(guān)注的重要內(nèi)容。因此，在實(shí)際培訓(xùn)開展中，除了注重對培訓(xùn)內(nèi)容和培訓(xùn)態(tài)度外，更應(yīng)該加強(qiáng)融入“南南合作”理念，提升學(xué)員滿意度。

綜上，本研究通過兩輪專家咨詢，遴選了專家具有共識(shí)的指標(biāo)，總體上研究結(jié)果具有一定的科學(xué)性和合理性。

3.2 評價(jià)指標(biāo)體系的應(yīng)用價(jià)值

本研究以CIPP模型以理論框架，通過兩輪Delphi法遴選了指標(biāo)，構(gòu)建了一套由4個(gè)一級指標(biāo)，16個(gè)二級指標(biāo)和53個(gè)三級指標(biāo)構(gòu)成的“一帶一路”婦幼衛(wèi)生培訓(xùn)評價(jià)指標(biāo)體系。本研究所構(gòu)建的工具可以為我國“一帶一路”婦幼衛(wèi)生培訓(xùn)的評估提供科學(xué)合理的評估體系框架；基于本研究指標(biāo)體系所構(gòu)建的評估工具，將可為培訓(xùn)組織者提供學(xué)員反饋，有利于組織方結(jié)合培訓(xùn)背景、投入、過程、結(jié)果環(huán)節(jié)，制定精準(zhǔn)的改善策略；同時(shí)，本指標(biāo)體系的構(gòu)建框架和核心原則亦可為其他“一帶一路”發(fā)展中國家培訓(xùn)活動(dòng)提供參考依據(jù)。

3.3 評價(jià)指標(biāo)體系的局限性

本研究構(gòu)建的評價(jià)指標(biāo)體系同樣存在一定局限性，由于本研究函詢專家均來自國內(nèi)，沒有結(jié)合其他國家例如受援國專家的意見。此外，指標(biāo)體系需要在實(shí)際應(yīng)用中得到檢驗(yàn)和進(jìn)一步完善。

作者聲明本文無實(shí)際或潛在的利益沖突。