【摘要】構(gòu)建科學(xué)的高??蒲姓\信政策實施效果評估體系,客觀真實反映科研誠信政策的實施效果,是后續(xù)政策制定、調(diào)整和糾偏的重要依據(jù)。運(yùn)用德爾菲法和層析分析法構(gòu)建出一套較為科學(xué)的高??蒲姓\信政策實施效果評估指標(biāo)體系,從政策知曉度、政策執(zhí)行度、政策滿意度和政策影響度四個一級指標(biāo)構(gòu)建指標(biāo)體系,并在此基礎(chǔ)上細(xì)化分解出11個二級指標(biāo)和32個三級指標(biāo)。以G省高校為例對高??蒲姓\信政策實施效果進(jìn)行實證分析,并根據(jù)評估結(jié)果提出了有針對性的對策建議。
【關(guān)鍵詞】科研誠信政策;實施效果;政策評估
【中圖分類號】G644
【文獻(xiàn)標(biāo)識碼】A
【文章編號】2095-7009(2025)01-0114-09
Construction and Empirical Study on Evaluation System of" Implementation Effect of Scientific Research Integrity Policy in China’s Universities
ZHAO Jing1, GAO Xue-de2, ZHANG Yang3
(1.School of Economics and Management, Lanzhou University of Arts and Science, Lanzhou 730000, China; 2. School of Management, Lanzhou University, Lanzhou 730000, China;3.Gansu high-tech Innovation Service Center, Lanzhou 730000, China)
Abstract:Constructing a scientific evaluation system of the implementation effect of scientific research integrity policy in universities, which objectively and truly reflects the implementation effect of scientific research integrity policy, is an important basis for the follow-up policy formulation, adjustment and correction. Using Delphi method and chromatographic analysis method, this paper constructs a set of scientific evaluation index system for the implementation effect of scientific research integrity policy in universities. The evaluation index system is constructed from four first-level indicators: policy awareness, policy implementation, policy satisfaction and policy influence." On this basis, 11 second-level indicators and 32 third-level indicators are decomposed in detail. At the same time, taking universities in G Province as an example, this paper makes an empirical analysis on the implementation effect of scientific research integrity policy in universities, and puts forward targeted countermeasures and suggestions according to the evaluation results.
Key words:research integrity policy; implementation effect; policy evaluation
一、引言
科研誠信是科學(xué)研究者最基本的倫理和道德規(guī)范,也是高??萍紕?chuàng)新活動的內(nèi)在要求和根本準(zhǔn)則,更是實施創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略的重要基礎(chǔ)。我國高度重視高??蒲姓\信建設(shè),20世紀(jì)90年代以來,中共中央、國務(wù)院、科技教育管理部門、科研機(jī)構(gòu)和科技社團(tuán)先后制定和發(fā)布了許多加強(qiáng)高??蒲姓\信的方針政策,特別是自2007年科學(xué)技術(shù)部科研誠信建設(shè)辦公室正式成立以來,以中央政府和各部委機(jī)關(guān)名義發(fā)布的有關(guān)科研誠信相關(guān)政策達(dá)80多項,而各省市科技管理部門和各高校也紛紛出臺了加強(qiáng)高??蒲姓\信建設(shè)的大量規(guī)章制度和政策措施。這些制度和政策的出臺及實施對于完善高??萍脊芾眢w制機(jī)制、營造健康的學(xué)術(shù)和科研氛圍、提高高??萍脊ぷ髡咚刭|(zhì),以及預(yù)防和遏制學(xué)術(shù)不端行為等方面發(fā)揮了積極作用。但近年來,我國高校科研誠信問題頻發(fā),“韓春雨事件”“梁瑩事件”“翟天臨事件”等一些典型的學(xué)術(shù)不端事件引起公眾對高校科研誠信問題的廣泛關(guān)注與重視,而中國在國際期刊撤稿潮中的“重災(zāi)區(qū)”現(xiàn)象更是引起了學(xué)術(shù)界的極大震撼和熱議[1]。這些科研誠信缺失問題滲透到了高校學(xué)術(shù)研究和學(xué)習(xí)活動的主要環(huán)節(jié),如自主招生中的弄虛作假、作業(yè)考試中的抄襲剽竊、論文發(fā)表中的數(shù)據(jù)造假和代寫買賣、同行評審中的形式主義、獎項評選中的人情操縱、學(xué)歷獲得中的改頭換面,科研管理中的學(xué)術(shù)賄賂等[2],難怪有人驚呼我國科研誠信問題涉及面之廣和嚴(yán)重程度史無前例[3],大學(xué)正面臨著深刻的信任危機(jī)[4]。
由此看來,一方面是大量科研誠信政策的出臺和實施,另一方面又是高??蒲姓\信問題面臨的嚴(yán)峻現(xiàn)實和深刻危機(jī),這兩方面的張力使得高等教育研究必須關(guān)注我國科研誠信政策在高校中的實施效果問題:已有的關(guān)于科研誠信的政策和措施多大程度上被各高校嚴(yán)格執(zhí)行和落實?這些政策的實施效果如何?如何更為科學(xué)、客觀、有效地對我國現(xiàn)有高校科研誠信政策的實施效果進(jìn)行評估?如何根據(jù)科研誠信政策實施效果的評估結(jié)果反饋政策制定和執(zhí)行相關(guān)部門,進(jìn)而優(yōu)化和提升政策制定質(zhì)量及實施效果?
政策效果評估是確定政策走向的重要基礎(chǔ),也是政策改進(jìn)和完善的重要路徑。中央和各省級政府先后制定了一系列規(guī)范科研誠信的規(guī)定、意見、辦法和指南,這些政策措施共同奠定了我國治理科研誠信問題的制度體系基礎(chǔ),但這些政策措施的完備程度如何,其具體可操作性和過程公開性是否有待加強(qiáng),政策是否在各高校落實到位,落實的效果如何,目前面臨著什么樣的政策實施瓶頸,下一步政策如何突破等,都需要深入研究。目前學(xué)術(shù)界有關(guān)科研誠信政策的研究主要集中在科研誠信政策要素的分析[5-6]、科研誠信政策的實施和實踐路徑[7-12]、不同國家科研誠信政策的應(yīng)用比較[13]、誠信政策對科研人員誠信意識和行為的影響[14]、科研人員對誠信政策的態(tài)度和看法[15]等領(lǐng)域,而有關(guān)我國科研誠信政策的研究主要聚焦于國外科研誠信政策或治理機(jī)制的介紹[16-19]、我國科研誠信政策的演變特征[20-23]、我國科研誠信治理特征[24]等方面,也有少量研究關(guān)注高校領(lǐng)域的科研誠信政策問題[25-26],但有關(guān)高??蒲姓\信政策實施效果的研究較少受到關(guān)注,特別是缺乏較為科學(xué)的科研誠信政策實施效果評估體系,這在很大程度上影響了政策實施效果的有效評估。
針對上述具有現(xiàn)實重要性但并未曾被破解的研究問題,本研究將運(yùn)用德爾菲法和層析分析法構(gòu)建出一套較為科學(xué)的高??蒲姓\信政策實施效果評估指標(biāo)體系,并利用這一體系進(jìn)行實證研究,借以發(fā)現(xiàn)科研誠信政策實施中存在的問題,希望能夠為修訂和完善科研誠信政策提供決策參考,為保證科研誠信政策的連續(xù)性、穩(wěn)定性和科學(xué)性提供政策依據(jù),也能為高??蒲姓\信治理提供現(xiàn)實的有益意見和建議。
二、指標(biāo)體系構(gòu)建原則和方法
(一)構(gòu)建原則
1.目的性和導(dǎo)向性原則
高??蒲姓\信政策旨在健全完備的科研誠信制度規(guī)則,保持良好運(yùn)行的科研誠信工作機(jī)制,增強(qiáng)高校廣大科研人員的誠信意識和誠信行為,營造誠實守信、追求真理、崇尚創(chuàng)新、鼓勵探索、勇攀高峰的良好氛圍,打造共建共享共治的科研誠信建設(shè)新格局,鞏固和發(fā)展全社會的誠信基礎(chǔ)和創(chuàng)新生態(tài)。高校科研誠信政策實施效果指標(biāo)體系的構(gòu)建要遵循這一政策目標(biāo),在指標(biāo)設(shè)計上應(yīng)重點突出以上績效目標(biāo)和政策導(dǎo)向,從而實現(xiàn)指標(biāo)體系與政策目標(biāo)之間的有效契合。
2.系統(tǒng)性和全面性原則
高??蒲姓\信政策是由一系列相關(guān)聯(lián)的制度要素組成的具有系統(tǒng)性和全面性的政策體系,從政策層次來看涉及宏觀和中觀等不同的政策層次,從政策主體來看涉及較窄口徑和較寬口徑等不同的政策主體[21],從政策內(nèi)容來看涉及科研誠信管理工作機(jī)制和責(zé)任體系、全流程誠信管理、科研誠信制度化建設(shè)、教育和宣傳、科研誠信信息化建設(shè)等多方面的內(nèi)容。因此,在構(gòu)建指標(biāo)體系時需要綜合政策層次、政策主體和政策內(nèi)容的多維特征,處理好與政策實施有關(guān)的事實和價值、目標(biāo)和結(jié)果、形式和內(nèi)容、行為和意愿等各方面的邏輯關(guān)系,增強(qiáng)指標(biāo)體系的系統(tǒng)性和整合性。
3.科學(xué)性和可操作性原則
一是在構(gòu)建高??蒲姓\信政策實施效果指標(biāo)體系時,要依據(jù)科學(xué)的邏輯框架對指標(biāo)進(jìn)行規(guī)范化設(shè)定,各指標(biāo)之間、各觀測點之間應(yīng)符合層次分析法的邏輯要求,特別是各觀測點量化值和各指標(biāo)權(quán)重的確定要按照科學(xué)規(guī)范的方法和程序進(jìn)行;二是指標(biāo)的獲取和處理方式符合統(tǒng)計學(xué)理論基礎(chǔ),各指標(biāo)要能夠客觀、準(zhǔn)確地度量政策實施效果,確保測量的信度和效度;三是各指標(biāo)和各觀測點的描述語言要精練、準(zhǔn)確,避免同一個指標(biāo)或觀測點出現(xiàn)爭議性理解;四是確保各指標(biāo)和觀測點具有可操作性。
(二)構(gòu)建方法
政策實施效果的構(gòu)建有多種方法,不同的方法有各自相應(yīng)的構(gòu)建流程。本研究借鑒已有關(guān)于政策實施效果評估的方法,選用學(xué)術(shù)界最常用的德爾菲法和層次分析法作為高校科研誠信政策實施效果評估指標(biāo)體系構(gòu)建的主要方法。
1.德爾菲法
主要目的是根據(jù)專家評定結(jié)果確定最終的評估指標(biāo)體系。專家評定通過兩輪完成,第一輪專家評定主要是邀請專家對課題組初定的指標(biāo)體系進(jìn)行重要性和必要性的判斷,并對需要刪除、增加或修改的指標(biāo)進(jìn)行統(tǒng)計和處理。本研究邀請在高校/教育主管部門負(fù)責(zé)科研誠信管理工作的管理人員或是從事學(xué)術(shù)研究十年以上并對科研誠信有所了解的高級職稱的10位專家學(xué)者進(jìn)行評定,通過郵件、微信和線下填答等多種方式收集專家評估結(jié)果。評定的內(nèi)容分為兩部分,第一部分是指標(biāo)重要度的評定:請專家對各一級指標(biāo)、二級指標(biāo)和三級指標(biāo)的重要性進(jìn)行打分,并就課題組初步擬定的指標(biāo)提出相應(yīng)的修改意見;第二部分為專家對指標(biāo)的熟悉程度以及評分依據(jù)的評定(實踐經(jīng)驗、邏輯分析、已有文獻(xiàn)、直觀感受等),然后根據(jù)各指標(biāo)評估的重要性、專家評價的一致性,以及權(quán)威性等指標(biāo)作為指標(biāo)篩選的標(biāo)準(zhǔn),并依據(jù)專家意見對指標(biāo)修改后形成第二輪的專家咨詢。第二輪專家評定主要是進(jìn)行高??蒲姓\信政策實施效果各指標(biāo)的重要性評價,吸納第一輪專家的修改意見,邀請第一輪專家對新修改的高??蒲姓\信政策實施效果各指標(biāo)的重要性進(jìn)行再次評價(同第一輪評價,采用李克特五級評分),然后根據(jù)打分結(jié)果進(jìn)行適當(dāng)修改,作為最終確定的指標(biāo)體系。
2.層次分析法
主要目的是對各級指標(biāo)的權(quán)重進(jìn)行賦值。邀請另外10位專家對各級指標(biāo)的重要性進(jìn)行兩兩打分,列出每一類指標(biāo)的兩兩比較矩陣,以此計算出所有一級指標(biāo)、二級指標(biāo)和三級指標(biāo)各自相對的權(quán)重,同時對其評分的一致性進(jìn)行檢驗。兩兩比較矩陣的一致性指標(biāo)為CR,如果CR<0.1,則認(rèn)為判斷矩陣的層次排序具有較高的一致性。
三、高校科研誠信政策實施效果評估指標(biāo)體系構(gòu)建
(一)指標(biāo)選擇
1.理論基礎(chǔ)和選擇依據(jù)
高??蒲姓\信政策效果評估是對高??蒲姓\信政策執(zhí)行后的產(chǎn)出以及產(chǎn)生的影響所做的事實與價值的判斷,這種評估既是對政策目標(biāo)是否實現(xiàn)預(yù)期效果進(jìn)而在此基礎(chǔ)上對政策工具進(jìn)行重新配置或糾偏的需要,也是確保政策執(zhí)行過程和技術(shù)以提升政策可行性的需要,同時也是對政策活動進(jìn)行監(jiān)督從而更大程度上提升公眾政策參與和政策遵從的需要。因此,高??蒲姓\信政策實施效果的評估既需要考慮政策目標(biāo)的有效性,也需要考慮政策執(zhí)行的有效性,更需要考慮政策結(jié)果的有效性。在建構(gòu)指標(biāo)體系的過程中,本研究主要依據(jù)政策效果評估的后實證主義理論來確定評估指標(biāo),該理論克服實用主義政策評估中過于強(qiáng)調(diào)工具理性和技術(shù)理性的客觀標(biāo)準(zhǔn)的不足,認(rèn)為政策評估標(biāo)準(zhǔn)是一個將事實與價值結(jié)合起來的多重標(biāo)準(zhǔn)。本研究認(rèn)為,高??蒲姓\信政策實施效果的評估不僅要看政策目標(biāo)達(dá)成的客觀效果(如政策影響度和政策執(zhí)行度),還要兼顧政策實施給政策主體帶來的主觀福祉(如政策知曉度和政策滿意度),同時還要考慮到政策本身的價值屬性(如公平性、回應(yīng)性等),這些都體現(xiàn)了后實證主義政策評估理論的基本理念。除此之外,還參考了有關(guān)高校科研誠信的國家層面的政策文本和其他公開出版的學(xué)術(shù)文獻(xiàn),同時借鑒了有關(guān)教育政策和科技政策實效的評估指標(biāo)[27-28],最終確定了“政策知曉度”“政策執(zhí)行度”“政策滿意度”和“政策影響度”四個一級指標(biāo),在此基礎(chǔ)上再細(xì)化分解出11個二級指標(biāo)、33個三級指標(biāo)。
2.指標(biāo)體系框架
(1)政策知曉度
政策知曉度主要考察政策對象對科研誠信政策的了解廣度及深度,該一級指標(biāo)下包括政策知曉水平和政策知曉途徑兩個二級指標(biāo)。政策知曉水平包括政策名稱知曉度、政策對象范圍知曉度和政策要點知曉度三個三級指標(biāo),政策名稱知曉度主要考察政策對象對科研誠信相關(guān)政策名稱的了解情況,政策對象范圍知曉度主要考察政策對象對科研誠信政策執(zhí)行的范圍等的了解程度,政策要點知曉度著重考察政策對象對科研誠信政策中的核心內(nèi)容或要點的了解情況。政策知曉途徑包括政策宣傳感知和政策知曉渠道兩個三級指標(biāo),政策宣傳感知考察政策宣傳力度及其效果,政策知曉渠道主要考察政策對象了解政策的渠道的多樣性。
(2)政策執(zhí)行度
政策執(zhí)行度主要考察政策執(zhí)行機(jī)構(gòu)在政策執(zhí)行中的表現(xiàn)及政策對象參與政策實施的狀況,反映的是政策執(zhí)行的有效性。該一級指標(biāo)下包括政策遵從度和政策參與度兩個二級指標(biāo)。政策遵從度主要考察政策執(zhí)行機(jī)構(gòu)或部門在高??蒲姓\信政策實施過程中的實際操作流程、程序的貫徹落實情況等,政策參與度主要考察政策對象參與政策實施的狀況。政策遵從度從政策實施程序可操作性、政策實施相關(guān)部門協(xié)調(diào)性、政策實施的效率或速度以及政策實施中的信息公開程度等五個三級指標(biāo)入手加以考察。政策參與度從政策對象的參與方式、政策對象的參與頻率和政策對象的參與質(zhì)量三個方面加以考察。
(3)政策滿意度
政策滿意度主要考察政策對象對政策目標(biāo)、政策內(nèi)容、政策結(jié)果及政策價值等的滿意程度,該一級指標(biāo)下包括政策目標(biāo)滿意度、政策內(nèi)容滿意度、政策結(jié)果滿意度和政策價值滿意度四個二級指標(biāo)。政策目標(biāo)滿意度主要從政策的科學(xué)性、政策的可行性和政策的延續(xù)性三個三級指標(biāo)入手加以考察。政策內(nèi)容滿意度從政策文本的易理解性、政策內(nèi)容的針對性、政策內(nèi)容的全面性三個三級指標(biāo)進(jìn)行考察,政策結(jié)果滿意度從政策實際效果與預(yù)期的差距和政策總體滿意度兩個三級指標(biāo)進(jìn)行考察。政策價值滿意度主要從政策的適當(dāng)性、政策的公平性和政策的回應(yīng)性三個方面加以考察。
(4)政策影響度
政策影響度是政策對政策對象以及其他利益群體的影響程度,反映的是政策結(jié)果的有效性。該一級指標(biāo)下包括個體影響度、學(xué)校影響度和社會影響度三個二級指標(biāo)。個體影響度主要考察政策實施后作為政策對象主體的科研人員在科研誠信意識和行為等方面的改善程度,包括科研人員科研誠信重要性認(rèn)識的提升程度、科研誠信意愿的改善程度和科研誠信行為的改善程度等三個三級指標(biāo)。學(xué)校影響度反映的是政策實施后高校內(nèi)部是否形成誠實守信、追求真理的良好氛圍,主要通過學(xué)校學(xué)術(shù)氛圍的改善程度、科研誠信舉報和處理案件變化情況,以及學(xué)校對科研誠信事件的重視程度等三個三級指標(biāo)來考察。社會影響度反映的是政策實施是否有助于鞏固和發(fā)展全社會的誠信基礎(chǔ)和創(chuàng)新生態(tài),它反映的是科研誠信政策實施效果的社會價值,該指標(biāo)通過公眾對高??蒲姓\信問題的重視程度、媒體對科研誠信問題的關(guān)注程度,以及政策實施對社會誠信風(fēng)氣的影響等三個三級指標(biāo)來考察。
(二)指標(biāo)內(nèi)容及權(quán)重確定
1.指標(biāo)內(nèi)容的確定
各指標(biāo)的確定主要依據(jù)三個指標(biāo):一是重要性得分,所有專家在任一指標(biāo)上的重要性得分均值<3分,表明該指標(biāo)不適合,需刪除;二是專家協(xié)調(diào)程度,即所有專家在每一指標(biāo)重要性評價上的一致性,通過變異系數(shù)(CV,各指標(biāo)的標(biāo)準(zhǔn)差/平均值)和肯德爾和諧系數(shù)(W)來表示。變異系數(shù)越小,說明專家對某一指標(biāo)的意見越趨于一致,CV<0.25為可接受范圍,肯德爾和諧系數(shù)W值越接近于1,表示專家的協(xié)調(diào)程度越好,一般情況下,W值范圍為0.4-0.5時,協(xié)調(diào)性較好;三是專家意見的可靠性,使用專家權(quán)威性指標(biāo)(Cr)來進(jìn)行衡量,具體通過專家對問題的熟悉程度(Cs)和專家判斷的依據(jù)(Ca)這兩個指標(biāo)來實現(xiàn)的,專家對評價問題的熟悉程度越高(接近1),專家越依據(jù)自身的專業(yè)水平進(jìn)行評價,專家權(quán)威性就越高,評價結(jié)果就越可靠。Cr的范圍介于0~1之間,Cr 越靠近1,則表示參加調(diào)查的專家權(quán)威程度越高,專家咨詢結(jié)果的可靠性越高。一般情況下,Cr ≧ 0.70視為可接受程度,Cr =(Ca+Cs)/2。
第一輪共發(fā)送12份問卷,2份回答無效。從重要性來看,所有專家在每一指標(biāo)重要性上的平均分均大于3,從變異系數(shù)來看,有1個指標(biāo)的變異系數(shù)CR大于或等于0.25,需要修改或刪除。從肯德爾和諧系數(shù)W來看,W=0.335,系數(shù)偏低,顯示各專家評價的一致性不是很高。從專家權(quán)威性指標(biāo)來看,無論是專家對問題的熟悉程度還是專家判斷的依據(jù),得分均在可靠性范圍之內(nèi)(Cs=0.85,Ca=0.92),表明專家意見的可靠性較高。根據(jù)本輪專家咨詢的結(jié)果和專家的反饋意見,課題組對變異系數(shù)等于或大于0.25的4個指標(biāo)進(jìn)行了修改或刪除(對其中一個指標(biāo)進(jìn)行了刪除,對其他3個指標(biāo)的表述進(jìn)行了修改),另外我們也根據(jù)專家反饋意見對其他變異系數(shù)稍低但仍需要修改的指標(biāo)進(jìn)行了語言和表述上的修改,最后形成了包含4個一級指標(biāo)、11個二級指標(biāo)和32個三級指標(biāo)的新問卷,進(jìn)行第二輪專家咨詢。第二輪邀請6位專家主要針對32個三級指標(biāo)進(jìn)行評價,結(jié)果顯示,所有專家在每一指標(biāo)重要性上的平均分均大于3,所有指標(biāo)的變異系數(shù)CR均小于0.2,肯德爾和諧系數(shù)W=0.41,兩個專家權(quán)威性指標(biāo)也均在0.9以上,由此可以說明,經(jīng)過兩輪專家評價得到的所有科研誠信政策實施效果評估指標(biāo)均符合統(tǒng)計學(xué)的要求。接下來的任務(wù)就是運(yùn)用層次分析法對這些指標(biāo)的重要性程度進(jìn)行賦權(quán)。
2.各指標(biāo)權(quán)重的確定
基于以上依據(jù)德爾菲法篩選得到的遞階層次結(jié)構(gòu)模型,設(shè)計了《高??蒲姓\信政策實施效果評估指標(biāo)體系權(quán)重確定調(diào)查問卷》,用于判定指標(biāo)體系的相對重要性和各指標(biāo)的權(quán)重。問卷采用托馬斯·塞蒂的“1-9標(biāo)度法”要求專家對同一層次的各個考核指標(biāo)的重要性進(jìn)行兩兩判斷和比較,最終根據(jù)各位專家打分的算術(shù)平均數(shù)構(gòu)建要素間兩兩比較的判斷矩陣。具體判斷標(biāo)準(zhǔn)見表1。
構(gòu)建出判斷矩陣后,計算各判斷矩陣的特征向量和最大特征值,并驗證其是否通過一致性檢驗。以準(zhǔn)則層為例,首先針對知曉度、執(zhí)行度、滿意度和影響度總共4項構(gòu)建4階判斷矩陣,利用和積法計算出該判斷矩陣的特征向量w=(1.137,1.798,0.610,0.455),知曉度、執(zhí)行度、滿意度和影響度四個一級指標(biāo)的權(quán)重值分別是0.28、0.45、0.15和0.12。接下來檢驗兩兩比較矩陣的一致性,結(jié)合特征向量計算出最大特征根為4.05,并利用最大特征根值計算得到CI值為0.019[CI=(最大特征根-n)/(n-1)]。結(jié)合判斷矩陣階數(shù)得到RI為0.890,因此計算得到CR值為0.021。通常情況下CR值越小,則說明判斷矩陣一致性越好,一般情況下CR值小于0.1,則判斷矩陣滿足一致性檢驗;如果CR值大于0.1,則說明不具有一致性,應(yīng)該對判斷矩陣進(jìn)行適當(dāng)調(diào)整之后再次進(jìn)行分析。本次計算得到CR值為0.021lt;0.1,意味著本次研究判斷矩陣滿足一致性檢驗,計算所得權(quán)重具有一致性。按照同樣方法計算出所有專家對模型各要素層和方案層的評估權(quán)重,最終得出高??蒲姓\信政策實施效果評估指標(biāo)的權(quán)重(表2)。同時,所有判斷矩陣的CR均小于0.1,通過一致性檢驗。
(三)政策效果值的確定
確定了以上評估指標(biāo)體系以及各指標(biāo)的權(quán)重后,就需要依據(jù)以上評估指標(biāo)體系收集相應(yīng)的評估信息,并賦予評估指標(biāo)體系相應(yīng)的計量與統(tǒng)計的意義,確定高校科研誠信政策在各高校實施的效果值,研判我國高??蒲姓\信政策的現(xiàn)實狀況和邏輯走向,從而根據(jù)評估結(jié)果對政策的未來發(fā)展提出相應(yīng)的建議。評估信息的收集主要通過問卷調(diào)查獲得,每個三級指標(biāo)的評定都采用六級評分,分別賦值為1-6。為了使得結(jié)果呈現(xiàn)和解釋更為直觀,將六級的評定結(jié)果轉(zhuǎn)化為滿分為100的標(biāo)準(zhǔn)分?jǐn)?shù)①,對每個三級指標(biāo)值進(jìn)行標(biāo)準(zhǔn)化處理之后,即可根據(jù)每個指標(biāo)的評分值和該指標(biāo)的權(quán)重值采用線性綜合加權(quán)法得到最終的評估結(jié)果。參考相關(guān)文獻(xiàn)[20],確定以下政策效果的評分等級表:得分90-100分的政策效果評估為“優(yōu)秀”;得分75-89分的為“良好”;得分60-74分的為“合格”;得分60分以下的為“差”。評估結(jié)果既可以用于對特定高校科研誠信政策的實施效果進(jìn)行定期或跨期的比較,也可以對不同高??蒲姓\信政策實施效果進(jìn)行橫向比較。
四、指標(biāo)體系的應(yīng)用和實證分析——以G省為例
(一)數(shù)據(jù)收集
本文實證研究利用在G省部分高校收集到的問卷調(diào)查數(shù)據(jù)進(jìn)行分析。調(diào)查范圍基本涵蓋該省不同層次(如“雙一流”、非“雙一流”)和不同類型(如綜合類、財經(jīng)類、師范類等)的高校,問卷調(diào)查對象主要為高校從事科研工作的教師和學(xué)生。采用概率抽樣和立意抽樣相結(jié)合的方法選取樣本,共發(fā)放問卷1200份,回收有效問卷1052份,回收率為87.7%。其中“雙一流”高校樣本和非“雙一流”高校樣本占比分別為34.8%和65.2%,教師、在讀研究生(博士/碩士)和在讀本科生占比分別為29.2%、38.8%和32%,主持過和未主持過校級以上科研項目樣本的人數(shù)占比分別為32.5%和67.5%。問卷設(shè)計的內(nèi)容包含兩部分,第一部分是有關(guān)高??蒲姓\信政策實施效果的測題,根據(jù)上述表2中的指標(biāo)體系來設(shè)計,包含32個測量題項,分別測量每個方案層。第二部分是受測樣本的人口學(xué)變量,包括樣本所屬高校、性別、年齡、職稱、從事科研工作的年限、是否主持或參與過科研項目等。
(二)實證結(jié)果
1.高??蒲姓\信政策實施效果的總體狀況
我們基于指標(biāo)體系中方案層、要素層和準(zhǔn)則層之間的隸屬關(guān)系,以及政策效果值的確定辦法,計算得到高校科研誠信政策實施的總效果。結(jié)果發(fā)現(xiàn),G省高??蒲姓\信政策實施效果的最終評估得分為69.88分,政策效果評估僅為“合格”,這說明,G省高校在科研誠信政策的實施方面還存在許多需要解決的問題。進(jìn)一步比較不同類型的政策對象對科研政策實施效果是否存在差異性評價,結(jié)果發(fā)現(xiàn),從事科研工作不同年限的受訪者對政策實施效果的總體評價有非常顯著的統(tǒng)計學(xué)差異(p=0.009),從事科研工作4-10年的受訪者對政策實施效果的評價最低(64.74分),而從事科研工作3年以內(nèi)的受訪者對政策實施效果的評價最高(72.05分)。調(diào)查發(fā)現(xiàn),主持過科研項目的受訪者和未主持過科研項目的受訪者在政策實施效果總體評價上的得分分別為67.25分和71.11分,兩者達(dá)到了統(tǒng)計學(xué)的顯著差異(p=0.002),主持過科研項目的受訪者比未主持過科研項目的受訪者對政策實施效果的總體評價更低,這一現(xiàn)狀值得引起科研管理部門的重視。調(diào)查還發(fā)現(xiàn),參與過科研項目的受訪者和未參與過科研項目的受訪者對科研誠信政策實施效果的總體評價也存在顯著的差異(p=0.03),參加過科研項目的受訪者比未參加過科研項目的受訪者對政策實施效果的總體評價更低。進(jìn)一步比較不同職稱的科研人員對政策實施效果評價的差異性,結(jié)果發(fā)現(xiàn),科研人員職稱的高低與政策實施效果的總體評價呈正相關(guān),職稱越高,對政策實施效果的評價越好。
2.高??蒲姓\信政策實施效果的具體狀況
(1)政策知曉度。調(diào)查結(jié)果發(fā)現(xiàn),政策知曉度的得分為64.88分,在所有四個一級指標(biāo)中得分最低,進(jìn)一步對該指標(biāo)下的政策知曉水平和政策知曉渠道兩個二級指標(biāo)進(jìn)行統(tǒng)計后發(fā)現(xiàn),兩者之間的得分非常接近,這顯示,如何通過多種渠道增加政策對象對政策了解的深度和廣度是高??蒲姓\信政策實施中面臨的最突出的問題。同時,比較所有四個一級指標(biāo)得分的標(biāo)準(zhǔn)差,結(jié)果發(fā)現(xiàn),政策知曉度在所有一級指標(biāo)中的標(biāo)準(zhǔn)差最高,這意味著,政策知曉度在不同的政策對象上表現(xiàn)出了更大的內(nèi)部差異性,進(jìn)一步的分析發(fā)現(xiàn),科研誠信政策知曉度比較低的政策對象主要集中在以下群體:在讀研究生(博士/碩士)、低職稱教師(以講師為主)、從事科研工作年限較少者(特別是1年以內(nèi)者)、未參與或未主持過科研項目者、對科研誠信問題關(guān)注度較低者。這啟示科研誠信政策執(zhí)行者需要有針對性地對這些低知曉度的政策對象加大政策宣傳力度。
(2)政策執(zhí)行度。在四個一級指標(biāo)中,政策執(zhí)行度(70.12分)是僅高于政策知曉度的指標(biāo),其得分也僅屬于“合格”水平,顯示政策對象對政策執(zhí)行機(jī)構(gòu)在政策執(zhí)行中的總體表現(xiàn)較為不滿,提升政策執(zhí)行度仍然任重而道遠(yuǎn)。進(jìn)一步對指標(biāo)所屬的政策遵從度和政策參與度兩個二級指標(biāo)的得分進(jìn)行比較后發(fā)現(xiàn),受測樣本在政策參與度上的得分(67.84分)顯著低于在政策遵從度上的得分,表明政策對象深度參與科研誠信政策實施的效果方面存在較大的問題,還需要較大幅度的改進(jìn)。調(diào)查還發(fā)現(xiàn),不同的政策對象群體對政策執(zhí)行效果的評價上存在著較大的差異性:非“雙一流”高校比“雙一流”高校在政策執(zhí)行的效果上更差;教師比在讀研究生(博士/碩士)對政策執(zhí)行效果的評價更低,這一傾向在政策參與度上更為明顯;從事科研工作的年限與政策執(zhí)行效果評價之間呈“U”型關(guān)系,從事科研工作4-10年的政策對象對政策執(zhí)行效果的評價最低;與未主持或未參與過科研項目的科研人員相比,主持過或參與過科研項目的政策對象對政策執(zhí)行效果的評價更低。
(3)政策滿意度。總體而言,政策對象在政策滿意度上的得分(74.36分)高于政策知曉度和政策執(zhí)行度,接近“良好”水平,這顯示科研誠信政策運(yùn)行的實際效果與政策對象的預(yù)期有較高的一致性。比較該指標(biāo)下四個維度得分的平均數(shù)可以發(fā)現(xiàn),政策價值滿意度的得分顯著高于政策目標(biāo)滿意度、政策內(nèi)容滿意度和政策結(jié)果滿意度的得分,而后三個滿意度得分之間未表現(xiàn)出明顯的差異性,這說明,科研誠信政策在適當(dāng)性、公平性和回應(yīng)性等方面得到了政策對象較高程度的認(rèn)可。調(diào)查還發(fā)現(xiàn),不同的政策對象群體對政策滿意度的評價上存在著較大的差異性,這一趨勢與對政策執(zhí)行度的評價幾乎完全一致。
(4)政策影響度。調(diào)查發(fā)現(xiàn),政策對象對政策影響度的評價在所有一級指標(biāo)中得分最高(76.22分),也是所有一級指標(biāo)中唯一達(dá)到“良好”水平的指標(biāo),這顯示科研誠信政策對政策對象以及其他利益群體的影響較為明顯,政策結(jié)果的有效性較強(qiáng)。但具體分析不同維度政策影響度的得分,發(fā)現(xiàn)各維度間有較顯著的差異:社會影響度得分顯著高于學(xué)校影響度,而個體影響度得分顯著低于學(xué)校影響度。這說明,雖然科研誠信政策的實施鞏固和發(fā)展全社會的誠信氛圍起到了重要的推動作用,但同時也反映出政策的實施對科研人員在科研誠信意識和行為等的改善程度不夠明顯??紤]到個體影響度的權(quán)重在政策影響度所有指標(biāo)中的權(quán)重占比超過一半(0.51),此意味著科研誠信政策的實施在助推科研人員自身的誠信意識和行為方面仍存在很多不足。調(diào)查還發(fā)現(xiàn),不同的政策對象群體對政策影響度的評價上存在著較大的差異性,這一趨勢與對政策執(zhí)行度和政策滿意度的評價完全一致。
五、主要結(jié)論和對策建議
構(gòu)建科學(xué)的高校科研誠信政策實施效果評估體系是明確高??蒲姓\信政策實施效果的前提基礎(chǔ),也是高校科研誠信政策制定、調(diào)整和糾偏的重要依據(jù)。在構(gòu)建科研誠信政策實施效果評估體系的過程中,仍存在一些影響指標(biāo)體系科學(xué)性和有效性的因素,如科研誠信概念本身的模糊性[21][23]、科研誠信政策的權(quán)威性不夠、政策工具使用的不合理等[20],這些因素都可能干擾評價指標(biāo)體系建構(gòu)中德爾菲法和層次分析法的科學(xué)運(yùn)用,導(dǎo)致專家評定的誤差,并最終影響指標(biāo)的選擇和權(quán)重的賦值。同樣,也正是由于上述幾方面的原因,在構(gòu)建指標(biāo)體系的時候并未完全按照政策效果評價的事實性、價值性維度構(gòu)建一級指標(biāo),而是將政策執(zhí)行和政策結(jié)果同時包含在評估指標(biāo)體系中,這一做法更契合目前我國高校科研誠信政策的運(yùn)行和實踐現(xiàn)狀,也使評估結(jié)果更具有針對性、系統(tǒng)性、合理性和可比性。
基于以上理論探索,本研究以G省為例對高??蒲姓\信政策的實施效果進(jìn)行了實證考察,通過評估發(fā)現(xiàn),盡管科研誠信政策的實施對于鞏固和發(fā)展全社會的誠信基礎(chǔ)和創(chuàng)新生態(tài)有較強(qiáng)的促進(jìn)作用,但整體來看,科研誠信政策實施效果僅達(dá)到“合格水平”,在政策實施的不同對象和不同內(nèi)容上還有許多較為突出的問題亟待解決?;诖?,提出如下建議:
一是加大對科研誠信政策的宣傳力度。針對政策知曉度低這一科研誠信政策實施中的突出問題,首先,要加大對科研誠信政策內(nèi)容本身的宣傳力度,特別是對政策中的核心內(nèi)容和政策適用的范圍等傳達(dá)到政策對象,要確保政策對象能夠感知到與自身科研活動相關(guān)的政策內(nèi)容;其次,要采取適合政策對象的多元的渠道增強(qiáng)政策宣傳的效果,要讓政策對象能夠清晰、準(zhǔn)確地理解和感知政策;最后,要強(qiáng)化對特定政策對象的宣傳,特別是對在讀研究生(博士/碩士)、低職稱教師、從事科研工作年限較少者以及未參與或未主持過科研項目者的科研人員進(jìn)行重點宣傳,擴(kuò)大政策對象的覆蓋面。
二是加強(qiáng)政策執(zhí)行的力度和有效性。政策執(zhí)行度是科研政策實施效果評價中最重要的指標(biāo),但同時也是本次調(diào)查中發(fā)現(xiàn)的政策效果較差的指標(biāo)。因此,加強(qiáng)科研誠信政策執(zhí)行的有效性是提高政策執(zhí)行效果的重中之重,一是加強(qiáng)政策實施主體執(zhí)行政策的力度,特別是要在政策實施程序的可操作性、政策實施相關(guān)部門的協(xié)調(diào)性、政策實施的效率或速度以及政策實施中的信息公開程度等方面提高政策執(zhí)行的有效性;二是激勵政策對象積極參與到政策實施的過程中,特別是要激發(fā)作為科研活動主力軍的主持或參與科研項目的教師群體的參與動力,豐富參與方式,提高參與頻率,提升參與質(zhì)量。
三是強(qiáng)化政策對科研人員的影響力。針對科研誠信政策對科研人員個體影響力不足的問題,一是借助政策的權(quán)威性工具強(qiáng)化規(guī)制功能,加大對科研失信行為的查處和懲罰力度;二是完善科研誠信政策中的問責(zé)內(nèi)容,加強(qiáng)對科研誠信行為的問責(zé)制度建設(shè),從道德問責(zé)和專業(yè)問責(zé)兩方面強(qiáng)化高校科研人員的學(xué)術(shù)道德素養(yǎng),倡導(dǎo)負(fù)責(zé)任的科研行為;三是利用傳統(tǒng)道德文化創(chuàng)新科研人員學(xué)術(shù)誠信行為的聲譽(yù)約束機(jī)制,構(gòu)建權(quán)威、公正、實時、共享的學(xué)術(shù)信用展示平臺,強(qiáng)化政策和制度對科研人員的影響力。
【注釋】
① 轉(zhuǎn)化方法為:(X-Xmin)/(Xmax-Xmin)*100。X為實測分?jǐn)?shù),Xmax 為變量的最大值,Xmin為變量的最小值。
【參考文獻(xiàn)】
[1]晉浩天.科研誠信在哪“絆住了腳”[N].光明日報,2018-08-06(08).
[2]高學(xué)德.我國大學(xué)信任問題研究:理論、實證與對策[M].北京:科學(xué)出版社,2021:56-63.
[3]朱邦芬.回歸本源,振興中國期刊,爭創(chuàng)國際一流——在2018年中國學(xué)術(shù)期刊未來論壇上的致辭[J].編輯學(xué)報,2018,30(6):551-552.
[4]唐安奎.大學(xué)公信力的危機(jī)與重塑[J].教育發(fā)展研究,2014(19):80-84.
[5]DJALALINIA S,WLIA P,AFZALI H M,et al.A Proposed Strategy for Research Misconduct Policy:A Review on Misconduct Management in Health Research System [J].International Journal of Preventive Medicine,2016,7(1):92.
[6]STOESZ B M,EATON S E.Academic Integrity Policies of Publicly Funded Universities in Western Canada [J].Educational Policy,2020:1-20.
[7]ANTONI C N,CARMEN T,MERCE M L,et al.Academic integrity policies against assessment fraud in postgraduate studies:An analysis of the situation in Spanish universities[J].Heliyon,2022,8:3.
[8]DAVIS M.Examining and improving inclusive practice in institutional academic integrity policies,procedures,teaching and support [J].International Journal for Educational Integrity,2022,18:14.
[9]LEE JUNE-S,KIM,OCK-JOO.Regulations and Policies on Research Misconduct:With special reference to the Office of Research Integrity in the United States [J].Journal of the Korean Bioethics Association,2006,7(1):101-116.
[10]MIRON J,MCKENZIE A,ROWBOTHAM K.Academic Integrity Policy Analysis of Publicly-Funded Universities in Ontario,Canada:A Focus on Contract Cheating [J].Canadian Journal of Educational Administration and Policy,2021,197:62-75
[11]SARAH R,DAVIESs amp; KATRINE LINDVIG.Assembling research integrity:negotiating a policy object in scientific governance [J].Critical Policy Studies,2021,15(4):444-461.
[12]STOESZ B M,Eaton S E,MIRON J.Academic integrity and contract cheating policy analysis of colleges in Ontario,Canada[J].International Journal for Educational Integrity,2019,15:4.
[13]LI D,CORNELIS G.Defining and Handling Research Misconduct:A Comparison between Chinese and European Institutional Policies [J].Journal of Empirical Resrarch on Human Research Ethics,2020,15(4):302-319.
[14]ANOHINA-NAUMECA A,BIRZNIECE I,ODIECA T.Students’ awareness of the academic integrity policy at a Latvian university [J].International Journal for Educational Integrity,2020,16:12.
[15]LABIB K,EVANS N,SCEPANOVIC R.Education and training policies for research integrity:Insights from a focus group study [J].OSF Preprints,2021,49(2):246-266.
[16]付淑瓊.美國大學(xué)教師科研誠信系統(tǒng)及其對我國的啟示[J].高等教育研究,2015(1):92-97.
[17]王飛.奧胡斯大學(xué)科研誠信建設(shè)政策與實踐[J].科學(xué)與社會,2018,8(2):25-35.
[18]王陽,王路昊.略論美國科研誠信教育政策內(nèi)在機(jī)制[J].科學(xué)研究,2010(12):1772-1776.
[19]周湘林.整合性全過程問責(zé):高??蒲姓\信問題的治理之道——以澳大利亞麥考瑞大學(xué)為例[J].中國高教研究,2019(4):80-85.
[20]杜寶貴,左志遠(yuǎn).基于1999—2019年數(shù)據(jù)的中國科研誠信政策量化分析[J].科技管理研究,2020,40(18):252-259.
[21]史昱.中國科研誠信政策的演變與評價(1949-2017年)[J].中國軟科學(xué),2019(10):158-164.
[22]楊銳,楊亮,李良強(qiáng),等.我國科研誠信政策特征及演化邏輯——基于文本挖掘法[J].科技進(jìn)步與對策,2020,37(20):89-98.
[23]俞立平,周朦朦,蘇光耀.中國科研誠信政策的演化特征研究——基于1981-2020年的政策文本分析[J].情報科學(xué),2022,40(5):51-58.
[24]靳彤,張紅偉,趙勇.政策文本計量視角下我國科研誠信治理的特征與啟示[J].情報工程,2018,4(5):116-126.
[25]郝凱冰,郭菊娥,張旭.高校學(xué)術(shù)不端行為治理政策效能的演變特征[J].西安交通大學(xué)學(xué)報(社會科學(xué)版),2017,37(6):48-56.
[26]溫虹,賈利帥.我國高??蒲姓\信政策研究——基于政策工具的視角[J].中國高教研究,2021(4):48-54.
[27]黃明東,陳越,姚宇華.教育政策效果評估指標(biāo)體系構(gòu)建研究——基于后實證主義方法論的視角[J].教育發(fā)展研究,2016(1):1-6.
[28]顧玲琍,王建平,楊小玲.科技人才政策實施效果評估指標(biāo)體系構(gòu)建及其應(yīng)用研究[J].中國人力資源開發(fā),2019(4):100-108.
[責(zé)任編輯:鐵國花]