邵光南+陳燁+李淼鑫+文世梅

摘要：目的 構建臨床科研課題數據質量評價指標體系，為評價臨床類科研課題數據質量提供參考依據。方法 綜合文獻研究和研究小組意見，擬定臨床科研課題數據質量評價指標體系，采用德爾菲法，開展2輪本院專家咨詢問卷調查，對專家積極程度、意見集中程度、協(xié)調程度及權威程度進行評價。結果 共有來自本院內外科室不同專業(yè)30名專家參加本次2輪函詢，2輪有效回收率為100%，2輪平均權威系數為0.79、0.81。第2輪問卷的5個一級指標專家意見滿分頻率平均集中在46.67%～54.69%；均數平均集中在4.23～4.36，變異系數平均波動于0.11～0.18，最終建立了由病例報告表（CRF）構建、隨機對照、知情同意、數據采集、數據審核5個一級指標、18個二級指標、63個三級指標評價構成的體系。結論 經過2輪專家函詢后，專家意見趨于一致，協(xié)調程度較高，建立的指標體系可用于臨床科研課題數據質量評價。

關鍵詞：德爾菲法；數據質量；評價；指標體系

DOI：10.3969/j.issn.1005-5304.2018.02.001

中圖分類號：R2-05 文獻標識碼：A 文章編號：1005-5304（2018）02-0001-05

Study on Constructing Evaluation Indicator System for Clinic Scientific Research

on Data Quality Based on Delphi Method

SHAO Guang-nan， CHEN Ye， LI Miao-xin， WEN Shi-mei

Yueyang Hospital， Shanghai University of Traditional Chinese Medicine， Shanghai 200437， China

Abstract： Objective To construct the evaluation indicator system for clinical scientific research on data quality； To provide a basis for assessing data quality of clinic scientific research. Methods Evaluation indicator system for clinic scientific research on data quality was established based on literature review and expert suggestion. A two- rounds Delphi process was conducted and the specialist participating level， concentration degree， coordination degree and authority coefficient were calculated to assess the indicator system. Results Two rounds of Delphi consultations was conducted by 30 experts that from different majors at the department of internal medicine or surgery， and both the effective recovery rates were 100%； the average authority coefficients of expert were 0.79 and 0.81， respectively. In the second round of survey， the final concentration degree ranged from 46.67% to 54.69% at full mark rate， and 4.23 to 4.36 at the mean values in 5 primary indicators. The CV for average 5 primary indicators ranged from 0.11 to 0.18. After 2 rounds of expert consultation， the final indicator system was consisted of 5 primary indicators （CRF construction， random control process， informed consent， data capture and data validation）， 18 secondary indicators and 63 third-class indicators. Conclusion After two rounds of consultation， the opinions of all experts have been tending to be uniform， with high degree of coordination， and the indicator system can be used in assessment of data quality of clinic scientific research.

Keywords： Delphi method； data quality； evaluation； indicator system

隨著我國“重大新藥創(chuàng)制”科技戰(zhàn)略的計劃和實施，國家對中醫(yī)藥科研項目投入逐漸加大。雖然臨床類科研項目數量、經費占有很大比重，但中醫(yī)藥臨床科研項目的整體質量并未與之一同增長。究其原因，我們認為與源數據獲取、數據質量有很大關系。高質量的臨床數據和研究結果是論證臨床療效和安全性的最重要證據，而高質量的數據其獲取模式與課題研究過程中多個關鍵階段密切相關，如病例報告表（CRF）設計、數據錄入和數據核查等。由于我國研究組織觀念、經費來源及管理要求等不同，現階段科研項目源數據獲取模式多采用終點管理模式，即在研究結束時，所有臨床數據采集工作完成后，集中收集原始資料，填寫CRF，進而進行后續(xù)的數據錄入、核查等工作。為體現研究過程是否科學嚴謹，數據收集是否準確可靠，我們在文獻研究基礎上，結合德爾菲法，建立了一套數據質量評價指標體系，在臨床科研課題立項之初供科研人員采納并運用于研究過程關鍵階段，以期幫助提高臨床數據質量?，F報道如下。endprint

1 資料與方法

1.1 成立研究項目小組

本課題研究小組由7名成員組成，其中高級職稱2名，中級及以下職稱5名；主要任務是根據目前國內外相應法規(guī)、標準、準則等構建專家咨詢調查問卷；確定邀請咨詢專家，同時發(fā)放、回收專家咨詢調查問卷，以及專家咨詢問卷意見的整理、分析討論等。

1.2 確定咨詢專家

入選標準：①本科及以上學歷；②副高及以上職稱；③長期從事中醫(yī)、中西醫(yī)結合臨床內外科工作至少5年以上，主持或參加過臨床類科研課題，具有豐富的臨床科研經歷和學術造詣。

1.3 咨詢問卷調查

咨詢問卷的評價與計分專家問卷各項指標，按照對數據質量的重要性貢獻度、專家熟悉程度以及判斷依據、補充說明等分為4部分，其中，重要性按likert五分量表法[1]預設“完全不重要、不很重要、重要、很重要、非常重要”5級，并分別給予1分、2分、3分、4分、5分賦值；熟悉程度按“很熟悉、熟悉、較熟悉、一般、較不熟悉、很不熟悉”分為6級并分別賦予1.0、0.8、0.6、0.4、0.2、0分值，其判斷依據可選擇“實踐經驗、理論分析、國內外文獻或同行了解、直覺”并賦予選項0.8、0.6、0.4、0.2的分值。

第1輪專家咨詢問卷根據藥物臨床試驗質量管理規(guī)范（GCP）、臨床試驗報告統(tǒng)一標準（CONSORT）等準則及文獻研究，自查本院近幾年結題的各級別臨床研究課題，初步擬定一套檢查列表，形成第1輪專家問卷，內容包括以下幾點。①問卷說明：包含研究目的、意義、咨詢內容，專家反饋時間及對專家信息進行保密等信息說明；②受邀專家基本情況表：包含姓名、性別、年齡、學歷、職稱、從事專業(yè)及工作年限等基本情況；③問卷內容：由CRF構建、數據錄入、知情同意、隨機化進程、數據核查5個一級指標，以及由一級指標延伸、擴展的18個二級指標和62個三級指標構成的數據質量評價問卷。

第2輪專家咨詢問卷綜合第1輪專家意見及統(tǒng)計分析結果，修改、刪除、增加部分條目，形成第2輪專家咨詢問卷。除附上第1輪專家意見外，其他問卷內容同第1輪問卷，以便專家進行綜合判斷。

1.4 統(tǒng)計方法

采用Excel2007、SPSS19.0軟件，將收集到的專家咨詢數據，采用雙人錄入法將數據錄入數據庫，分別計算各項指標均數、滿分頻率、變異系數（CV）等。各項指標重要性賦值以均數>3.5分、滿分頻率>20%且變異系數<20%為篩選標準[2]，并結合專家意見進行指標修正及增減；同時對專家積極系數、專家權威程度、專家意見協(xié)調系數等進行相應評價。

2 結果

2.1 咨詢專家基本情況

本次研究共30名受邀專家參加此次咨詢問卷調查，其中男性11名，女性19名，平均年齡43歲，專家組以年齡40歲以上、博士學歷、副高以上職稱、本專業(yè)工作年限10年以上、碩士生導師、主持過臨床類科研課題且擔任主要研究者角色占絕大多數；受邀專家來源于本院中醫(yī)內科、消化科、血液科、呼吸科、內分泌科、風濕科、腎臟內科、神經內科、婦科、心內科、針灸科、推拿科、皮膚科、骨傷科以及中西醫(yī)結合臨床研究所等臨床內外科室。見表1。

2.2 專家積極系數

專家積極系數（E）一般用問卷的有效回收率表示，即E（%）=回收數÷發(fā)放數×100%，用以表示專家對咨詢內容的關心程度；本研究2輪咨詢問卷發(fā)放數與回收數相等，有效回收率100%，表明接受咨詢問卷調查的專家比較關心該研究，積極性均很高。

2.3 專家意見的集中程度

專家意見集中程度，一般用各調查指標的均數和滿分頻率表示。在第1輪函詢中，指標的均數波動在3.9～4.8，滿分頻率為30%～80%；第2輪函詢中，指標的均數波動在4.00～4.83，滿分頻率為33.33%～86.67%。第2輪問卷5個一級指標平均專家滿分頻率、平均均數值見表2。

2.4 專家意見的協(xié)調程度

協(xié)調系數說明函詢專家對各指標的評分意見是否趨于一致，用變異系數（CV）表示。CV=標準差÷均數，CV越小，表明專家的協(xié)調程度越高。本研究第1輪各指標CV變動范圍分布于0.08～0.29，說明分布集中程度一般，存在一定程度的離散；第2輪各指標CV變動范圍分布于0.08～0.24，表明第2輪各指標權重分布集中程度較好，離散程度較低。通過2輪專家函詢，專家對各項指標的評價未存在較大分歧，意見逐漸趨于一致。第2輪問卷5個一級指標平均CV見表2。

2.5 專家的權威程度

專家權威程度一般用權威系數（Cr）表示，通常以專家對問卷問題的熟悉程度（Cs）與判斷依據（Ca）的均值來作出判斷，即Cr=（Cs+Ca）÷2，取值為0～1，取值越大，表明專家權威程度越高，一般認為Cr≥0.70為信度較好[3-4]。本研究經2輪函詢調查之后，5個一級指標Cr平均值達到0.81。說明本次德爾菲法專家函詢的權威程度較高，咨詢結果具有較高的可靠性。見表3。

2.6 2輪專家主要修改意見

第1輪專家咨詢問卷初步擬定一級指標5個、二級指標18個、三級指標62個。根據問卷咨詢結果、各指標篩選標準及課題組成員討論。刪除指標2項（受試者干預和對照組別是否要列出、發(fā)藥時間或治療措施是否符合入組順序）、新增函詢專家建議指標3項（課題研究起止時間、本研究所涉及疾病診斷日期或病程、數據雙份錄入不一致時，是否已再次核實并修正確認），同時修正、完善原指標語言描述6項（表4中三級指標1.4.1、1.5.7、1.7.1、1.10.4、4.1.1、5.2.3項），最終形成由5個一級指標、18項二級指標、63項三級指標構成的數據質量檢查體系。見表4。

3 討論

德爾菲法又稱專家函詢法、專家調查法，采用匿名方式，反復多次、幾輪函詢征求本研究領域專家意見，通過多次信息交流，不斷地修正反饋，使專家的意見逐步趨于一致，最終獲得一個比較一致、可靠的結論和方案，是一種定量與定性相結合的預測評價方法。本方法已應用于臨床診斷、診療指南、衛(wèi)生經濟學評價、質量指標體系等方面[3，5-6]，具有廣泛的代表性。endprint

在進行計算之前，專家函詢問卷條目、指標的設立顯得尤為重要，作為收集信息的重要載體，問卷設計水平的高低不僅反映了所研究問題囊括是否全面，也間接關系到函詢最終結果的優(yōu)劣。本研究問卷各指標設置綜合了臨床科研課題從計劃立項、數據管理、統(tǒng)計分析等階段所遵循的國內外指導原則、行業(yè)標準、專家共識等文獻研究資料。

除問題條目設置外，函詢對象、咨詢專家的選擇也是本研究的關鍵之處。一般認為，函詢專家人數以15～50名為宜，且應涉及多個領域[4，7]。本次臨床科研課題數據質量指標體系構建中，參與問卷咨詢的受邀專家多達30名，來自于本院多個臨床科室、臨床專業(yè)，有10余年從事本專業(yè)工作經歷，均承擔或作為主要研究者參與過臨床科研課題，具有廣博的臨床知識與實踐經驗，臨床科研經歷豐富，具有較好代表性，咨詢結果因而具有一定的專業(yè)性和客觀性。

在德爾菲分析中，一般認為發(fā)放問卷的有效回收率達70%比較理想[8]。本研究2輪有效回收率均達100%，表明函詢專家積極程度很高；且多數專家對初擬的指標體系給予了具體的修改、補充意見，也表明所邀專家對本研究高度關心支持以及重視程度。

另外，本研究2輪函詢結果也顯示各指標的變異系數變小，專家意見逐步趨于一致，專家權威程度較高，反映了所形成的指標內容可靠性和預測的準確性。

雖然可采用權威程度、積極系數等來判斷結果的可靠性，但由于函詢專家均以自身觀點及意見來判斷研究內容，表達的觀點具有主觀性，因此，其所提意見正確與否，受專家所在專業(yè)領域學術水平高低影響。

臨床科研課題因立項部門、來源不同，科研經費差異較大。由于諸多因素，臨床類科研項目其數據獲取仍以紙質文件為主，數據在進行處理時已近研究結束期限，發(fā)現的問題數據如不是客觀性數據，修正時存在主觀性因素，將很難保證數據的“準確性”，且與數據質量要求的“及時性”相悖。這種事后發(fā)現并修正的狀況普遍存在于我國各類臨床科研課題?，F行的數據終點處理模式，雖有諸多可參照的臨床研究質量管理規(guī)范等相關準則、規(guī)范和標準，但因缺乏具體實施細則可供執(zhí)行，因而使中醫(yī)藥臨床科研項目整個研究過程不甚規(guī)范，數據質量難以保證。

目前，紙質CRF采集錄入臨床數據的形式在臨床科研中仍占據主要地位，在數據獲取的工作不具備應用電子化捕捉技術條件下，如何確保采集、獲取的數據真實準確，我們認為，在研究立項之初，應該有針對研究進程的各個重要階段而設計建立的一套檢查列表（checklist），同紙質CRF相結合，以規(guī)范數據獲取的過程，并有望提高數據準確性。

4 結語

收集高質量的數據是臨床類科研項目的重要環(huán)節(jié)，其關鍵步驟涉及到立項初期、過程管理及后續(xù)數據審核等多方面，作為確保數據質量的手段，本研究建立的該套包含與方案相對應的CRF設計、數據采集、知情同意、隨機對照及數據核查等指標評價體系，其最終目的是為科研人員在臨床課題立項之初采納并應用于獲取臨床研究數據，并為后續(xù)療效分析和安全評定提供數據支撐，以期在后續(xù)臨床科研實踐中得到進一步驗證、優(yōu)化和完善，為提高整個臨床科研課題數據質量提供參考依據。

參考文獻：

[1] 柯惠新，沈浩.調查研究中的統(tǒng)計分析方法[M].北京：中國傳媒大學出版社，2005：324.

[2] 關勛強，李瑞興，劉運成.醫(yī)學研究生教育評價研究與實踐[M].北京：軍事醫(yī)學科學出版社，2001：80-84.

[3] 平衛(wèi)偉，譚紅專.Delphi法的研究進展及其在醫(yī)學中的應用[J].疾病控制雜志，2003，7（3）：244-247.

[4] 曾光，李輝.現代流行病學方法與應用[M].北京：北京醫(yī)科大學中國協(xié)和醫(yī)科大學聯合出版社，1994：250-269.

[5] 陳美娟，陳自佳，劉巖，等.德爾菲法在注意力缺陷多動障礙肝腎陰虛證證候標準兩輪問卷分析中的應用[J].中國中醫(yī)藥信息雜志，2011， 18（4）：4-6.

[6] 張雷強，虞舜.基于德爾菲法的瘀熱相搏證辨證標準研究[J].中國中醫(yī)藥信息雜志，2014，21（12）：29-33.

[7] MEAD D， MOSELEY L. The use of the Delphi as a research approach[J]. Nurs Res，2001，8（4）：4-23.

[8] 李偉良.社會研究的統(tǒng)計應用[M].北京：社會科學文獻出版社，2001：113-114.

（收稿日期：2016-11-20）endprint