盧潔妤 魏志鵬 周文杰，3 楊克虎

（1.西北師范大學(xué)商學(xué)院 甘肅蘭州 730070）

（2.蘭州大學(xué)基礎(chǔ)醫(yī)學(xué)院循證醫(yī)學(xué)中心 甘肅蘭州 730000）

（3.蘭州大學(xué)循證社會(huì)科學(xué)研究中心 甘肅蘭州 730000）

獲得穩(wěn)定、可靠的原始研究證據(jù)，是基于元分析而有效整合研究結(jié)果的基礎(chǔ)，也是展開(kāi)系統(tǒng)評(píng)價(jià)和證據(jù)轉(zhuǎn)化的關(guān)鍵。從測(cè)量的角度看，信度是衡量指標(biāo)可靠性和一致性的基本工具。對(duì)于文獻(xiàn)證據(jù)的檢索而言，信度可用于衡量檢索的穩(wěn)定性、可靠性和一致性。

將文獻(xiàn)證據(jù)檢索進(jìn)行信度評(píng)估，對(duì)保障系統(tǒng)評(píng)價(jià)和元分析的質(zhì)量具有極其重要的理論與實(shí)踐意義。這是因?yàn)橹挥形墨I(xiàn)檢索獲得可靠的原始證據(jù)，系統(tǒng)評(píng)價(jià)和元分析才能據(jù)此產(chǎn)出更高質(zhì)量的證據(jù)整合產(chǎn)品。同時(shí)，只有文獻(xiàn)檢索獲得穩(wěn)定一致的原始證據(jù)，系統(tǒng)評(píng)價(jià)和元分析所獲得的證據(jù)整合結(jié)果才能保證其可信度?；谶@一科學(xué)問(wèn)題，本文以中文文獻(xiàn)最大數(shù)據(jù)庫(kù)CNKI 為對(duì)象，通過(guò)對(duì)社會(huì)科學(xué)領(lǐng)域特定的研究議題相關(guān)原始學(xué)術(shù)文獻(xiàn)的系統(tǒng)性檢索與分析，著眼于信度評(píng)價(jià)的基本理念和指標(biāo)，對(duì)不同途徑的文獻(xiàn)證據(jù)檢索質(zhì)量做出檢索效率評(píng)價(jià)，以期為循證社會(huì)科學(xué)領(lǐng)域的循證研究質(zhì)量評(píng)價(jià)提供理論支撐。

1 研究回顧與理論基礎(chǔ)

1.1 相關(guān)研究回顧

1.1.1 文獻(xiàn)檢索質(zhì)量評(píng)價(jià)系統(tǒng)評(píng)價(jià)（systematic review）是對(duì)一組特定的文獻(xiàn)綜述特性加以有效整合的研究， 通常用來(lái)綜合文獻(xiàn)證據(jù)。文獻(xiàn)檢索是系統(tǒng)評(píng)價(jià)活動(dòng)的基礎(chǔ)工作，也涵蓋了系統(tǒng)評(píng)價(jià)的大部分工作環(huán)節(jié)，且檢索的目標(biāo)是搜集到所有與研究主題相關(guān)的文章。 研究者所檢索到的文獻(xiàn)證據(jù)旨在幫助研究者產(chǎn)生關(guān)于證據(jù)的中立陳述，盡量避免偏倚。 因此，對(duì)文獻(xiàn)證據(jù)的信度加以研究，以確定應(yīng)該如何應(yīng)對(duì)處理不同檢索方式之間的差異，從而增加文獻(xiàn)檢索的透明度，就需要在檢索過(guò)程中針對(duì)不同檢索方式，對(duì)所檢索到文獻(xiàn)內(nèi)含證據(jù)的質(zhì)量及其可靠性進(jìn)行評(píng)價(jià)。

查全率和查準(zhǔn)率是評(píng)價(jià)文獻(xiàn)檢索質(zhì)量的兩種主要傳統(tǒng)指標(biāo)。查全率（recall ratio）是指檢索到的相關(guān)文獻(xiàn)在所有應(yīng)該檢索到的文件集合中的比率。但是，由于“所有文獻(xiàn)”事實(shí)上常常不可得，因此，查全率的分母無(wú)法預(yù)知， 這往往只是一個(gè)虛構(gòu)的值； 查準(zhǔn)率（precision ratio）是指所檢索到的文獻(xiàn)中，被判斷為相關(guān)文獻(xiàn)的比值。查準(zhǔn)率衡量了文獻(xiàn)檢索達(dá)到飽和時(shí)，查找到相關(guān)文獻(xiàn)的概率。 查準(zhǔn)率和查全率呈現(xiàn)了反比關(guān)系。如當(dāng)研究者查找到集合中所有的文獻(xiàn)時(shí)，這也意味著其中就有大量的不相關(guān)文獻(xiàn)，提高了查全率但降低查準(zhǔn)率。 相反，當(dāng)文獻(xiàn)檢索變的精確時(shí)，就會(huì)丟失大量的不相關(guān)文獻(xiàn)，降低了查全率。

Mann提出研究者需要追求更加精確的檢索結(jié)果，因?yàn)檠芯空咂谕麨g覽較少的文獻(xiàn)，在判斷相關(guān)度過(guò)程中也能減少工作量。然而，系統(tǒng)評(píng)價(jià)的特點(diǎn)就是要追求較高的“查全率”，因?yàn)楸疚难芯繘](méi)有辦法確定，所定位的檢索主題是否可以代表現(xiàn)有的全部研究。最好的解決辦法就是盡可能全面的去檢索，避免漏掉規(guī)范檢索之外的重要文章，確保習(xí)慣性的檢索渠道不會(huì)使結(jié)果產(chǎn)生偏倚。 因此，本文所使用數(shù)據(jù)集，延續(xù)了前序關(guān)于飽和度展開(kāi)的研究，使用滾雪球、檢索方式迭代等多種方法，盡可能窮盡檢索與研究主題“社會(huì)認(rèn)識(shí)論”相關(guān)的文獻(xiàn)。

1.2.2 元分析的異質(zhì)性

納入元分析的研究可能在多方面存在差異，如人群、干預(yù)措施的變化、評(píng)估結(jié)果的量表選擇等。 進(jìn)行元分析的第一步就是確定效應(yīng)量在所研究的樣本中的變化，如果效應(yīng)量在所有研究中的變化一致，則關(guān)注其平均值，相反如果效應(yīng)量在不同的研究中存在實(shí)質(zhì)性的變化，就會(huì)產(chǎn)生異質(zhì)性。

當(dāng)系統(tǒng)評(píng)價(jià)中所包含的研究數(shù)量較少時(shí)，會(huì)導(dǎo)致異質(zhì)性的統(tǒng)計(jì)數(shù)據(jù)（如方差、標(biāo)準(zhǔn)差、預(yù)測(cè)區(qū)間、I）不可靠。 異質(zhì)性的問(wèn)題也會(huì)因研究領(lǐng)域的不同而不同，如Cooper 描述當(dāng)采用同一種方法研究同一人群時(shí)，評(píng)估的是具有一致效果的干預(yù)措施的影響，這種情況下異質(zhì)性就會(huì)很小。 相反，當(dāng)研究采用不同方法、不同人群、評(píng)估不同的干預(yù)影響，研究中的異質(zhì)性就會(huì)增強(qiáng)。 元分析的意義就是要將結(jié)論推廣到更大的領(lǐng)域，但是如果研究樣本較少，所有的異質(zhì)性統(tǒng)計(jì)數(shù)據(jù)就會(huì)不可靠，尤其是預(yù)測(cè)區(qū)間，那么結(jié)論在更寬泛的領(lǐng)域中就會(huì)不適用。因此，需要仔細(xì)思考結(jié)論在未來(lái)需要推廣的領(lǐng)域，考慮本文研究中的樣本數(shù)可以在多大程度上代表此結(jié)論。

如果在元分析中沒(méi)有檢驗(yàn)出異質(zhì)性的問(wèn)題，可能會(huì)導(dǎo)致將明顯不同的人群、結(jié)果、環(huán)境和時(shí)間歸為一類。 但是Gene Glass 認(rèn)為，如果出現(xiàn)這樣的情況，可以概括出他們更高一層的共有特征，這樣就可以概括出不同人群、環(huán)境等出現(xiàn)的同一結(jié)論。因此在這種情況下，可以適當(dāng)忽略他們的單一特征，尋找共同的平均效應(yīng)量，從而解釋本文研究可以觀察到的方差及效應(yīng)量。另外，Deeks 等提出一種解決異質(zhì)性的方法：“exclude studies”，一般來(lái)說(shuō)將某些研究排除在外會(huì)導(dǎo)致偏倚，但作者認(rèn)為可以排除一些與本文研究主題不太相關(guān)的研究，前提是要解釋清楚這些不相關(guān)的原因，并且排除之后不會(huì)干擾研究目標(biāo)。后續(xù)需要主要針對(duì)數(shù)據(jù)集中高度相關(guān)文獻(xiàn)和中度相關(guān)文獻(xiàn)做出信度分析，以減少異質(zhì)性。

1.1.3 系統(tǒng)評(píng)價(jià)中的偏倚

系統(tǒng)評(píng)價(jià)的目的是通過(guò)綜合幾個(gè)研究結(jié)果，總結(jié)有關(guān)具體問(wèn)題的最佳研究。在系統(tǒng)評(píng)價(jià)的過(guò)程中，始終使用透明公開(kāi)的程序來(lái)發(fā)現(xiàn)、評(píng)價(jià)、得出結(jié)論，以盡量避免偏倚。但文獻(xiàn)檢索階段，大部分有顯著結(jié)果的研究會(huì)比沒(méi)有顯著結(jié)果的研究更容易發(fā)表，就更容易被納入系統(tǒng)評(píng)價(jià)數(shù)據(jù)，此時(shí)會(huì)出現(xiàn)數(shù)據(jù)丟失的情況，那些未發(fā)表的研究有可能會(huì)高估或低估措施干預(yù)的真實(shí)效果，導(dǎo)致綜合結(jié)果的偏倚，這種偏倚通常成為“發(fā)表偏倚”（publication bias）。

在文獻(xiàn)檢索時(shí)，本文無(wú)法在數(shù)據(jù)庫(kù)中找到所有相關(guān)的研究，并且偏倚還會(huì)隨著研究問(wèn)題特征的變化而變化。 大部分書(shū)目或數(shù)據(jù)庫(kù)只涵蓋已經(jīng)出版的文獻(xiàn)，Chalmers 和Frank強(qiáng)調(diào)，當(dāng)本研究在文章中僅納入并且統(tǒng)計(jì)了已發(fā)表的文章，為了抵消其中的潛在偏倚，應(yīng)該特別注明在評(píng)價(jià)過(guò)程中納入的未發(fā)表文章的影響。 Sterne 等認(rèn)為發(fā)表偏倚的存在可能導(dǎo)致一部分研究無(wú)法在同行評(píng)審（peer-reviewed）的期刊上發(fā)表， 并且已發(fā)表的研究也會(huì)有很大一部分不會(huì)被書(shū)目數(shù)據(jù)庫(kù)索引。 涉及定量研究的系統(tǒng)評(píng)價(jià)在文獻(xiàn)檢索時(shí)應(yīng)調(diào)整檢索策略，盡量減少發(fā)表偏倚的影響。 涉及定性數(shù)據(jù)時(shí)，Booth認(rèn)為可以用不太詳盡的方法，但應(yīng)審查資源范圍內(nèi)的數(shù)據(jù)，確保檢索到足夠種類的信息。 因此必須仔細(xì)考慮獲取文獻(xiàn)的多種渠道，以及本研究所選擇的渠道之間如何相互補(bǔ)充。

1.2 信度的類型與評(píng)估

信度（Reliability）即可靠性，它是指采用同樣的方法對(duì)同一對(duì)象重復(fù)測(cè)量時(shí)所得結(jié)果的一致性程度。信度越高，多次測(cè)量的結(jié)果之間反映的一致性就越大。信度指標(biāo)多以相關(guān)系數(shù)表示，大致可分為三類：穩(wěn)定系數(shù)（跨時(shí)間的一致性），等值系數(shù)（跨形式的一致性）和內(nèi)在一致性系數(shù)（跨項(xiàng)目的一致性）。信度分析的方法主要有以下四種：重測(cè)信度法、復(fù)本信度法、折半信度法、α 信度系數(shù)法。本文主要通過(guò)復(fù)本信度和重測(cè)信度來(lái)檢驗(yàn)文獻(xiàn)檢索所獲證據(jù)的可靠性與穩(wěn)定性。

1.2.1 復(fù)本信度

復(fù)本信度（Parallel-forms Reliability）又稱為等值性系數(shù)，是等值性信度（Equivalence Reliability）的一種，指問(wèn)卷調(diào)查的結(jié)果與另一種非常相似的問(wèn)卷調(diào)查結(jié)果的變異程度。針對(duì)同一組測(cè)試對(duì)象，運(yùn)用兩份內(nèi)容相同但題目不同的問(wèn)卷進(jìn)行測(cè)試，兩次結(jié)果的相關(guān)性程度則為復(fù)本信度。相關(guān)程度越高，復(fù)本信度越高，兩次結(jié)果的一致性越強(qiáng)。

復(fù)本信度的困難在于要編制兩份等同的量表，在實(shí)踐應(yīng)用中會(huì)受到一定程度的限制。 兩份等同量表要包含相同的數(shù)目、類型、難度。比起重測(cè)信度來(lái)，復(fù)本信度避免了記憶效應(yīng)和練習(xí)效應(yīng)，比較適合做長(zhǎng)期追蹤調(diào)查或有難度的測(cè)試。但復(fù)本信度也存在一定的局限，如有些測(cè)驗(yàn)或量表很難找到等同且合適的復(fù)本，其次測(cè)驗(yàn)的性質(zhì)會(huì)由于重復(fù)而發(fā)生改變。 因此，在利用復(fù)本信度做可靠性檢查時(shí)，一方面要注意兩份內(nèi)容測(cè)驗(yàn)的時(shí)間間隔，另一方面，注意分析中出現(xiàn)的負(fù)相關(guān)，并對(duì)這種情況得到的可靠性提出質(zhì)疑。

1.2.2 重測(cè)信度

重測(cè)信度（test-retest reliability）又稱為再測(cè)信度、穩(wěn)定性系數(shù)，是針對(duì)同一組測(cè)試人員，利用相同內(nèi)容的問(wèn)卷在不同的時(shí)間點(diǎn)先后測(cè)試兩次，兩次結(jié)果之間的差異程度。重測(cè)信度是由時(shí)間變化所帶來(lái)的隨機(jī)誤差產(chǎn)生的，反映測(cè)驗(yàn)跨時(shí)間的穩(wěn)定性和一致性。

根據(jù)所測(cè)定特質(zhì)數(shù)據(jù)的表現(xiàn)方式，重測(cè)信度可采用積矩相關(guān)系數(shù)、等級(jí)相關(guān)系數(shù)和列聯(lián)系數(shù)來(lái)表示。從相關(guān)系數(shù)的大小可以判斷，測(cè)量結(jié)果在經(jīng)過(guò)一段時(shí)間后的穩(wěn)定程度。相關(guān)系數(shù)越大，測(cè)量結(jié)果更加一致可靠，重測(cè)信度越高，測(cè)驗(yàn)環(huán)境的隨機(jī)因素帶來(lái)的影響也就越小。

重測(cè)信度適用于異質(zhì)性調(diào)查，尤其是在幾部分內(nèi)容之間不存在相關(guān)性或相關(guān)性較低時(shí)。但由于存在記憶效應(yīng)，重測(cè)的時(shí)間間隔不宜過(guò)長(zhǎng)，并且需要充分考慮重測(cè)過(guò)程中不同的環(huán)境條件帶來(lái)的測(cè)量結(jié)果的誤差。

2 文獻(xiàn)證據(jù)檢索的信度研究設(shè)計(jì)

本研究由兩個(gè)相互獨(dú)立但互為支撐的子研究構(gòu)成，充分考慮了文獻(xiàn)檢索的查全率和查準(zhǔn)率，以及檢索過(guò)程中所帶來(lái)的異質(zhì)性，根據(jù)信度的理念和指標(biāo)，以中文文獻(xiàn)最大的數(shù)據(jù)庫(kù)——CNKI 為對(duì)象，延續(xù)“社會(huì)認(rèn)識(shí)論”為主題的文獻(xiàn)檢索以及飽和度研究結(jié)論，對(duì)不同途徑的文獻(xiàn)檢索質(zhì)量做出評(píng)價(jià)。

首先構(gòu)建數(shù)據(jù)集，將總數(shù)據(jù)集中的高相關(guān)文獻(xiàn)與中相關(guān)文獻(xiàn)按年份分為十組，再應(yīng)用主題、篇名、關(guān)鍵詞、摘要和全文的單項(xiàng)檢索與組合檢索的十年數(shù)據(jù)與總數(shù)據(jù)進(jìn)行匹配，計(jì)算高相關(guān)組的匹配比例與中相關(guān)組匹配比例。 數(shù)據(jù)指標(biāo)用檢索結(jié)果與總數(shù)據(jù)集的匹配比例來(lái)評(píng)估，公式如下：

（1）式中，X 表示檢索結(jié)果與總數(shù)據(jù)集的匹配篇數(shù)，Y 表示總數(shù)據(jù)集中高相關(guān)（或中相關(guān)）的文獻(xiàn)總數(shù)，i 表述不同檢索項(xiàng)（如主題單項(xiàng)檢索，或主題和篇名的組合檢索等），t 表示年份，計(jì)算了研究在2010-2019 年發(fā)表的十年數(shù)據(jù)。

2.1 復(fù)本信度

復(fù)本信度旨在檢驗(yàn)通過(guò)不同途徑的檢索方式，檢驗(yàn)結(jié)果的一致性。應(yīng)用主題、篇名、關(guān)鍵詞、摘要和全文為檢索項(xiàng)，判斷不同途徑的單項(xiàng)檢索或組合檢索項(xiàng)之間的相似程度，對(duì)其查全率和查準(zhǔn)率做出評(píng)價(jià)。 計(jì)算皮爾遜相關(guān)系數(shù)（Pearson correlation coefficient），構(gòu)建檢索項(xiàng)之間的相關(guān)系數(shù)矩陣，公式如下：

（2）式中，皮爾遜相關(guān)系數(shù)ρ的取值范圍在[-1,1]之間，系數(shù)值越大，不同途徑檢索方式的相似程度越高，檢索項(xiàng)的可靠性就越強(qiáng)。 基于評(píng)價(jià)結(jié)果，再提出一個(gè)復(fù)本信度的排序，判斷檢索項(xiàng)的信度高低。

2.2 重測(cè)信度

根據(jù)上述復(fù)本信度排序最高的項(xiàng)目，對(duì)每年的數(shù)據(jù)進(jìn)行重測(cè)，計(jì)算每下一年度與上一年度匹配比例的差值。再依據(jù)十年的比例差值數(shù)據(jù)，計(jì)算不同檢索項(xiàng)的方差和標(biāo)準(zhǔn)差，以評(píng)價(jià)其十年匹配比例的穩(wěn)定性與一致性。 公式如下：

2.3 檢索策略

在CNKI 數(shù)據(jù)庫(kù)中，以“社會(huì)認(rèn)識(shí)論”為搜索詞，應(yīng)用主題、篇名、關(guān)鍵詞、摘要和全文五種檢索方式，單項(xiàng)檢索后再使用運(yùn)算符（AND，OR）進(jìn)行組合檢索，分為二項(xiàng)、三項(xiàng)、四項(xiàng)、五項(xiàng)組合檢索。

OR 運(yùn)算符查找一個(gè)或多個(gè)搜索項(xiàng)的記錄，使用OR 會(huì)使搜索記錄變多，適用于積累相同概念的搜索詞。 如“主題”和“篇名”選項(xiàng)用OR 連接，則會(huì)搜索到“主題”為社會(huì)認(rèn)識(shí)論或者“篇名”為社會(huì)認(rèn)識(shí)論的文獻(xiàn)，是將兩個(gè)小集合組合在一起，聚集成一個(gè)大的集合。AND 運(yùn)算符包含所有條件的結(jié)果，使搜索范圍更加集中，如“主題and 篇名”表示搜索結(jié)果必須同時(shí)滿足主題和篇名均為“社會(huì)認(rèn)識(shí)論”，AND 組合的結(jié)果往往要比單項(xiàng)記錄數(shù)量少。

在這兩種運(yùn)算符條件下，OR 范圍更廣，AND 查找更精準(zhǔn)，本文將對(duì)兩種情況都做出分析，以此來(lái)分析不同檢索情況下查全率與查準(zhǔn)率的不同結(jié)果。

3 文獻(xiàn)證據(jù)檢索的信度研究結(jié)果

3.1 單項(xiàng)檢索的信度檢驗(yàn)

3.1.1 單項(xiàng)檢索與高相關(guān)集信度檢驗(yàn)

單項(xiàng)檢索本文選擇了五種方式：主題、篇名、關(guān)鍵詞、摘要、全文。 將每一項(xiàng)檢索結(jié)果分別從CNKI數(shù)據(jù)庫(kù)中導(dǎo)出，與高相關(guān)數(shù)據(jù)集進(jìn)行比對(duì)，計(jì)算其不同檢索方式的相關(guān)系數(shù)矩陣及匹配差異的離散程度（見(jiàn)表1）。

根據(jù)表1 可以看出，除全文檢索與其他方式不存在相關(guān)性，其他四項(xiàng)之間都存在顯著的相關(guān)性，具體表現(xiàn)如下：

表1 單項(xiàng)檢索與高相關(guān)的相關(guān)系數(shù)矩陣及匹配差異

（1）在0.01 的顯著性水平下，主題檢索與篇名檢索的相關(guān)系數(shù)最大，達(dá)到0.876，說(shuō)明主題與篇名的檢索結(jié)果相似程度最高，可相互替代。再看重測(cè)信度，主題檢索的方差處于五項(xiàng)之中最高，而篇名檢索的方差最低，說(shuō)明以篇名檢索的十年數(shù)據(jù)是最穩(wěn)定可靠的。 因此單項(xiàng)檢索到高相關(guān)文獻(xiàn)時(shí)，可以優(yōu)先選擇篇名檢索。

（2）關(guān)鍵詞檢索的可替代性最強(qiáng)，因?yàn)殛P(guān)鍵詞檢索同時(shí)與主題、篇名、摘要的相關(guān)系數(shù)都達(dá)到了0.8以上，且在0.01 水平上顯著。但基于重測(cè)信度結(jié)果來(lái)看，關(guān)鍵詞檢索的十年匹配比例之差的離散程度為35.3%，較其他結(jié)果處于中間狀態(tài)，數(shù)據(jù)較為穩(wěn)定，因此關(guān)鍵詞檢索結(jié)果比較可取。

（3）主題檢索與篇名、關(guān)鍵詞的相關(guān)系數(shù)均處于前列，且與摘要檢索也在0.05 的顯著水平上，達(dá)到0.646的相關(guān)度。因此主題檢索與這三項(xiàng)的相似程度也比較高，可靠性強(qiáng)，但重測(cè)信度結(jié)果顯示，主題檢索的結(jié)果并不穩(wěn)定，離散程度大。 因此主題檢索應(yīng)謹(jǐn)慎選擇。

（4）另外摘要檢索的復(fù)本信度較高，與關(guān)鍵詞、主題的一致性較強(qiáng)，但重測(cè)結(jié)果并不穩(wěn)定，離散程度較大。全文檢索與其他四種方式都不具有一致性，甚至出現(xiàn)負(fù)相關(guān)的情況，但是近十年匹配度的結(jié)果卻較為穩(wěn)定。

以上綜合復(fù)本信度和重測(cè)信度結(jié)果，提出在進(jìn)行單項(xiàng)檢索時(shí)，優(yōu)先選擇篇名檢索、關(guān)鍵詞次之，主題檢索可以排在兩者之后。 摘要和全文在檢索高度相關(guān)的文獻(xiàn)時(shí)并不可取，因?yàn)閮烧卟荒芡瑫r(shí)滿足復(fù)本信度和重測(cè)信度的一致性與穩(wěn)定性。

3.1.2 單項(xiàng)檢索與中相關(guān)集信度檢驗(yàn)

以篇名為檢索方式總共檢索到30 篇，皆為與“社會(huì)認(rèn)識(shí)論”高度相關(guān)的文獻(xiàn)，因此在中相關(guān)的相關(guān)性分析中，篇名的數(shù)據(jù)無(wú)效。從單項(xiàng)搜索與中相關(guān)數(shù)矩陣（見(jiàn)表2）可以看出，僅有主題檢索與摘要檢索的相關(guān)系數(shù)最高（0.73）且顯著，說(shuō)明檢索中度相關(guān)的文獻(xiàn)用主題檢索和摘要檢索的結(jié)果相似。 再看重測(cè)信度結(jié)果，摘要檢索離散程度9%，說(shuō)明在近十年的匹配度中數(shù)據(jù)較為穩(wěn)定。 因此在檢索中度相關(guān)文獻(xiàn)時(shí)，“摘要”檢索的結(jié)果最為可靠。

表2 單項(xiàng)檢索與中相關(guān)集相關(guān)系數(shù)矩陣及匹配差異

3.2 組合檢索的復(fù)本信度

3.2.1 二項(xiàng)組合檢索復(fù)本信度

二項(xiàng)組合共有十種檢索方式，構(gòu)成一個(gè)10*10的矩陣（見(jiàn)表3）。 表中顯示的數(shù)據(jù)有很明顯的差異，有不顯著、顯著的數(shù)據(jù)，還有出現(xiàn)系數(shù)為1 的情況和無(wú)效數(shù)據(jù)，具體分析如下：

表3 兩項(xiàng)組合檢索的相關(guān)系數(shù)矩陣

（1）二項(xiàng)組合檢索與高相關(guān)集

使用AND 運(yùn)算符的二項(xiàng)組合檢索匹配高相關(guān)數(shù)據(jù)集時(shí)發(fā)現(xiàn)：

第一，“主題and 關(guān)鍵詞”和“全文and 關(guān)鍵詞”的組合檢索均包含關(guān)鍵詞為“社會(huì)認(rèn)識(shí)論”的搜索結(jié)果，用AND 運(yùn)算符，得到的結(jié)果全部為關(guān)鍵詞檢索結(jié)果，因此匹配比例、篇數(shù)等數(shù)值都相等，相關(guān)系數(shù)為1。 “主題and 篇名”和“篇名and 全文”同理。

第二，“主題and 摘要”和“關(guān)鍵詞and 全文”，是唯一一對(duì)沒(méi)有重復(fù)檢索項(xiàng)，且在0.01 水平上，相關(guān)系數(shù)達(dá)到0.9 以上。 說(shuō)明這兩種方式的相似程度很高。其他達(dá)到0.9 相關(guān)系數(shù)的檢索方式，都是因?yàn)闄z索方式之間選擇了重復(fù)項(xiàng)，且使用AND 運(yùn)算符，會(huì)使結(jié)果范圍更窄，更加相近。

第三，“篇名and 關(guān)鍵詞”與“篇名and 全文”，“篇名and 關(guān)鍵詞”與“主題and 篇名”這兩項(xiàng)組合檢索的相關(guān)系數(shù)最高，均達(dá)到了0.978 的一致性，說(shuō)明“篇名and 關(guān)鍵詞”二項(xiàng)組合的檢索結(jié)果檢索到高相關(guān)的可靠性最強(qiáng)。

使用OR 運(yùn)算符的二項(xiàng)組合檢索發(fā)現(xiàn)：“主題or摘要”的可替代性最強(qiáng)，與“主題or 關(guān)鍵詞”“篇名or關(guān)鍵詞”“篇名or 摘要”“關(guān)鍵詞or 摘要”的相似度達(dá)到0.9 以上，并且在0.01 的水平下顯著。 因此在選擇二項(xiàng)組合檢索方式時(shí)，可優(yōu)先選擇“主題or 摘要”的組合來(lái)檢索高度相關(guān)文獻(xiàn)。 其次，根據(jù)系數(shù)矩陣系數(shù)較高的檢索式，還可以選擇“關(guān)鍵詞or 摘要”“篇名or 關(guān)鍵詞”或“篇名or 摘要”。因此，使用OR 運(yùn)算符檢索高相關(guān)文獻(xiàn)可靠性最強(qiáng)的是“主題or 摘要”。

（2）二項(xiàng)組合檢索與中相關(guān)集

由于出現(xiàn)“篇名”單項(xiàng)檢索的文獻(xiàn)都與“社會(huì)認(rèn)識(shí)論” 高度相關(guān)， 再使用AND 運(yùn)算符會(huì)更加縮小范圍，因而不存在中度相關(guān)文獻(xiàn)，出現(xiàn)無(wú)效數(shù)據(jù)?！爸黝}and 摘要”和“關(guān)鍵詞and 摘要”相關(guān)系數(shù)最高（0.837），因此這兩種方式可以相互替代，可靠性較強(qiáng)。

使用OR 運(yùn)算符組合檢索時(shí)，“主題or 摘要”的可替代性也比較強(qiáng)，與“主題or 關(guān)鍵詞”、“主題or 摘要”“篇名or 摘要”“關(guān)鍵詞or 摘要” 的相關(guān)系數(shù)也比較高，因此可以選擇“主題or 摘要”檢索項(xiàng)代替其他。其次，“主題or 關(guān)鍵詞”與“主題or 篇名”的相關(guān)系數(shù)為0.989，且在0.01 水平下顯著，也是復(fù)本信度較高的一項(xiàng)。另外出現(xiàn)“全文”檢索項(xiàng)的組合式之間有很高的相似度，均在0.9 以上，如“主題or 全文”“篇名or 全文”“關(guān)鍵詞or 全文”和“摘要or 全文”。 or 擴(kuò)大了檢索結(jié)果，整合了兩者的集合，使用“全文”搜索項(xiàng)會(huì)檢索出最多的數(shù)據(jù)，且內(nèi)容相近，結(jié)果相差不大。這里提出在使用全文搜索項(xiàng)時(shí)，選擇“主題or 全文”的組合檢索，因?yàn)檫@一組合同時(shí)與其它三項(xiàng)存在很高的相關(guān)性。

3.2.2 三項(xiàng)組合檢索復(fù)本信度

（1）三項(xiàng)組合檢索與高相關(guān)集。從三項(xiàng)組合檢索的相關(guān)系數(shù)矩陣（見(jiàn)表4）可以直觀地看出，當(dāng)運(yùn)用AND 運(yùn)算符檢索與高相關(guān)集的匹配度時(shí)， 幾乎所有檢索項(xiàng)之間都存在相關(guān)性。 最高的系數(shù)達(dá)到0.978，有兩種情況，一種是“主題and 篇名and 關(guān)鍵詞”與“主題and 篇名and 全文”的相似程度很高，另一種是“關(guān)鍵詞and 摘要and 全文”與“主題and 關(guān)鍵詞and 摘要”的相關(guān)系數(shù)也為0.978。 說(shuō)明在這兩種情況下，使用and 檢索高相關(guān)的文獻(xiàn)復(fù)本信度較高，可以相互替代。

表4 三項(xiàng)組合檢索的相關(guān)系數(shù)矩陣

使用or 檢索時(shí)，與上述提到的二項(xiàng)檢索出現(xiàn)了同樣的情況：當(dāng)存在“全文”檢索項(xiàng)，數(shù)據(jù)結(jié)果呈現(xiàn)最大化，檢索結(jié)果相似，匹配比例等數(shù)值相同。 因此可以任意選擇or 連接“全文”選項(xiàng)的檢索式。另外在沒(méi)有“全文”選項(xiàng)時(shí)，凡是出現(xiàn)“主題”項(xiàng)的檢索式，也都存在顯著的相關(guān)性。

（2）三項(xiàng)組合檢索與中相關(guān)集。 使用and 連接時(shí)，三項(xiàng)檢索式較二項(xiàng)檢索更加縮小了范圍。 只要出現(xiàn)“篇名”項(xiàng)，結(jié)果均與“社會(huì)認(rèn)識(shí)論”高度相關(guān)。這也更加明確了本文檢索中度相關(guān)文獻(xiàn)的方式?！爸黝}and 關(guān)鍵詞and 摘要”與“主題and 摘要and全文”的結(jié)果具有相關(guān)性，同時(shí)“主題and 摘要and全文”又與“關(guān)鍵詞and 摘要and 全文”具有相關(guān)性。因此在使用三項(xiàng)檢索式檢索中相關(guān)文獻(xiàn)時(shí)， 優(yōu)先選擇“主題and 摘要and 全文”。

使用or 連接時(shí)，同樣是使用“全文”選項(xiàng)擴(kuò)大了檢索范圍，結(jié)果更加一致。 “主題or 篇名or 關(guān)鍵詞”和“篇名or 關(guān)鍵詞or 摘要”兩種方式都和“主題or篇名or 摘要”，“主題or 關(guān)鍵詞or 摘要”具有很高的相似性，但前者相關(guān)系數(shù)更高為0.906，因此可以選擇“主題or 篇名or 關(guān)鍵詞”的檢索方法，檢索中相關(guān)文獻(xiàn)可以更加方便。

3.2.3 四項(xiàng)組合檢索復(fù)本信度

四項(xiàng)組合檢索由于連接項(xiàng)更多，因此結(jié)果也更偏向一致（見(jiàn)表5）。 And 連接時(shí)相關(guān)系數(shù)最高的是“主題and 篇名and 摘要and 全文”和“主題and 篇名and 關(guān)鍵詞and 摘要”，“篇名and 關(guān)鍵詞and 摘要and 全文”和“主題and 篇名and 摘要and 全文”。 Or連接時(shí)可選擇 “篇名and 關(guān)鍵詞and 摘要and 全文”，可同時(shí)替代其他三種方式。

表5 四項(xiàng)組合檢索的相關(guān)系數(shù)矩陣

中相關(guān)文獻(xiàn)匹配只能使用or 的方法，因?yàn)槎汲霈F(xiàn)“篇名”選項(xiàng)，無(wú)法統(tǒng)計(jì)中度相關(guān)數(shù)值。 而or 的方法也是，出現(xiàn)“全文”選項(xiàng)的檢索式之間，都具有很高的相似性。

3.3 組合檢索的重測(cè)信度

組合檢索的重測(cè)信度以十年數(shù)據(jù)中每下一年度與上一年度匹配比例差的離散程度來(lái)表現(xiàn)，通過(guò)標(biāo)準(zhǔn)差系數(shù)對(duì)不同檢索途徑做出比較（見(jiàn)表6）。

（1）二項(xiàng)組合檢索的重測(cè)信度。通過(guò)二項(xiàng)組合檢索式的年度匹配差異看十年數(shù)據(jù)的穩(wěn)定程度。 從表6 可以看出， 使用and 檢索的策略整體要比or 檢索式的穩(wěn)定性要和好。 在高相關(guān)數(shù)據(jù)集中，“篇名and摘要”的標(biāo)準(zhǔn)差最?。?.15），離散程度最小，但同時(shí)“篇名or 摘要”的標(biāo)準(zhǔn)差達(dá)到0.502，恰好是高相關(guān)集中匹配最不穩(wěn)定的檢索式。 因此想要獲得穩(wěn)定的高相關(guān)匹配數(shù)據(jù)，可以優(yōu)先選擇“篇名and 摘要”。 其次可以選擇“主題or 全文”和“篇名and 關(guān)鍵詞”，離散程度都比較小，數(shù)據(jù)相對(duì)穩(wěn)定。

表6 組合檢索的年度匹配度差異

在中相關(guān)數(shù)據(jù)集中，除去篇名并項(xiàng)檢索的0 值數(shù)據(jù)外，“關(guān)鍵詞and 摘要”標(biāo)準(zhǔn)差系數(shù)最小，“關(guān)鍵詞and 全文”次之。使用or 運(yùn)算符連接“全文”項(xiàng)的組合式標(biāo)準(zhǔn)差值均偏大，離散程度較大，需謹(jǐn)慎考慮。

（2）三項(xiàng)組合檢索的重測(cè)信度。 在三項(xiàng)檢索式與高相關(guān)數(shù)據(jù)集的匹配差異中，“主題or 篇名or 全文”“主題or 摘要or 全文”“主題or關(guān)鍵詞or 全文” 的標(biāo)準(zhǔn)差系數(shù)最小， 為0.146， 說(shuō)明三項(xiàng)組合式只要包含“主題or 全文”，就可以得到相對(duì)穩(wěn)定的數(shù)據(jù)，這一結(jié)論也恰好驗(yàn)證了二項(xiàng)式中，重測(cè)信度較高的“主題or全文”。另外，“主題and篇名and摘要”“篇名and 摘要and 全文”標(biāo)準(zhǔn)差也較?。?.15），同時(shí)包含了篇名與摘要的相同文獻(xiàn)，結(jié)果更加穩(wěn)定。

檢索中相關(guān)文獻(xiàn)使用and 運(yùn)算符會(huì)比使用or 檢索更加可靠，凡是出現(xiàn)“關(guān)鍵詞and 摘要”的三項(xiàng)檢索式，都具有很高的穩(wěn)定性，重測(cè)信度較高；另一方面，“篇名or 關(guān)鍵詞or 摘要”的標(biāo)準(zhǔn)差為0.115，相較相同的連接符的其他選項(xiàng)，離散程度較小，其次是“主題or篇名or 關(guān)鍵詞”為0.128，其它檢索式的結(jié)果都保持在0.17-0.18 之間，相對(duì)這兩項(xiàng)，都不具有穩(wěn)定性。

（3）四項(xiàng)組合檢索的重測(cè)信度。 四項(xiàng)檢索更加驗(yàn)證了之前二、三項(xiàng)的結(jié)果，如出現(xiàn)“主題or 全文”的檢索式，是高相關(guān)數(shù)據(jù)集中最穩(wěn)定的選項(xiàng)，同樣如果出現(xiàn)在中相關(guān)數(shù)據(jù)集中，與二、三項(xiàng)不同，四項(xiàng)的穩(wěn)定系數(shù)變得更高。 因此“主題or 全文”選項(xiàng)的四項(xiàng)檢索式，在兩個(gè)數(shù)據(jù)集中都表現(xiàn)出了較優(yōu)的穩(wěn)定性，離散程度小，重測(cè)信度更高。 其次，出現(xiàn)“篇名and 關(guān)鍵詞and摘要”的四項(xiàng)檢索，是高相關(guān)中的穩(wěn)定結(jié)果，但單獨(dú)這三項(xiàng)組合在高相關(guān)中離散程度并不小，因此需要與其他項(xiàng)組合，來(lái)保證其重測(cè)信度。

（4）五項(xiàng)組合檢索的重測(cè)信度。 五項(xiàng)檢索式只有一種方式，但通過(guò)使用不同運(yùn)算符的，可以看出匹配高相關(guān)文獻(xiàn)集時(shí)， 使用or 連接選項(xiàng)擴(kuò)大搜索范圍，會(huì)比and 檢索的數(shù)據(jù)更加穩(wěn)定；另一方面，匹配中相關(guān)文獻(xiàn)集，由于出現(xiàn)“篇名”選項(xiàng)不會(huì)存在中相關(guān)的結(jié)果，因此只能選擇or 運(yùn)算符，搜索更多的結(jié)果來(lái)計(jì)算其匹配度。

4 討論與結(jié)論

4.1 討論

本文的信度檢驗(yàn)方法融合了時(shí)間方面的重測(cè)和標(biāo)準(zhǔn)途徑方面的復(fù)本方法，因此，更能夠衡量出實(shí)際的檢索質(zhì)量。

從復(fù)本信度來(lái)看，高相關(guān)數(shù)據(jù)集中使用的and運(yùn)算符時(shí)，檢索項(xiàng)之間相似度較高，中相關(guān)集使用or更加相似。 我們認(rèn)為，在檢索高度相關(guān)文獻(xiàn)時(shí)，使用and 運(yùn)算符可以更加精確文獻(xiàn)結(jié)果，范圍變小會(huì)導(dǎo)致結(jié)果存在很大的重復(fù)性，因此檢索項(xiàng)之間的相似度也很高，復(fù)本信度大；另一方面中相關(guān)的文獻(xiàn)集不要求本文的檢索結(jié)果有多精確，反而更要求數(shù)據(jù)是否全面，因而使用or 運(yùn)算符擴(kuò)大搜索范圍，以檢索更多中度相關(guān)的文章，提高查全率。

從重測(cè)信度來(lái)看，在高相關(guān)數(shù)據(jù)集中，“全文”單項(xiàng)檢索的穩(wěn)定性最高，組合檢索出現(xiàn)“主題or 全文”，離散程度很小，結(jié)果最穩(wěn)定。在中相關(guān)數(shù)據(jù)集中，“摘要”單項(xiàng)檢索標(biāo)準(zhǔn)差最小，最穩(wěn)定，后續(xù)的二、三、四、五項(xiàng)組合檢索式，凡是出現(xiàn)“關(guān)鍵詞and 摘要”的組合式，都是中相關(guān)數(shù)據(jù)集中最穩(wěn)定的。這一結(jié)果比較意外，因?yàn)槿臋z索的范圍很大，是一種模糊搜索的方法，按理說(shuō)其信度在高度相關(guān)數(shù)據(jù)集中應(yīng)該屬于較低層次，但結(jié)果并不是。我們認(rèn)為全文檢索的數(shù)量比較多，在每一年份上都比其他方式的數(shù)據(jù)多出幾倍，因此越多的結(jié)果就會(huì)使本文研究越接近真實(shí)的數(shù)據(jù)，每一年份的差異就會(huì)減少，重測(cè)信度得到提升。

4.2 結(jié)論

（1）單項(xiàng)檢索的信度結(jié)果表示，在檢索與研究論點(diǎn)高度相關(guān)文獻(xiàn)時(shí)，“關(guān)鍵詞”檢索在穩(wěn)定性結(jié)果方面更優(yōu)，如果要求更加全面的結(jié)果，可以選擇“主題”檢索。但“篇名”檢索綜合二者優(yōu)勢(shì)，為最優(yōu)選擇。在檢索中度相關(guān)文獻(xiàn)時(shí)，“摘要”檢索的結(jié)果最可靠。

（2）二項(xiàng)組合檢索式由于各項(xiàng)之間存在重復(fù)，大部分檢索項(xiàng)之間都存在很高的相似性。 “篇名and 關(guān)鍵詞”與其他具有顯著相關(guān)性的檢索項(xiàng)匹配系數(shù)最高，且重測(cè)信度檢驗(yàn)也是最穩(wěn)定的，因此高相關(guān)集檢索優(yōu)先選擇“篇名and 關(guān)鍵詞”；其次，在中相關(guān)的系數(shù)矩陣中，復(fù)本相似度最高的一組是“主題and 摘要”和“關(guān)鍵詞and 摘要”，這兩組后者的穩(wěn)定性更強(qiáng)，優(yōu)先選擇后者；另外“主題or 摘要”在查找高相關(guān)和中相關(guān)文獻(xiàn)時(shí)可以替代多種檢索方法，搜索結(jié)果最全面，包容性強(qiáng)。

（3）三項(xiàng)組合檢索式中，綜合相似程度與數(shù)據(jù)離散程度，在查找高相關(guān)文獻(xiàn)可以選擇“主題and 篇名and 關(guān)鍵詞”，or 連接時(shí)復(fù)本信度結(jié)果也是最優(yōu)選擇，但穩(wěn)定性不高。因此可以嘗試主題、篇名與關(guān)鍵詞的并集組合；另一方面“主題and 摘要and 全文”和“主題or 篇名or 關(guān)鍵詞”分別可以作為兩種運(yùn)算符檢索中度相關(guān)文獻(xiàn)的高復(fù)本信度結(jié)果，重測(cè)信度結(jié)果前者更穩(wěn)定。

（4）四項(xiàng)組合時(shí)推薦使用“主題and 篇名and 摘要and 全文”的檢索式，重測(cè)信度表現(xiàn)最為穩(wěn)定，復(fù)本信度結(jié)果中，與高度相關(guān)數(shù)據(jù)集匹配適用，與中度相關(guān)文獻(xiàn)匹配時(shí)，使用or 邏輯運(yùn)算符連接也同樣可以適用。

（5）五項(xiàng)組合檢索式只能從重測(cè)信度角度來(lái)看，or 運(yùn)算符在任意數(shù)據(jù)集中都會(huì)表現(xiàn)的更穩(wěn)定可靠。

本文基于循證視角，對(duì)文獻(xiàn)證據(jù)檢索的信度進(jìn)行了研究，探索了不同檢索途徑的復(fù)本信度與重測(cè)信度。憑借信度評(píng)價(jià)指標(biāo)，保證證據(jù)檢索的穩(wěn)定性與一致性，在為系統(tǒng)評(píng)價(jià)和元分析提供更高質(zhì)量證據(jù)的基礎(chǔ)上，有望為整個(gè)科學(xué)領(lǐng)域的循證研究質(zhì)量評(píng)價(jià)提供理論支撐，并為循證社會(huì)科學(xué)等領(lǐng)域的的系統(tǒng)評(píng)價(jià)和元分析提供更高效、可靠的文獻(xiàn)檢索方法。