周文杰

（1.西北師范大學(xué)商學(xué)院 甘肅蘭州 730070）

1 研究背景

研究前沿的探測對于科學(xué)研究趨向的判別、科技政策的制定和科學(xué)研究資源的優(yōu)化配置都具有重要意義。在科學(xué)學(xué)及相關(guān)學(xué)科領(lǐng)域，研究者應(yīng)用多種技術(shù)對科學(xué)研究和技術(shù)發(fā)展的前沿展開了預(yù)測。然而，研究者針對特定科學(xué)領(lǐng)域所預(yù)測的前沿真的能夠有效代表該領(lǐng)域的研究方向嗎？本研究通過文獻調(diào)查發(fā)現(xiàn)，這一重要問題迄今并未得到清晰回答?；谶@一研究現(xiàn)狀，有必要通過對共詞分析所識別的研究前沿的效標(biāo)關(guān)聯(lián)效度進行檢驗，以便對研究前沿識別的有效性做出判斷。之所以選擇以效標(biāo)關(guān)聯(lián)效度作為衡量研究前沿預(yù)測有效性的標(biāo)尺，是因為這種效度檢驗方法已經(jīng)在測量領(lǐng)域得到了普遍應(yīng)用，是檢驗測量有效性最成熟、效率最高的工具之一。而選擇以共詞分析作為科學(xué)計量領(lǐng)域探測研究前沿的代表性方法，則是因為相對于引文分析等傳統(tǒng)方法，共詞分析具有時效性強、直接針對主題展開分析等諸多優(yōu)勢，因此在科學(xué)計量領(lǐng)域具有更廣闊的應(yīng)用前景。

綜上所述，結(jié)合科學(xué)計量領(lǐng)域?qū)τ谘芯壳把靥綔y的有效性檢驗相對薄弱這一現(xiàn)狀，本研究擬通過自然語言處理，以來自CNKI的學(xué)術(shù)文獻題錄及全文為對象，應(yīng)用歷時分析的方法，對基于共詞分析所探測的研究前沿與通過科學(xué)計量領(lǐng)域常用的工具所識別的研究熱點之間進行相關(guān)分析，以便對共詞分析在研究前沿判別中的效標(biāo)關(guān)聯(lián)效度進行全面檢驗，從而不僅為基于共詞而探測研究前沿的有效性做出評判，更為科學(xué)計量領(lǐng)域豐富和發(fā)展研究前沿探測的理論與技術(shù)提供可資借鑒的參照。

2 理論基礎(chǔ)與研究回顧

2.1 效度與效標(biāo)關(guān)聯(lián)效度

效度（validity）是衡量測量結(jié)果有效性或正確性的基本指標(biāo)。經(jīng)過教育學(xué)、心理學(xué)、管理學(xué)、社會學(xué)等領(lǐng)域研究者的共同發(fā)展，效度檢驗已成為檢驗測量有效性的基本途徑。效度檢驗有多種具體指標(biāo)和方法，其中效標(biāo)關(guān)聯(lián)效度因效率高、結(jié)果穩(wěn)定、操作過程簡單而被廣泛應(yīng)用于研究有效性的測度之中。

效標(biāo)關(guān)聯(lián)效度是一種通過衡量一個測量得分與一些預(yù)測結(jié)果變量之間的相關(guān)性，從而對測量結(jié)果的有效性進行評判的效度檢驗方法。在效標(biāo)關(guān)聯(lián)效度檢驗中，結(jié)果變量被稱為效標(biāo)。根據(jù)測量理論，同時效度和預(yù)測效度是效標(biāo)關(guān)聯(lián)效度的兩種主要形式。所謂同時效度，是指研究者在取得所關(guān)注的指標(biāo)得分的同時也獲得相應(yīng)效標(biāo)的測量分?jǐn)?shù)的一種檢驗形式。所謂預(yù)測效度，是指研究者在獲得測量分?jǐn)?shù)之后再獲取效標(biāo)得分的一種檢驗形式。

由于本研究所關(guān)注的是基于共詞分析而預(yù)測的研究前沿是否具有有效性問題，因此選用預(yù)測效度作為主要評價指標(biāo)。

2.2 研究前沿預(yù)測

研究前沿預(yù)測已得到了科學(xué)學(xué)及相關(guān)領(lǐng)域研究者的普遍關(guān)注（如邱 均平 等、程賽琰等）。 截至2017年9月3日，僅在CNKI收錄的文獻中，其主題、題名或關(guān)鍵詞中含有 “研究前沿”的文獻已達10，562篇之多。對于研究前沿的預(yù)測，不同的研究者常常使用不同的方法。許曉陽等通過文獻調(diào)研后將研究前沿識別的方法總結(jié)為三類，即，基于引用關(guān)系的方法、基于文本內(nèi)容的方法和基于復(fù)合關(guān)系的方法。其中，共被引、文獻耦合和直接引用是基于引用關(guān)系方法的主要類型，高頻、共詞和文本挖掘方法是基于文本內(nèi)容方法的主要類型，而上述方法的結(jié)合使用構(gòu)成了復(fù)合關(guān)系分析方法。本研究將20082—2017年CNKI數(shù)據(jù)庫中各種研究前沿預(yù)測方法的應(yīng)用情況做一概括（見圖1）。

圖1 2008-2017年CNKI中關(guān)于研究前沿探測的論文使用方法

由圖1可見，共詞分析與引文分析、文獻耦合等方法一起，是研究前沿預(yù)測中使用最普遍的方法之一。如前文所述，相對于基于引文的分析方法，共詞分析因針對詞和文本本身展開分析，具有更高的時效性，因此在科學(xué)計量領(lǐng)域關(guān)于研究前沿的探測中具有更加廣泛的應(yīng)用前景?？梢灶A(yù)見，在未來研究者關(guān)于研究前沿的預(yù)測中，共詞分析方法將進一步得到普及。

綜上所述，雖然科學(xué)計量及相關(guān)領(lǐng)域應(yīng)用包括共詞分析在內(nèi)的多種方法針對研究前沿預(yù)測已展開了大量研究，但對于所預(yù)測的研究前沿有效性的檢驗相對薄弱。本研究正是針對這一研究現(xiàn)狀，基于自然語言處理，將題名、摘要、關(guān)鍵詞和全文等四種分析單元納入分析范疇，通過歷時共詞分析，對研究前沿預(yù)測的預(yù)測效度進行評價，以期為科學(xué)計量領(lǐng)域基于共詞而展開的研究前沿預(yù)測提供可資借鑒的理論和實踐參照。

3 研究設(shè)計

3.1 邏輯框架與操作性定義

在本研究中，預(yù)測效度評估的主要目標(biāo)是檢驗基于共詞而預(yù)測的研究前沿的預(yù)測效度。為實現(xiàn)此目標(biāo)，首先需要確定一個可用于對照的效標(biāo)。而確定效標(biāo)的基本邏輯是：如果所識別的研究前沿具有較高的預(yù)測效度，則基于前一期語料而識別的研究前沿在后一期 （或幾期）語料中恰恰應(yīng)該成為研究熱點。因此，后一期（或幾期）語料所識別的研究熱點將被作為效標(biāo)。這一邏輯進而可以操作化為如下研究過程：首先，將本研究擬分析的全部語料（1988-2017年，共三十年）分為三期，每期十年；其次，分別識別各期語料的研究熱點；最后，由于前一期所預(yù)測的研究前沿恰恰對應(yīng)著后一期（或幾期）的研究熱點，因此，通過將探測到的研究前沿與跨時期研究熱點進行相關(guān)分析，就可以識別出研究前沿的預(yù)測效度。

3.2 數(shù)據(jù)來源

本研究選擇了一個發(fā)展相對成熟，邊界比較清晰的學(xué)科——動物學(xué)為分析對象，下載了1988年以來該學(xué)科發(fā)表于中文學(xué)術(shù)期刊并收錄于CNKI數(shù)據(jù)庫的全部文獻的題名、摘要和關(guān)鍵詞等題錄信息。通過數(shù)據(jù)清洗，剔除了其中重復(fù)收錄、書評等題錄信息，最終獲得55374條記錄以備分析。進而通過隨機抽樣，從這些記錄中隨機抽取了1500篇文獻（每十年500篇）以備分析。

3.3 分析步驟

第一，應(yīng)用Python 3.5，對題名、摘要和全文進行了分詞并識別了詞性。

第二，提取上述分詞結(jié)果中的高頻名詞，并會同關(guān)鍵詞一起，建成高頻詞矩陣。在四個分析單元（題名、摘要、關(guān)鍵詞和全文）上每十年建一個矩陣，并建成了總語料的共詞矩陣。共建成歷時共詞矩陣12個，總矩陣4個。

第三，應(yīng)用 Sci中的“爆發(fā)詞探測”功能，針對各期語料進行研究前沿的探測，識別各期的前沿研究問題。

第四，應(yīng)用Sci對基于各期語料而建成的共詞矩陣進行中心度分析，識別各期的研究熱點。

第五，比較分析所識別的研究前沿與后一期（或幾期）研究熱點的相似性，以此確定預(yù)測效度。

4 研究結(jié)果

4.1 逐期識別的爆發(fā)詞與熱點詞比較

在Sci軟件中，通過爆發(fā)詞探測實現(xiàn)對研究前沿識別的功能。本研究逐期識別了“動物學(xué)”領(lǐng)域研究的爆發(fā)詞。同時，利用Sci所計算的各種中心度指標(biāo)（算法），識別了相應(yīng)時期的熱點詞。

根據(jù)研究設(shè)計，本文將以后一期（或幾期）研究熱點為效標(biāo)，對前一期所探測的研究前沿進行效標(biāo)關(guān)聯(lián)效度的檢驗。其基本思路是，如果所探測到的爆發(fā)詞確實能夠代表研究前沿，則前一期的爆發(fā)詞在其后一期（或幾期）會變成熱點詞。依據(jù)這一思路，本研究展示了三個時期Sci所探測到的爆發(fā)詞和熱點詞（見表1）。通過對比得分處于前三位的爆發(fā)詞和熱點詞發(fā)現(xiàn)，大多數(shù)爆發(fā)詞并沒有成為滯后一期（或幾期）的熱點詞。由此可以得出一個初步結(jié)論，即探測到的爆發(fā)詞對于研究前沿的代表性存在一定效度風(fēng)險。

4.2 爆發(fā)詞與熱點詞匹配情況分析

通過比較不同分析單元下Sci探測到的爆發(fā)詞與熱點詞，初步識別出基于“爆發(fā)詞”所探測到的研究前沿與其后各期所識別的研究熱點之間存在著很大的差異。為進一步確認(rèn)這種差異之于效度的影響，本研究進而對前一期所探測到的爆發(fā)詞與后一期識別到的熱點詞進行了匹配。從理論上講，一些研究問題之所以能夠被稱為前沿，是因為在過一段時期之后，這些研究問題將演變成熱點。顯然，如果所探測到的前沿最終在其后一段時期內(nèi)都沒有演變成熱點研究問題，則這種前沿探測的效度就非常值得懷疑。將表1中三個時期的爆發(fā)詞與熱點之間的匹配情況進行對比（見表2），通過在四個分析單元上分別進行前一期探測到的前沿與后一期識別出的熱點的匹配發(fā)現(xiàn)，在四個單元上，匹配詞差別仍然很大。而且，針對1988-1997年隨機抽樣得到的全文樣本所探測到的爆發(fā)詞與1998-2007年基于隨機抽樣而得到的全文樣本所識別的研究熱點進行匹配后發(fā)現(xiàn)，這兩組詞能夠完全匹配的只有6個詞。

結(jié)合表1和表2綜合分析可見，爆發(fā)詞與熱點詞之間匹配的一致程度較低。在此狀況下，如果以爆發(fā)詞作為研究前沿的表征，以熱點詞作為研究熱點的表征，再以后一期研究熱點為前一期研究前沿的效標(biāo)進行衡量，現(xiàn)有爆發(fā)詞探測的方法確實存在很高的效度風(fēng)險。

表1 基于題名逐期識別的研究前沿與研究熱點（前三位）

表2 爆發(fā)詞與熱點之間匹配情況對比

4.3 以熱點詞識別的綜合得分為效標(biāo)的效度分析

上文已經(jīng)檢測出以滯后期熱點詞為效標(biāo)時，爆發(fā)詞探測所識別的前沿可能存在的效度風(fēng)險。這種風(fēng)險最終到底是導(dǎo)致了無效度還是低效度？這種效度狀況是否會因為時期的改變而有所改變呢？為了回答這一系列問題，本研究進而對不同時期爆發(fā)詞的權(quán)重與熱點詞的中心度綜合得分的標(biāo)準(zhǔn)分進行了相關(guān)分析。

在 Sci中，主要使用 Authority_score_hits、Page_rank、Authority_hits和 Eigen_centrality四種算法進行研究熱點的識別。為詳細分析Sci的爆發(fā)詞探測功能所探測到的爆發(fā)詞與該軟件所識別的研究熱點之間的相關(guān)程度，本研究從綜合指標(biāo)和個體指標(biāo)兩個層次上計算了相關(guān)系數(shù)。

在綜合指標(biāo)的層次上，本研究計算了Sci用以識別研究熱點的四種算法的標(biāo)準(zhǔn)分并求和，從而形成了一個熱點詞中心度的綜合得分，并列出前一期探測到的研究前沿（即爆發(fā)詞的權(quán)重得分）與滯后一期所識別的研究熱點的綜合得分 （即四個單項指標(biāo)Z分?jǐn)?shù)之和）之間的相關(guān)系數(shù)（見表3）?？梢钥闯觯谒膫€分析單元上，1988-1997年所探測到的研究前沿與1998-2007年和2008-2017年兩個時期所識別的研究熱點均無統(tǒng)計意義上的顯著相關(guān)。簡言之，從綜合得分的角度看，如果以近期（滯后一期）和遠期（滯后二期）研究熱點為效標(biāo)，Sci所探測的研究前沿沒有檢測出效標(biāo)關(guān)聯(lián)效度。但從表3也可以看出，基于1998-2007年的語料探測到的研究前沿與基于2008-2017年語料所識別的研究熱點均顯著相關(guān)。就題名、摘要和關(guān)鍵詞而言，由于1998-2007年語料與1988-1997年語料的區(qū)別僅僅在于前者數(shù)量更多，據(jù)此可以認(rèn)為，語料數(shù)量的多少對于這三種分析單元下研究前沿探測有明顯影響。然而，由于本研究的目標(biāo)僅僅是對研究前沿探測的效度進行檢驗，對于語料數(shù)量臨界值的判定，尚需在后續(xù)研究中展開。盡管語料的數(shù)量不產(chǎn)生明顯影響，但存在明顯的效度不穩(wěn)定性。導(dǎo)致這種不穩(wěn)定性產(chǎn)生的因素也需要后續(xù)研究的確認(rèn)。另外，從綜合指標(biāo)來看，在語料數(shù)量充足的情況下，基于全文探測到的前沿與滯后一期的研究熱點系數(shù)最高，摘要次之。據(jù)此可以認(rèn)為，全文和摘要在研究前沿探測方面效率更高、效果更好。

表3 探測到的研究前沿與綜合得分滯后各期識別的研究熱點之間的相關(guān)系數(shù)

4.4 以熱點詞識別的單項指標(biāo)為效標(biāo)的效度分析

本研究以Sci的算法上的得分為效標(biāo)，進一步檢驗了爆發(fā)詞在研究前沿預(yù)測方面的效度（見表4）。

從表4中可以發(fā)現(xiàn)，與綜合指標(biāo)相類似，當(dāng)以單項指標(biāo)所識別的研究熱點的中心度為效標(biāo)時，呈現(xiàn)出語料較少時無效度而語料較多時有效度的現(xiàn)象。具體來說，在應(yīng)用Authority_score_hits算法所獲得的熱點詞得分為效標(biāo)時，在四個分析單元上，基于1988-1997年的語料而探測到的爆發(fā)詞得分與滯后一期（1998-2007年）和滯后兩期（2008-2017年）的熱點度得分均不存在統(tǒng)計意義上的相關(guān)性。進一步對基于1998-2007年的語料計算爆發(fā)詞權(quán)重得分，然后與基于2008-2017年語料而計算的熱點詞得分進行相關(guān)分析，發(fā)現(xiàn)在四個分析單元上，相關(guān)系數(shù)都是顯著的，而基于全文的相關(guān)系數(shù)最高，摘要和題名次之，關(guān)鍵詞最低。上述發(fā)現(xiàn)與基本綜合指標(biāo)而得到的結(jié)論基本一致。但是，也需要注意到，基于全文而識別出的爆發(fā)詞與滯后二期的熱點詞之間匹配度非常小，以至于無法計算出二者的相關(guān)系數(shù)。從Page_rank計算出的熱點度來看，這種趨勢與Authority_score_hits算法大體一致。略有不同的是，Page_rank在題名和全文兩個分析單元上，滯后一期有效度。也就是說，以page_rank為研究熱點識別工具時，所識別的研究熱點與基于爆發(fā)詞而探測到的研究前沿之間一致相對較高。Authority_hits和Eigen_centrality兩種算法則表現(xiàn)出明顯的不同：在以全文為分析單元時，無論語料數(shù)量、無論滯后幾期均沒有檢驗出顯著的效標(biāo)關(guān)聯(lián)效度；而在另外三個分析單元上，仍然表現(xiàn)出效度與語料數(shù)量之間的關(guān)聯(lián)性。

5 討論

5.1 研究前沿的探測存在明顯的語料數(shù)量依賴性

從上文所列出的分析結(jié)果來看，基于題名、摘要和關(guān)鍵詞而探測到的爆發(fā)詞與滯后一期和滯后兩期的熱點之間存在明顯不同。由于除語料數(shù)量之外的其他因素都沒有改變，因此，大致可以確認(rèn)語料的數(shù)量對于所探測出的研究前沿產(chǎn)生了影響。這一現(xiàn)象的啟示是，在對研究前沿進行探測時，首先需要足夠數(shù)量的語料支撐。顯然，所確定的語料數(shù)量不足，則難以確保所探測到的研究前沿的有效性；但如果語料數(shù)量過多，則會使研究前沿探測的可行性和效率大打折扣。囿于本研究的議題，用于前沿探測的語料數(shù)量臨界值的確定尚需要在后續(xù)研究中完成。

5.2 不同分析單元和指標(biāo)對于研究前沿探測的作用不同

由上文的分析可以看出，基于題名、摘要、關(guān)鍵詞和全文四種不同的分析單元所探測到的研究前沿具有不同的預(yù)測效度。這對于科學(xué)計量領(lǐng)域的研究者所產(chǎn)生的啟示是，研究前沿的探測需要綜合運用多種指標(biāo)和算法，而不能僅僅基于一種分析單元，完全依賴于Burst detection一種算法。就本研究所使用的工具和指標(biāo)來看，有一些指標(biāo)在某些分析單元上的預(yù)測效度高，而在其他分析單元上的預(yù)測效度低?？梢?，著眼于“精準(zhǔn)”預(yù)測研究前沿，未來，科學(xué)計量領(lǐng)域的研究者很可能需要使用一整套基于不同單元使用不同指標(biāo)的綜合計算方法，以便使所探測到的研究前沿預(yù)測效度最高。

表4 探測到的研究前沿與四種算法滯后一期識別的研究熱點之間的相關(guān)系數(shù)

5.3 前沿存在時效性問題

本研究以十年為期，分別識別了各期的研究前沿與熱點。但是，研究前沿是一個有明顯時效性的概念。以十年為一期，固然能夠做出歷時的分析，但對于前沿分析的時間 “粒度”仍然缺乏客觀統(tǒng)一的標(biāo)準(zhǔn)。為此，科學(xué)計量領(lǐng)域的研究仍需要關(guān)注研究前沿預(yù)測的時效性問題。由于研究前沿預(yù)測的時效性不僅關(guān)乎預(yù)測的效度，也關(guān)乎預(yù)測本身的質(zhì)量。因此，對于研究前沿預(yù)測的時效性進行深度解析具有相當(dāng)?shù)睦碚撆c現(xiàn)實意義。

6 結(jié)語

本研究基于動物學(xué)領(lǐng)域30年來的中文學(xué)術(shù)文獻，應(yīng)用自然語言處理方法，并選用了科學(xué)計量領(lǐng)域的一個典型工具Sci，對不同分析單元下的語料所探測的研究前沿的預(yù)測效度進行了解析，發(fā)現(xiàn)一下幾點：首先，無論基于何種分析單元，基于爆發(fā)詞進行研究前沿的預(yù)測都存在一定的效度風(fēng)險；其次，相對而言，全文在研究前沿預(yù)測中的效度最高，而題名、摘要和關(guān)鍵詞的預(yù)測效度則明顯受到語料數(shù)量的影響；第三，如果以不同單項指標(biāo)（算法）所識別的研究熱點為效票，基于不同分析單元所探測的研究前沿的效度存在著不一致的情況。

通過上述研究步驟，本研究初步回答了預(yù)期的研究問題，但也存在一些局限。如上文所述，囿于研究選題，關(guān)于語料數(shù)量的臨界值、研究前沿預(yù)測的時間粒度等問題在本研究中都尚未得到解決。對這些問題的深入解析，尚需后續(xù)更多研究的持續(xù)跟進。

參考文獻：

［1］鄭日昌.心理與教育測量［M］.北京：人民教育出版社，2011：93.

［2］Ying Ding.Ronald Rousseau and Dietmar Wolfram，Measuring Scholarly Impact［M］.Springer International Publishing Switzerland，2014：261.

［3］張洪秀.教育測量與評價方法［M］.長春：吉林大學(xué)出版社，2014:59.

［4］Elazar J Pedhazur，Liora Pedhazur Schmelkin.Measurement，Design，and Analysis：An Integrated Aproach［M］.Lawrence Erlbaum Association，1991：69.

［5］（美）格雷戈.施俊琦，譯.心理測量：歷史、原理及應(yīng)用［M］.北京：機械工業(yè)出版社，2012：104.

［6］王孝玲.教育測量［M］.上海：華東師范大學(xué)出版社，2004：170.

［7］邱均平，溫芳芳.近五年來圖書情報學(xué)研究熱點與前沿的可視化分析——基于13種高影響力外文源刊的計量研究［J］.中國圖書館學(xué)報，2011，37（2）:51-60.

［8］程賽琰，丁磊，魏淑娟.基于知識圖譜分析的電子政務(wù)研究現(xiàn)狀、熱點與趨勢［J］.圖書與情報，2013（1）:116-123.

［9］許曉陽，鄭彥寧，趙筱媛，等.研究前沿識別方法的研究進展［J］.情報理論與實踐，2014，37（6）：139-144.

［10］趙蓉英，吳勝男.基于戰(zhàn)略坐標(biāo)圖的我國館藏資源研究主題分析［J］.圖書與情報，2013（2）：88-92.

［11］Scihomepage［EB/OL］.［2017-10-04］.https://sci2.cns.iu.edu/user/index.php.