王曉慧 韓蓓蓓
遼寧師范大學政府管理學院 大連 116029
作為科研成果展示和交流的重要載體,學術期刊的影響力一直是學界及期刊界關注重點。為提升影響力,學術期刊往往傾向于跟隨某一特定或權威期刊評價方法采取簡單、直接的措施,諸如依據(jù)中文社會科學引文索引(CSSCI)評價體系中有關引用率的計算方法,眾多期刊直接通過降低期刊發(fā)文總量的方式來實現(xiàn)期刊引用率提升的效果。此類措施雖然在提升期刊的評價分值方面具有立竿見影之效,但從核心期刊存在的根本——優(yōu)秀的文章質(zhì)量而言,降低發(fā)文量之類的行為并不會對提升期刊論文質(zhì)量形成建設性幫助。從期刊的角度,給予學術論文創(chuàng)作者具體的、可執(zhí)行的指導性建議,從而推動優(yōu)秀研究成果的形成,或是提升期刊影響力的根本途徑。為此,有學者認為期刊有必要開展選題策劃并為學者定期提供選題指南[1-3]。目前,已有一些學者針對期刊選題策劃的必要性、提升選題質(zhì)量的路徑等內(nèi)容開展了研究,但關于選題指南在實踐中是否有助于期刊影響力的提升以及選題指南本身的質(zhì)量如何作用于期刊影響力等方面的研究卻較為薄弱。鑒于此,本文利用合成控制法對選題指南的實施效果展開定量研究,并為學術期刊影響力的提升提供些許參考。
選題指南可被視為期刊加強自身建設的一種政策干預,其實施效果可以通過期刊的學術影響力的變化來體現(xiàn),選題指南對期刊學術影響力的作用效果可以利用政策效果評價的方法進行量化評估[4]。目前大多數(shù)研究者通常采用斷點回歸法、雙重差分法、雙重傾向得分匹配法等方法來評估政策的實施效果,但這些方法都會在一定程度上造成內(nèi)生性和選擇偏差的問題[5]。因此,基于數(shù)據(jù)可獲得性和期刊數(shù)據(jù)的特點,對于選題指南實施效果的評估可以采用在雙重差分法的基礎上發(fā)展起來的一種非參數(shù)方法——合成控制法(Synthetic Control Method,SCM)來進行研究。
合成控制法是由Abadie等[6]于2003年所提出的一種評估政策執(zhí)行效果的方法,該方法的研究思路是:首先將研究對象劃分為直接受某政策影響的實驗組以及不受該政策影響的控制組,然后通過對控制組賦予多個不同權重構建出一組虛擬控制組,并對實驗組的實際觀察結果與構造的虛擬控制組的觀察結果進行比較研究,其差量即為政策效果。合成控制法的優(yōu)勢在于通過數(shù)據(jù)特征來確定虛擬控制組的最優(yōu)權重并構造出反事實狀態(tài),可以明確地展示實驗組和虛擬政策實施之前的控制組之間的相似程度,避免了因主觀選擇偏誤而引起的內(nèi)生性問題[5]。近年來,合成控制法在經(jīng)濟學等領域得到廣泛應用[7],其中圖情檔領域的學者利用合成控制法對圖書館條例[8]、數(shù)據(jù)公開[4]等政策的實施效果進行研究分析。
為全面深入地分析選題指南對期刊學術影響力的作用,本文以圖情檔學科的學術期刊作為研究對象。根據(jù)學術期刊的質(zhì)量、學術貢獻和學術影響力的不同可將其劃分為核心期刊與非核心期刊,其中核心期刊更為注重在選題和選稿的質(zhì)量把控,而部分非核心期刊或存在選題不精良、選稿混亂等問題。因此,分別針對核心期刊(來自《中文社會科學引文索引(CSSCI)來源期刊目錄(2021—2022)》)和非核心期刊進行研究。本次研究將圖情檔學科中最早發(fā)布選題指南的核心期刊A作為研究對象,并將未發(fā)布過選題指南的11種圖情檔核心期刊作為控制組(分別以數(shù)字“1-11”對這11種期刊進行依次編號);非核心期刊的研究對象為2017年開始發(fā)布選題指南的非核心期刊B,同時選擇未發(fā)布過選題指南且影響因子等特征與期刊B實力相當?shù)?1種非核心期刊作為控制組(以“12-22”為編號)。
為有效衡量學術期刊的學術影響力,將學術期刊的復合影響因子作為被解釋變量。復合影響因子是指被評價期刊前2年的可被引文獻在統(tǒng)計年的被引總次數(shù)與該期刊在前2年發(fā)表的文獻總量之比,復合影響因子統(tǒng)計了期刊、學位論文和會議論文,是反映期刊近期學術影響力的重要指標[9]?;趯W術期刊的特點,選擇發(fā)文周期、刊齡和年載文量作為預測變量。為提高擬合度和分析結果的準確度,根據(jù)研究對象的具體情況,將核心期刊2009年和2014年的復合影響因子作為預測變量,非核心期刊的2012年和2016年的期刊復合影響因子作為預測變量。為減小隨時間變化其他因素對期刊復合影響因子的影響,從而明晰選題指南的實施效果,本文以發(fā)布選題指南后兩年作為實施效果的檢測時間段。研究數(shù)據(jù)來自于中國引文數(shù)據(jù)庫中2009—2017年核心期刊數(shù)據(jù)和2009—2019年非核心期刊數(shù)據(jù)。
針對核心期刊A進行研究,使用Stata15軟件中的Synth程序包進行數(shù)據(jù)分析,研究對象由真實期刊A和虛擬的合成期刊A構成,1-11號期刊為控制組,通過Stata15軟件賦予其中某些期刊權重后組合的方法來構建合成期刊A。構建的標準是合成期刊A在2015年發(fā)布選題指南的基本情況與期刊A的真實情況趨于一致,賦予權重的標準是將發(fā)布選題指南之前期刊A和合成期刊A的復合影響因子的均方預測誤差最小化。利用Stata15進行數(shù)據(jù)分析,得出一個由期刊2、期刊3、期刊5和期刊11所組成的合成期刊A,具體權重組合如表1所示。
表1 核心期刊合成控制組的權重組合
在表1的權重組合下,即可計算合成期刊A的復合影響因子在樣本期間的演化過程。使用Synth的程序包對模型進行分析,得出期刊A和合成期刊A在2015年之前的預測變量的情況,通過對比,可以對該期刊A和合成期刊A在發(fā)布選題指南之前的情況的擬合程度進行分析,如表2所示。由表2可知,合成期刊A在刊齡、發(fā)文周期、年載文量和復合影響因子等方面均與真實期刊A的數(shù)據(jù)所差無幾,這說明真實期刊A和合成期刊A的擬合程度高。
表2 預測變量擬合與對比
基于真實期刊A和合成期刊A較好的擬合效果,利用Stata15軟件對真實期刊A和合成期刊A在2009—2017年期間的復合影響因子的發(fā)展趨勢進行分析,分析結果由圖1所示。由圖1(a)可知,真實期刊A和合成期刊A在2015年發(fā)布選題指南之前的復合影響因子的軌跡大致重合,這也證明了采用合成控制法可以對2015年之前復合影響因子的變化情況進行較為精準地擬合。
2015年發(fā)布選題指南以后,真實期刊A和合成期刊A的復合影響因子發(fā)生顯著變化。具體來說,2015—2017年期間,真實期刊A的復合影響因子呈現(xiàn)快速上升趨勢,合成期刊A的復合影響因子雖然也呈現(xiàn)上升趨勢,但上升趨勢較為緩慢,與真實期刊A的復合影響因子有較大差距。為了更直觀地對比真實期刊A和合成期刊A的復合影響因子在2015年之后的差距,對2009—2017年真實期刊A和合成期刊A的復合影響因子之間的差距變化進行了分析,結果如圖1(a)所示。由圖1(b)可知,真實期刊A和合成期刊A在2009—2014年間的復合影響因子的差距在0附近上下波動。2015年發(fā)布選題指南后,真實期刊A的復合影響因子和合成期刊A的復合影響因子間的差距逐漸增加,兩者的復合影響因子的差距在2017年達到最大值,且為正值。因此,可以認為期刊A在2015年所發(fā)布的選題指南在一定程度上提高了期刊A在2015—2017年期間的復合影響因子,期刊A的選題指南與該期刊的學術影響力存在關聯(lián)。
圖1 2009—2017年期間真實期刊A與合成期刊A的復合影響因子及其差距
利用相同的方法對非核心期刊B進行研究,研究對象由真實期刊B和合成期刊B構成,其中控制組期刊為12-22號期刊。根據(jù)Stata15的數(shù)據(jù)分析結果,得出一個由期刊13期刊14所組成的合成期刊B,表3是這2種期刊所合成的合成期刊B的權重組合。
表3 非核心期刊合成控制組的權重組合
同樣使用Synth的程序包對模型進行分析,得出真實期刊B和合成期刊B(期刊B的虛擬期刊)在2017年之前的預測變量的數(shù)值,可以對該期刊和合成期刊B在發(fā)布選題指南之前的情況的擬合程度進行分析,如表4所示。由表4可知,合成期刊B在刊齡、發(fā)文周期、年載文量和復合影響因子等方面均與真實期刊B的數(shù)據(jù)相差不大,這說明真實期刊B和合成期刊B的擬合程度高。
表4 預測變量擬合與對比
利用Stata15軟件對真實期刊B和合成期刊B在2009—2019年期間的復合影響因子的發(fā)展趨勢進行分析,分析結果由圖2所示。由圖2(a)可知,真實期刊B和合成期刊B在2017年發(fā)布選題指南之前的復合影響因子的軌跡大致重合,這證明了采用合成控制法可以對2017年前復合影響因子的變化情況進行較為精準地擬合。2017年發(fā)布選題指南以后,真實期刊B和合成期刊B的復合影響因子發(fā)生了變化,真實期刊B的復合影響因子逐漸升高,合成期刊B的復合影響因子增長后持平,且兩者間的差距逐漸增大。圖2(b)顯示了2009—2019年期間真實期刊B與合成期刊B的復合影響因子之間差距的變化情況,由圖2(b)可知,真實期刊B和合成期刊B的復合影響因子之間的差距在2017年發(fā)布選題指南后呈現(xiàn)出逐漸增大的趨勢。綜上所述,可以認為非核心期刊B發(fā)布選題指南在一定程度上提高了非核心期刊B的復合影響因子,且選題指南的實施效果隨著時間的變化而增強。
圖2 2009—2019年期間真實期刊B與合成期刊B的復合影響因子及其差距
借鑒Abadie等[6]提出類似于虛假實驗(Falsification Test)的安慰劑檢驗方法(Placebo Test)對分析結果進行穩(wěn)健性檢驗。該穩(wěn)健性檢驗的基本思路是選擇一個沒有發(fā)布過選題指南的期刊進行同樣的分析,如果發(fā)現(xiàn)該期刊的實際復合影響因子和該期刊合成的復合影響因子之間有很大的差距,就表明利用合成控制法并不能得到一個具有說服力的證據(jù)證明選題指南對期刊影響力的影響。根據(jù)該穩(wěn)健性檢驗的基本思路,對核心期刊進行研究,選擇控制組(期刊1-11)內(nèi)的兩種期刊作為檢驗對象:一個是合成期刊A中權重占比最大的期刊5,權重最大的期刊5是與期刊A相似性最高的期刊;另一個是權重為0的期刊——期刊7,沒有權重意味著該期刊在各種影響因素上與期刊A存在差距。利用Stata15軟件構建這兩個期刊的處置組,并對實施選題指南前后期刊真實復合影響因子和合成后復合影響因子的情況進行對比。
對期刊5進行安慰劑檢驗,結果如圖3(a)所示。由圖3(a)可知,期刊5在假定2015年發(fā)布選題指南的前后真實復合影響因子和合成后的復合影響因子的走勢基本相同,變動幅度相對較小。圖3(b)顯示了期刊7的檢驗結果,期刊7的真實復合影響因子和合成后的影響因子基本無變化。根據(jù)期刊5和期刊7的檢驗結果,可見期刊5和期刊7在擬合實施選題指南前后并沒有發(fā)生突變,因此在一定程度上證明了選題指南對核心期刊A的復合影響因子產(chǎn)生了影響,而不是其他的偶然因素。
圖3 核心期刊檢驗結果
運用與核心期刊一致的檢驗思路和方法,選擇非核心期刊的控制組內(nèi)(期刊12-22)權重最大的期刊14和權重為0的期刊12作為檢驗對象,利用Stata軟件對假定實施選題指南前后期刊真實復合影響因子和合成后復合影響因子的情況進行對比。圖4(a)和圖4(b)是期刊14和期刊12的檢驗結果,可見期刊14和期刊12的真實復合影響因子和合成復合影響因子在假定2017年實施選題指南的前后沒有發(fā)生劇烈變化,在一定程度上證明了發(fā)布選題指南的確能夠提高非核心期刊B的復合影響因子。
圖4 非核心期刊檢驗結果
為驗證上述結論在統(tǒng)計學意義上是否具有顯著性,利用由Abadie 等[6]與統(tǒng)計中的秩檢驗(Rank Test)方法相似的排列檢驗(Permutation Test)方法。該檢驗的基本思路是分別假設控制組內(nèi)的期刊都發(fā)布了選題指南,使用合成控制法構造這些期刊的復合影響因子,估計其產(chǎn)生的效果,比較實驗組期刊和控制組期刊假設出的效果。如果兩者的選題指南的效果有顯著差異,說明選題指南對該期刊的復合影響因子的影響是顯著的,而不是偶然的。
利用上述研究思路對核心期刊進行檢驗,通過程序計算期刊A和控制組的11種期刊在2015年之前平均標準變動程度[7],如果平均標準變動程度較大,意味著檢驗模型和期刊A的相似性低。因此,剔除了實施選題指南前平均預測標準變動程度高于檢驗目標期刊1倍的期刊8。將期刊A和期刊8以外的期刊逐一進行安慰劑檢驗,并將每個期刊的復合影響因子和真實影響因子之間的預測誤差作為統(tǒng)計量進行檢驗,圖5展示了剔除期刊8以后樣本組中11種期刊(包括期刊A)的復合影響因子預測誤差的分布。由圖5可知,2015年以前期刊A的預測誤差與其他期刊的沒有較大差距,而期刊A在2015年發(fā)布選題指南后的復合影響因子預測誤差為正值,且大于大部分期刊的復合影響因子預測誤差。因此,如果在這些期刊中隨機抽取一個期刊,要得到與期刊A相同預測誤差的概率為1/11(9.09%),說明發(fā)布選題指南對核心期刊復合影響因子的提高情況在90.91%的置信度上是顯著的。
圖5 核心期刊復合影響因子預測誤差分布
利用相同的原理和方法對非核心期刊進行排序檢驗,圖6顯示了樣本組中12種期刊(包括期刊B)的復合影響因子的預測誤差分布。由圖6可知,2017年實施選題指南前,期刊B和其他非核心期刊的預測誤差沒有較大差異,而2017年后,期刊B的復合影響因子誤測誤差和其他非核心期刊的預測誤差差異趨勢逐漸顯現(xiàn),大于大部分期刊的復合影響因子預測誤差。因此,如果在這些期刊中隨機抽取一個期刊,要得到與期刊B相同的復合影響因子預測誤差,其概率為1/12(8.33%),說明在91.67%的置信度上,發(fā)布選題指南對非核心期刊復合影響因子的提高是顯著的。根據(jù)上述數(shù)據(jù)分析結果可知,期刊A和期刊B的選題指南分別提升了期刊的復合影響因子,但其置信度有所差異,因此可以認為期刊發(fā)布選題指南有助于提升期刊學術影響力,但不同質(zhì)量的選題指南對期刊影響力的提升效果有所差異。
圖6 非核心期刊復合影響因子預測誤差分布
不同質(zhì)量的選題指南對期刊影響力的提升效果有所差異,選題指南的質(zhì)量是影響實施效果的重要因素[1]。根據(jù)上文中的數(shù)據(jù)可知,期刊A和期刊B所發(fā)布的選題指南均具有較好的實施效果,因此對核心期刊A和非核心期刊B所發(fā)布的選題指南的內(nèi)容進行分析,歸納出具有較高質(zhì)量的選題指南應具備的基本要素。具體來說有以下五點:①時效性。期刊A和期刊B的選題指南都能面向國家重大戰(zhàn)略部署,緊貼社會發(fā)展需求,緊跟學術發(fā)展動向,有目的、有針對性地制定選題指南。同時,期刊A和期刊B都會根據(jù)社會發(fā)展需要和學科發(fā)展情況每年對選題指南進行更新和調(diào)整,保證了選題指南的時效性。②權威性。期刊A和期刊B都在選題指南中說明了相關選題是基于學界和業(yè)界相關專家學者的意見、建議形成的,因此,期刊A和期刊B所發(fā)布的選題指南具有較高的權威性和認可度。③適用性。期刊A和期刊B都能根據(jù)自身期刊的內(nèi)容定位、載文量和來稿情況,有的放矢地制定適合期刊的選題指南。具體來說,核心期刊A的選題不僅涉及到圖書館理論研究、圖書館服務、圖書館管理等圖書館相關內(nèi)容,還涉及到情報研究、文獻學、數(shù)據(jù)管理和信息組織等圖情檔學科的重點研究領域。非核心期刊B的選題內(nèi)容主要為圖書館基礎理論、圖書館基礎業(yè)務、圖書館新技術應用等圖書館相關內(nèi)容,并未涉及到情報檔案等相關領域的內(nèi)容。④可讀性。期刊A的一級選題數(shù)量為10個左右,期刊B的一級選題數(shù)量為3~4個,期刊A和期刊B的二級選題均較為詳細,每個一級選題下通常包含10個以上的二級選題。期刊A將二級選題名稱列出,一目了然;期刊B則會對每個一級選題進行詳細闡述和說明,并列出二級選題。期刊A和期刊B通過分級羅列和闡述說明等方式增強了選題指南的可讀性,易于研究者閱讀理解。⑤傳播度。期刊A與期刊B采用了期刊(數(shù)據(jù)庫)、官方網(wǎng)站和社交媒體平臺(如微信公眾號、博客、微博等)等多種平臺和媒介發(fā)布選題指南,增強了選題指南的傳播度。
根據(jù)對圖情檔領域期刊選題指南的分析結果,有如下啟示:①提升選題策劃的質(zhì)量是提升學術期刊影響力的關鍵途徑,發(fā)布選題指南是傳播選題策劃內(nèi)容的重要方式。②選題指南的質(zhì)量是影響選題指南實施效果的重要因素之一,期刊需要從傳播度、權威性、認可度、適用性以及時效性等角度采取相應的措施以提高選題指南的質(zhì)量,即期刊可以通過多渠道發(fā)布選題指南,提高選題指南的傳播度;為保證選題指南的權威性和認可度,期刊應積極與學界和業(yè)界的專家進行討論;選題指南的內(nèi)容應當符合期刊自身定位和實際情況,以提升選題指南的適用性;選題指南是期刊針對當前學術研究熱點和研究重點所制定的,具有一定的時效性,固定的選題指南無法適應快速發(fā)展的學術界未來的研究內(nèi)容和實際需求,選題指南需要根據(jù)實際情況定期更新和制定。③期刊的選題策劃的方式多樣且質(zhì)量較高,如重大會議稿件錄用、專題約稿等形式,選題指南只是其呈現(xiàn)選題策劃的一種形式。在未公開選題指南期間,期刊通常也會定期進行選題策劃與討論,并通過優(yōu)良的選題策劃來提升期刊的質(zhì)量和影響力。因此,發(fā)布選題指南并不是決定期刊質(zhì)量的決定性因素,期刊還需努力提高錄用稿件的質(zhì)量,從實質(zhì)上提高期刊的學術影響力。
綜上所述,對選題指南與學術期刊影響力之間的關聯(lián)進行量化研究不僅可以對選題指南的制定和發(fā)布提供參考,也能為期刊提升選題策劃質(zhì)量提供借鑒。研究發(fā)現(xiàn),選題指南與期刊影響力具有一定關聯(lián),且高質(zhì)量的選題指南在一定程度上能夠提高學術期刊的學術影響力。發(fā)布選題指南既可以促使期刊進行優(yōu)良的選題策劃,也可以使讀者和投稿者明確期刊征稿主題和范圍,故發(fā)布高質(zhì)量的選題指南對期刊來講能夠較為有效地提高期刊影響力。