亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        中國科研人員的科學(xué)軟件使用和引用行為研究

        2021-08-06 10:09:16潘雪蓮孫夢佳于曉彤華薇娜
        現(xiàn)代情報(bào) 2021年8期
        關(guān)鍵詞:學(xué)術(shù)評價(jià)科研人員

        潘雪蓮 孫夢佳 于曉彤 華薇娜

        摘?要:[目的/意義]調(diào)查我國科研人員的科學(xué)軟件使用和引用行為,探究他們未在研究成果中提及和引用其所使用科學(xué)軟件的原因,為推進(jìn)科學(xué)軟件引用規(guī)范化、提高科學(xué)軟件利用效率、增加科學(xué)軟件研發(fā)投入提供決策參考。[方法/過程]采用問卷調(diào)查法對我國科研人員的科學(xué)軟件使用和引用行為及意愿進(jìn)行調(diào)查。[結(jié)果/結(jié)論]研究發(fā)現(xiàn),我國大部分科研人員認(rèn)為科學(xué)軟件對自己的研究工作重要且經(jīng)常使用,但他們卻很少參與科學(xué)軟件開發(fā);近一半的科研人員因缺乏軟件引用意識(shí)、不清楚軟件引用格式等原因未正式引用科學(xué)軟件;我國有必要通過充分肯定軟件的學(xué)術(shù)價(jià)值、制定明確統(tǒng)一的軟件引用規(guī)范、積極培養(yǎng)科研人員的軟件引用意識(shí)來促進(jìn)科學(xué)軟件開發(fā)、共享和再利用。

        關(guān)鍵詞:科研人員;科學(xué)軟件;軟件使用;軟件引用;引用行為;學(xué)術(shù)評價(jià)

        DOI:10.3969/j.issn.1008-0821.2021.08.008

        〔中圖分類號(hào)〕G252.0?〔文獻(xiàn)標(biāo)識(shí)碼〕A?〔文章編號(hào)〕1008-0821(2021)08-0076-11

        Study?of?Chinese?Researchers?Scientific

        Software?Usage?and?Citation?Behavior

        Pan?Xuelian1?Sun?Mengjia1?Yu?Xiaotong2?Hua?Weina1

        (1.School?of?Information?Management,Nanjing?University,Nanjing?210023,China;

        2.XCMG?Fire-fighting?Safety?Equipment?Corporation,Xuzhou?221100,China)

        Abstract:[Purpose/Significance]In?order?to?promote?the?standardization?of?scientific?software?citation?and?improve?the?efficiency?of?scientific?software?utilization?in?China,this?study?investigates?the?current?circumstances?of?Chinese?researchers?scientific?software?usage?and?citation?and?explores?the?reasons?why?researchers?do?not?mention?and?cite?scientific?software?that?they?used?in?their?research.[Method/Process]A?questionnaire?survey?was?used?to?investigate?the?scientific?software?selection,usage?and?citation?behavior?of?Chinese?researchers.[Result/Conclusion]Most?Chinese?researchers?believe?that?scientific?software?is?vital?to?their?research?and?they?frequently?use?it,however,they?are?less?likely?to?take?part?in?scientific?software?development.More?than?80%?of?researchers?taking?part?in?scientific?software?development?hope?that?their?software?can?be?cited,whereas?nearly?50%?of?the?researchers?have?not?cited?the?software?used?in?their?research?due?to?the?lack?of?software?citation?awareness,software?citation?format?and?so?on.Therefore,relevant?organizations?can?promote?the?standardization?of?software?citation?and?enhance?software?sharing?and?reuse?by?valuing?the?contribution?of?scientific?software,producing?unified?software?citation?principles,and?cultivating?researchers?software?citation?awareness.

        Key?words:scientific?researcher;scientific?software;software?usage;software?citation;citation?behavior;academic?evaluation

        隨著以數(shù)據(jù)密集型計(jì)算為特征的科學(xué)研究第四范式的興起,科學(xué)研究越來越依賴于軟件工具的支撐[1-2]。國外的一些調(diào)查發(fā)現(xiàn),有相當(dāng)高比例的科研人員表示軟件在他們的研究工作中發(fā)揮著重要作用[2-3]。然而,在目前主要由出版物驅(qū)動(dòng)的科研評價(jià)體系中,軟件往往被認(rèn)為是科學(xué)研究的副產(chǎn)品,其學(xué)術(shù)價(jià)值一直被低估甚至被忽略[4]。學(xué)術(shù)界對軟件學(xué)術(shù)價(jià)值的低估會(huì)導(dǎo)致科學(xué)家沒有動(dòng)力開發(fā)、維護(hù)和共享科學(xué)軟件,這將造成科學(xué)軟件的重復(fù)開發(fā)和科研資源的浪費(fèi)[5]。

        直到近年來,一些科學(xué)資助機(jī)構(gòu)和科研評價(jià)組織,如美國國家科學(xué)基金會(huì)和英國高等教育基金委員會(huì),才開始將軟件認(rèn)定為有效的科研成果[6-7]。此后,學(xué)者們開始對軟件學(xué)術(shù)影響力的測度問題進(jìn)行探討。學(xué)者們對不同領(lǐng)域?qū)W術(shù)論文中的軟件提及和引用情況的調(diào)查發(fā)現(xiàn),研究者在論文中提及其所使用軟件時(shí)表現(xiàn)出很大的隨意性[5]且軟件引用缺失情況普遍存在[8-10]。然而,目前尚不清楚我國科研人員實(shí)際使用和引用科學(xué)軟件的現(xiàn)狀如何,也不清楚他們未在研究成果中提及和引用其所使用的科學(xué)軟件的主要原因是什么,更不清楚他們參與開發(fā)科學(xué)軟件的現(xiàn)狀以及開發(fā)者對軟件引用的期望如何。

        本研究擬對我國科研人員的科學(xué)軟件選擇、使用、提及和引用行為進(jìn)行調(diào)查分析,試圖揭示科學(xué)軟件對我國科研人員研究工作的重要性,探究影響科研人員軟件提及和引用行為的主要因素,比較我國科研人員與國外科研人員在科學(xué)軟件開發(fā)方面差異。本研究的意義在于:①更好地了解科學(xué)軟件對我國科研工作和科學(xué)發(fā)展的重要性,為我國有關(guān)部門將科學(xué)軟件認(rèn)定為有效科研成果,進(jìn)而將其納入科研評價(jià)體系提供決策依據(jù);②加深對科學(xué)軟件提及和引用缺失原因的認(rèn)識(shí),為我國科學(xué)軟件使用和引用規(guī)范制定及實(shí)施奠定一定的基礎(chǔ),有助于推進(jìn)科學(xué)軟件使用和引用規(guī)范化;③揭示我國科研人員對科學(xué)軟件開發(fā)的參與程度,為我國科學(xué)資助機(jī)構(gòu)增加科學(xué)軟件開發(fā)和教育投入提供數(shù)據(jù)支撐。需要指出的是,在借鑒已有的相關(guān)定義[2,11]的基礎(chǔ)上,本文將“科學(xué)軟件”定義為被用來生成、處理或分析科學(xué)研究結(jié)果的軟件工具,不包括諸如文字處理軟件、搜索引擎、文獻(xiàn)管理工具這些用于信息呈現(xiàn)、檢索與管理等相關(guān)軟件工具。此外,本研究中的“正式引用科學(xué)軟件”是指在研究成果的參考文獻(xiàn)列表中給出科學(xué)軟件相關(guān)引用條目。

        1?文獻(xiàn)綜述

        隨著科學(xué)數(shù)據(jù)的價(jià)值被越來越多的人認(rèn)可[12],一些學(xué)者開始關(guān)注與科學(xué)數(shù)據(jù)密切相關(guān)的科學(xué)軟件,因?yàn)椤皫缀跛械臄?shù)據(jù)都需要軟件進(jìn)行某種形式的處理”[8]。國外一些學(xué)者已采用問卷調(diào)查法對科研人員的軟件使用和開發(fā)情況進(jìn)行調(diào)查以揭示軟件對科學(xué)研究的重要性。例如,Hannay?J?E等[3]在2008年開展的一項(xiàng)涉及40個(gè)國家(地區(qū))1?972名科學(xué)家的調(diào)查顯示,分別有91%和84%的受調(diào)查者表示使用和開發(fā)軟件對他們的研究工作重要或非常重要。2014年的一項(xiàng)對英國羅素大學(xué)集團(tuán)15所成員院校科研人員的調(diào)查顯示,92%的受訪者表示使用過科學(xué)軟件,69%的受訪者表示如果沒有科學(xué)軟件他們的研究工作將無法進(jìn)行[2]。2017年的一項(xiàng)對美國209名博士后軟件使用情況的調(diào)查也發(fā)現(xiàn)了類似的結(jié)果,95%的受調(diào)查者表示使用科學(xué)軟件,66%的受調(diào)查者表示如果沒有科學(xué)軟件他們的研究工作將無法進(jìn)行[13]。同時(shí),已有一些研究發(fā)現(xiàn),獲得引用、學(xué)術(shù)聲譽(yù)和職稱晉升機(jī)會(huì)是國外科研人員開發(fā)和共享科學(xué)軟件的重要?jiǎng)右騕14-15]。然而,目前尚不清楚中國科研人員是否也與國外同行一樣希望自己開發(fā)的科學(xué)軟件獲得引用。

        此外,一些學(xué)者通過分析學(xué)術(shù)論文中的軟件使用情況來揭示軟件對科研人員研究工作的重要性。Howison?J等[8]采用內(nèi)容分析法對Web?of?Science收錄的生物學(xué)期刊論文中的軟件使用情況進(jìn)行分析發(fā)現(xiàn),65%的生物學(xué)期刊論文提及了軟件。楊波等的研究[20]則發(fā)現(xiàn),分別有81%的中國生物學(xué)期刊論文和91%的國際生物學(xué)期刊論文提及了軟件。在圖書情報(bào)學(xué)領(lǐng)域,使用軟件的中文核心期刊論文占比已從2007年的6%上升到2016年的21%[5]。另有一項(xiàng)對圖書情報(bào)學(xué)國際核心期刊論文中的軟件使用情況進(jìn)行的調(diào)查發(fā)現(xiàn),圖情領(lǐng)域科研人員在2008—2017年間對免費(fèi)軟件的依賴程度呈顯著上升趨勢[14]。然而,目前針對中國科研人員科學(xué)軟件使用行為的問卷調(diào)查研究還比較缺乏。

        學(xué)者們除了關(guān)注軟件對科學(xué)研究的重要性外,還關(guān)注如何評價(jià)軟件的影響力。Howison?J等[1]在“Understanding?the?Scientific?Software?Ecosystem?and?Its?Impact:Current?and?Future?Measures”一文中提出數(shù)個(gè)可能用來測度軟件影響力的指標(biāo),如下載次數(shù)、注冊人數(shù)、用戶評論數(shù)量等,同時(shí)也指出使用這些指標(biāo)可能存在的問題。以下載次數(shù)為例,一方面該指標(biāo)數(shù)據(jù)難以獲得;另一方面該指標(biāo)不能直接測度出軟件的使用情況。這是因?yàn)橛脩艨梢詮牟煌W(wǎng)絡(luò)平臺(tái)下載或是通過人際傳遞獲得軟件,當(dāng)軟件更新時(shí)用戶可能會(huì)重新下載該軟件,同時(shí)用戶獲得了軟件后可能從未使用。使用被引次數(shù)這一廣泛用于出版物影響力評價(jià)的指標(biāo)來測度軟件的學(xué)術(shù)影響力似乎是一個(gè)可行方案。然而,已有調(diào)查[5,8,10]顯示,生物學(xué)、圖書情報(bào)學(xué)等領(lǐng)域期刊論文中的軟件引用均有不同程度的缺失,其中圖書情報(bào)學(xué)領(lǐng)域的軟件引用缺失率高達(dá)84%。在這種情況下,一些學(xué)者提出用學(xué)術(shù)論文全文中的軟件使用頻次等指標(biāo)來測度軟件的學(xué)術(shù)影響力[4],另外一些學(xué)者則提出通過制定統(tǒng)一的軟件引用標(biāo)準(zhǔn)、研發(fā)軟件引用支持工具等措施來推進(jìn)軟件引用規(guī)范化[11,16]。然而,目前尚不清楚科研人員為什么不在研究成果中提及和引用科學(xué)軟件。

        2?研究方法

        本研究主要采用問卷調(diào)查法對我國科研人員的科學(xué)軟件使用和引用行為進(jìn)行調(diào)查,并采用統(tǒng)計(jì)學(xué)方法對調(diào)查數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。本研究主要選取從事科研工作的在讀博士生、高校教師、科研院所研究人員作為調(diào)查對象,并將這些對象統(tǒng)稱為科研人員。首先,根據(jù)研究問題、本課題組前期研究發(fā)現(xiàn)的學(xué)術(shù)論文中的軟件提及和引用特征[4-5,10,15]以及前人的相關(guān)研究[1-3,11,15-16,18]設(shè)計(jì)初始問卷。其次,在實(shí)施大規(guī)模調(diào)查之前,選擇20名科研人員進(jìn)行預(yù)調(diào)查,并根據(jù)反饋信息對問卷結(jié)構(gòu)和題項(xiàng)表述進(jìn)行修正,進(jìn)而形成正式調(diào)查問卷。然后,通過問卷星平臺(tái)(https://www.wjx.cn/)發(fā)放正式問卷,共回收問卷452份,剔除存在題項(xiàng)回答明顯錯(cuò)誤、漏答等錯(cuò)誤的40份無效問卷,剩余412份有效問卷,回收率為91.2%。在研究設(shè)計(jì)之初,筆者將“在讀碩士”也視作科研人員。后聽取專家意見,將學(xué)術(shù)身份為“在讀碩士”的樣本剔除,主要是考慮到可能有相當(dāng)比例的在讀碩士尚未受到足夠的科研訓(xùn)練且無學(xué)術(shù)論文發(fā)表經(jīng)驗(yàn)。剔除學(xué)術(shù)身份為“在讀碩士”的樣本之后,剩余224份有效問卷。最后,使用統(tǒng)計(jì)軟件SPSS?20.0(IBM?SPSS,Inc.Chicago,IL,USA)對這224份問卷數(shù)據(jù)進(jìn)行分析。在224個(gè)有效樣本中,男性占47.3%,女性占52.7%,女性略多于男性??蒲泄ぷ髂晗薹矫?,從事科學(xué)研究工作5年以下、5~10年、10年以上的受訪者分別占39.3%、39.7%、21.0%,調(diào)查對象以青年科研人員為主。需要指出的是,受訪者從事科學(xué)研究的工作年限從其碩士階段算起。受調(diào)查的科研人員的基本信息如表1所示。

        調(diào)查問卷由問卷導(dǎo)語及填寫說明(該部分說明調(diào)查數(shù)據(jù)的學(xué)術(shù)用途、填寫要求以及科學(xué)軟件的定義),受訪者基本信息,科研人員的科學(xué)軟件選擇、使用、提及、引用行為與意愿以及開發(fā)行為與引用期望三大部分組成,共包含23個(gè)題項(xiàng)。第二部分共6題,用于收集受訪者的基本信息。第三大部分共17題,用于了解科學(xué)軟件對我國科研人員的重要性(1題)以及我國科研人員的科學(xué)軟件選擇行為(2題)、提及與使用行為(6題)、引用行為(3題)、引用意愿(3題)、開發(fā)行為與軟件引用期望(2題)。問卷的題項(xiàng)結(jié)構(gòu)與內(nèi)容如表2所示。

        問卷問題的設(shè)計(jì)緊緊圍繞本文的研究問題,而問題選項(xiàng)的設(shè)置主要依據(jù)課題組和前人的相關(guān)研究發(fā)現(xiàn)、已有相關(guān)調(diào)查問卷題項(xiàng)以及專家意見,以確保問卷題項(xiàng)合理有效。為確定調(diào)查問卷的有效性,邀請了8位領(lǐng)域?qū)<覍柧淼膬?nèi)容效度進(jìn)行評價(jià)。結(jié)果顯示,87.5%的專家認(rèn)為問卷內(nèi)容有效,12.5%的專家認(rèn)為問卷內(nèi)容基本有效,沒有專家認(rèn)為問卷內(nèi)容無效;說明該問卷的內(nèi)容效度較好。同時(shí),將問卷調(diào)查數(shù)據(jù)導(dǎo)入SPSS?20.0進(jìn)行信度分析,得到總問卷的Cronbachs?α系數(shù)為0.962,說明問卷的內(nèi)部一致性信度很好。

        3?研究結(jié)果

        3.1?科學(xué)軟件對科研人員研究工作的重要性

        在224位受訪者中,僅有1.7%的人表示科學(xué)軟件對其研究工作不重要或完全不重要,11.6%的人表示科學(xué)軟件對自己的研究工作有點(diǎn)重要,86.6%的人表示科學(xué)軟件對自己的研究工作重要或非常重要。此外,有近一半的受訪者表示科學(xué)軟件對自己的研究工作非常重要。由此可見,科學(xué)軟件在我國科研人員的研究工作中發(fā)揮著重要作用。

        為便于分析不同性別、學(xué)術(shù)身份、研究領(lǐng)域、研究工作年限的科研人員在科學(xué)軟件對研究工作重要性上的認(rèn)知差異,筆者將“有點(diǎn)重要”“重要”和“非常重要”選項(xiàng)合并為“重要”,將“不重要”和“完全不重要”選項(xiàng)合并為“不重要”。利用SPSS對性別和科學(xué)軟件重要性進(jìn)行交叉制表分析發(fā)現(xiàn),男性科研人員中有1.9%的人表示科學(xué)軟件對自己的研究工作不重要,而女性科研人員中僅有1.7%的人持上述觀點(diǎn)??ǚ綑z驗(yàn)結(jié)果顯示,二者不存在統(tǒng)計(jì)學(xué)上的顯著差異。通過交叉制表分析還發(fā)現(xiàn),所有受訪教授/研究員/研究館員均表示科學(xué)軟件對自己的研究工作重要,在讀博士研究生和講師/助理研究員/助理館員中持上述觀點(diǎn)的人數(shù)分別占各組總?cè)藬?shù)的98.9%和98.5%,而副教授/副研究員/副館員中表示科學(xué)軟件對研究工作重要的人數(shù)比例相對較低(94.7%)。調(diào)查結(jié)果還顯示,人文領(lǐng)域的科研人員中表示科學(xué)軟件對研究工作重要的人數(shù)比例最低(85%),其次是理科(98.1%)、社科(98.9%),工科和醫(yī)學(xué)領(lǐng)域的比例最高(均為100%)。此外,從事研究工作10年以上的科研人員中有93.8%的人表示科學(xué)軟件對自己研究工作重要,比例略低于從事研究工作5~10年和從事研究工作5年以下兩組中的比例(分別為98.9%和100%)。

        3.2?科研人員的科學(xué)軟件選擇行為

        當(dāng)科研人員需要使用軟件解決特定的研究問題時(shí),62.8%的受訪者表示通過咨詢同事來選擇科學(xué)軟件,58.7%的受訪者選擇在科學(xué)文獻(xiàn)中查找類似情況下研究者所使用的軟件,39.4%的受訪者則使用通用搜索引擎(如百度、谷歌、必應(yīng)等)檢索來查找科學(xué)軟件,如圖1所示。Hucka?M等2015年的調(diào)查結(jié)果顯示,受訪者主要通過使用通用搜索引擎檢索、咨詢同事以及查詢文獻(xiàn)3種方式來查找選擇軟件[18]。這與本文的研究結(jié)果相似。然而,將被訪者按是否參與過軟件開發(fā)分類后分析發(fā)現(xiàn),無軟件開發(fā)經(jīng)驗(yàn)的科研人員偏好使用通用搜索引擎檢索,而參與過軟件開發(fā)的科研人員更愿意通過在社會(huì)化媒體/問答社區(qū)(如知乎、微博等)中提問或搜索。

        為探究影響科研人員選擇科學(xué)軟件的主要因素,筆者根據(jù)前人相關(guān)研究和專家意見列出了軟件的功能、易用性、運(yùn)行速度/性能、價(jià)格、用戶評價(jià)等10個(gè)因素,并邀請受訪者分別對其重要性做出評測。重要性分為完全不重要、不重要、一般、重要和非常重要,分別記為1、2、3、4、5分。從表2可以看出,促使科研人員選擇某科學(xué)軟件的最重要因素是該軟件具有幫助其完成研究工作的特定功能(平均分高達(dá)4.38分),其次是軟件易于使用(4.25分)、軟件易于學(xué)習(xí)(4.16分)、軟件的運(yùn)行速度/性能(4.04分)。另外,軟件用戶評價(jià)(3.78分)、軟件價(jià)格(3.75分)、使用軟件的文獻(xiàn)質(zhì)量(3.65分)、軟件使用/被引頻次(3.42分)和軟件使用者名望(3.32分)對科研人員做出的選擇決定也有較大影響,而軟件開發(fā)者知名度(2.95分)的影響最小。

        3.3?科研人員的科學(xué)軟件使用和提及行為

        在224位受訪科研人員中,有78.6%的人表示經(jīng)常使用科學(xué)軟件,18.8%的人表示很少使用科學(xué)軟件,僅有2.7%的人表示在科學(xué)研究中從不使用科學(xué)軟件。通過分析不同學(xué)科科研人員的軟件使用頻率發(fā)現(xiàn),理科和醫(yī)學(xué)領(lǐng)域的所有受訪科研人員都使用過科學(xué)軟件,工科、社科和人文領(lǐng)域科研人員中分別有99.0%、98.9%和80.0%的人表示使用過科學(xué)軟件,如圖2所示。為了便于分析不同研究工作年限的科研人員在軟件使用頻率上的差異,筆者先將“從不使用”和“很少使用”合并為“不經(jīng)常使用”,然后利用SPSS對研究工作年限和軟件使用頻率進(jìn)行交叉制表發(fā)現(xiàn),從事研究工作10年以上的科研人員中僅有59.5%的人表示經(jīng)常使用科學(xué)軟件,而從事研究工作5~10年和5年以下的科研人員中則分別有80.2%和86.6%的人表示經(jīng)常使用科學(xué)軟件??ǚ綑z驗(yàn)結(jié)果顯示,三者之間存在統(tǒng)計(jì)學(xué)意義上的顯著差異(p=0.002<0.01)。這可能是因?yàn)檠芯抠Y歷長者較多地從大方向上指導(dǎo)年輕合作者開展研究而不是自己運(yùn)用科學(xué)軟件進(jìn)行具體研究工作。此外,對“您曾在您的科學(xué)研究中使用過哪些軟件”這一問題的回答進(jìn)行統(tǒng)計(jì)分析發(fā)現(xiàn),24位受訪者所填寫科學(xué)軟件均產(chǎn)自國外,與此同時(shí),211位受訪者高頻選擇的SPSS、Matlab、Origin、ImageJ和Stata等也都產(chǎn)自國外。

        在218位使用過科學(xué)軟件的受訪科研人員中,有68.8%的人表示在研究成果中提及過其所使用的科學(xué)軟件,31.2%的受訪者從未在研究成果中提及科學(xué)軟件。調(diào)查數(shù)據(jù)還顯示,具有博士學(xué)位的受訪者中有83.3%的人表示曾在研究成果中提及科學(xué)

        軟件,而最高學(xué)位為碩士學(xué)位和學(xué)士學(xué)位的受訪者中分別有57.8%和51.5%的人表示曾在研究成果中提及科學(xué)軟件。對3組科研人員的科學(xué)軟件提及率進(jìn)行卡方檢驗(yàn),結(jié)果顯示差異具有統(tǒng)計(jì)學(xué)意義(p=0.000<0.001)。這可能與受訪的在讀博士生中有相當(dāng)比例的人尚未發(fā)表研究成果有關(guān)。

        在研究成果中給出所使用科學(xué)軟件的名稱、版本信息、創(chuàng)建者、存儲(chǔ)地址等信息有助于提高軟件的可見性,進(jìn)而促進(jìn)軟件的擴(kuò)散和再利用。表3數(shù)據(jù)顯示,有近10%的受訪者表示未在研究成果中提及軟件名稱,提及軟件版本信息、存儲(chǔ)地址信息和開發(fā)者的科研人員占比分別為53.3%、20.0%和18.7%。這與之前對圖情領(lǐng)域期刊論文中軟件信息提及情況的調(diào)查結(jié)果[5](版本信息提及率為29.8%,存儲(chǔ)地址提及率為8.1%,開發(fā)者提及率為6.3%)相比,科研人員自我表達(dá)的研究成果中的軟件信息提及率更高。

        從表3還可以看出,86.7%的受訪者在正文中提及科學(xué)軟件,22.7%的受訪者在參考文獻(xiàn)中提及科學(xué)軟件。此外,分別有21.3%、12.0%、9.3%、6.7%和4.7%的受訪者表示在摘要、附錄、關(guān)鍵詞、致謝和題名中提及科學(xué)軟件。在研究成果中提及過科學(xué)軟件的150位受訪者中,僅有25.3%的人表示在主題部分(包括題名、關(guān)鍵詞和摘要)提及科學(xué)軟件。由此可見,僅依據(jù)研究成果參考文獻(xiàn)部分或主題部分的科學(xué)軟件提及情況來測度軟件影響力可能造成科學(xué)軟件學(xué)術(shù)價(jià)值的低估。

        科研人員未在研究成果中提及自己所使用科學(xué)軟件的原因如表4所示。從表4可以看出,有56.9%的受訪者因?yàn)槭褂玫目茖W(xué)軟件是眾所周知的軟件,所以選擇不在研究成果中提及,38.1%的受訪者認(rèn)為科學(xué)軟件是一種無需在研究成果中提及的服務(wù)/輔助工具,還有17.9%的受訪者因缺乏軟件提及意識(shí)而未在研究成果提及所使用的科學(xué)軟件。另外,還有一定比例的受訪者因科學(xué)軟件對研究結(jié)果幫助有限或難以獲取準(zhǔn)確的軟件相關(guān)信息而未提及。

        3.4?科研人員的科學(xué)軟件引用行為

        在科研成果中正式引用科學(xué)軟件不僅可以提高科學(xué)軟件的可見性,還有助于全面檢索和評價(jià)科學(xué)軟件[15]。在150位提及曾使用科學(xué)軟件的科研人員中,有56%的人表示曾在研究成果中正式引用科學(xué)軟件。其中,最高學(xué)位為碩士學(xué)位的受訪者中有52.1%人表示曾正式引用科學(xué)軟件,而最高學(xué)位為博士和學(xué)士學(xué)位的受訪者中分別有57.6%和58.8%的人表示曾正式引用科學(xué)軟件。對3組科研人員的科學(xué)軟件引用率進(jìn)行卡方檢驗(yàn)發(fā)現(xiàn),3組無顯著性差異(p=0.80>0.05)。此外,理科和社科領(lǐng)域提及科學(xué)軟件的科研人員中分別有64.5%和59.7%的人正式引用過科學(xué)軟件,而工科、醫(yī)學(xué)、人文領(lǐng)域引用科學(xué)軟件的人數(shù)占比分別為50.8%、50.0%和44.4%,如圖2所示??梢?,不同學(xué)科科研人員的軟件引用實(shí)踐存在差異。在84位正式引用過科學(xué)軟件的科研人員中,有47.6%的人選擇引用軟件使用手冊/指南/技術(shù)文檔,45.2%的人選擇引用軟件相關(guān)出版物,另有40.5%的人選擇引用軟件存儲(chǔ)地址等其他相關(guān)信息。這在一定程度上說明我國科研人員的軟件引用行為較為隨意。

        問卷也對科研人員未在研究成果中正式引用科學(xué)軟件的原因進(jìn)行了調(diào)查,結(jié)果如表5所示。從表5可以看出,科研人員未正式引用科學(xué)軟件的最主要原因是未意識(shí)到軟件和文獻(xiàn)一樣是一種需要正式引用的研究成果,有近一半的受訪者選了此原因。另外一個(gè)重要原因是沒有規(guī)范的軟件引用格式,不知如何引用,有40.4%的受訪者選擇該選項(xiàng)。此外,缺乏軟件引用氛圍、未找到軟件引用源和引用軟件不能提高軟件學(xué)術(shù)價(jià)值的認(rèn)可度也是科研人員未引用科學(xué)軟件的重要原因,分別有28.9%、28.4%和25.7%的受訪者選擇了上述3個(gè)原因。還分別有16.5%和14.7%的受訪者表示因?yàn)槌霭鏅C(jī)構(gòu)無明確軟件引用要求和軟件開發(fā)者無軟件引用需求而未正式引用科學(xué)軟件。

        3.5?科研人員的科學(xué)軟件引用意愿

        問卷還針對科研人員對免費(fèi)和付費(fèi)兩類科學(xué)軟件的引用意愿分別進(jìn)行了考察,結(jié)果如圖3所示。對于免費(fèi)科學(xué)軟件,65.6%的受訪者認(rèn)為有必要按照統(tǒng)一規(guī)范的格式正式引用,15.6%的受訪者持相反觀點(diǎn),還有18.8%的受訪者認(rèn)為無所謂;對于付費(fèi)/商業(yè)科學(xué)軟件,63.4%的受訪者認(rèn)為有必要規(guī)范引用,18.3%的受訪者認(rèn)為沒必要規(guī)范引用,還有18.3%的受訪者持無所謂態(tài)度??梢?,科研人員對免費(fèi)和付費(fèi)兩類科學(xué)軟件的引用態(tài)度基本一致,均有超過六成的受訪者表示有必要規(guī)范引用。此外,調(diào)查數(shù)據(jù)顯示,女性科研人員中有66.9%的人認(rèn)為有必要按照統(tǒng)一規(guī)范的格式對付費(fèi)科學(xué)軟件進(jìn)行引用,而男性科研人員中有59.4%的人對此持相同態(tài)度。卡方檢驗(yàn)顯示,不同性別的科研人員在規(guī)范引用付費(fèi)科學(xué)軟件的態(tài)度上存在統(tǒng)計(jì)學(xué)意義上的顯著差異(p=0.008<0.05)。然而,不同性別科研人員在規(guī)范引用免費(fèi)科學(xué)軟件態(tài)度上不存在統(tǒng)計(jì)學(xué)意義上的顯著差異。

        雖然224位受訪科研人員中僅有不足70%的人認(rèn)為有必要按照統(tǒng)一規(guī)范的格式引用科學(xué)軟件,但是若軟件開發(fā)者明確提出了引用要求,則有94.6%的人表示愿意按要求進(jìn)行正式引用,增加了近30%。上述數(shù)據(jù)說明軟件開發(fā)者明確提出的軟件引用要求很可能有助于提高軟件的引用率。

        在224位受訪科研人員中,有19位(占8.5%)參與過科學(xué)軟件的開發(fā)。其中11位來自工科領(lǐng)域(占工科總?cè)藬?shù)的17.2%),8位來自社科領(lǐng)域(占社科總?cè)藬?shù)的9.2%),3位來自理科領(lǐng)域(占理科總?cè)藬?shù)的5.7%),還有1位來自其他領(lǐng)域(占其他領(lǐng)域總?cè)藬?shù)的12.5%)。可見,工科領(lǐng)域的科研人員更多地參與科學(xué)軟件開發(fā)活動(dòng)。在這19位參與過科學(xué)軟件開發(fā)的科研人員中,有84.2%的人希望自己開發(fā)的軟件獲得正式引用,10.5%的人不希望他人引用自己開發(fā)的軟件,5.3%的人對此表示無所謂。調(diào)查數(shù)據(jù)顯示,參與過科學(xué)軟件開發(fā)的受訪者中有73.7%的人表示愿意規(guī)范引用免費(fèi)軟件,比例高于未參與過軟件開發(fā)的科研人員組的數(shù)值(65.6%)??梢?,前者比后者更愿意引用免費(fèi)科學(xué)軟件。調(diào)查數(shù)據(jù)還顯示,這些科學(xué)軟件開發(fā)者中有47.4%的人曾在學(xué)術(shù)成果中正式引用軟件,而無科學(xué)軟件開發(fā)經(jīng)歷的科研人員中僅有36.6%的人有過軟件引用行為。上述數(shù)據(jù)說明大部分參與過軟件開發(fā)的科研人員不僅期望他人正式引用自己的軟件,也會(huì)積極引用他人開發(fā)的科學(xué)軟件。

        4?討論分析

        本文結(jié)果表明,科學(xué)軟件在中國科研人員的研究工作中發(fā)揮著重要作用:有超過85%的受訪科研人員認(rèn)為科學(xué)軟件對自己的研究工作重要或非常重要,且有超過97%的受訪科研人員使用過科學(xué)軟件。這與針對歐美科研人員的調(diào)查結(jié)果類似(92%和95%)[2,13]。雖然大部分中國科研人員在研究工作中都使用過科學(xué)軟件,但只有少部分中國科研人員(8.5%)參與過科學(xué)軟件開發(fā)。而Hettrick?S在2014年對英國羅素大學(xué)集團(tuán)15所成員院校417名研究人員的調(diào)查發(fā)現(xiàn),56%的受訪者開發(fā)過自己的軟件[2]。該比例是本調(diào)查發(fā)現(xiàn)的中國科研人員中的參與過科學(xué)軟件開發(fā)人數(shù)比例的6.6倍。這可能是因?yàn)槲覈目茖W(xué)資助機(jī)構(gòu)和科研評價(jià)組織尚未將科學(xué)軟件認(rèn)定為有效的科研成果,而英國高等教育基金委員會(huì)等組織機(jī)構(gòu)已經(jīng)將軟件納入科研評價(jià)體系[7,19]。這也可能是因?yàn)槲覈蒲腥藛T比歐美同行受到更少的軟件開發(fā)教育訓(xùn)練。

        調(diào)查結(jié)果還表明,我國科研人員往往因?yàn)檐浖V為人知、低估軟件學(xué)術(shù)價(jià)值、缺乏軟件提及意識(shí)而未在研究成果中提及其使用的科學(xué)軟件。由此可見,積極培養(yǎng)科研人員的軟件提及意識(shí)和充分肯定軟件學(xué)術(shù)價(jià)值將有助于提高研究成果中的軟件提及率。此外,這里的軟件廣為人知是基于科研人員的自我感知得出的結(jié)論,由于科研人員之間存在認(rèn)知差異,所以不同科研人員對同一科學(xué)軟件知名度的判斷會(huì)存在一定的差異。即使該科學(xué)軟件廣為人知,只要它在研究工作中發(fā)揮了重要作用,筆者認(rèn)為也有必要在研究成果中提及,供評審和讀者參考論證。

        Howison?J等[8]以及楊波等[20]對生物學(xué)英文期刊論文中的軟件引用情況進(jìn)行調(diào)查,分別發(fā)現(xiàn)56%和52%的被提及軟件卻沒有獲得正式引用。崔明等[5]對圖書情報(bào)學(xué)領(lǐng)域中文期刊論文中的軟件引用情況進(jìn)行調(diào)查發(fā)現(xiàn),軟件引用缺失率高達(dá)84%。而本次調(diào)查發(fā)現(xiàn),醫(yī)學(xué)、工科和社科領(lǐng)域提及科學(xué)軟件的科研人員中分別有50%、49%和40%的人表示未正式引用科學(xué)軟件。雖然科研人員的軟件引用實(shí)踐存在學(xué)科差異,但總體情況不容樂觀——提及科學(xué)軟件的研究人員中有44%的人未正式引用科學(xué)軟件。本次調(diào)查還發(fā)現(xiàn),有超過四成的科研人員因“沒有規(guī)范的軟件引用格式,不知道如何引用”而未在研究成果中正式引用科學(xué)軟件。事實(shí)上,Pan?X等[17]的研究也確實(shí)發(fā)現(xiàn)了開發(fā)者在軟件網(wǎng)站上提供軟件引用信息顯著地提高了軟件引用率??蒲腥藛T還往往因?yàn)槿狈浖靡庾R(shí)、低估軟件價(jià)值、缺少軟件引用氛圍而不引用科學(xué)軟件。因此,我國政府管理部門、科研資助機(jī)構(gòu)等相關(guān)組織可以通過制定并發(fā)布科學(xué)軟件引用規(guī)范、將科學(xué)軟件納入科研評價(jià)體系、積極培養(yǎng)科研人員的軟件引用意識(shí)、努力打造科學(xué)軟件引用氛圍等措施來推進(jìn)軟件引用規(guī)范化、提高軟件引用率,進(jìn)而促進(jìn)軟件共享和再利用。

        崔明等[5]對圖情領(lǐng)域中文核心期刊論文中的軟件引用情況的調(diào)查發(fā)現(xiàn),免費(fèi)軟件的引用率(29%)顯著高于收費(fèi)軟件的引用率(6%)。然而,本次調(diào)查發(fā)現(xiàn),分別有65.6%和63.4%的科研人員認(rèn)為有必要按照統(tǒng)一規(guī)范的格式正式引用免費(fèi)軟件和收費(fèi)軟件,科研人員對兩類軟件的引用意愿基本一致。崔明等[5]發(fā)現(xiàn)免費(fèi)軟件的高被引率很可能是因?yàn)槊赓M(fèi)軟件網(wǎng)站比付費(fèi)軟件網(wǎng)站更多地提供了軟件引用信息以及用戶習(xí)慣引用的軟件相關(guān)出版物、手冊、指南、技術(shù)文檔等。雖然有超過六成的科研人員認(rèn)為有必要規(guī)范引用科學(xué)軟件,但只有不超過五成的科研人員表示正式引用過科學(xué)軟件。調(diào)查結(jié)果還顯示,有近三成的無軟件引用意愿的科研人員表示愿意按照軟件開發(fā)者的引用要求去引用科學(xué)軟件。這說明開發(fā)者的軟件引用要求可以提高科研人員的軟件引用意愿,進(jìn)而促進(jìn)科研人員的軟件引用實(shí)踐。

        此外,有近85%的具有科學(xué)軟件開發(fā)經(jīng)歷的科研人員希望自己的軟件獲得正式引用,這說明有相當(dāng)比例的科學(xué)軟件開發(fā)者關(guān)心自己軟件的引用情況。不同于一經(jīng)出版無需修改維護(hù)的論文專著,軟件在上線之后仍需要開發(fā)者花費(fèi)時(shí)間精力去維護(hù)和完善才能持續(xù)可用[15,21]。與此同時(shí),獲得引用和學(xué)術(shù)聲譽(yù)已被發(fā)現(xiàn)是科研人員開發(fā)和共享科學(xué)軟件的重要?jiǎng)右騕14-15]。由此可以推斷,一些科學(xué)軟件開發(fā)者可能因軟件未獲得自己所期待的引用和肯定而不再維護(hù)和完善軟件以供他人免費(fèi)使用。這將造成科學(xué)軟件的重復(fù)開發(fā)和有限科研資源的極大浪費(fèi)。

        5?結(jié)論與展望

        本研究采用問卷調(diào)查法對我國科研人員的科學(xué)軟件選擇、使用和引用行為及其未提及、未引用科學(xué)軟件的原因進(jìn)行調(diào)查,并將此次調(diào)查結(jié)果與已有相關(guān)研究結(jié)果進(jìn)行比較。需要指出的是,本研究的有效樣本量略小,未來可以增加更多年齡層科研人員,特別是年長科研人員樣本來驗(yàn)證結(jié)果的適用性。雖然本次調(diào)查樣本略少,但還是發(fā)現(xiàn)了一些需要引起重視的問題。雖然我國大部分科研人員與很多國外研究人員一樣,認(rèn)為科學(xué)軟件對自己的研究工作重要且經(jīng)常使用科學(xué)軟件,但他們卻比國外同行更少地參與科學(xué)軟件開發(fā)。這可能造成較少的國有科學(xué)軟件產(chǎn)出以及我國科研人員對國外科學(xué)軟件的過度依賴,進(jìn)而造成我國的科學(xué)發(fā)展隨時(shí)都有被“卡脖子”的危險(xiǎn)。事實(shí)上,本次調(diào)查中受訪科研人員填寫的常用科學(xué)軟件都產(chǎn)自國外,這一發(fā)現(xiàn)在一定程度上證實(shí)了我國科研人員對國外科學(xué)軟件的過度依賴。我國圖情領(lǐng)域常用科學(xué)軟件中僅有不足20%的軟件產(chǎn)自中國大陸[5],這一發(fā)現(xiàn)同樣反映了我國科研人員對國外科學(xué)軟件的過度依賴。因此,我國有必要加大科學(xué)軟件研發(fā)和教育投入力度并將科學(xué)軟件納入科研評價(jià)體系,充分肯定科學(xué)軟件的學(xué)術(shù)價(jià)值,以鼓勵(lì)我國科研人員開發(fā)和共享科學(xué)軟件,避免過度依賴國外科學(xué)軟件。

        調(diào)查結(jié)果還顯示,超過八成的科學(xué)軟件開發(fā)者希望自己的科學(xué)軟件獲得正式引用。然而,有一半的科研人員因缺乏軟件引用意識(shí)、不清楚軟件引用格式、低估軟件價(jià)值、缺少軟件引用氛圍等原因未在研究成果中正式引用科學(xué)軟件。即使是那些在研究成果中正式引用過科學(xué)軟件的科研人員,也對如何引用軟件有不同觀點(diǎn):有人選擇引用軟件使用手冊/指南/技術(shù)文檔,也有人選擇引用軟件相關(guān)出版物,還有人選擇直接引用軟件存儲(chǔ)地址等其他相關(guān)信息。關(guān)于如何在研究成果中正式引用科學(xué)軟件,目前學(xué)術(shù)界尚無共識(shí)[17]。筆者同意Smith?A?M等[16]的觀點(diǎn),即“軟件本身應(yīng)與論文、圖書等其他研究成果一樣獲得引用;作者應(yīng)該像引用適當(dāng)?shù)恼撐囊粯右眠m當(dāng)?shù)能浖a(chǎn)品”(p.10)。因此,建議科研人員在文獻(xiàn)中直接引用軟件本身而不是引用軟件使用手冊或相關(guān)出版物,因?yàn)檫@樣便于區(qū)分作者使用的是軟件本身還是軟件相關(guān)文獻(xiàn)中的知識(shí)。事實(shí)上,國外一些參考文獻(xiàn)引用格式,如《美國心理學(xué)會(huì)出版手冊》第六版也建議作者直接引用軟件本身,其給出的軟件引用格式為:“Rightsholder.(Year).Title?of?Software?or?Program(Version?Number)[Type?of?Software].Retrieved?from?http://×××××××”[22]。然而,中國國家標(biāo)準(zhǔn)《信息與文獻(xiàn)?參考文獻(xiàn)著錄規(guī)則》(GB/T?7714-2015)中尚無明確的軟件著錄格式和示例。對于是否需要對研究中使用的所有科學(xué)軟件都進(jìn)行引用,目前學(xué)術(shù)界也沒有共識(shí)。因此,建議科研人員在研究成果中正式引用對研究重要的免費(fèi)科學(xué)軟件,因?yàn)槊赓M(fèi)軟件開發(fā)者期待獲得被引及學(xué)術(shù)聲譽(yù)。而對于付費(fèi)/商業(yè)科學(xué)軟件,筆者認(rèn)為科研人員可以選擇在研究成果中正式引用,也可以選擇只在研究成果中提及(應(yīng)包括軟件名稱、版本號(hào)、存儲(chǔ)地址等相關(guān)信息),一方面是因?yàn)檫@些軟件的版權(quán)所有者更期待獲得金錢回報(bào);另一方面是因?yàn)橛行┏霭嫖飳ξ恼麻L度有限制。

        鑒于目前中國國家標(biāo)準(zhǔn)《信息與文獻(xiàn)?參考文獻(xiàn)著錄規(guī)則》(GB/T?7714-2015)中尚無明確的軟件著錄格式和示例且有相當(dāng)一部分的我國科研人員因不清楚軟件引用格式而未正式引用科學(xué)軟件,中國國家標(biāo)準(zhǔn)化管理委員會(huì)應(yīng)在《信息與文獻(xiàn)?參考文獻(xiàn)著錄規(guī)則》中增加明確的軟件著錄格式及示例。針對科研人員因缺乏軟件引用意識(shí)、缺少軟件引用氛圍而不正式引用科學(xué)軟件,我國高等教育機(jī)構(gòu)應(yīng)在學(xué)術(shù)規(guī)范相關(guān)課程中加大對規(guī)范引用科學(xué)軟件的宣傳教育,以培養(yǎng)科研人員的軟件引用意識(shí),進(jìn)而推進(jìn)軟件引用規(guī)范化,促進(jìn)軟件共享和再利用。

        參考文獻(xiàn)

        [1]Howison?J,Deelman?E,McLennan?M?J,et?al.Understanding?the?Scientific?Software?Ecosystem?and?Its?Impact:Current?and?Future?Measures[J].Research?Evaluation,2015,24(4):454-470.

        [2]Hettrick?S.Its?Impossible?to?Conduct?Research?Without?Software,Say?7?Out?of?10?UK?Researchers[EB/OL].https://software.ac.uk/blog/2014-12-04-its-impossible-conduct-research-without-software-say-7-out-10-uk-researchers,2019-08-03.

        [3]Hannay?J?E,MacLeod?C,Singer?J,et?al.How?Do?Scientists?Develop?and?Use?Scientific?Software?[C]//Software?Engineering?for?Computational?Science?and?Engineering,2009:1-8.

        [4]Pan?X,Yan?E,Wang?Q,et?al.Assessing?the?Impact?of?Software?on?Science:A?Bootstrapped?Learning?of?Software?Entities?in?Full-text?Papers[J].Journal?of?Informetrics,2015,9(4):860-871.

        [5]崔明,潘雪蓮,華薇娜.我國圖書情報(bào)領(lǐng)域的軟件使用和引用研究[J].中國圖書館學(xué)報(bào),2018,44(3):68-80.

        [6]NSF.GPG?Summary?of?Changes[EB/OL].https://www.nsf.gov/pubs/policydocs/pappguide/nsf13001/gpg_sigchanges.jsp,2019-08-03.

        [7]Research?Excellence?Framework.Output?Information?Requirements[EB/OL].http://www.ref.ac.uk/about/guidance/submittingresearchoutputs/,2019-08-03.

        [8]Howison?J,Bullard?J.Software?in?the?Scientific?Literature:Problems?with?Seeing,F(xiàn)inding,and?Using?Software?Mentioned?in?the?Biology?Literature[J].Journal?of?the?Association?for?Information?Science?&?Technology,2016,67(9):2137-2155.

        [9]Yang?B,Huang?S,Wang?X,et?al.How?important?Is?Scientific?Software?in?Bioinformatics?Research?A?Comparative?Study?Between?International?and?Chinese?Research?Communities[J].Journal?of?the?Association?for?Information?Science?and?Technology,2018,69(9):1122-1133.

        [10]Pan?X,Yan?E,Hua?W.Disciplinary?Differences?of?Software?Use?and?Impact?in?Scientific?Literature[J].Scientometrics,2016,109(3):1593-1610.

        [11]Soito?L,Hwang?L?J.Citations?for?Software:Providing?Identification,Access?and?Recognition?for?Research?Software[J].International?Journal?of?Digital?Curation,2016,11(2):48-63.

        [12]Jim?G.On?eScience-A?Transformed?Scientific?Method[C]//Tony?H,Stewart?T,Kirstin?T.The?Fourth?Paradigm:Data-intensive?Scientific?Discovery.Redmond,WA:Microsoft?Research,2009:19-33.

        [13]Nangia?U,Katz?D?S.Surveying?the?US?National?Postdoctoral?Association?Regarding?Software?Use?and?Training?in?Research[C]//Workshop?on?Sustainable?Software?for?Science:Practice?and?Experiences,2017:1-6.

        [14]Trainer?E?H,Chaihirunkarn?C,Kalyanasundaram?A,et?al.From?Personal?Tool?to?Community?Resource:Whats?the?Extra?Work?and?Who?Will?Do?It?[C]//Proceedings?of?the?18th?ACM?Conference?on?Computer?Supported?Cooperative?Work?&?Social?Computing,2015:417-430.

        [15]Howison?J,Herbsleb?J?D.Incentives?and?Integration?in?Scientific?Software?Production[C]//Proceedings?of?the?2013?Conference?on?Computer?Supported?Cooperative?Work,2013:459-470.

        [16]Smith?A?M,Katz?D?S,Niemeyer?K?E.Software?Citation?Principles[J].PeerJ?Computer?Science,2016,2(2):e86.

        [17]Pan?X,Yan?E,Cui?M,et?al.How?Important?Is?Software?to?Library?and?Information?Science?Research?A?Content?Analysis?of?Full-text?Publications[J].Journal?of?Informetrics,2019,13(1):397-406.

        [18]Hucka?M,Graham?M?J.Software?Search?Is?not?a?Science,Even?Among?Scientists:A?Survey?of?How?Scientists?and?Engineers?Find?Software[J].Journal?of?Systems?&?Software,2018,141:171-191.

        [19]Piwowar?H.Altmetrics:Value?All?Research?Products[J].Nature,2013,493(7431):159.

        [20]楊波,王雪,余曾溧.生物信息學(xué)文獻(xiàn)中的科學(xué)軟件利用行為研究[J].情報(bào)學(xué)報(bào),2016,35(11):1140-1147.

        [21]Hafer?L,Kirkpatrick?A?E.Assessing?Open?Source?Software?as?a?Scholarly?Contribution[J].Communications?of?the?ACM,2009,52(12):126-129.

        [22]American?Psychological?Association.Publication?Manual?of?the?American?Psychological?Association(6th?ed)[M].Washington,DC:American?Psychological?Association,2010.

        (責(zé)任編輯:郭沫含)

        猜你喜歡
        學(xué)術(shù)評價(jià)科研人員
        科技部等五部門聯(lián)合發(fā)文開展減輕青年科研人員負(fù)擔(dān)專項(xiàng)行動(dòng)
        科研人員揭示油桃果實(shí)表皮不長毛的奧秘
        科研人員破譯黑豬肉特征風(fēng)味物質(zhì)
        治療艾滋病,中國科研人員有了新發(fā)現(xiàn)
        廣東公安科研人員風(fēng)采
        我國科研人員揭秘銀杏古樹長壽機(jī)制
        園林科技(2020年2期)2020-02-17 15:50:28
        教育研究推動(dòng)政府決策的問題及路徑
        學(xué)術(shù)不端行為防范機(jī)制的構(gòu)建
        學(xué)術(shù)圖書評價(jià)實(shí)證研究
        出版廣角(2016年14期)2016-12-13 01:53:31
        高校創(chuàng)新人才評價(jià)機(jī)制探索
        成才之路(2016年29期)2016-10-31 16:05:39
        亚洲女同一区二区三区| 亚洲av无码片在线观看| 国产精品亚洲综合一区在线观看| 成人亚洲欧美久久久久| 久久免费精品视频老逼| 精品人妻少妇一区二区中文字幕| 日本少妇按摩高潮玩弄| 一区二区三区岛国av毛片| 亚洲成熟中老妇女视频| 亚洲综合精品中文字幕| 日本污ww视频网站| 亚洲一区 日韩精品 中文字幕 | 四川丰满少妇被弄到高潮| 久久精品免视看国产盗摄| 二区三区视频在线观看| 久久亚洲中文字幕伊人久久大| 在线播放草猛免费视频| 在线播放av不卡国产日韩| 无码精品人妻一区二区三区漫画| 久久久无码精品亚洲日韩按摩 | 欧美激欧美啪啪片| 国产免费av片在线播放| 精品人妻无码中文字幕在线| 国内自拍偷拍一区二区| 自拍成人免费在线视频| 亚洲人成精品久久久久| 一本大道无码av天堂| а的天堂网最新版在线| 扒开女性毛茸茸的视频| 国产精品亚洲一区二区三区| 国产免费av片在线播放| 久久国产免费观看精品| 亚洲伊人伊成久久人综合| 亚洲一区二区三区中国| 久久成人国产精品| 精品国产高清一区二区广区| 人妻风韵犹存av中文字幕| 亚洲精品一品区二品区三区| 欧美乱人伦人妻中文字幕| 一本色综合久久| 国产视频网站一区二区三区 |