付雪峰，戴亞飛，黃艷，崔琳，陳擁軍

國(guó)家自然科學(xué)基金委員會(huì)，化學(xué)科學(xué)部，北京 100085

1 引言

基礎(chǔ)研究是整個(gè)科學(xué)體系的源頭1。國(guó)家對(duì)基礎(chǔ)研究項(xiàng)目的組織、評(píng)審、管理等出臺(tái)了一系列相關(guān)政策與規(guī)定。國(guó)務(wù)院印發(fā)的《關(guān)于全面加強(qiáng)基礎(chǔ)科學(xué)研究的若干意見》明確提出了“完善符合基礎(chǔ)研究規(guī)律的項(xiàng)目組織、申報(bào)、評(píng)審與決策機(jī)制”的要求2。國(guó)家自然科學(xué)基金委員會(huì)(以下簡(jiǎn)稱基金委)是國(guó)家基礎(chǔ)研究項(xiàng)目的重要組織部門，貫徹“依靠專家、發(fā)揚(yáng)民主、擇優(yōu)支持、公正合理”的方針，秉持“公開、公平、公正”的評(píng)審原則，采用同行評(píng)議的方式對(duì)項(xiàng)目申請(qǐng)進(jìn)行評(píng)審。

高質(zhì)量的同行評(píng)議對(duì)實(shí)現(xiàn)基金項(xiàng)目的精準(zhǔn)資助具有重要意義3-8。然而，評(píng)審過程中會(huì)出現(xiàn)同行評(píng)議結(jié)果與項(xiàng)目的真實(shí)質(zhì)量不相符的情況。本文將以國(guó)家自然科學(xué)基金項(xiàng)目的通訊評(píng)審(函評(píng))為例，針對(duì)同行評(píng)議結(jié)果與項(xiàng)目真實(shí)質(zhì)量不相符的現(xiàn)象進(jìn)行分析，提出可能的解決方案。

2 評(píng)審偏差

國(guó)家自然科學(xué)基金項(xiàng)目在申請(qǐng)階段的評(píng)審一般包括函評(píng)和會(huì)議評(píng)審(會(huì)評(píng))兩個(gè)環(huán)節(jié)。函評(píng)過程中，每個(gè)項(xiàng)目均被分配給數(shù)名同行專家進(jìn)行評(píng)審。評(píng)審專家針對(duì)項(xiàng)目的科學(xué)價(jià)值(Intellectual Merit)、影響力(Broader Impacts)、創(chuàng)新性(Originality)和可行性(Plausibility)進(jìn)行評(píng)判。本文中，把上述四個(gè)要素的總體完成情況稱為項(xiàng)目的“真實(shí)質(zhì)量”，把評(píng)審專家對(duì)“真實(shí)質(zhì)量”的評(píng)價(jià)稱為“質(zhì)量預(yù)期”。評(píng)審專家在不受非科學(xué)因素干擾的情況下，理解所評(píng)項(xiàng)目的科學(xué)內(nèi)涵、準(zhǔn)確把握評(píng)審標(biāo)準(zhǔn)，就能做出正確的“質(zhì)量預(yù)期”評(píng)價(jià)，給出合理的評(píng)審結(jié)果。

實(shí)際評(píng)審結(jié)果和理想評(píng)審預(yù)期之間有時(shí)會(huì)出現(xiàn)評(píng)審偏差(Bias in peer review)。評(píng)審偏差是指評(píng)審專家評(píng)審項(xiàng)目時(shí)，受到各種因素干擾而未能對(duì)項(xiàng)目進(jìn)行準(zhǔn)確、客觀、公正的評(píng)價(jià)9。評(píng)審偏差產(chǎn)生的原因很復(fù)雜10-12，可能因素包括：受到項(xiàng)目申請(qǐng)人學(xué)術(shù)地位或?qū)W緣關(guān)系等因素影響、自身科學(xué)鑒賞力不足、對(duì)項(xiàng)目研究?jī)?nèi)容存在個(gè)人偏好以及對(duì)評(píng)審標(biāo)準(zhǔn)把握不一等13。本文主要探討由于對(duì)評(píng)審標(biāo)準(zhǔn)把握不一而產(chǎn)生的“質(zhì)量預(yù)期誤判”，從而導(dǎo)致評(píng)審偏差的問題。

基金委化學(xué)科學(xué)部(以下簡(jiǎn)稱化學(xué)部)對(duì)歷年重要人才類項(xiàng)目和研究類項(xiàng)目的評(píng)審與執(zhí)行情況進(jìn)行了大量的統(tǒng)計(jì)分析，試圖尋找評(píng)審偏差的來源，提出有效的解決措施和辦法，完善項(xiàng)目評(píng)審，提高項(xiàng)目遴選質(zhì)量，推動(dòng)化學(xué)學(xué)科整體健康發(fā)展。通過統(tǒng)計(jì)分析發(fā)現(xiàn)，不僅函評(píng)評(píng)價(jià)和會(huì)評(píng)評(píng)價(jià)之間存在偏差，獲資助項(xiàng)目的會(huì)評(píng)評(píng)價(jià)與結(jié)題評(píng)價(jià)(項(xiàng)目完成質(zhì)量)之間也存在偏差。例如：獲資助項(xiàng)目會(huì)評(píng)評(píng)價(jià)一般，結(jié)題評(píng)價(jià)很好；獲資助項(xiàng)目會(huì)評(píng)評(píng)價(jià)很好，但結(jié)題評(píng)價(jià)一般。在排除項(xiàng)目負(fù)責(zé)人個(gè)體因素的情況下，說明在項(xiàng)目函評(píng)和會(huì)評(píng)階段，確實(shí)有部分評(píng)審專家對(duì)項(xiàng)目的評(píng)價(jià)出現(xiàn)了評(píng)審偏差。

3 基金評(píng)審的模糊屬性

從發(fā)布項(xiàng)目指南到項(xiàng)目結(jié)題驗(yàn)收，國(guó)家自然科學(xué)基金項(xiàng)目管理過程涉及多個(gè)環(huán)節(jié)。2019年化學(xué)部在基金項(xiàng)目申請(qǐng)和評(píng)審過程中采取了“專家參與指派”、“三盲評(píng)審”等一系列新舉措14,15，并提出了會(huì)評(píng)的“確認(rèn)-糾偏-擇優(yōu)”機(jī)制16，有效降低了由于項(xiàng)目申請(qǐng)人學(xué)術(shù)地位和學(xué)緣關(guān)系等因素導(dǎo)致的評(píng)審偏差。但是，由“質(zhì)量預(yù)期誤判”導(dǎo)致的評(píng)審偏差問題仍然沒有得到很好解決。

評(píng)審專家通過對(duì)項(xiàng)目申請(qǐng)真實(shí)質(zhì)量的評(píng)價(jià)形成質(zhì)量預(yù)期，并對(duì)質(zhì)量預(yù)期分別給出“好”或“不好”程度的判斷，再將這種判斷歸入“優(yōu)、良、中、差”等級(jí)(對(duì)應(yīng)4、3、2、1評(píng)分)。然而，這些等級(jí)(或集合)之間的邊界并不清晰。在評(píng)審過程中，由于項(xiàng)目質(zhì)量預(yù)期評(píng)價(jià)的復(fù)雜性和專家對(duì)真實(shí)質(zhì)量認(rèn)知的局限性，評(píng)審專家在做出評(píng)價(jià)決策時(shí)可能會(huì)在項(xiàng)目等級(jí)歸屬問題上猶豫不決。例如，質(zhì)量預(yù)期“好”到什么程度是“優(yōu)”？或者，比“優(yōu)”差多少是“良”？雖然每個(gè)等級(jí)的外在表現(xiàn)形式(評(píng)分值)是明確的，但其內(nèi)涵(質(zhì)量預(yù)期的等級(jí))卻是不確定的、具有模糊屬性(如圖1所示)。基金項(xiàng)目評(píng)審是一種群體決策17過程，單個(gè)評(píng)審專家對(duì)質(zhì)量預(yù)期等級(jí)的模糊性可能會(huì)導(dǎo)致評(píng)審偏差或因疊加作用產(chǎn)生更大的評(píng)審偏差，進(jìn)而顛覆處于資助或不資助邊緣區(qū)域項(xiàng)目的評(píng)審結(jié)果。因此，有必要對(duì)基金評(píng)審過程中的模糊屬性進(jìn)行詳細(xì)分析并進(jìn)行合理處置。

圖1 基金評(píng)審的模糊屬性。

4 評(píng)審結(jié)果的模糊集合表達(dá)

在經(jīng)典集合(Two-valued Sets)理論中，一個(gè)對(duì)象是否屬于集合，只有“是”或者“否”兩種情況。比如定義一個(gè)集合表示“天氣熱”，那么我們需要設(shè)置一個(gè)閾值(如氣溫超過30 °C)。當(dāng)氣溫高于這個(gè)閾值時(shí)，這天就屬于“天氣熱”集合，反之則不屬于“天氣熱”集合。這種歸類簡(jiǎn)單明了，但在解決實(shí)際問題時(shí)可能會(huì)遇到困難：比如氣溫是29 °C時(shí)，就不屬于“天氣熱”集合了，但在人們主觀判斷上卻可能覺得天氣熱。這表明主觀評(píng)價(jià)中存在模糊屬性，經(jīng)典集合無法描述這種模糊屬性。在現(xiàn)實(shí)生活中，人們通常不會(huì)把諸如天氣、“顏值”等與人類主觀感受密切相關(guān)的事務(wù)簡(jiǎn)單分成是或否、對(duì)或錯(cuò)的類別，而更傾向于以“是”或“否”的程度來區(qū)分。例如，在進(jìn)行天氣總體情況描述時(shí)，天氣預(yù)報(bào)一般不說：“今天熱，有云”，而會(huì)使用一些模糊的說法，如“今天天氣較熱，部分地區(qū)多云”等等。這些“較”、“部分”、“多”等修飾程度的語言雖然是模糊的，但在人類世界中卻可以傳遞比數(shù)值更為豐富的信息。

模糊集合(Fuzzy Sets)由L. A. Zadeh在1965年提出，用語言變量代替數(shù)值變量來描述系統(tǒng)行為，能夠較好地反映人類思維及決策過程的復(fù)雜性，更適用于“有人參與”的系統(tǒng)，提供了一種處理類似“天氣熱”等不確定性的有效方法18-21。模糊集合在自動(dòng)控制、化工、交通、機(jī)器人、電子、家電、管理、決策、醫(yī)療、心理和經(jīng)濟(jì)等多方面得到了廣泛的應(yīng)用，現(xiàn)已成為人工智能領(lǐng)域最為實(shí)用的理論工具之一22。

與經(jīng)典集合相比，模糊集合在處理“天氣熱”問題時(shí)，把氣溫作為基礎(chǔ)變量，構(gòu)建一個(gè)值域?yàn)閇0，1]的一致性函數(shù)，給基礎(chǔ)變量賦予一個(gè)模糊參數(shù)(也稱為一致性)。如此，集合中的每個(gè)對(duì)象就由基礎(chǔ)變量(氣溫)和模糊參數(shù)(由一致性函數(shù)生成的0到1之間的數(shù)值)組成。由這些對(duì)象構(gòu)成的集合就是模糊集合。如氣溫為35 °C，則可表達(dá)為(35，1)，其中“1”表示這天完全屬于“天氣熱”模糊集合；如氣溫為15 °C，則可表達(dá)為(15，0)，其中“0”表示這天完全不屬于“天氣熱”模糊集合；如氣溫為25 °C，可表達(dá)為(25，0.7)，其中“0.7”表示以0.7的一致性屬于“天氣熱”模糊集合，當(dāng)然也可以說是以某種“不一致性”不屬于“天氣熱”模糊集合。通過上述事例，我們可以得到模糊集合的幾個(gè)要素：一致性函數(shù)表示一個(gè)對(duì)象對(duì)于某個(gè)模糊集合的隸屬程度，這種隸屬程度用0到1之間的模糊參數(shù)表達(dá)，一個(gè)對(duì)象可以同時(shí)屬于多于一個(gè)模糊集合。

圖2 基金項(xiàng)目申請(qǐng)?jiān)u分等級(jí)的模糊參數(shù)。

應(yīng)用模糊集合理論，我們可對(duì)項(xiàng)目申請(qǐng)函評(píng)評(píng)價(jià)的每個(gè)等級(jí)或評(píng)分值賦予一致性函數(shù)，構(gòu)造等級(jí)或評(píng)分值的模糊集合，以此解決“優(yōu)、良、中、差”等級(jí)或“4、3、2、1”評(píng)分邊界不清晰的問題。如果將一個(gè)項(xiàng)目申請(qǐng)包中的所有項(xiàng)目申請(qǐng)當(dāng)作一個(gè)集合，則“優(yōu)、良、中、差”等級(jí)就是這個(gè)項(xiàng)目申請(qǐng)包的四個(gè)模糊子集(項(xiàng)目評(píng)分等級(jí)的模糊參數(shù)如圖2所示)。若某個(gè)項(xiàng)目申請(qǐng)的質(zhì)量預(yù)期“特別好”，評(píng)分值就可表達(dá)為(4，1)，其中1表示完全屬于“優(yōu)”這個(gè)模糊子集；若某個(gè)項(xiàng)目的質(zhì)量預(yù)期“很好”，則可表達(dá)為(4，0.6)，也就是以0.6的一致性屬于“優(yōu)”這個(gè)模糊子集；若某個(gè)項(xiàng)目的質(zhì)量預(yù)期“較好”，則可表達(dá)為(3，0.8)，即以0.8的一致性屬于“良”這個(gè)模糊子集；若某個(gè)項(xiàng)目評(píng)審的質(zhì)量預(yù)期“不太好”，則可表達(dá)為(1，0.7)，即以0.7的一致性屬于“差”這個(gè)模糊子集。

在實(shí)際應(yīng)用中，評(píng)審專家依然是按照現(xiàn)有評(píng)審規(guī)則對(duì)項(xiàng)目申請(qǐng)給出“優(yōu)、良、中、差”等級(jí)和對(duì)應(yīng)的4、3、2、1評(píng)分，在專家完成評(píng)審之后，由系統(tǒng)通過一致性函數(shù)的算法進(jìn)行相應(yīng)的模糊參數(shù)賦值。我們希望運(yùn)用模糊集合理論和一致性函數(shù)減小評(píng)審結(jié)果的質(zhì)量預(yù)期誤判，提升群體決策的共識(shí)程度，從而進(jìn)一步提高評(píng)審質(zhì)量。

5 總結(jié)和展望

本文針對(duì)國(guó)家自然科學(xué)基金項(xiàng)目函評(píng)環(huán)節(jié)的同行評(píng)議進(jìn)行分析，討論了基金評(píng)審結(jié)果的模糊屬性，闡述了如何利用模糊集合更精準(zhǔn)地描述評(píng)審結(jié)果。評(píng)價(jià)等級(jí)/評(píng)分的模糊集合在形式上比較容易實(shí)現(xiàn)。但是，描述和設(shè)置模糊參數(shù)、構(gòu)造一致性函數(shù)、將一組評(píng)分的模糊集合轉(zhuǎn)化為一個(gè)確定的結(jié)論(或單一分值表達(dá))是一個(gè)較為復(fù)雜的問題。今后，我們將針對(duì)正確構(gòu)建一致性函數(shù)開展深入研究，努力解決“質(zhì)量預(yù)期誤判”導(dǎo)致的評(píng)審偏差問題，以助力基金委“負(fù)責(zé)任、講信譽(yù)、計(jì)貢獻(xiàn)”的評(píng)審機(jī)制改革，為實(shí)現(xiàn)科學(xué)基金項(xiàng)目精準(zhǔn)資助的目標(biāo)提供理論依據(jù)。