葉 京，冷伏海

（中國科學院科技戰(zhàn)略咨詢研究院，北京 100190）

1 研究背景

技術(shù)水平評估是對當前技術(shù)能力水平進行評估，是國家科學技術(shù)規(guī)劃中的一項重要基礎(chǔ)性工作［1］。技術(shù)創(chuàng)新是提升國家競爭力的重要手段，世界各國為了在激烈的全球研發(fā)競爭中占據(jù)優(yōu)勢，通過制定中長期目標、決定投資優(yōu)先順序等戰(zhàn)略，以確保自身的技術(shù)競爭力。隨著研究開發(fā)過程中產(chǎn)生的不確定性日益增加，制定科學技術(shù)中長期戰(zhàn)略及投入優(yōu)先順序的重要性也隨之提高，而這些技術(shù)發(fā)展戰(zhàn)略和投入規(guī)劃的制定，離不開技術(shù)水平評估（technology level evaluation）為之提供系統(tǒng)客觀的基礎(chǔ)資料，從而在有限的經(jīng)費投入中創(chuàng)造出有效的技術(shù)研發(fā)成果。

國家技術(shù)水平評估，首先不同于國家間綜合性或整體領(lǐng)域（如能源領(lǐng)域）的科技競爭力評估和創(chuàng)新能力測度，如世界知識產(chǎn)權(quán)組織（WIPO）發(fā)布的《2020 年全球創(chuàng)新指數(shù)（GII）》（以下簡稱《GII 2020》）報告、中國科技發(fā)展戰(zhàn)略研究院2017 年發(fā)布的《國家創(chuàng)新指數(shù)報告2016—2017》，國家間綜合性創(chuàng)新能力測度調(diào)查的對象數(shù)量偏多，如《GII 2020》分析了131 個經(jīng)濟體、歐洲創(chuàng)新指數(shù)以28 個國家為對象、我國的國家創(chuàng)新指數(shù)調(diào)查了40 多個國家，而國家技術(shù)水平評估則是針對某一重要技術(shù)方向進行少數(shù)定標比超國家間的分析評估；第二，在評估方法上，不論是利用專利/論文等客觀數(shù)據(jù)設(shè)計定量指標進行比較分析評估，還是通過現(xiàn)場訪談?wù){(diào)研或文獻資料調(diào)研進行比較分析，國家技術(shù)水平評估均采用相對程度比較的方法，而不是絕對的得分或鑒定；第三，國家技術(shù)水平評估方法的一個新趨勢是，針對具體特定前瞻技術(shù)方向進行國家間研發(fā)水平研判，逐漸重視定性分析，這是因為相對于傳統(tǒng)定量分析方法，定性分析有利于處理復雜性因果關(guān)系問題［2］。

在已開展技術(shù)水平評估的國家中，如日本科學技術(shù)振興機構(gòu)（JST）通過專家問卷調(diào)查，對美、歐、中、日、韓等國家和地區(qū)的大、中、小分類技術(shù)進行比較，得出上升/持平/下降趨勢的評估結(jié)果；我國科技部開展的國家技術(shù)預測調(diào)查中，僅設(shè)計了“與領(lǐng)先國家的技術(shù)差距”這1 個一級指標，下設(shè)“我國領(lǐng)先”、“同等水平”、“落后5 年”和“落后6 年～10 年”等4 個二級指標［3］，較難比較出與世界領(lǐng)先技術(shù)水平的精確差距；由于對技術(shù)發(fā)展水平這類比較復雜的評估對象很難用確切數(shù)據(jù)來反映，因此韓國評估一個國家的技術(shù)水平，是通過與世界最高水平國家技術(shù)比較的一種相對評估，針對技術(shù)持有方在確定的技術(shù)方向上的發(fā)展程度和時間差距及其原因進行定性或定量的比較分析評估，在評估方法上采取結(jié)合專家判斷的定性分析，通過專家德爾菲調(diào)查得出主要競爭國家技術(shù)水平和技術(shù)差距（單位為“年”）的評估結(jié)果，準確把握技術(shù)所處的水平位置（technology level），并用以與其他國家進行比較的技術(shù)差距的年度值精確到小數(shù)點后一位。

綜上，梳理韓國主要機構(gòu)開展技術(shù)水平評估的概況及特征，了解其代表性評估機構(gòu)——韓國科學技術(shù)評價院開展技術(shù)水平評估的歷程，基于韓國2018 年技術(shù)水平評估工作的實施體系、流程以及評估方法的完善，從縱向、橫向兩方面考察韓國技術(shù)水平評估的實施情況，從評估方法完善視角分析總結(jié)韓國技術(shù)水平評估方法的實施經(jīng)驗，挖掘值得我國借鑒之處，以期推動我國技術(shù)發(fā)展政策與戰(zhàn)略的制定以及科技事業(yè)的可持續(xù)發(fā)展。

2 韓國技術(shù)水平評估實施概況及特征

不同機構(gòu)實施技術(shù)水平評估采取的評估方法多種多樣，韓國各機構(gòu)開展的技術(shù)水平評估包括定期評估或周期性評估，以及間歇性按需評估［4］。

2.1 技術(shù)水平評估實施概況

2015—2018 年間，韓國國防技術(shù)品質(zhì)院（DTaQ）、農(nóng)林水產(chǎn)食品技術(shù)評價院（IPET）、信息通信評價院（IITP）、產(chǎn)業(yè)技術(shù)評價管理院（KEIT）、食品安全信息院（NFSI）、保健產(chǎn)業(yè)振興院（KHIDI）、海洋科學技術(shù)振興院（KIMST）、海洋政策學會（KSOP）、國土交通科學技術(shù)振興院（KAIA）、科學技術(shù)信息研究院（KISTI）等10 家機構(gòu)，按照其各自技術(shù)領(lǐng)域發(fā)展規(guī)劃需要，在國防科學技術(shù)、農(nóng)林水產(chǎn)食品技術(shù)、信息與通信技術(shù)（ICT）、產(chǎn)業(yè)技術(shù)、海洋科學技術(shù)等領(lǐng)域?qū)嵤┝思夹g(shù)水平評估（見表1）［5］。

表1 韓國主要機構(gòu)開展技術(shù)水平評估概況

表1 （續(xù)）

2.2 技術(shù)水平評估實施特征

2015—2018 年間，韓國各機構(gòu)實施的技術(shù)水平評估，在評估目的、評估對象、評估內(nèi)容和評估方法上存在共性特征：

（1）評估目的。一是為提升國家技術(shù)競爭力制定各領(lǐng)域技術(shù)的中長期研發(fā)計劃，對各領(lǐng)域核心技術(shù)進行評估；二是通過了解韓國與主要競爭國家的技術(shù)水平差距，制定有針對性的研發(fā)戰(zhàn)略；三是為制定國家中長期研發(fā)戰(zhàn)略和投入優(yōu)先順序提供依據(jù)。

（2）評估對象。評估對象主要為美國、歐盟、中國、日本、韓國等5 個國家和地區(qū)，部分機構(gòu)根據(jù)評估對象技術(shù)特征增加相應(yīng)的技術(shù)領(lǐng)先國家，如國防技術(shù)品質(zhì)院以美國、法國、俄羅斯、日本、英國、中國等23 個主要激光技術(shù)發(fā)達國家為對象進行評估；農(nóng)林水產(chǎn)食品技術(shù)評價院的評價對象增加了德國、荷蘭、法國、英國、澳大利亞等國家；科學技術(shù)信息研究院的評價對象則增加了澳大利亞、印度、加拿大、巴西、俄羅斯等國家。

（3）評估內(nèi)容。評估的內(nèi)容一般包括技術(shù)水平、技術(shù)差距及原因、最高水平技術(shù)持有國家/機構(gòu)、提升技術(shù)水平的建議或追趕方案、技術(shù)重要程度（重要程度、緊迫性、影響效果）、論文專利數(shù)量與影響力指數(shù)等重要指標、投入比例（政府與民間、各技術(shù)階段）、政府政策等。

（4）評估方法。大部分機構(gòu)采用德爾菲法，評估結(jié)果產(chǎn)出為相較最高水平技術(shù)持有國家的技術(shù)水平和技術(shù)差距，上述10 家機構(gòu)均提供技術(shù)開發(fā)水平、技術(shù)重要程度、提升技術(shù)水平的建議等補充內(nèi)容；此外，實施定量評估采用論文/專利分析方法，提供各項技術(shù)的論文/專利水平（數(shù)量及影響力指數(shù)等）。

3 韓國技術(shù)水平評估實施機構(gòu)典型分析

韓國科學技術(shù)評價院（KISTEP）成立于2001 年，是國家級的科技規(guī)劃支撐機構(gòu)。KISTEP 依據(jù)韓國《科學技術(shù)基本法》第十四條第二款，即政府為促進科學技術(shù)的發(fā)展，應(yīng)當對國家重要核心技術(shù)水平進行評估，并制定和推進有關(guān)技術(shù)水平的提高措施，和《科學技術(shù)基本法施行令》第二十四條（技術(shù)水平評估）第二項，即科學技術(shù)信息通信部長官應(yīng)根據(jù)法律第十四條第二款與有關(guān)中央行政機構(gòu)的長官協(xié)商，每兩年實施所管領(lǐng)域的技術(shù)水平評估，并將結(jié)果向國家科技咨詢會議報告，對韓國與美國、歐盟、日本、中國等主要競爭對象進行技術(shù)水平和技術(shù)差距綜合分析，掌握本國重點技術(shù)現(xiàn)狀和發(fā)展趨勢、監(jiān)測科技政策的成果，主要采用論文/專利分析的定量評估與德爾菲法的定性評估結(jié)合；并在每兩次評估中期的間隔年份，會定期進行技術(shù)水平評估方法改進研究，根據(jù)研究結(jié)果完善評估方法，以提升下一次技術(shù)水平評估結(jié)果的可信度。盡管韓國國內(nèi)的政府其他機構(gòu)基本都采取類似KISTEP 的評估體系和方法，但其開展的技術(shù)評估與KISTEP 的主要區(qū)別在于，KISTEP 開展技術(shù)水平評估工作更為規(guī)范化和體系化，以及評估的技術(shù)領(lǐng)域范圍更為全面，可以從國家層面發(fā)揮決策咨詢作用。因此，本研究以KISTEP作為典型案例進行介紹和分析。

如表2 所示，KISTEP 以韓國戰(zhàn)略技術(shù)為對象，從1999 年至2018 年共進行了9 次技術(shù)水平評估，從1999 年至2016 年共開展了8 次大規(guī)模專家德爾菲調(diào)查，尤其是2008 年以后的技術(shù)水平評估工作更側(cè)重于依據(jù)《科學技術(shù)基本法》，并與政府在不同時期推進的科學技術(shù)基本計劃相結(jié)合［5］。其中，2008 和2010 年分別對《第2 次科學技術(shù)基本計劃（2008—2012 年）》中的90 項重點科學技術(shù)進行了兩次技術(shù)水平評估；2012、2014 和2016 年分別對《第3 次科學技術(shù)基本計劃（2013—2017）》中的120 項國家戰(zhàn)略技術(shù)進行了3 次技術(shù)水平評估。

表2 韓國科學技術(shù)評價院的技術(shù)水平評估實施歷程

表2 （續(xù)）

2008 年度對90 項重點科學技術(shù)的技術(shù)水平評估，是針對韓國《第2 次科學技術(shù)基本計劃（2008—2012 年）》中的90 項重點科學技術(shù)和364 項具體技術(shù)進行的技術(shù)水平評估，包括信息電子通信、生物、機械制造工藝等10 個技術(shù)領(lǐng)域。評估采用技術(shù)增長模型，對當前與5 年后的技術(shù)水平進行預測和動態(tài)評估，通過論文/專利分析的定量評估和德爾菲法的定性評估，完善此前僅有主觀評估的方法。評估內(nèi)容包括評價對象的技術(shù)水平與技術(shù)開發(fā)所需時間、技術(shù)水平達成主要因素、技術(shù)獲得與追趕和改進方案、核心技術(shù)水平提升與技術(shù)能力提高的建議以及技術(shù)開發(fā)的阻礙因素與對策建議等。

2010 年度的技術(shù)水平評估對象包括共11 個大領(lǐng)域的95 項重點科學技術(shù)和369 項具體技術(shù)。評估方法以德爾菲法調(diào)查結(jié)果為中心，利用技術(shù)增長模型并行分析論文和專利。評估內(nèi)容主要針對美國、日本、歐盟、中國和韓國5 個國家和地區(qū)間的技術(shù)水平與差距比較、技術(shù)動向調(diào)查和論文/專利被引用等；此外，首次對韓國國家重點科學技術(shù)實施時間序列（2008—2010 年）的技術(shù)水平評估，以及在中間階段檢驗政府的科學技術(shù)政策成效。

2012 年度的技術(shù)水平評估中，對2010 年的評估方法進行了改進（見表3）［6］，引入劃分研發(fā)階段（基礎(chǔ)研究、應(yīng)用研究、開發(fā)研究）和研究主題（產(chǎn)、學、研）的分析方法，并引入專家對德爾菲調(diào)查和論文/專利調(diào)查結(jié)果進行綜合討論分析；此外，參與德爾菲調(diào)查的專家由相關(guān)技術(shù)領(lǐng)域?qū)W會、協(xié)會、研究所和大學推薦，使專家的代表性和專業(yè)性得到提升。

表3 韓國科學技術(shù)評價院的技術(shù)水平評估改善方向

4 韓國技術(shù)水平評估方法典型分析

韓國科學技術(shù)評價院［7］于2019 年4 月發(fā)布的《2018 年韓國技術(shù)水平評估》，是韓國近期最新開展的一次技術(shù)水平評估（以下簡稱“2018 評估”）的報告。2018 評估對以往的技術(shù)水平評估方法進行了改進，評估對象為韓國《第4 次科學技術(shù)基本計劃（2018—2022）》中的重點科學技術(shù)，這些技術(shù)對韓國的社會經(jīng)濟和科學技術(shù)有較高貢獻度，包括建設(shè)交通、災(zāi)難安全、航空航天海洋、國防、機械制造、材料納米、農(nóng)林水產(chǎn)食品、生命保健醫(yī)療、能源資源、環(huán)境氣象、信息通信技術(shù)和軟件等11 個領(lǐng)域120 項重點科學技術(shù)，以及分析韓國在這些技術(shù)領(lǐng)域上與美國、歐盟、日本、中國的技術(shù)差距；此外，從技術(shù)趨勢、技術(shù)發(fā)展程度、技術(shù)間的相似重復等方面考慮，調(diào)整韓國現(xiàn)有國家戰(zhàn)略技術(shù)的技術(shù)名稱、技術(shù)范圍等，新增加了人工智能、智能家庭、智慧城市、3D 打印、大氣污染應(yīng)對等12 項技術(shù)。

4.1 評估實施體系和流程

2018 評估的實施體系（見圖1）由運營委員會、評估委員、綜合支撐小組構(gòu)成。其中，運營委員會由科技領(lǐng)域相關(guān)產(chǎn)學研代表及理事組成，負責對技術(shù)水平評估計劃、現(xiàn)狀與結(jié)果進行討論調(diào)整；評估委員由11 個領(lǐng)域120 項重點技術(shù)的1 200 名專家組成，每項技術(shù)各對應(yīng)10 名專家，負責評估韓國與其他主要評估對象的重點技術(shù)水平與差距，以及參加對論文、專利分析結(jié)果的討論；綜合支撐小組由KISTEP 技術(shù)預測中心人員組成，負責核心專家的選定聯(lián)絡(luò)、德爾菲調(diào)查的設(shè)計和結(jié)果分析等工作。

圖1 韓國科學技術(shù)評價院技術(shù)水平評估實施體系

2018評估從2018 年2 月至2019 年2 月經(jīng)過1年時間，共進行了8 個實施階段，具體實施流程為（見圖2）：開展論文/專利分析；成立技術(shù)水平評估運營委員會；專家相互推薦，并確定定量分析內(nèi)容；論文/專利趨勢分析和指標分析，兩次專家德爾菲調(diào)查分析，定性與定量分析結(jié)果最終分析；運營委員會討論并確定最終評估結(jié)果，提交國家科學技術(shù)咨詢會議審議。

圖2 韓國科學技術(shù)評價院技術(shù)水平評估實施流程

4.2 評估方法改進內(nèi)容

為提高技術(shù)水平評估結(jié)果的可信度和有效度，2018 評估通過完善德爾菲調(diào)查方式和論文/專利等定量分析法，以及完善評估專家遴選方法和評估指標等方面，使評估方法更客觀，相比2016 年KISTEP開展技術(shù)水平評估的方法有所改進（見表4）。

表4 韓國科學技術(shù)評價院技術(shù)水平評估方法的改進

一是在加強數(shù)據(jù)定量分析的同時改進專家定性評估方式，確保評估結(jié)果的客觀性和專業(yè)性。技術(shù)水平評估方法一般包括定性方法和定量方法。定性方法是基于專家知識的主觀評估方法，包括頭腦風暴、德爾菲法、訪談、問卷調(diào)查、焦點團體訪談（focus group interview）等；定量方法是基于大量數(shù)據(jù)的客觀分析方法，包括論文/專利信息分析法、評分模型（scoring model）、層次分析法（analytic hierarchy process）、技術(shù)成熟度（technology readiness level）、專利指標應(yīng)用、技術(shù)增長模型等。2018 評估參考了KISTEP 對2017 年技術(shù)水平評估方法改進方案的研究結(jié)果，加強定量分析和定性評估結(jié)合，促進德爾菲調(diào)查研究的完善，增加技術(shù)水平評估結(jié)果的利用度和可信度。

二是加強運用定量分析方法。為滿足數(shù)據(jù)分析要求，2018 評估替換了依賴固定專家評估的技術(shù)動向報告，在現(xiàn)有的論文/專利分析指標中增加了多種分析指標（見表5），如IP4 占有率，是指不同于同族專利，用于分析在主要國家市場以外的影響力；將專利數(shù)據(jù)范圍從美國專利局擴大到韓中日歐美五局（見表6）；新增不僅能用于德爾菲調(diào)查的基礎(chǔ)資料，而且能分析各技術(shù)領(lǐng)域研究趨勢的指標；通過挖掘和分析論文/專利的活動趨勢和技術(shù)價值等突破性指標，提供技術(shù)發(fā)展當前情況的信息。

表5 韓國科學技術(shù)評價院開展技術(shù)水平評估的論文/專利分析指標改進

表6 韓國科學技術(shù)評價院開展技術(shù)水平評估的論文/專利分析對象與方法

三是完善定性分析方法。由于定性主觀判斷主要基于專家的知識與經(jīng)驗，存在一定程度客觀性不足的缺陷。一國不同專家群體和知識背景對國家的整體技術(shù)水平判斷有影響［8］，因此在以德爾菲法評估技術(shù)水平和技術(shù)差距過程中，針對技術(shù)水平是否指現(xiàn)有技術(shù)成果的差異、評估范圍是否包含技術(shù)開發(fā)能力等的不確定，存在因參與專家的解釋不同而評估結(jié)果不同的問題。為解決定性分析的客觀性不足問題，2018 評估完善了參與技術(shù)水平評估專家的選拔、實施方式和德爾菲調(diào)查問卷（見表7），將作為德爾菲調(diào)查評估委員的少數(shù)核心專家改進為專家5 年任期制的參與方式，并刪除或改進技術(shù)水平回答可信度低、產(chǎn)學研投入比例等利用度低且評估困難的內(nèi)容。

表7 韓國科學技術(shù)評價院開展技術(shù)水平評估的德爾菲調(diào)查問卷改進

4.3 新增指標

技術(shù)水平評估方法的基礎(chǔ)是評估指標體系的構(gòu)建，評估指標體系的選擇直接關(guān)系到科技評估結(jié)果的準確性［9］。2018 評估的評估指標比KISTEP 的2016年評估增加了活動力分析和技術(shù)力分析指標（見表8、表9）?；顒恿Ψ治鍪侵竿ㄟ^論文/專利占有率與增加率、專利海外申請度等指標，分析論文/專利的活動變化；技術(shù)力分析是指通過論文/專利影響力與IP4占有率、專利權(quán)力要求項的數(shù)量等指標，分析論文/專利所具有的技術(shù)價值。

表8 韓國科學技術(shù)評價院開展技術(shù)水平評估的活動力分析指標

表9 韓國科學技術(shù)評價院開展技術(shù)水平評估的技術(shù)力分析指標

表9 （續(xù)）

此外，如表10 所示，2018 評估的評估指標新增加了活躍度指數(shù)和吸引力指數(shù)的投入組合分析指標。以活躍度指數(shù)和吸引力指數(shù)為基礎(chǔ)，掌握指定國家對指定技術(shù)的技術(shù)實力和研究活動情況，分析特定國家即使落后于絕對優(yōu)勢，與其他國家相比，其指定技術(shù)的相對集中活躍程度和技術(shù)能力掌握程度。

表10 韓國科學技術(shù)評價院開展技術(shù)水平評估的投入組合分析指標

5 結(jié)論與啟示

韓國開展技術(shù)水平評估雖然起步較晚，但經(jīng)過近20 年的發(fā)展，技術(shù)水平評估工作在韓國已呈現(xiàn)制度化、常規(guī)化和體系化，在跟隨日本開展技術(shù)評估之后，經(jīng)過不斷完善，逐步提升了技術(shù)水平評估的可信度和客觀性，已形成自身特色的技術(shù)水平評估方法?？偨Y(jié)韓國的技術(shù)水平評估方法和實施經(jīng)驗，為我國完善技術(shù)水平評估方法和健全技術(shù)水平評估體系提供啟示。

5.1 有必要定期、長期進行國家層面的技術(shù)水平評估和監(jiān)測

韓國在制定每期科技基本計劃過程中，將技術(shù)水平評估作為制定各項技術(shù)發(fā)展目標的參考依據(jù)，通過持續(xù)的技術(shù)水平評估檢驗國家戰(zhàn)略技術(shù)水平發(fā)展程度，深入分析技術(shù)水平變化趨勢并反映到國家中長期技術(shù)規(guī)劃中。例如韓國近期推進實施的2018年技術(shù)水平評估，掌握當期科技基本計劃中的重點技術(shù)與世界主要發(fā)達國家的技術(shù)差距等情況，將其應(yīng)用于韓國的科技規(guī)劃活動，制定提高相關(guān)技術(shù)水平的政策；通過將研發(fā)投入、科技政策與技術(shù)水平評估結(jié)合，提出相關(guān)政策建議，有助于掌握技術(shù)發(fā)展信息的國際主動權(quán)。當前科技發(fā)展速度，我國的科技發(fā)展水平也迅速提升，科技部于2013 年年底啟動了國內(nèi)外技術(shù)競爭調(diào)查，對我國整體技術(shù)水平進行摸底，但至今已時隔7 年，為提升對我國技術(shù)發(fā)展水平判斷的準確性，有必要及時更新數(shù)據(jù)，科學把握我國技術(shù)發(fā)展水平和在國際上的位置，為科技規(guī)劃、發(fā)展戰(zhàn)略等政策的制定提供必要的基礎(chǔ)資料。

5.2 重視通過立法指導和保障技術(shù)水平評估工作

韓國從20 世紀中后期起，科技政策的制定逐漸擺脫模仿和追趕發(fā)達國家的技術(shù)開發(fā)戰(zhàn)略，更多強調(diào)創(chuàng)新型和領(lǐng)先型技術(shù)創(chuàng)新體系，為此，從國家層面重視技術(shù)規(guī)劃出發(fā)，2001 年制定《科學技術(shù)基本法》，強調(diào)技術(shù)預測、技術(shù)水平評估和技術(shù)影響評估等技術(shù)規(guī)劃工作。《科學技術(shù)基本法》為韓國制定每5 年一次的科學技術(shù)基本計劃和開展技術(shù)水平評估、技術(shù)預見提供依據(jù)和法律保障，同時賦予了國家科學技術(shù)審議會制定科技規(guī)劃、協(xié)調(diào)和評估國家研發(fā)計劃、分配政府研發(fā)預算等相關(guān)職能［10］。我國科技部于2003 年制定了《科學技術(shù)評價辦法》（試行），但該法規(guī)主要是對科學技術(shù)活動及其相關(guān)事項進行評價，從立法層面對于開展針對國家戰(zhàn)略技術(shù)發(fā)展水平評估工作的重視程度有待提高。

5.3 關(guān)注技術(shù)水平前瞻評估，并不斷優(yōu)化完善評估方法

科技評估工作不僅要著眼過去和現(xiàn)在，更應(yīng)關(guān)注未來科技戰(zhàn)略的制定［11］。韓國每兩年一次進行的技術(shù)水平評估，為其制定國家科技發(fā)展戰(zhàn)略和研發(fā)投入規(guī)劃提供了重要依據(jù)，并通過不斷創(chuàng)新完善評估方法和結(jié)果形式提升評估結(jié)果的可信度和客觀性、通過優(yōu)化分析方法提高評估分析工作的效率和準確度，尤其是其2018 年開展技術(shù)水平評估采用新的評估體系和改進方法，選定核心專家實行5 年任期制，摒棄專家一次性參與的做法，緩解了之前由于參評專家不固定而造成的評估工作專業(yè)性和客觀性缺失等問題；并且在論文/專利分析工作中導入了自動化系統(tǒng)，提高了工作效率和數(shù)據(jù)準確度。但通常情況下，為保障技術(shù)水平評估結(jié)果的時間序列分析和一貫性，技術(shù)水平評估方式不能進行太大的改動，應(yīng)保持以評估技術(shù)和體系為出發(fā)點提供基礎(chǔ)性資料的原則。

5.4 重視評估方法中定性分析和定量分析的深入結(jié)合

我國科技評價最常用的方法是文獻計量法和同行評議法，德爾菲法和層次分析法也逐漸被應(yīng)用［12］。其中，在基礎(chǔ)研究領(lǐng)域主要采用同行評議等以定性分析為主的評價方法，定量分析方法還處于探索完善過程中［13］。由于許多技術(shù)水平評估方法是通過德爾菲法進行專家意見調(diào)查，但依靠專家主觀性分析的方法容易產(chǎn)生評估結(jié)果客觀性不夠的問題；然而以論文、專利等定量數(shù)據(jù)為基礎(chǔ)的技術(shù)水平評估方法的缺點是，只能提出個別指標，難以進行綜合性判斷，而且將過去的論文/專利和現(xiàn)在的論文/專利同等地評估，不能反映技術(shù)陳舊率。因此，類似韓國技術(shù)水平評估方法將定性與定量分析相結(jié)合，對定量分析結(jié)果中的技術(shù)水平和技術(shù)差距增加產(chǎn)生結(jié)果原因的專家深度分析，能夠有效彌補單一方法的缺陷。盡管韓國2018 年開展的技術(shù)水平評估對定性分析和定量分析有所完善，但有調(diào)查研究指出，德爾菲調(diào)查與論文/專利分析的技術(shù)水平結(jié)果之間不存在有意義的相關(guān)性［5］，存在論文/專利分析結(jié)果與德爾菲調(diào)查結(jié)果結(jié)合分析不足的問題。可以看出，在技術(shù)水平評估方法中，有必要增加定性評估和定量評估結(jié)果間的相關(guān)性分析，以及導出技術(shù)水平綜合指標的相關(guān)研究。

5.5 重視加強技術(shù)水平評估結(jié)果相關(guān)信息的公開共享

韓國技術(shù)水平評估報告每2 年定期在韓國科學技術(shù)評價院的官方主頁上公開發(fā)布，有利于公眾全面了解技術(shù)水平評估的最新進展和準確結(jié)果，同時有助于吸收社會廣泛意見建議，有效推動評估方法的改進完善。韓國科學技術(shù)評價院對2018 年技術(shù)水平評估報告中實施的定性評估（德爾菲調(diào)查）和定量評估（論文/專利分析）方法，向參與評估的專家進行了問卷調(diào)研，結(jié)果表明評估過程中存在“調(diào)研資料不足”“技術(shù)范圍過于寬泛”等問題，有必要增加討論會的召開次數(shù)，并及時進行資料共享，計劃今后采取增加重要論文和重要專利等質(zhì)性因素分析指標等改進措施。