吳赫君WU He-jun；陳晨CHEN Chen；李貴萍LI Gui-ping；陳翰CHEN Han

（①國網(wǎng)浙江省電力有限公司經(jīng)濟技術(shù)研究院，杭州 310000；②同濟大學經(jīng)濟與管理學院，上海 200092）

1 科技報告質(zhì)量評價的目的及意義

科技報告是科研（專業(yè)）人員為了描述其從事的科研、設(shè)計、工程、試驗和鑒定等活動的過程、進展和結(jié)果，按照規(guī)定的標準格式編寫而成的特殊文獻，也是國家基礎(chǔ)性科技創(chuàng)新資源[1]。我國的科技報告起源于1984 年的國防科技報告體系建設(shè)工作。2014 年國家號召部門、地方單位大力開展科技報告撰寫和發(fā)表工作，除國防科技項目之外，科技部、國家自然基金委、交通運輸部和各省市主管的科技項目都開始積極地提交科技報告。盡管近年來國家、地方的科技報告制度建設(shè)取得了顯著成效，但是科技報告的質(zhì)量管理體系并不完善。隨著科技報告數(shù)量的激增，各個部門所提交的科技報告的質(zhì)量并沒有受到嚴格控制，國家科技報告的整體質(zhì)量水平提升緩慢，降低了科技報告的科技含量和應用價值。

科技報告質(zhì)量評價在管理程序制定和實施管理方面尚有瓶頸。國內(nèi)雖然已有科技報告的質(zhì)量評價體系，但這些體系仍存在一些問題，比如：集中于宏觀層面，主要關(guān)注評價體系整體框架的構(gòu)建和原則的設(shè)計，提出的指標概念抽象，難以對權(quán)重進行定量計算。實際中，一些企業(yè)會與高校、研究院等開展項目合作，科技報告往往是項目的一項重要成果。然而，企業(yè)內(nèi)部的科技報告評價體系通常較為粗糙，對報告評價的角度單一，評價指標也不夠完備，難以準確區(qū)分報告之間質(zhì)量的高低，影響企業(yè)對于項目成果的質(zhì)量把控。

在這一背景下，本研究旨在建立科學的科技報告質(zhì)量評價指標體系，針對科技報告質(zhì)量管理中編制、校核、審核、批準這四個流程，構(gòu)建適合于科技報告的評價指標體系和模型，更加客觀和準確地對科技報告的質(zhì)量進行評價，并從本質(zhì)上提升業(yè)內(nèi)科技報告供應商產(chǎn)出的質(zhì)量水平，促進我國的科技報告產(chǎn)業(yè)高質(zhì)量發(fā)展。

2 文獻綜述

目前，一些學者針對科技報告的質(zhì)量評價體系和方法進行了初步的探索。裴雷和孫建軍[2]通過梳理國內(nèi)外科技報告質(zhì)量評價指標體系建設(shè)的理論和實踐，結(jié)合中國科技報告工作進展和實踐，提出了科技報告質(zhì)量評價指標體系設(shè)計的原則、方法、描述框架和參考體系，并為我國科技報告質(zhì)量評價的未來發(fā)展方向指明了重點。朱麗波等[3]通過運用頭腦風暴法、專家調(diào)查法、層次分析法與Yaahp 軟件，分析科技報告的質(zhì)量影響因素，選取相應的評價指標，并通過構(gòu)建科技報告的評價指標遞階層次結(jié)構(gòu)，計算各評價指標相對權(quán)重和加權(quán)權(quán)重。苗軍[4]分析了科技報告共享前和共享后兩個主要階段的質(zhì)量評價特點，構(gòu)建基于自評的科技報告質(zhì)量評價指標體系，其中一級指標有文獻編制質(zhì)量和專業(yè)技術(shù)質(zhì)量，文獻編制質(zhì)量對應的二級指標有結(jié)構(gòu)完整、格式規(guī)范和寫作水平，專業(yè)技術(shù)質(zhì)量對應的二級指標有技術(shù)創(chuàng)新性、內(nèi)容完備程度、技術(shù)重現(xiàn)度和應用價值。綜上可知，國內(nèi)現(xiàn)有的有關(guān)科技報告質(zhì)量體系研究的文獻相對較少。本文基于現(xiàn)有文獻給出的指標體系，結(jié)合專家意見，識別科技報告質(zhì)量評價的指標，并運用統(tǒng)計學、運籌學等多學科知識建立科技報告質(zhì)量評價模型。

3 科技報告質(zhì)量評價體系的建立

層次分析法是一種經(jīng)典的多指標綜合評價方法，由美國運籌學家薩蒂于1982 年提出，它綜合了人們的主觀判斷，將評價目標分為若干層次和若干指標，確定各個指標權(quán)重進而對目標進行綜合評價，是一種簡明、實用的定性與定量相結(jié)合的、系統(tǒng)化的、層次化的分析方法。

科技報告的質(zhì)量評價體系所包含的評價指標眾多，且這些指標對于目標的重要性不同，評價的角度也不同。要達到完備、有序地評價科技報告的目的，需按照文件的不同屬性將這些評價指標歸類為幾個大類指標，并在這些大類下進一步細分得到下一層的指標，如此對每一層的各個指標進行分解，直到評價指標難以繼續(xù)細分下去，以便在后續(xù)確定每一指標對目標影響的權(quán)重。層次分析法符合科技報告質(zhì)量評價指標體系的特點，因此，本研究通過建立科技報告質(zhì)量評價指標并基于AHP 計算指標權(quán)重得到科技報告質(zhì)量評價體系。

3.1 評價指標體系設(shè)計

為保證科技報告落實質(zhì)量管理以及高質(zhì)量產(chǎn)出，科技報告一般需經(jīng)過編制、校核、審核、批準四個環(huán)節(jié)進行質(zhì)量評價。在編制環(huán)節(jié)中，編寫人員對科技報告進行根據(jù)關(guān)注指標進行自查并修訂；在校核環(huán)節(jié)中，專業(yè)負責人或?qū)I(yè)技術(shù)人員對科技報告質(zhì)量進行校核，在編寫人自查基礎(chǔ)上對科技報告做全面檢查、并根據(jù)差錯嚴重程度和出錯次數(shù)進行評分且向編寫人員提出修改意見與建議；在審核環(huán)節(jié)中，審核負責人負責根據(jù)校核分數(shù)對修改后科技報告進行進一步評估；在批準環(huán)節(jié)，負責人需對科技報告中的關(guān)鍵信息進行把關(guān)并批準通過。由于科技報告質(zhì)量評價各階段利益主體和質(zhì)量評價主體各不相同，他們在科技報告質(zhì)量管理過程中的評價目的和考察內(nèi)容有所差異，因此如何將評價需求差異體現(xiàn)在科技報告質(zhì)量評價指標體系的構(gòu)建中，如何體現(xiàn)科技報告評價的階段性特點是本研究的難點。

在評價過程中，各評價主體主要對科技報告的文件規(guī)范性、內(nèi)容合理性以及技術(shù)嚴謹性進行評價和反饋，編寫人員根據(jù)反饋結(jié)果修改和完善科技報告。目前缺少可量化的質(zhì)量評價體系對科技報告進行打分。本研究針對科技報告的編制、校核、審核、批準這四個環(huán)節(jié)構(gòu)建評價指標體系，確定校核、審核兩個主要評價過程的評價指標權(quán)重，以此為依據(jù)進行科技報告質(zhì)量評分。本研究主要從文獻編制質(zhì)量和專業(yè)技術(shù)質(zhì)量兩個維度進行考察并將其作為科技報告質(zhì)量評價指標體系的一級指標。為保證評價體系完備合理，本研究依據(jù)科技報告特性[5]，如結(jié)構(gòu)完整性、內(nèi)容準確性、格式規(guī)范性、大環(huán)境適應性、方案可行性等建立科技報告評價體系中的二級和三級指標。

3.1.1 編制過程評價指標體系

在科技報告編寫過程中和呈送前，編寫人需要分別從文件編制質(zhì)量和專業(yè)技術(shù)質(zhì)量兩個維度對編寫的科技報告進行自我評估，并針對不同的指標及其評價標準改進科技報告。參考現(xiàn)有研究[4]，本節(jié)設(shè)計了編制環(huán)節(jié)的評價指標體系。經(jīng)過多輪綜合專家意見，針對該過程設(shè)計了包括2 個一級指標、5 個二級指標、16 個三級指標及評價標準的技術(shù)報告質(zhì)量自查指標體系。具體指標體系如表1 所示。

表1 編制過程科技報告自評指標及評價標準

3.1.2 校核過程評價指標體系

校核環(huán)節(jié)是科技報告質(zhì)量管理流程中第二個流程，由專業(yè)負責人或?qū)I(yè)技術(shù)人員擔任校核工作。校核人在編寫人自查基礎(chǔ)上對科技報告做全面檢查，重點考察科技報告推理過程準確性、研究邏輯合理性、結(jié)論創(chuàng)新性、研究可實踐性和需求滿足程度。若科技報告不符合指標要求，校核人應根據(jù)差錯嚴重程度和出錯次數(shù)進行評分并向編寫人員提出修改意見與建議。該過程設(shè)計了包括2 個一級指標、5 個二級指標、16 個三級指標及評價標準的技術(shù)報告質(zhì)量評價指標體系。

3.1.3 審核過程評價指標體系

通過校核評價后，科技報告進入審核環(huán)節(jié)進行進一步評價。與校核環(huán)節(jié)不同的是，審核環(huán)節(jié)更重視科技報告中提出的結(jié)論和建議與科技報告編寫人對行業(yè)思想和方針的把握程度，因此在建立評價指標時，重點考察核心結(jié)論與關(guān)鍵數(shù)據(jù)的內(nèi)容準確性、技術(shù)方案是否符合原則統(tǒng)一性（即方案提出是否適應國家政策方針、法律法規(guī)、行業(yè)規(guī)范和企業(yè)戰(zhàn)略）以及方案實際可操作性。審核過程在校核評估基礎(chǔ)上對上述關(guān)鍵指標進行評價，以保證只有高質(zhì)量、高標準的科技報告進入批準環(huán)節(jié)。該過程設(shè)計了包括1 個一級指標、3 個二級指標、7 個三級指標及評價標準的技術(shù)報告質(zhì)量評價指標體系。

3.1.4 批準過程評價指標體系

批準環(huán)節(jié)是科技報告質(zhì)量管理流程中的最后一個環(huán)節(jié)。在批準過程中，負責人需對科技報告的專業(yè)技術(shù)質(zhì)量進行把關(guān)，關(guān)注核心結(jié)論和關(guān)鍵數(shù)據(jù)準確性以及技術(shù)方案是否與大環(huán)境相適應，并著重考慮技術(shù)能否在企業(yè)內(nèi)實施并帶來實際效益。該環(huán)節(jié)評價負責人需綜合校核和審核評價得到的打分結(jié)果對科技報告最終的質(zhì)量等級進行評定。該過程設(shè)計了包括1 個一級指標：專業(yè)技術(shù)質(zhì)量；3 個二級指標：內(nèi)容準確性、大環(huán)境適應性和實際可操作性；4 個三級指標：核心結(jié)論準確性、關(guān)鍵數(shù)據(jù)準確性、與國家政策、法律法規(guī)、行業(yè)規(guī)范、企業(yè)戰(zhàn)略的適應程度和技術(shù)路線可行性。

3.2 確定指標權(quán)重

本研究應用軟件Yaahp 實現(xiàn)層次分析法并確定評價指標權(quán)重。在評價指標體系確定基礎(chǔ)上，統(tǒng)一采用Satty 提出的9 分位比例標度[6，7]度量兩指標間的相對重要性，將研究問題從定性分析轉(zhuǎn)為定量分析，使用問卷調(diào)查法收集13 位專家對同級指標間相對重要性評分并根據(jù)得到的多份重要性打分進行投票制，即少數(shù)服從多數(shù)的綜合處理，最終得到綜合打分判斷矩陣。

綜合判斷矩陣建立后還需進行一致性檢驗以保證各元素重要度間的協(xié)調(diào)性。使用Yaahp 軟件對每個綜合矩陣進行一致性檢驗，若計算結(jié)果一致性比率CR 值<0.1 時，該矩陣符合一致性，否則一致性檢驗不通過，需要對該矩陣中的重要性打分進行修正。最后經(jīng)過反復檢驗和調(diào)整，所有指標相對重要性打分通過一致性檢驗，得到最終綜合判斷矩陣。然后，根據(jù)綜合判斷矩陣計算得到不同等級指標的權(quán)重。最后將Yaahp 軟件分析得到的三級指標權(quán)重乘以對應二級指標和一級指標權(quán)重，即得到各指標在該過程評價指標體系中的實際權(quán)重。經(jīng)過上述計算分析，最終得到校核和審核過程評價體系的綜合指標權(quán)重分別如表2、3 所示。

表2 校核過程評價指標權(quán)重排序

表3 審核過程評價指標權(quán)重排序

本節(jié)為提升科技報告撰寫質(zhì)量并嚴格落實科技報告質(zhì)量管理提供數(shù)學工具。基于構(gòu)建的科技報告評價指標及其權(quán)重，科技報告供應商可進一步依據(jù)指標評價要求對科技報告進行打分，最終得到綜合評分以對科技報告撰寫內(nèi)容及質(zhì)量進行把關(guān)。

4 結(jié)論

科技報告是科研項目和過程的總結(jié)性文獻，它在科研項目管理的過程中產(chǎn)生，由于科研過程往往周期比較長，跨越眾多階段，因此項目管理的流程也會較為復雜和漫長，科技報告的科學管理顯得尤為重要。質(zhì)量管理是科技報告管理的生命，對科技報告的質(zhì)量開展評價，能夠篩選出優(yōu)質(zhì)的科技報告，對科技報告的質(zhì)量發(fā)展起到積極的引導作用。對于科技報告供應商來說，推進科技報告質(zhì)量體系的構(gòu)建，能夠有效督促科研人員提高文件質(zhì)量，保證未來一段時期行業(yè)內(nèi)科技報告管理水平和能力的穩(wěn)步發(fā)展。

本文回顧了國內(nèi)科技報告質(zhì)量評價的研究現(xiàn)狀，針對當前科技報告質(zhì)量評價存在的問題，運用層次分析法，構(gòu)建了基于實際需求，實操性較強的分階段分層的文件質(zhì)量評價指標體系，能夠輔助專家和科研人員有效地對文件質(zhì)量做出評價，為科技報告資源體系的理論研究與實踐建設(shè)提供借鑒，促進業(yè)界科技報告質(zhì)量水平的提升。對于科技報告供應商來說，科技報告質(zhì)量體系的構(gòu)建能夠有效督促科研人員提高文件質(zhì)量，保證未來一段時期行業(yè)內(nèi)科技報告管理水平和能力的穩(wěn)步發(fā)展。