盛小平 焦鳳枝

(上海大學圖書情報檔案系 上海 200444)

隨著開放數據運動的進一步發(fā)展，開放數據評價成為人們關注的焦點之一。國外產生了“開放政府數據指數”“開放數據準備度”“全球開放數據晴雨表”等評價工具，國內開發(fā)了“中國開放數林指數”評價方法。同時，有關開放數據評價的理論研究也逐漸走向深入，產生了一系列相關研究成果。盡管國內已發(fā)表開放政府數據質量[1]等研究述評，但未見相關綜述全面反映國內外開放數據評價研究成果。2021年5月1-2日，筆者選擇CNKI期刊文獻中的“來源類別”為“核心期刊”和“CSSCI”，以“開放”“數據”“評價”或“評估”作為并列“篇名”檢索詞，查詢并去除重復文獻3篇、CSSCI來源擴展版文獻5篇、不相關文獻9篇后，得到50條相關記錄；以同樣的篇名檢索詞查詢CNKI碩博論文庫，并去除不相關文獻后得到30條相關記錄；同時，筆者以“open data”與“evaluation”或“measurement”或“assessment”為并列“title”檢索詞，查詢國外主要全文數據庫(含EBSCO、Proquest、Elsevier、Springer、Taylor & Francis、Emerald、SAGE Premier、Wiley-Blackwell、Web of science)，去除不相關文獻后得到59條相關記錄；此外，分別以“開放數據”“open data”作為“正題名”檢索詞，檢索國家圖書館“中文文獻庫”和“外文文獻庫”，得到與開放數據評價相關的3本圖書，因此，本文共得到142篇相關文獻。由于開放數據包括開放政府數據、開放科學數據(或研究數據、科研數據)、開放機構數據、開放個人數據等，且現有研究成果主要集中于開放政府數據和開放科學數據，故本文將兩者評價合在一起來綜述開放數據評價研究成果?；谒占墨I的文本分析與人工統(tǒng)計，發(fā)現開放數據評價涉及的分主題較多，出現頻次相對較高的分主題是：數據質量評價(35次)、平臺評價(25次)、政策評價(20次)、評價模型(18次)、價值評價(16次)、隱私風險評價(12次)、評價工具(10次)，而其他分主題，如開放數據的技術評價、服務評價、用戶參與評價，開放數據生態(tài)系統(tǒng)評價、開放數據計劃評價、開放數據源評價、開放數據安全評價等，出現頻次都在5次以下。為反映國內外開放數據評價的主要研究內容，本文選取出現頻次較高(10次以上)的7個分主題，覆蓋開放數據評價要素、模型、工具三部分(見圖1)。

圖1 開放數據評價研究核心內容框架

1 對開放數據政策評價的研究

目前該主題研究主要集中于開放政府數據政策評價與科學數據開放共享政策評價兩方面。這些研究可劃分為整體性評價和階段性評價兩類。開放數據政策整體性評價是指對開放政府數據或科學數據政策全過程、全要素的評價。國內涌現了2種評價方法：a.基于開放政府數據政策的準備度、執(zhí)行度、影響力三維度的評價。其中，準備度評價是指對準備實施開放政府數據的各項政策措施包括數據管理、平臺建設、組織機構、公眾利用能力等方面的評價；執(zhí)行度評價是對開放政府數據政策具體執(zhí)行情況的評價，如開放政府數據的數量和質量的評價；影響力評價是指開放政府數據政策給政府和社會帶來的效益如社會發(fā)展、政治影響的評價[2]；b.基于科學數據開放共享政策評價指標體系的評價，該評價指標體系由4個一級指標(含數據收集、數據存儲、數據管理、數據利用)、7個二級指標(含數據提交、數據保存、數據備份、數據審查、數據增刪、數據開放共享、權益劃分)、25個三級指標(含數據提交的強制性、數據提交格式等)組成[3]。國外涌現了其他評價方法,如基于開放政府數據的政策背景、政策內容、文化三維度的評價。其中，政策背景評價包括對組織層次、政策目標和動機、平臺發(fā)布的數據、資源配置和經濟環(huán)境、社會和政治背景、開放數據驅動力與阻抗力等方面的評價；政策內容評價包括對平臺發(fā)布數據的技術、數據本身和開放數據進程的評價；文化評價包括個人主義文化和集體主義文化的評價[4]。

開放數據政策階段性評價是指對開放數據政策生命周期中的某一階段進行評價，涉及前期政策方案評價和政策實施效果評價。目前，國內出現了利用4個一級指標(含目標標準、內容標準、公共價值標準、可行標準)和22個二級指標(含目的性、必要性等)來對開放政府數據前期政策方案進行評價的方法[5]。國外涌現了評價開放數據政策實施效果的方法。如采用數據可用性、共享數據可訪問性、數據完整性和數據可理解性四個指標進行評價[6]。

總之，目前人們對開放數據政策評價在評價維度、層次與指標上有明顯差異，未形成一種權威的觀點。事實上，開放數據政策評價還不能忽視開放數據政策內容、要素、效益與效率的評價。

2 對開放數據平臺評價的研究

該主題研究主要涉及平臺整體績效評價以及單項的平臺效率、平臺可用性和平臺服務質量評價。

2.1 對開放數據平臺整體績效評價的研究

開放數據平臺整體績效評價出現了兩類評價方法，即二級評價方法和三級評價方法。二級評價方法有5種方法(見表1)。從整體上看，5種二級評價方法在一級評價指標和二級評價指標上各不相同，但一級評價指標多數強調了平臺功能與數據質量兩方面；從微觀評價指標上看，“數據格式”是最常用的評價指標，其次是“數據量”“數據集種類”“完整性”“元數據完整性”“可獲取性”“機器可讀”“公眾參與”“許可”“準確性”等指標。三級評價方法有4種方法(見表2)。它與二級評價方法的主要區(qū)別是多數三級評價方法增加了作為一級指標的描述性指標，如基礎層、數據層、平臺層、應用層等。從整體上看，4種三級評價方法差異很大，但在一級和二級指標上同樣強調了平臺功能與數據質量兩方面。從微觀評價指標來看，二級評價指標“互動交流”“導航服務”和三級評價指標“數據集下載量”“數據接口”“數據更新”“檢索功能”“分類”出現次數相對較多，其他評價指標往往不同。

表1 二級開放數據平臺績效評價方法

表2 三級開放數據平臺績效評價方法

對于開放數據平臺整體績效評價，國外以二級評價方法為主，國內兼具二級和三級兩類評價方法。文獻[16]僅提出了三級評價指標體系，并未論證其有效性。

2.2 對開放數據平臺效率評價的研究

開放數據平臺效率評價主要包括如下3種不同方法：a.以數據量、數據內容、連通率、下載速度、網站總頁面數、網站的不重復鏈接數作為輸入指標，和以下載量、訪問量、網站外鏈接量作為輸出指標的評價方法[17]；b.以Web對象的數量、連通率、總頁面數、不重復鏈接數、下載時間、網站內容作為輸入指標，和以下載量作為唯一輸出指標的評價方法[18]；c.以數據集總量、數據領域覆蓋度、數據可機讀格式占比、承諾高頻更新數據集占比、元數據完整性作為輸入指標，和以數據集平均訪問量、數據集平均下載量作為輸出指標的評價方法[19]。當前研究成果中衡量開放數據平臺效率的輸入和輸出指標比較少，可增加用戶體驗類輸入指標和經濟效益與社會效益類輸出指標。

2.3 對開放數據平臺可用性評價的研究

目前有2種開放數據平臺可用性評價方法：a.基于系統(tǒng)狀態(tài)的可見性、系統(tǒng)與現實的匹配性、用戶控制與自由等21條可用性原則的評價方法[20]。b.基于開放數據集規(guī)范、開放數據集反饋、開放數據集請求三維度的評價方法，其中，開放數據集規(guī)范維度包括數據集描述、數據集發(fā)布者等7個評價指標，開放數據集反饋維度包括文檔和導覽、論壇和聯系方式等4個評價指標，開放數據集請求維度包括申請書、請求列表、參與過程3個評價指標[21]。在上述評價方法中，國內提出的第一種評價方法強調平臺自身功能，將可用性與易用性聯系起來的評價方法；國外提出的第二種評價方法是結合平臺功能與用戶使用效果來進行綜合評估的。相對而言，第二種平臺可用性評價方法更加合理。

2.4 對開放數據平臺服務質量評價的研究

開放數據平臺服務質量評價有2種評價方法：a.基于有形性、易用性、可靠性、響應性、移情性5維度的評價方法，其中有形性維度包含可視化、導引性2個指標；易用性維度包含時效性、全面性、規(guī)范性3個指標；可靠性維度包含穩(wěn)定性、安全性2個指標；響應性維度包含快捷性、反饋性2個指標；移情性維度包含交互性、吸引性2個指標[22]。b.基于網站可達性、數據易用性、網頁可用性、服務舒適性、用戶滿意、用戶信任6維度的評價方法。其中，網站可達性維度包括網頁查找、網站鏈接有效、網頁響應3個指標；數據易用性維度包括數據及時性、數據全面性、數據客觀性3個指標；網頁可用性維度包括網站導航、檢索功能、頁面設計效果3個指標；服務舒適性維度包括在線服務、數據下載、用戶注冊3個指標；用戶滿意維度包括總體滿意度、達到理想滿意度、達到預期滿意度3個指標；用戶信任維度包括對網站內容信任、對網站期望信任、會經常光顧網站3個指標[23]。

以上兩種方法分別以SERVQUAL模型和結構方程模型為基礎評價了服務質量，前者從服務提供者和使用者的視角出發(fā)，而后者僅從使用者的視角，視角的不同致使選取的評價指標呈現差異。易用性、可達性、可靠性及響應性是影響開放數據平臺服務質量的關鍵因素，應都納入其中。

3 對開放數據質量評價的研究

此主題研究包含開放數據集質量評價與開放數據元數據質量評價兩方面。

3.1 對開放數據集質量評價的研究

數據集質量評價主要有兩類評價方式：一是直接使用屬性指標如準確性、完整性、一致性[24]，可用性、及時性、可理解性[25]，原始性、更新頻率、機器可讀、全面性[26]，可審核性、可信任性、可見性、覆蓋面、互連性[27]等進行評價。二是建立不同的分級評價指標體系進行評價，包括基于重復性、準確性、完整性的三維二級評價方法[28]，和基于數據精度、數據服務、數據時效、數據易用的四維二級評價方法[29]，以及基于可追溯性、及時性、有效性、完整性、一致性、準確性、可理解性的七維二級評價方法[30]。雖然七維評價方法比四維、三維評價方法更加全面，但是由于數據質量屬性有多種多樣，包括可訪問性、準確性、現實性、可用性、可信性、明確性、完整性、綜合性、一致性、正確性、及時性、易用性、靈活性、互用性、可解釋性、易學性、精確性、不重復、客觀性、冗余度、關聯性、安全性、時事性、可追蹤性、效用性、有效性、價值性等[31]，因此，目前開放數據集質量評價方法仍不全面，不能系統(tǒng)地評估開放數據集質量。

3.2 對開放數據元數據質量評價的研究

開放數據的元數據質量評價也有兩類評價方法：一是直接使用完整性、及時性、原始性等6個指標進行評價[32]。二是通過建立二級評價指標體系進行評價(見表3)。在整體上看，3種評價方法都注重對元數據形式質量、內容質量、效用質量進行評價，但評價指標差異較大。從微觀評價指標來看，“存在性”“開放性”是3種方法共用的指標，“可獲取性”“可發(fā)現性”“許可”“文件格式”“開放格式”出現在兩種評價方法中，其他評價指標各不相同。這種分歧意味著今后需要加強開放數據元數據質量評價標準建設。

表3 開放數據元數據質量評價方法

4 對開放數據價值評價的研究

該主題集中于價值評價框架與實施利益兩方面。目前涌現了2種價值評價框架：a.基于用戶目標實現、提供者目標實現2維評價框架。其中，用戶目標實現維度評價指標包括數據提供能力、數據搜索及下載能力、用戶反饋能力、數據易用性；提供者目標實現維度評價指標包括數據展示能力、數據處理能力、數據上傳能力、數據提供者反饋能力[36]。b.基于平臺內容、用戶參與、開發(fā)利用3維評價框架。其中，平臺內容維度評價指標包括類目完備性、更新及時性、可讀性、可訪問性；用戶參與維度評價指標包括熱度、用戶評價；開發(fā)利用維度評價指標包括開放應用情況、活動舉辦情況[37]。

實踐調查結果顯示，開放政府數據計劃實施利益通常是運營利益和技術利益，其次是經濟利益，最后是政治與社會利益。這些利益主要包括增加了透明度、重用數據能力，增加公眾授權，改進政策制定流程和改善行政管理流程[38]；改進內部流程和自動化的數據服務，提高員工積極性，提高客戶友好度和關注度，改善政府形象，提高公民的參與，促進經濟增長，提高經濟效率[39]。在開放數據價值評價中，國外更傾向于實證研究，國內側重于理論分析。

5 對開放數據隱私風險評價的研究

國內學者認為，開放數據隱私風險評價需要數據開放者根據自身隱私保護需求，使用標記語言對其提供的原始數據字段等信息進行隱私等級標記，數據使用者通過使用需求語言聲明其使用需求，最終通過矩陣計算確定隱私泄露風險等級[40]；國外學者提出了開放數據隱私風險評價模型，該模型由開放數據隱私屬性、決策引擎、使用限制、隱私風險緩解措施、隱私風險指示器5部分組成[41]。不過，開放數據風險不僅僅是隱私風險，還包括數據系統(tǒng)性風險、經濟風險、政府治理體系風險、國家安全風險等。

在開放數據隱私風險評價方面，英國、法國、新西蘭等采取了一些有效措施，如在《隱私法》、《數據保護法》等相關政策法律中明確個人隱私評判標準；運行包括隱私風險評價的隱私影響評估(PIA)工具，實施隱私影響評估；制定包括個人隱私數據如何收集、使用及保管的隱私評估準則[42-44]，這些措施值得我國借鑒。

6 對開放數據評價模型的研究

該主題集中于開放政府數據評價模型研究，可分為一般評價模型和專門評價模型兩類。一般評價模型是對開放數據總體情況的評價，涌現了三種評價方法：a.三維三級評價模型，即從數據開放水平、平臺完善程度、社會創(chuàng)新三個維度建立三級指標體系來對開放政府數據進行評價[45]；b.四維三級評價模型，即從基礎保障層、開放質量層、用戶參與層、價值釋放層四個維度建立三級指標體系來對開放政府數據進行評價[46]；c.九維二級評價模型，即從政策規(guī)劃、法律法規(guī)、組織領導、個人能力、組織架構、技術基礎、開放政府原則、創(chuàng)新、參與九個維度建立二級指標體系來對開放政府數據進行評價[47]。上述三種模型中，三維三級評價模型和四維三級評價模型側重于開放數據水平與價值的評價；九維二級評價模型側重于開放政府數據要素的評價。

專門評價模型包括：a.開放數據成熟度模型，往往依據設定的開放數據等級來考察相關開放數據活動的執(zhí)行情況[48-49]。b.政府數據開放效率評價模型，從數據、技術、資金、利用率、透明度5個維度，利用政府透明度、數據集平均下載量、數據層指數、平臺層指數、人均財政支出5個指標進行評價[50]。c.政府開放數據利用效率評價模型，利用數據利用比例、數據應用主題的覆蓋程度、數據影響力3個指標來進行評價[51]。在專門評價模型中，國外側重于構建開放數據成熟度模型，國內側重于政府數據開放效率評價模型和政府開放數據利用效率評價模型。

7 對開放數據評價工具的研究

該主題中的評價工具是指國內外有代表性的系統(tǒng)完整地評價開放數據并經過實際應用的開放數據評估體系。目前國外已經開發(fā)了多種開放數據評價工具，主要包括開放數據準備度、開放數據晴雨表、全球開放數據指數、歐洲公共部門信息記分牌[52]、開放數據清單、“經合組織的開放、有用和可重用的數據指數”(OECD OURdata Index)[53]、開放政府數據指數、歐洲開放數據成熟度評價工具、歐洲開放數據監(jiān)控儀[54-55]等。上述評價工具在評價目的、評價主體、評價對象、評價方法、數據獲取方法等方面各具特色。開放數據晴雨表和開放政府數據指數綜合性較高，前者采用了最全面的視角，包括準備、實施和影響；后者專門測量數據集的可用性和開放性，是所有工具中最面向供應方的[52]；僅歐洲開放數據監(jiān)控儀是通過網絡自動采集數據，實現動態(tài)評價[54]。不過，評估工具的設計并沒有考慮到開放數據水平與發(fā)展是會受到國家經濟與社會等水平的影響[53]。我國開發(fā)的“中國開放數林指數”雖然出現在《中國地方政府數據開放報告》中，但鮮見學術文獻研究該評價工具。

8 結 語

綜上所述，國內外對于開放數據評價進行了廣泛探索，涌現了許多研究成果。這些成果既探討了一般的和專門的開放數據評價模型以及實用的國外開放數據評價工具，也解析了開放數據政策評價、平臺評價、數據質量評價、價值評價、隱私風險評價等具體問題，取得了顯著進展。然而，現有研究仍存在如下不足之處：第一，開放數據評價理論有待進一步充實與完善，體現在：a.人們常常將對政府數據開放和政府開放數據、開放政府數據與開放科學數據混淆不清，實際上這些概念彼此不同。b.理論研究出現失衡現象，具體表現為：對開放數據平臺層、數據層評價研究居多，而對價值評價研究相對較少，對一個機構開放數據的整體評價研究更少；對政府數據開放評價研究居多，而對科學數據開放評價研究甚少；對國外開放數據評價模型或工具介紹居多，而對國內原創(chuàng)性開放數據評價工具以及對現有工具的二次開發(fā)研究甚少。第二，從開放數據評價實踐來看，盡管國外實施了許多開放數據評價項目，但多數從國家層面進行，缺少對城市或機構的開放數據評價實踐；國內很少像國外一樣開展政府開放數據的隱私風險評估與防控。因此，從開放數據評價內容看，未來需加強對價值評價等研究；從開放數據類別上來講，需加強對開放科學數據、公共數據評價的相關研究。隨著國內開放數據的快速發(fā)展，我國應該借鑒國外的評價工具與方法，建立一套科學的開放數據評價標準，以評估與優(yōu)化國內開放數據實踐。