張?zhí)梗S偉,2,石勇
1.西安交通大學(xué)管理學(xué)院,陜西 西安 710049;2.昆士蘭科技大學(xué),澳大利亞 昆士蘭州 布里斯班市 4702;3.中國(guó)科學(xué)院大學(xué)管理學(xué)院,北京 100190
ISO 8000(大)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)及應(yīng)用
張?zhí)?,黃偉1,2,石勇3
1.西安交通大學(xué)管理學(xué)院,陜西 西安 710049;2.昆士蘭科技大學(xué),澳大利亞 昆士蘭州 布里斯班市 4702;3.中國(guó)科學(xué)院大學(xué)管理學(xué)院,北京 100190
闡述了ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)產(chǎn)生的背景,將ISO 8000與已有的產(chǎn)品質(zhì)量標(biāo)準(zhǔn)ISO 9000進(jìn)行對(duì)比,分析了實(shí)施ISO 8000可以為企業(yè)帶來(lái)的優(yōu)勢(shì),并舉例介紹了ISO 8000的應(yīng)用方式。分析了我國(guó)數(shù)據(jù)質(zhì)量現(xiàn)狀,并對(duì)我國(guó)在金融和醫(yī)療領(lǐng)域?qū)嵤㊣SO 8000 數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)提出了實(shí)施建議。旨在幫助我國(guó)在大數(shù)據(jù)、數(shù)據(jù)質(zhì)量等前沿研究和工業(yè)領(lǐng)域找到國(guó)際化標(biāo)準(zhǔn)契合點(diǎn),推進(jìn)大數(shù)據(jù)和數(shù)據(jù)質(zhì)量建設(shè)。
大數(shù)據(jù)質(zhì)量;ISO 8000;大數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)
如今,人們正處于大數(shù)據(jù)時(shí)代。隨著計(jì)算機(jī)技術(shù)的發(fā)展,個(gè)人和組織需要處理越來(lái)越多的數(shù)據(jù)。這些海量數(shù)據(jù)產(chǎn)生自人、物以及他們之間的相互作用。大數(shù)據(jù)不是指數(shù)據(jù)量大,而是搜索、聚合和交叉引用的能力大。組織在跨業(yè)務(wù)、跨系統(tǒng)或跨組織利用信息時(shí)經(jīng)常會(huì)遇到困難,當(dāng)組織相信其擁有的數(shù)據(jù)開(kāi)展某項(xiàng)業(yè)務(wù)而事實(shí)上卻不可以開(kāi)展時(shí),就會(huì)產(chǎn)生挫敗感。公司希望進(jìn)行某些趨勢(shì)分析,或者與顧客或合作者建立更緊密的關(guān)系,信息技術(shù)部門(mén)卻無(wú)法為顧客提供其所需的整合信息,無(wú)法在顧客要求的時(shí)間范圍內(nèi)為其提供所需信息,公司因此可能會(huì)失去利用這些已經(jīng)收集和整理信息的機(jī)會(huì)。高質(zhì)量的數(shù)據(jù)有助于管理者高效地做出最優(yōu)決策,而低質(zhì)量數(shù)據(jù)(如不完整的、冗雜的、錯(cuò)誤的數(shù)據(jù))將會(huì)極大地影響決策者的判斷,造成低效的資源分配和利用,為個(gè)人或組織帶來(lái)巨大的損失。什么樣的數(shù)據(jù)才是高質(zhì)量的數(shù)據(jù)?研究者從不同角度對(duì)數(shù)據(jù)質(zhì)量做出了描述和定義。從信息技術(shù)角度來(lái)看,數(shù)據(jù)質(zhì)量可以從數(shù)據(jù)的精確性、完整性、一致性、及時(shí)性等維度來(lái)衡量,高質(zhì)量的數(shù)據(jù)精確度高、數(shù)據(jù)完整、與其他數(shù)據(jù)有相互印證的一致性,并能及時(shí)更新,保證數(shù)據(jù)的及時(shí)性;從用戶角度來(lái)看,數(shù)據(jù)質(zhì)量的高低取決于用戶是否可以高效地使用數(shù)據(jù),不同用戶對(duì)數(shù)據(jù)質(zhì)量的要求不同,需要針對(duì)其需求制定適合用戶使用的數(shù)據(jù),適合用戶使用的數(shù)據(jù)即高質(zhì)量的數(shù)據(jù),不適合用戶使用的數(shù)據(jù)為低質(zhì)量數(shù)據(jù),從這一角度來(lái)看,數(shù)據(jù)質(zhì)量不僅包括信息技術(shù)領(lǐng)域討論的精確性、完整性、一致性、及時(shí)性等方面,也包括數(shù)據(jù)的表現(xiàn)形式是否可以被用戶理解、數(shù)據(jù)是否容易獲取、數(shù)據(jù)量是否足量或過(guò)量等。Lee Y等人深度調(diào)查了多個(gè)企業(yè)的數(shù)據(jù)質(zhì)量項(xiàng)目,并總結(jié)出數(shù)據(jù)質(zhì)量低下的問(wèn)題,具體如下。
● 多數(shù)據(jù)源。當(dāng)同樣一個(gè)信息擁有多個(gè)來(lái)源時(shí),會(huì)產(chǎn)生不同數(shù)值,這包括數(shù)值在某個(gè)給定的時(shí)間點(diǎn)是準(zhǔn)確的,如研究某個(gè)股票的價(jià)格,需要明確該股票在對(duì)應(yīng)時(shí)間點(diǎn)上的數(shù)值,脫離了時(shí)間限定的股票價(jià)格無(wú)法討論其準(zhǔn)確程度。
● 信息產(chǎn)生過(guò)程中的主觀判斷。信息產(chǎn)生的過(guò)程中如果有主觀判斷存在,則會(huì)導(dǎo)致結(jié)果含有偏見(jiàn)因素信息。
● 有限的計(jì)算資源。缺乏足夠的計(jì)算資源,將限制相關(guān)信息的可訪問(wèn)性。
● 安全性和可訪問(wèn)性的權(quán)衡。信息的可訪問(wèn)性會(huì)與安全、隱私和保密的要求發(fā)生沖突。
● 跨學(xué)科的編碼數(shù)據(jù)。來(lái)自不同的部門(mén)和學(xué)科的編碼數(shù)據(jù)的識(shí)別和理解很困難,這些代碼之間也可能會(huì)發(fā)生沖突。
● 復(fù)雜數(shù)據(jù)的表示。到目前為止,還沒(méi)有一種算法可以自動(dòng)分析同時(shí)具有文本和圖像信息的樣例,非數(shù)字信息很難用索引的方式來(lái)定位。
● 數(shù)據(jù)量過(guò)大。當(dāng)一個(gè)數(shù)據(jù)庫(kù)的信息存儲(chǔ)量過(guò)大時(shí),用戶難以在一個(gè)合理的時(shí)間內(nèi)獲取其所需的信息。
● 輸入規(guī)則過(guò)于嚴(yán)格或被跳過(guò)。如果輸入規(guī)則過(guò)于嚴(yán)格,則會(huì)出現(xiàn)不必要的控制并導(dǎo)致某些重要數(shù)據(jù)的丟失。數(shù)據(jù)錄入人員可能會(huì)跳過(guò)某些數(shù)據(jù)的輸入(造成信息缺失),或擅自改變這些數(shù)值,使其符合錄入規(guī)則并通過(guò)編輯檢查(造成信息錯(cuò)誤)。
● 數(shù)據(jù)需求的改變。當(dāng)用戶的任務(wù)和組織環(huán)境(如新的市場(chǎng)、新的法律要求、新的趨勢(shì))發(fā)生變化時(shí),相關(guān)的有用信息也會(huì)隨之改變。
● 分布式異構(gòu)系統(tǒng)。沒(méi)有適當(dāng)整合機(jī)制的分布式異構(gòu)系統(tǒng),會(huì)導(dǎo)致其內(nèi)部數(shù)據(jù)的定義、格式、規(guī)則和數(shù)值的不一致。數(shù)據(jù)的原本含義可能會(huì)在數(shù)據(jù)的流動(dòng)過(guò)程中丟失或扭曲,隨后在不同的系統(tǒng)、時(shí)間、地點(diǎn)、用戶使用情況下,因?yàn)橄嗤虿煌挠猛径粰z索。
目前,不論在制造業(yè)、金融業(yè)、醫(yī)療衛(wèi)生領(lǐng)域,還是其他各個(gè)工業(yè)領(lǐng)域,不論企業(yè)規(guī)模大小,信息或數(shù)據(jù)質(zhì)量問(wèn)題均是工業(yè)界普遍認(rèn)同的問(wèn)題。面對(duì)快速發(fā)展的計(jì)算機(jī)技術(shù)以及爆炸式增長(zhǎng)的數(shù)據(jù)量,企業(yè)需要關(guān)注數(shù)據(jù)質(zhì)量問(wèn)題,贏得先動(dòng)者優(yōu)勢(shì),從而幫助公司增加市場(chǎng)份額,維持市場(chǎng)領(lǐng)導(dǎo)者地位,對(duì)新的商業(yè)機(jī)遇迅速采取行動(dòng),對(duì)組織生存的潛在威脅率先采取行動(dòng)。反過(guò)來(lái)會(huì)轉(zhuǎn)變成企業(yè)總收入、凈利潤(rùn)的增長(zhǎng)和企業(yè)形象的提升。由于很難達(dá)到挑戰(zhàn)的要求,進(jìn)入壁壘較高,因此企業(yè)能更好地維持競(jìng)爭(zhēng)優(yōu)勢(shì)。工業(yè)界和學(xué)術(shù)界對(duì)數(shù)據(jù)質(zhì)量進(jìn)行了大量的應(yīng)用性和學(xué)術(shù)性研究,其中一個(gè)重要的領(lǐng)域就是對(duì)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的研究與規(guī)范,通過(guò)制定統(tǒng)一化的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn),國(guó)家之間、組織之間、部門(mén)之間可以進(jìn)行更高效的數(shù)據(jù)質(zhì)量統(tǒng)一管理,從而利于數(shù)據(jù)存儲(chǔ)、傳遞和共享,減少由于數(shù)據(jù)不兼容、數(shù)據(jù)冗雜、數(shù)據(jù)缺失等各種數(shù)據(jù)質(zhì)量問(wèn)題造成的判斷和決策失誤。國(guó)際標(biāo)準(zhǔn)化組織(International Organization for Standardization,ISO)為此也進(jìn)行了大量努力,專(zhuān)門(mén)制定了ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)對(duì)國(guó)際化數(shù)據(jù)質(zhì)量進(jìn)行規(guī)范。
ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)是針對(duì)數(shù)據(jù)質(zhì)量制定的國(guó)際標(biāo)準(zhǔn)化組織標(biāo)準(zhǔn),它是由ISO工業(yè)自動(dòng)化系統(tǒng)與集成技術(shù)委員會(huì)(TC 184)SC4小組委員會(huì)開(kāi)發(fā)的,ISO TC 184/SC4是負(fù)責(zé)工業(yè)數(shù)據(jù)的國(guó)際標(biāo)準(zhǔn)組織,這一標(biāo)準(zhǔn)以一系列文件的形式發(fā)布,每個(gè)文件被ISO稱(chēng)為“部分”。該組織開(kāi)發(fā)和維護(hù)ISO標(biāo)準(zhǔn),在產(chǎn)品的整個(gè)生命周期中描述和管理工業(yè)產(chǎn)品數(shù)據(jù)。它在自動(dòng)化系統(tǒng)領(lǐng)域制定標(biāo)準(zhǔn),并在相關(guān)的設(shè)計(jì)、采購(gòu)、制造和交付、支持、維護(hù)和處置產(chǎn)品及其相關(guān)集成服務(wù)方面進(jìn)行標(biāo)準(zhǔn)的制定。標(biāo)準(zhǔn)化領(lǐng)域包括信息系統(tǒng)、用于工業(yè)和特定非工業(yè)環(huán)境中的固定和移動(dòng)機(jī)器人技術(shù)、自動(dòng)化和控制軟件以及集成技術(shù)。
ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)致力于管理數(shù)據(jù)質(zhì)量,具體來(lái)說(shuō),包括規(guī)范和管理數(shù)據(jù)質(zhì)量活動(dòng)、數(shù)據(jù)質(zhì)量原則、數(shù)據(jù)質(zhì)量術(shù)語(yǔ)、數(shù)據(jù)質(zhì)量特征(標(biāo)準(zhǔn))和數(shù)據(jù)質(zhì)量測(cè)試。通過(guò)ISO 8000的標(biāo)準(zhǔn)規(guī)范,可以保證用戶在滿足決策需求和數(shù)據(jù)質(zhì)量的基礎(chǔ)上,在整個(gè)產(chǎn)品或服務(wù)的周期內(nèi)高質(zhì)量地交換、分享和存儲(chǔ)數(shù)據(jù),從而保證用戶可以依托獲取的數(shù)據(jù)高效地做出最優(yōu)化的安全決策。根據(jù)ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的要求,數(shù)據(jù)質(zhì)量高低程度由系統(tǒng)數(shù)據(jù)與明確定義的數(shù)據(jù)要求進(jìn)行對(duì)比而得到。ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的目的是使其更容易定義質(zhì)量數(shù)據(jù),并識(shí)別可以提供高質(zhì)量數(shù)據(jù)的公司和軟件應(yīng)用程序。滿足ISO 8000質(zhì)量標(biāo)準(zhǔn)的數(shù)據(jù)是“滿足規(guī)定要求的便攜式數(shù)據(jù)”,便攜式數(shù)據(jù)是指可以與軟件應(yīng)用程序分離的數(shù)據(jù),這一特征非常重要,因?yàn)槿绻麛?shù)據(jù)只能被特定的許可軟件應(yīng)用程序使用或讀取,那么數(shù)據(jù)也必須受許可證的條款約束,這就導(dǎo)致企業(yè)自己的數(shù)據(jù)不屬于企業(yè)自身,企業(yè)對(duì)數(shù)據(jù)的操作可能會(huì)受軟件許可證條款的限制。使用ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn),企業(yè)可以不受某個(gè)軟件應(yīng)用的約束,獨(dú)立地購(gòu)買(mǎi)或銷(xiāo)售高質(zhì)量的數(shù)據(jù),若企業(yè)想要長(zhǎng)期保存數(shù)據(jù),將數(shù)據(jù)與軟件分離是非常重要的。
ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)由以下4個(gè)部分組成,每個(gè)部分獨(dú)立發(fā)布,該標(biāo)準(zhǔn)是受版權(quán)保護(hù)的,不可免費(fèi)使用。
● 一般原則:第0~99部分。
● 主數(shù)據(jù)質(zhì)量:第100~199部分。
● 交易數(shù)據(jù)質(zhì)量:第200~299部分。
● 產(chǎn)品數(shù)據(jù)質(zhì)量:第300~399部分。
在ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)發(fā)布之前,各個(gè)國(guó)家、地區(qū)、不同行業(yè)提出過(guò)針對(duì)自身特點(diǎn)的一些數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)。例如,英國(guó)政府出臺(tái)了政府?dāng)?shù)據(jù)質(zhì)量的管理標(biāo)準(zhǔn),該標(biāo)準(zhǔn)文字?jǐn)⑹隽烁麟A層政府工作人員在數(shù)據(jù)質(zhì)量管理過(guò)程中需要遵循的準(zhǔn)則和流程。英國(guó)國(guó)家醫(yī)療服務(wù)體系(national health service,NHS)提出了醫(yī)療人員在突發(fā)事件發(fā)生時(shí),需要遵從數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)進(jìn)行報(bào)告,該標(biāo)準(zhǔn)用文字描述和流程評(píng)分方式規(guī)范了突發(fā)事件報(bào)告的流程以及報(bào)告內(nèi)信息的準(zhǔn)確性和及時(shí)性。另外,在空間數(shù)據(jù)質(zhì)量、金融數(shù)據(jù)質(zhì)量等領(lǐng)域均有相關(guān)的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)提出。然而,并沒(méi)有一個(gè)跨學(xué)科、跨行業(yè)的國(guó)際化數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn),用詳細(xì)的技術(shù)性解決方案規(guī)范信息時(shí)代的數(shù)據(jù)質(zhì)量問(wèn)題。而隨著經(jīng)濟(jì)全球化的發(fā)展,跨國(guó)家、跨組織的信息交流日益頻繁,對(duì)數(shù)據(jù)質(zhì)量的要求也越來(lái)越高。
圖1 ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、ISO 9000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)和其他數(shù)據(jù)的產(chǎn)品標(biāo)準(zhǔn)之間的關(guān)系
ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)是一個(gè)國(guó)際認(rèn)可的全球性數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn),正是為了統(tǒng)一規(guī)范國(guó)際性數(shù)據(jù)質(zhì)量而產(chǎn)生的。在ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)發(fā)布之前,存在部分涉及數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的較成熟的產(chǎn)品質(zhì)量標(biāo)準(zhǔn)管理體系—— ISO 9000。1987年,國(guó)際標(biāo)準(zhǔn)化組織首次發(fā)布了ISO 9000,并在之后的多年間進(jìn)行了多次改進(jìn),ISO 9000系列標(biāo)準(zhǔn)與質(zhì)量管理體系相關(guān),旨在幫助組織確保滿足客戶和其他利益相關(guān)者的需求,同時(shí)滿足與產(chǎn)品相關(guān)的法律法規(guī)要求。SO 9000是一個(gè)質(zhì)量管理的一般性要求和指南,可以幫助組織有效地實(shí)施和運(yùn)行質(zhì)量管理體系。
ISO 9000主要關(guān)注產(chǎn)品的質(zhì)量,而SO 8000標(biāo)準(zhǔn)主要關(guān)注數(shù)據(jù)的質(zhì)量。ISO 8000標(biāo)準(zhǔn)是ISO 9000標(biāo)準(zhǔn)的擴(kuò)展,旨在改善以數(shù)據(jù)為主的質(zhì)量管理體系,ISO 8000標(biāo)準(zhǔn)彌合了ISO 9000標(biāo)準(zhǔn)和數(shù)據(jù)產(chǎn)品之間的差距。ISO 8000標(biāo)準(zhǔn)保證了用戶在質(zhì)量管理體系,可以達(dá)到標(biāo)準(zhǔn)的數(shù)據(jù)質(zhì)量要求。此外,雖然已有較成熟的ISO 9000標(biāo)準(zhǔn)來(lái)進(jìn)行產(chǎn)品質(zhì)量管理,ISO 8000標(biāo)準(zhǔn)仍是必不可少的,因?yàn)樵跊](méi)有高質(zhì)量數(shù)據(jù)支持的情況下,很難通過(guò)單獨(dú)實(shí)施ISO 9000標(biāo)準(zhǔn)來(lái)實(shí)現(xiàn)高質(zhì)量的目標(biāo)。
圖1展示了ISO 8000標(biāo)準(zhǔn)與ISO 9000標(biāo)準(zhǔn)以及其他數(shù)據(jù)產(chǎn)品標(biāo)準(zhǔn)之間的關(guān)系。數(shù)據(jù)產(chǎn)品標(biāo)準(zhǔn)(如ISO 22745)可以用于交換數(shù)據(jù)模型和格式。ISO 8000標(biāo)準(zhǔn)是在這些標(biāo)準(zhǔn)的基礎(chǔ)上開(kāi)發(fā)的,并增加了關(guān)于使用這些標(biāo)準(zhǔn)的要求,以確保高質(zhì)量的數(shù)據(jù)交換。可以看到,ISO 8000標(biāo)準(zhǔn)填補(bǔ)了ISO 9000標(biāo)準(zhǔn)和數(shù)據(jù)產(chǎn)品之間的空白。
與未實(shí)施ISO 8000標(biāo)準(zhǔn)的企業(yè)相比,實(shí)施ISO 8000標(biāo)準(zhǔn)有提高運(yùn)營(yíng)效率、優(yōu)化運(yùn)營(yíng)過(guò)程中的數(shù)據(jù)可用性、降低風(fēng)險(xiǎn)、助于改善企業(yè)之間的關(guān)系、強(qiáng)化品牌形象等優(yōu)勢(shì)。具體來(lái)說(shuō),ISO 8000標(biāo)準(zhǔn)的優(yōu)勢(shì)可以在以下4個(gè)技術(shù)方面的規(guī)范中體現(xiàn)。
(1)實(shí)施ISO 8000標(biāo)準(zhǔn)可以提高運(yùn)營(yíng)效率
由于組織之間有統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn),在信息溝通和傳遞過(guò)程中可以進(jìn)行高效的匹配和識(shí)別,減少因?yàn)閿?shù)據(jù)不可識(shí)別等問(wèn)題造成的時(shí)間成本、編碼成本和人工成本。使用清晰的語(yǔ)義編碼(如ISO 22745)可以有效地在組織中記錄各項(xiàng)條目,這比使用混合和不一致編碼標(biāo)準(zhǔn)更有效。根據(jù)ISO 8000標(biāo)準(zhǔn)的指導(dǎo)方針,系統(tǒng)中所有項(xiàng)目都使用唯一的代碼進(jìn)行編碼。這種做法可以提升添加、刪除和搜索某個(gè)項(xiàng)目信息的效率。此外,統(tǒng)一編碼和語(yǔ)法使計(jì)算機(jī)更容易存儲(chǔ)和處理數(shù)據(jù)。
(2)實(shí)施ISO 8000標(biāo)準(zhǔn)可以優(yōu)化運(yùn)營(yíng)可用性
通過(guò)將ISO 8000標(biāo)準(zhǔn)應(yīng)用于組織內(nèi)部,可以對(duì)組織內(nèi)數(shù)據(jù)進(jìn)行規(guī)范化整合和管理,對(duì)各個(gè)部門(mén)的數(shù)據(jù)進(jìn)行統(tǒng)一識(shí)別和管理,從組織的整體層面進(jìn)行資源與信息的協(xié)調(diào)管理,從而減少因?yàn)樾畔贤ú粫硯?lái)的運(yùn)營(yíng)成本。如果在合作公司之間或整個(gè)行業(yè)采用ISO 8000標(biāo)準(zhǔn),數(shù)據(jù)或信息將更有可用性。例如,如果部件供應(yīng)商和汽車(chē)制造商都使用ISO 8000標(biāo)準(zhǔn)作為其存儲(chǔ)庫(kù)存和庫(kù)存信息的數(shù)據(jù)標(biāo)準(zhǔn),當(dāng)汽車(chē)制造商需要采購(gòu)3 000個(gè)特定型號(hào)的輪胎時(shí),制造商可以采用與供應(yīng)商共同遵守的ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)發(fā)布訂單,使采購(gòu)材料變得更加清楚、簡(jiǎn)潔、準(zhǔn)確,避免由于術(shù)語(yǔ)、測(cè)量單位等不一致造成的訂單錯(cuò)誤。如果整個(gè)行業(yè)都應(yīng)用ISO 8000標(biāo)準(zhǔn),將使信息更加可用,使通信和信息價(jià)值鏈更加暢通無(wú)阻。
(3)實(shí)施ISO 8000標(biāo)準(zhǔn)可降低風(fēng)險(xiǎn)
在為公司做出決策時(shí),正確的數(shù)據(jù)或信息的重要性不言而喻。組織可以基于高質(zhì)量的數(shù)據(jù)和信息進(jìn)行風(fēng)險(xiǎn)評(píng)估和決策分析,同時(shí),可以高效地獲得標(biāo)準(zhǔn)化的行業(yè)數(shù)據(jù)、市場(chǎng)數(shù)據(jù),便于整合多種信息來(lái)源,做出更全面的分析和決策。ISO 8000標(biāo)準(zhǔn)為公司提供了一系列說(shuō)明,使公司能夠通過(guò)數(shù)據(jù)出處、準(zhǔn)確性、完整性和質(zhì)量管理框架的標(biāo)準(zhǔn),生產(chǎn)和維護(hù)高質(zhì)量的數(shù)據(jù),使接收者能夠跟蹤主數(shù)據(jù)并評(píng)估數(shù)據(jù)的可信度。ISO 8000標(biāo)準(zhǔn)使組織能夠保持來(lái)自權(quán)威數(shù)據(jù)源的高質(zhì)量數(shù)據(jù),使決策比以前風(fēng)險(xiǎn)更小。
(4)實(shí)施ISO 8000標(biāo)準(zhǔn)有助于改善企業(yè)之間的關(guān)系,強(qiáng)化品牌形象
應(yīng)用ISO 8000標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)質(zhì)量規(guī)范和管理的企業(yè)之間可以更順暢、高效地進(jìn)行溝通,并給對(duì)方更好的國(guó)際化標(biāo)準(zhǔn)形象,降低了企業(yè)間溝通的成本,有利于維護(hù)企業(yè)之間的關(guān)系,強(qiáng)化品牌形象。
ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)包括一般原則、主數(shù)據(jù)質(zhì)量、交易數(shù)據(jù)質(zhì)量和產(chǎn)品數(shù)據(jù)質(zhì)量的標(biāo)準(zhǔn)。 ISO 8000標(biāo)準(zhǔn)的結(jié)構(gòu)見(jiàn)表1。本部分主要對(duì)ISO 8000標(biāo)準(zhǔn)進(jìn)行概要性介紹。下文包含了整個(gè)ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的聲明,明確了數(shù)據(jù)質(zhì)量原則和ISO 8000標(biāo)準(zhǔn)的高級(jí)數(shù)據(jù)架構(gòu),描述了ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的結(jié)構(gòu),對(duì)其他部分內(nèi)容進(jìn)行了總結(jié),并描述了ISO 8000標(biāo)準(zhǔn)和其他標(biāo)準(zhǔn)之間的關(guān)系。最后,解釋了整個(gè)ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)中使用的術(shù)語(yǔ),方便讀者的閱讀和參考。
表1 ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)結(jié)構(gòu)
4.1 ISO 8000-110主數(shù)據(jù)的語(yǔ)法、語(yǔ)義和數(shù)據(jù)規(guī)范
即組織和系統(tǒng)之間主數(shù)據(jù)的通用規(guī)則、語(yǔ)法、語(yǔ)義編碼和數(shù)據(jù)規(guī)范要求。ISO 8000-110規(guī)定了可由計(jì)算機(jī)檢查組織和系統(tǒng)之間交換主要數(shù)據(jù)(由特征數(shù)據(jù)組成)的要求,包括關(guān)于符合主數(shù)據(jù)信息的正式語(yǔ)法的要求、主數(shù)據(jù)信息的語(yǔ)義編碼要求以及關(guān)于與主數(shù)據(jù)信息的數(shù)據(jù)規(guī)范一致性的要求。
(1)語(yǔ)法
ISO 8000標(biāo)準(zhǔn)要求必須有一種語(yǔ)法,語(yǔ)法必須在數(shù)據(jù)中引用,而且引用必須可解析為語(yǔ)法。語(yǔ)法可以是所有種類(lèi)的,例如,EDI(ISO 9735)、ebXML、SWIFT MT、SWIFT MX、ISO 20022、eOTD-rxml(ISO 22745)都是可接受的語(yǔ)法。
(2)語(yǔ)義編碼
所有元數(shù)據(jù)必須在外部開(kāi)源字典中顯式定義,或者定義必須包含在數(shù)據(jù)中。任何定義的元數(shù)據(jù)都是可以接受的,這包括以電子形式、電子表格或數(shù)據(jù)庫(kù)表格顯式定義的字段、標(biāo)題或?qū)傩?。例如,ISO 22745通過(guò)使用符合ISO 22745的開(kāi)放技術(shù)詞典(例如ECCMA開(kāi)放技術(shù)字典(eOTD))標(biāo)記數(shù)據(jù)來(lái)創(chuàng)建便攜式數(shù)據(jù)。eOTD就可用于語(yǔ)義編碼,它是來(lái)自多源術(shù)語(yǔ)的注冊(cè)表,其中每個(gè)概念被分配唯一和永久的公共域標(biāo)識(shí)符,概念標(biāo)識(shí)符可以彼此映射并根據(jù)它們的使用量來(lái)排列。ISO 22745-30是用于說(shuō)明XML中的數(shù)據(jù)需求以及用于交換便攜式數(shù)據(jù)的首選標(biāo)準(zhǔn)。
(3)符合數(shù)據(jù)規(guī)范
語(yǔ)法和語(yǔ)義編碼需要支持業(yè)務(wù)功能,允許訪問(wèn)計(jì)算機(jī)、網(wǎng)站或軟件程序,只需要用所需的數(shù)據(jù)來(lái)提供正確的產(chǎn)品或服務(wù)。只要數(shù)據(jù)滿足需求,就認(rèn)為是高質(zhì)量數(shù)據(jù)。ISO 22745可用于以簡(jiǎn)單的XML格式生成和交換數(shù)據(jù)請(qǐng)求,發(fā)送方和接收方可以自動(dòng)創(chuàng)建一個(gè)集成的數(shù)據(jù)交換系統(tǒng)(如圖2所示)。
圖2 ISO 22745標(biāo)準(zhǔn)下的數(shù)據(jù)規(guī)范
4.2 ISO 8000-120主數(shù)據(jù)的數(shù)據(jù)來(lái)源
數(shù)據(jù)來(lái)源(provenance)對(duì)屬性值對(duì)和數(shù)據(jù)集的來(lái)源信息在表示和交換方面進(jìn)行了規(guī)范和要求,包括數(shù)據(jù)來(lái)源的背景、捕獲和交換數(shù)據(jù)來(lái)源信息的要求以及用于數(shù)據(jù)源信息的概念數(shù)據(jù)模型。它允許接收者跟蹤已經(jīng)交換的主數(shù)據(jù),并追溯其源頭,幫助接收者評(píng)估數(shù)據(jù)的可信性,并且?guī)椭邮照咴谑盏酵粚傩缘牟煌禃r(shí)做出值的選擇。
4.3 ISO 8000-130主數(shù)據(jù)的準(zhǔn)確性
該標(biāo)準(zhǔn)提出的是數(shù)據(jù)捕獲和數(shù)據(jù)交換精度方面的需求,并提出了以聲明和擔(dān)保的形式確保數(shù)據(jù)準(zhǔn)確性的概念模型。數(shù)據(jù)準(zhǔn)確性對(duì)屬性值對(duì)、記錄和數(shù)據(jù)集的準(zhǔn)確性信息在表示和交換方面進(jìn)行了規(guī)范和要求,這涉及主數(shù)據(jù)準(zhǔn)確性的情況、捕獲和交換主數(shù)據(jù)準(zhǔn)確性信息的要求、主數(shù)據(jù)準(zhǔn)確性信息的概念數(shù)據(jù)模型。
4.4 ISO 8000-140主數(shù)據(jù)的完整性
數(shù)據(jù)完整性對(duì)屬性值對(duì)、記錄和數(shù)據(jù)集的完整性信息在表示和交換方面進(jìn)行了規(guī)范和要求。它包括主數(shù)據(jù)完整性的情況、捕獲和交換主數(shù)據(jù)完整性信息的要求以及主數(shù)據(jù)完整性信息的概念數(shù)據(jù)模型。
4.5 ISO 8000-150質(zhì)量管理框架
該框架規(guī)定了主數(shù)據(jù)質(zhì)量管理的基本原則以及對(duì)ISO 8000標(biāo)準(zhǔn)的實(shí)施、數(shù)據(jù)交換和出處的要求。它還包含了一個(gè)信息框架,用于確定和識(shí)別數(shù)據(jù)質(zhì)量管理的過(guò)程。該框架可以與質(zhì)量管理系統(tǒng)標(biāo)準(zhǔn)(如ISO 9001)結(jié)合或獨(dú)立使用。
以一家汽車(chē)制造商應(yīng)用ISO 8000標(biāo)準(zhǔn)為其信息系統(tǒng)進(jìn)行規(guī)范為例,展示ISO 8000標(biāo)準(zhǔn)的實(shí)施過(guò)程。例如,汽車(chē)制造商在ISO 8000標(biāo)準(zhǔn)的指令下構(gòu)建其信息系統(tǒng)。首先,公司選擇ebXML作為語(yǔ)法,構(gòu)建初始信息系統(tǒng)。
其次,使用eOTD作為語(yǔ)義編碼,將自然語(yǔ)言映射到eOTD,從而將庫(kù)存數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中。這是一個(gè)工作量巨大的任務(wù),因?yàn)樵贗SO 22745標(biāo)準(zhǔn)的要求下,每個(gè)項(xiàng)目都應(yīng)該有一個(gè)獨(dú)特的代碼。例如,螺栓的信息可以進(jìn)行如下編碼,見(jiàn)表2和表3。
表2 螺栓信息的語(yǔ)義編碼示例(原始信息)
表3 螺栓信息的語(yǔ)義編碼示例(編碼信息)
在建立數(shù)據(jù)庫(kù)之后,可以方便地用XML格式編寫(xiě)檢索請(qǐng)求。例如要檢索某一螺母的具體信息,就可用XML調(diào)出數(shù)據(jù)庫(kù)中存儲(chǔ)的ID為0161-1#01-014161#1的產(chǎn)品信息。如果需要查詢每包價(jià)格在0.80美元以下的螺母數(shù)量,就可通過(guò)查詢語(yǔ)句找到ID為0161-1#02-027378#1,值小于0.80的螺母ID,并得到所有螺母ID對(duì)應(yīng)的產(chǎn)品數(shù)量(ID=0161-1#02-027375#1),并將每個(gè)產(chǎn)品數(shù)量相加得到螺母總數(shù)。該廠商如果發(fā)現(xiàn)ID為0161-1#01-014161#1的螺母數(shù)量較低需要采購(gòu),可以向螺母生產(chǎn)商發(fā)送請(qǐng)求訂購(gòu),請(qǐng)求中引用螺母ID=0161-1#01-014161#1,訂購(gòu)量為ID-0161-1#02-027375#1,值為采購(gòu)量。
如今,大多數(shù)組織意識(shí)到了內(nèi)容開(kāi)放標(biāo)準(zhǔn)的好處。為了建立一個(gè)真正的標(biāo)準(zhǔn),需要允許所有利益相關(guān)組織和機(jī)構(gòu)平等參與,參與標(biāo)準(zhǔn)開(kāi)發(fā)是了解世界各地公司的最佳途徑,同時(shí)可以與國(guó)際企業(yè)建立密切關(guān)系。ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)觸及各行業(yè)的大、中、小企業(yè)的各個(gè)業(yè)務(wù),無(wú)論是高速發(fā)展的互聯(lián)網(wǎng)行業(yè),還是傳統(tǒng)制造業(yè)、金融業(yè)、醫(yī)療產(chǎn)業(yè)、服務(wù)產(chǎn)業(yè)等。每個(gè)企業(yè)、每個(gè)人都可以參與并影響標(biāo)準(zhǔn)開(kāi)發(fā)。目前,美國(guó)、英國(guó)發(fā)達(dá)國(guó)家對(duì)于ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的開(kāi)發(fā)、發(fā)展和使用處于領(lǐng)先地位。例如,美國(guó)于1999年成立了電子商務(wù)編碼管理協(xié)會(huì)(Electronic Commerce Code Management Association,ECCMA),它是一家非營(yíng)利性國(guó)際主數(shù)據(jù)質(zhì)量管理者協(xié)會(huì),該協(xié)會(huì)的宗旨是開(kāi)發(fā)和維護(hù)開(kāi)放式解決方案,以更快更好地獲取權(quán)威主數(shù)據(jù)。ECCMA成員可以獲得數(shù)據(jù)質(zhì)量相關(guān)的軟件和管理培訓(xùn)、ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)實(shí)施培訓(xùn)、ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)專(zhuān)業(yè)咨詢和評(píng)估以及對(duì)企業(yè)信息系統(tǒng)的ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)認(rèn)證。通過(guò)一系列的培訓(xùn)和認(rèn)證,大大推廣了ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的應(yīng)用,同時(shí)企業(yè)可以最大程度地和國(guó)際信息質(zhì)量標(biāo)準(zhǔn)接軌,獲得高質(zhì)量、可共享的數(shù)據(jù)。英國(guó)的MRO Insyte公司為企業(yè)提供專(zhuān)業(yè)的企業(yè)數(shù)據(jù)和資料管理咨詢服務(wù),并為ECCMA提供咨詢。MRO Insyte同時(shí)提供主數(shù)據(jù)管理咨詢,并為制造業(yè)、零售業(yè)和終端用戶提供數(shù)據(jù)質(zhì)量培訓(xùn)。同時(shí),該公司也為數(shù)據(jù)、系統(tǒng)和個(gè)人提供ECCMA ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的認(rèn)證。
我國(guó)在ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的實(shí)施和應(yīng)用方面尚處于起步階段,目前沒(méi)有相關(guān)的權(quán)威推廣、培訓(xùn)和認(rèn)證機(jī)構(gòu)。西安交通大學(xué)管理學(xué)院與美國(guó)麻省理工學(xué)院合作,于2012年成立了數(shù)據(jù)科學(xué)和數(shù)據(jù)質(zhì)量研究中心,開(kāi)始對(duì)ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)等進(jìn)行研究。國(guó)際化數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的重要性毋庸置疑,為了在大數(shù)據(jù)時(shí)代占領(lǐng)數(shù)據(jù)質(zhì)量的高地,促進(jìn)我國(guó)企業(yè)與國(guó)際接軌,我國(guó)需要加大對(duì)ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的重視程度,組織數(shù)據(jù)質(zhì)量研究專(zhuān)家、工業(yè)界專(zhuān)家、成熟的數(shù)據(jù)質(zhì)量研究中心或機(jī)構(gòu)成立權(quán)威的數(shù)據(jù)質(zhì)量推廣和培訓(xùn)協(xié)會(huì),幫助更多國(guó)內(nèi)企業(yè)達(dá)到ISO 8000數(shù)據(jù)質(zhì)量認(rèn)證水平。另外,現(xiàn)階段,我國(guó)可以首先針對(duì)不同行業(yè)進(jìn)行細(xì)分推廣和應(yīng)用。例如,在醫(yī)療衛(wèi)生領(lǐng)域,各個(gè)醫(yī)療機(jī)構(gòu)的信息系統(tǒng)不能很好地兼容,導(dǎo)致同一病人在不同醫(yī)院的信息無(wú)法快速共享和傳遞。通過(guò)全國(guó)范圍內(nèi)的應(yīng)用ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn),可以將病歷信息與特定信息系統(tǒng)分離,病歷的所有信息可以獨(dú)立于醫(yī)療信息系統(tǒng)存在,并可被任意一個(gè)根據(jù)ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的信息系統(tǒng)讀取,患者可以更加自主地選擇就醫(yī)醫(yī)院,而不用擔(dān)心由于自身的健康信息缺失導(dǎo)致的醫(yī)療誤判。在金融領(lǐng)域,銀行業(yè)是一個(gè)數(shù)據(jù)大量聚集的領(lǐng)域,這些來(lái)自銀行賬戶交易、貸款申請(qǐng)、貸款還款以及信用卡還款等業(yè)務(wù)的海量操作的數(shù)據(jù)庫(kù),包含了對(duì)客戶財(cái)務(wù)狀況有價(jià)值的信息。對(duì)銀行信息系統(tǒng)進(jìn)行ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的規(guī)范可以幫助銀行內(nèi)部整合各部門(mén)之間的數(shù)據(jù),并快速識(shí)別外部獲得的用戶信息,對(duì)各渠道、各類(lèi)型數(shù)據(jù)進(jìn)行提取和整合,能夠更準(zhǔn)確、更全面、更實(shí)時(shí)地掌握借款人信息,并找到不同變量間的關(guān)聯(lián)關(guān)系,使決策更加準(zhǔn)確、統(tǒng)一和合理,從而大大提高銀行風(fēng)險(xiǎn)管理能力。
總之,ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)在各行各業(yè)都可以有廣泛和有效的應(yīng)用。我國(guó)應(yīng)該加快該標(biāo)準(zhǔn)的推廣和實(shí)施步伐,抓住經(jīng)濟(jì)全球化和大數(shù)據(jù)時(shí)代的機(jī)遇,參與數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的全球性應(yīng)用,并在此基礎(chǔ)上積極參與數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的制定,為我國(guó)企業(yè)贏得更大更好的國(guó)際發(fā)展空間。
[1] MCAFEE A, BRYNJOLFSSON E, DAVENPORT T H, et al. Big data: the management revolution[J]. Harvard Business Review, 2012, 90(10): 61-67.
[2] LIU L, CHI L. Evolutional data quality: atheory-specific view[C]//The 7th International Conference on Information Quality, November 8-10, Berkeley, California. [S.l.:s.n.], 2002: 292-304.
[3] LEE Y W, PIPINO L, FUNK J D, et al. Journey to data quality[M]. Cambridge: MIT Press, 2009.
[4] MADNICK S E, WANG R Y, LEE Y W, et al. Overview and framework for data and information quality research[J]. Journal of Data and Information, 2009, 1(1): 2.
[5] 蔚趙春, 凌鴻. 商業(yè)銀行大數(shù)據(jù)應(yīng)用的理論,實(shí)踐與影響[J]. 上海金融, 2013(9): 5. WEI Z C, LING H. The theory, practice and influence of big data application in commercial banks[J]. Shanghai Finance, 2013(9): 5.
ISO 8000 (big) data quality standard and application
ZHANG Tan1, HUANG Wei1,2, SHI Yong3
1. School of Management, Xi’an Jiaotong University, Xi’an, Shanxi 710049, China 2. Queensland University of Technology, Brisbane, Queensland 4702, Australia 3. School of Economics and Management, University of Chinese Academy of Sciences, Beijing 100190, China
Background of ISO 8000 was introduced, and ISO 8000 was compared with existing product quality standard ISO 9000. After that, the advantages that ISO 8000 can bring to the enterprise were analyzed. Then, the application of ISO 8000 with a simple example was demonstrated. The current situation of data quality in China was analyzed, and some suggestions on implementing ISO 8000 data quality standards in financial and medical fields were put forward. It aims to promote the construction of large data and data quality.
big data quality, ISO 8000, big data quality standard
C931.6
A
10.11959/j.issn.2096-0271.2017001
張?zhí)梗?989-),女,西安交通大學(xué)管理學(xué)院信息系統(tǒng)系博士生,主要研究方向?yàn)閿?shù)據(jù)質(zhì)量和文本挖掘。
黃偉(1964-),男,博士,西安交通大學(xué)管理學(xué)院教授、博士生導(dǎo)師、院長(zhǎng),教育部長(zhǎng)江學(xué)者特聘教授,美國(guó)哈佛大學(xué)Fellow和俄亥俄大學(xué)商學(xué)院管理信息系統(tǒng)系終身正教授。主要研究方向?yàn)樾乱淮畔⒓夹g(shù)的管理溝通(CMC)、群體支持系統(tǒng)(GSS)、大數(shù)據(jù)管理與數(shù)據(jù)質(zhì)量、電子政務(wù)/電子商務(wù)、IT與服務(wù)外包、IT/IS管理。
石勇(1956-),男,中國(guó)科學(xué)院大學(xué)經(jīng)濟(jì)管理學(xué)院教授、博士生導(dǎo)師,發(fā)展中國(guó)家科學(xué)院院士,國(guó)務(wù)院參事,中國(guó)科學(xué)院虛擬經(jīng)濟(jì)與數(shù)據(jù)科學(xué)研究中心主任,中國(guó)科學(xué)院大數(shù)據(jù)挖掘與知識(shí)管理重點(diǎn)實(shí)驗(yàn)室主任。被列為Elsevier發(fā)布2014/2015中國(guó)高被引學(xué)者榜單之一、入選湯普生路透(Thomson Reuters)2016全球高被引作者(計(jì)算機(jī)科學(xué)領(lǐng)域)。現(xiàn)在擔(dān)任《國(guó)際信息技術(shù)和決策雜志(IJITDM)》《國(guó)際數(shù)據(jù)科學(xué)年鑒(Annals of Data Science)》創(chuàng)立主編。先后榮獲以集合論創(chuàng)始人命名的康拓學(xué)術(shù)獎(jiǎng)、中國(guó)復(fù)旦管理學(xué)杰出貢獻(xiàn)獎(jiǎng)、教育部自然科學(xué)獎(jiǎng)一等獎(jiǎng)(2012年、2016年)。中國(guó)科學(xué)院百人計(jì)劃學(xué)者、國(guó)家杰出青年科學(xué)基金獲得者。
2017-01-04