◆蘇朝墩 / 文

編者按

本文出自2019年10月的美國《質(zhì)量進(jìn)展》雜志，作者是國際質(zhì)量科學(xué)院院士、中國工業(yè)工程學(xué)會會士、美國質(zhì)量學(xué)會會士、臺灣質(zhì)量學(xué)會會士、臺灣清華大學(xué)工業(yè)工程管理學(xué)系蘇朝墩教授，由臺灣輔仁大學(xué)企管系教授陳麗妃翻譯，原文標(biāo)題《勇往直前——了解大數(shù)據(jù)對質(zhì)量的影響，以更好地解決問題和客戶疑慮》。

質(zhì)量改善是全面質(zhì)量管理的關(guān)鍵原則，也是每個組織永無止境的過程。為了提升組織競爭力，運(yùn)用系統(tǒng)化方法來改善流程和產(chǎn)品質(zhì)量是非常重要的。本文討論質(zhì)量改善和大數(shù)據(jù)，特別強(qiáng)調(diào)了大數(shù)據(jù)對于質(zhì)量改善的影響，并介紹了一些用于大數(shù)據(jù)分析的相關(guān)技術(shù)和案例。

大數(shù)據(jù)影響了質(zhì)量改善的工作，有三個重要方面：了解客戶的聲音、收集和分析數(shù)據(jù)以及開發(fā)預(yù)測模型。此外，質(zhì)量4.0引入了更多先進(jìn)的技術(shù)和工具來分析大數(shù)據(jù)，包括人工智能、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)預(yù)處理和屬性篩選等。質(zhì)量專家有責(zé)任確保大數(shù)據(jù)正確無誤、沒有缺失值，了解快速處理和提取可操作訊息的方法以及確定數(shù)據(jù)是否可以導(dǎo)致問題被解決或引起客戶關(guān)注。

質(zhì)量改善

許多公司已嘗試開發(fā)系統(tǒng)化的方法，使用特定技術(shù)來提升質(zhì)量并減少流程和產(chǎn)品中的浪費(fèi)。在各個行業(yè)中，通常透過團(tuán)隊合作來實現(xiàn)質(zhì)量改善。想要成功地實施質(zhì)量改善活動，有三個要素相當(dāng)重要：質(zhì)量概念、管理模式和改善的技術(shù)(圖1)。

1.質(zhì)量概念：了解各種質(zhì)量概念有助于有效地處理質(zhì)量問題。通過適當(dāng)?shù)脑诼毰嘤?xùn)，許多企業(yè)引導(dǎo)員工學(xué)習(xí)一些質(zhì)量專家的理念，以擁有更好的態(tài)度進(jìn)行質(zhì)量改善。例如，質(zhì)量是由客戶定義；質(zhì)量意味著要符合要求；質(zhì)量來自預(yù)防；當(dāng)產(chǎn)出的性能變異越小，其產(chǎn)品的質(zhì)量越高；應(yīng)創(chuàng)造有吸引力的質(zhì)量要素，以滿足客戶的潛在需求。這些基本的質(zhì)量教條，對質(zhì)量績效的改善，繼續(xù)產(chǎn)生相當(dāng)大的影響。

2.管理模式：我們必須使用一些管理模式來解決質(zhì)量問題。實務(wù)上，經(jīng)常使用的質(zhì)量管理模式是Plan-Do-Check-Act循環(huán)、QC story、福特8D和DMAIC（定義、測量、分析、改善、控制），其中8D被廣泛用于高科技公司中，因為它同時強(qiáng)調(diào)遏制、糾正和預(yù)防問題的價值。

3.質(zhì)量改善技術(shù)：經(jīng)常使用的質(zhì)量改善技術(shù)可分為以下三類：(1)統(tǒng)計方法，包括基本統(tǒng)計、假說檢定、回歸和實驗設(shè)計/田口方法等；(2) 質(zhì)量工具，包括質(zhì)量機(jī)能展開、QC七大手法、新QC七大手法、統(tǒng)計流程管制、流程能力分析、測量系統(tǒng)分析和FMEA等；(3) 豐田式生產(chǎn)系統(tǒng)和精益理念，其已普遍使用于業(yè)界中，以消除浪費(fèi)、縮減成本和周期時間，以及質(zhì)量改善等。

質(zhì)量改善需要解決問題。圖2顯示了一個以數(shù)據(jù)驅(qū)動的邏輯條理，用于解決質(zhì)量問題。對于一個給定的問題，我們收集數(shù)據(jù)，使用合適的工具進(jìn)行分析，并決定理想的解決方案。然后，我們修正這些理想的解決方案以獲得“實用的解”。在這個過程中，如何確定適當(dāng)?shù)母纳茩C(jī)會、解構(gòu)問題和解釋分析結(jié)果是相當(dāng)重要的。此外，質(zhì)量改善項目必須與企業(yè)策略目標(biāo)，以及客戶、流程和工程的聲音相連接。

圖1 質(zhì)量改善方法論

大數(shù)據(jù)

大數(shù)據(jù)已引起了學(xué)者和實務(wù)人員的關(guān)注。產(chǎn)生越來越多的數(shù)據(jù)是現(xiàn)代科技發(fā)展的必然趨勢。例如，我們可以很容易地在機(jī)器/產(chǎn)品中安裝傳感器和智能芯片，以獲取相關(guān)信息，如產(chǎn)品特性和操作條件等。從提供服務(wù)到制造，許多公司現(xiàn)在都需要大數(shù)據(jù)，我們已進(jìn)入大數(shù)據(jù)的時代。

大數(shù)據(jù)沒有通用的定義。Laney[1]用3 V定義了大數(shù)據(jù)：Volume——數(shù)據(jù)集的數(shù)量大?。籚elocity——數(shù)據(jù)輸入和輸出的速度；Variety——各種數(shù)據(jù)類型和來源。3V已經(jīng)成為描述大數(shù)據(jù)的流行框架。除了3V之外，大數(shù)據(jù)的其他常見維度還包括Veracity——數(shù)據(jù)的質(zhì)量或可信度，以及Value——所提取數(shù)據(jù)的價值。

大數(shù)據(jù)不是在關(guān)注數(shù)據(jù)本身的問題，相反地，它是對更有效地解決問題的策略的確認(rèn)。在目前的研究中，大數(shù)據(jù)被認(rèn)為是一個整體的方法，用來探索5V（數(shù)量、速度、多樣性、真實性和價值），以便獲得可行動的知識，以提升企業(yè)的競爭力。隨著時間的推移，科技將不斷的發(fā)展，在未來，我們會對大數(shù)據(jù)發(fā)展給出不同的觀點。

圖2 解決質(zhì)量問題的數(shù)據(jù)驅(qū)動邏輯

大數(shù)據(jù)對質(zhì)量改善的影響

大數(shù)據(jù)對質(zhì)量改善的三個關(guān)鍵影響如下：

1.客戶的聲音

了解VOC(voice of the customer，包括內(nèi)部和外部客戶)是相當(dāng)重要的，因為在制定有關(guān)質(zhì)量改善方向的決策時，這些信息對組織很有價值。傳統(tǒng)上，公司使用調(diào)查、訪談、焦點小組、保修數(shù)據(jù)、現(xiàn)場數(shù)據(jù)和投訴來確定客戶的期望。然而，大數(shù)據(jù)擁有精確評估VOC的卓越能力。大型數(shù)據(jù)集和精密的工具使我們能夠鑒別實際的客戶購買和動機(jī)，然后根據(jù)VOC來決定最重要的客戶需求，從而為質(zhì)量改善提供充足的機(jī)會。

2.數(shù)據(jù)收集和分析

數(shù)據(jù)收集在質(zhì)量改善中扮演相當(dāng)重要的角色。傳統(tǒng)上，根據(jù)不同情況使用各種數(shù)據(jù)收集方法[2]。以下是三種類型的數(shù)據(jù)：

（1）實驗數(shù)據(jù)(experimental data)：從設(shè)計的實驗中收集數(shù)據(jù)。實驗設(shè)計或田口方法經(jīng)常用于處理此類數(shù)據(jù)。

（2）觀測數(shù)據(jù)(observational data)：通過規(guī)劃好的觀察研究對數(shù)據(jù)進(jìn)行采樣?；貧w分析或因果分析通常用于分析此類型數(shù)據(jù)。

（3）歷史數(shù)據(jù)(historical data)：這些數(shù)據(jù)已被收集。計算智能和數(shù)據(jù)探勘方法對于解決歷史數(shù)據(jù)問題是必不可少的。

例如，當(dāng)六西格瑪?shù)腄MAIC用于解決問題時，我們通常應(yīng)用實驗設(shè)計或田口方法來優(yōu)化流程，主要原因是六西格瑪支持工程上的良好感覺，使我們可以完全理解問題的背景。此時，可以進(jìn)行精心策劃的實驗，以收集解決問題所需的數(shù)據(jù)。另一方面，在處理不明確（或不理解）的問題時，我們可能只有歷史數(shù)據(jù)。此時，一些智能型方法可以用來有效地檢視數(shù)據(jù)。

在大數(shù)據(jù)時代，可以從社交媒體、交易、公共數(shù)據(jù)和機(jī)器與機(jī)器間的數(shù)據(jù)等來源收集數(shù)據(jù)。在制造業(yè)中，除了歷史數(shù)據(jù)之外，還有大量的實時現(xiàn)場數(shù)據(jù)。對于這些大數(shù)據(jù)，我們經(jīng)常不知道要分析什么。我們可能需要反復(fù)試驗，每次嘗試都有助于我們進(jìn)一步了解問題的來龍去脈。

大數(shù)據(jù)鼓勵我們應(yīng)用更先進(jìn)的技術(shù)來分析已收集的大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。使用正確的方法可能可以揭示大數(shù)據(jù)中隱藏的含義。例如，一家比薩餐館監(jiān)控社交媒體并分析所發(fā)布的文字和圖片來確定客戶不滿意的根本原因，然后此餐館設(shè)計了一個系統(tǒng)來解決由外送員所引起的主要問題[3]。另一個例子是應(yīng)用關(guān)聯(lián)規(guī)則演算法來決定不同機(jī)器組合對晶圓代工廠良率的影響。

3.預(yù)測

大數(shù)據(jù)可以使我們更準(zhǔn)確地預(yù)測未來。通過大數(shù)據(jù)預(yù)測，我們可以提升流程和產(chǎn)品績效，同時實現(xiàn)優(yōu)良的風(fēng)險管理。例如，我們可以開發(fā)一種預(yù)測模型，以便在機(jī)器可能發(fā)生故障之前識別其中的主要質(zhì)量問題。比如，一家鑄造公司運(yùn)用類神經(jīng)網(wǎng)絡(luò)，輸入工廠制程參數(shù)來預(yù)測抗拉強(qiáng)度。

預(yù)防性維護(hù)(preventive maintenance)已廣泛應(yīng)用于制造業(yè)中。許多公司在大數(shù)據(jù)的協(xié)助下，喜歡實施預(yù)測性維護(hù)，通過設(shè)計來幫助判定服務(wù)中的設(shè)備狀況，以預(yù)測何時需要維護(hù)。例如，臺灣的一家半導(dǎo)體制造公司應(yīng)用設(shè)備退化模型來預(yù)測設(shè)備的有效使用壽命；一家筆記本電腦制造公司試圖利用客戶要求維修的原因來預(yù)測修理筆記本電腦所需使用的零件。

預(yù)測是大數(shù)據(jù)分析的實際結(jié)果。然而，構(gòu)建一個有效的預(yù)測模型并不容易，因為大數(shù)據(jù)通常非常復(fù)雜，整個情況往往難以理解，而未知的事物總是存在。過去沒有發(fā)生的事情并不能保證將來不會發(fā)生。此外，由于大數(shù)據(jù)是實時產(chǎn)生的，因此如何準(zhǔn)確、快速地在事先就能預(yù)測變更點是非常關(guān)鍵的。

根據(jù)戴明[4]的教導(dǎo)，如果一個流程處于統(tǒng)計管制中（即處于穩(wěn)定狀態(tài)），那么未來預(yù)期的變化是可預(yù)測的。如果流程不穩(wěn)定，那么其績效是不可預(yù)測的。大數(shù)據(jù)的預(yù)測需要仔細(xì)評估流程是否處于穩(wěn)定狀態(tài)中，從不穩(wěn)定流程中所獲得的數(shù)據(jù)可能會提供對未來的不可靠預(yù)測。

相關(guān)技術(shù)

大數(shù)據(jù)項目通常與大而復(fù)雜的問題相關(guān)聯(lián)，于是，問題通常是含糊不清的。因此，我們首先必須確定所要面對的問題以及誰應(yīng)該加入團(tuán)隊。大數(shù)據(jù)執(zhí)行方法類似于圖2中所提供的架構(gòu)。不過，我們需要一些更先進(jìn)的技術(shù)和工具來分析大數(shù)據(jù)。

·大數(shù)據(jù)解析

所謂的解析，是應(yīng)用數(shù)學(xué)和統(tǒng)計學(xué)來發(fā)現(xiàn)數(shù)據(jù)中有意義的形態(tài)。傳統(tǒng)的數(shù)據(jù)分析方法難以處理大數(shù)據(jù)，因此除了數(shù)學(xué)和統(tǒng)計學(xué)之外，通常還建議使用人工智能、機(jī)器學(xué)習(xí)和數(shù)據(jù)探勘等方法來處理這些大量的數(shù)據(jù)。分析大數(shù)據(jù)以挖掘其潛在的價值并獲得有用的見解，以協(xié)助企業(yè)做出更好決策的學(xué)科稱為大數(shù)據(jù)解析（圖3）。

圖3 大數(shù)據(jù)解析

·人工智能

人工智能包括使用計算機(jī)來解決涉及感知/智能的問題。通過數(shù)據(jù)處理和演算法操作，人工智能嘗試生成有意義的信息，并使機(jī)器比人更聰明。人工智能技術(shù)包括自然語言處理、基于邏輯的推理、計算機(jī)視覺、搜索算法和機(jī)器學(xué)習(xí)。

·機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)是人工智能的一個分支。對于給定的問題，機(jī)器學(xué)習(xí)收集訓(xùn)練數(shù)據(jù)、從數(shù)據(jù)中選擇特征并構(gòu)建模型。此模型可視為學(xué)習(xí)的結(jié)果，可用于預(yù)測或解決高度特定的問題。機(jī)器學(xué)習(xí)方法包括回歸、類神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、判定樹和樸素貝斯等。

·數(shù)據(jù)探勘

數(shù)據(jù)探勘是在大型數(shù)據(jù)集中發(fā)現(xiàn)模式和建立關(guān)系的過程，以便更好地理解所研究的系統(tǒng)。典型的過程涉及問題定義、數(shù)據(jù)收集和準(zhǔn)備、建模、驗證和應(yīng)用等。常見的數(shù)據(jù)探勘工作包括分類、聚類、關(guān)聯(lián)和預(yù)測等。文字探勘是從非結(jié)構(gòu)化的文字中提取有用信息的過程。

·數(shù)據(jù)預(yù)先處理

大數(shù)據(jù)通常是非結(jié)構(gòu)化的。為了改善原始數(shù)據(jù)的質(zhì)量和執(zhí)行結(jié)果，需要更多的時間來實施數(shù)據(jù)的預(yù)先處理。用于數(shù)據(jù)預(yù)先處理的三種基本方法為：（1）數(shù)據(jù)清理：數(shù)據(jù)可能不完整、有雜質(zhì)且不一致。因此，我們應(yīng)該使用領(lǐng)域知識來處理缺失的數(shù)據(jù)、識別異常值、消除雜質(zhì)數(shù)據(jù)，并糾正不一致的數(shù)據(jù)。（2）預(yù)先處理類別數(shù)據(jù)：類別數(shù)據(jù)必須轉(zhuǎn)換為合適的數(shù)值。獨熱編碼是用于處理類別數(shù)據(jù)的常用技術(shù)。（3）數(shù)據(jù)轉(zhuǎn)換：必須將數(shù)據(jù)轉(zhuǎn)換為適當(dāng)?shù)姆秶詡涮幚?。正?guī)化和標(biāo)準(zhǔn)化是眾所周知的數(shù)據(jù)轉(zhuǎn)換技術(shù)。

·特征選取

特征選取是選擇一些具有價值的特征或?qū)傩缘倪^程，而這些特征或?qū)傩杂兄趶妮斎雭眍A(yù)測或識別輸出。特征選取可用于簡化、提高準(zhǔn)確性，并加強(qiáng)對模型的理解和解釋。經(jīng)常使用的特征選取方法包括相關(guān)分析、輸入變量在類神經(jīng)網(wǎng)絡(luò)中的相對重要性、啟發(fā)式算法和判定樹等。

案例

在網(wǎng)際網(wǎng)路上進(jìn)行數(shù)據(jù)資料分析可能需要一個質(zhì)量信息平臺，可以協(xié)助：（1）監(jiān)測：了解當(dāng)前情況；（2）分析：確定問題的原因；（3）預(yù)測：預(yù)測可能的結(jié)果和并發(fā)癥，準(zhǔn)備或防止問題再次發(fā)生；（4）優(yōu)化：優(yōu)化我們的目標(biāo)。以下簡要描述兩個例子。

例1：

一家鑄造公司實施了一個專案來收集現(xiàn)場的數(shù)據(jù)資料以進(jìn)行流程改善。根據(jù)工程知識，專案團(tuán)隊鑒定了17個可能會影響流程輸出的可能因子，比如抗拉強(qiáng)度（y）。

首先，該團(tuán)隊試圖決定影響y的顯著流程因子。執(zhí)行了五個特征選取技術(shù)，包括類神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林、支持向量機(jī)、粗糙集理論和回歸分析。根據(jù)多數(shù)決定原則，該團(tuán)隊選擇了九個關(guān)鍵流程因子進(jìn)行進(jìn)一步研究。接著，類神經(jīng)網(wǎng)絡(luò)用來構(gòu)建九個控制因子和回應(yīng)值（y）之間的非線性關(guān)系。調(diào)適好的網(wǎng)絡(luò)被用作遺傳算法（genetic algorithm, GA）中的適應(yīng)函數(shù)，然后將控制因子數(shù)值轉(zhuǎn)化為一個向量（染色體）以代表可能的解，并使用GA來優(yōu)化解答。

在這項研究中，GA共執(zhí)行20次。實施結(jié)果顯示這20次執(zhí)行結(jié)果的標(biāo)準(zhǔn)差很小，說明所獲得的解具有穩(wěn)定性。然后，從這20個可能的解中選擇出最佳解（具有最高抗拉強(qiáng)度者）。使用這個最佳組合會使抗拉強(qiáng)度增加約13.5%。

流程優(yōu)化的中心思想如圖4所示，更多類似的例子可以在Su[5]中找到。

例2：

一家公司擁有高速公路運(yùn)營電子收費(fèi)系統(tǒng)（ETC）。該系統(tǒng)使用傳感器發(fā)射無線電波，并偵測連接到汽車的無線射頻識別（RFID）標(biāo)簽。平均每日交易數(shù)量約為1500萬。相對較低的車輛偵測準(zhǔn)確率給公司帶來巨大的財務(wù)損失。該公司組建了一個大數(shù)據(jù)專案，分析車輛偵測的ETC數(shù)據(jù)，以識別影響RFID標(biāo)簽偵測的關(guān)鍵特征并提升RFID標(biāo)簽的偵測率。

在五種車型中，我們使用大卡車作為釋例。大卡車的車輛偵測率的準(zhǔn)確度約為83.4%。從數(shù)據(jù)庫中抽取170500輛大卡車記錄數(shù)據(jù)。在原始數(shù)據(jù)中，有190個變量可能影響車輛偵測率。在進(jìn)行數(shù)據(jù)預(yù)先處理之后，仍有170000筆記錄，其中141700筆被偵測到，28300筆未被偵測到。然后，我們將數(shù)據(jù)分成訓(xùn)練集（120000筆）和測試集（50000筆）。在訓(xùn)練集中，有100000個樣本被偵測到，而有20000個樣本未被偵測到，說明數(shù)據(jù)是不平衡的。因此，我們執(zhí)行過額抽樣技術(shù)——從較小的集合中添加更多的樣本。也就是說，抽取偵測到的與未偵測到的車輛數(shù)據(jù)數(shù)量差不多一樣多。于是，最終訓(xùn)練集包括100000個偵測到的樣本和100000個未偵測到的樣本。此訓(xùn)練集用于進(jìn)一步分析，而用于驗證的測試數(shù)據(jù)集并未執(zhí)行過額抽樣。

使用五個特征選取算法來選擇最關(guān)鍵的特征，實施結(jié)果確定了29個關(guān)鍵變量。然后，運(yùn)用決策樹/C4.5產(chǎn)生一些有用的規(guī)則。此外，專案團(tuán)隊從29個變量中選擇了一些可控變量，并應(yīng)用類神經(jīng)網(wǎng)絡(luò)和GA來決定可控變量的最佳設(shè)定。

基于這些分析，可以獲得若干有價值的見解，例如車速控制、RFID標(biāo)簽放置位置和使用時間，以及交通量，以提高車輛偵測率。

圖4 流程優(yōu)化的核心想法 (例1)

要記住的重點原則

大數(shù)據(jù)嚴(yán)重影響了質(zhì)量改善的工作。在使用大數(shù)據(jù)進(jìn)行質(zhì)量改善時，了解工程問題本身是非常重要的，但是以下關(guān)鍵原則對于成功的大數(shù)據(jù)分析也很有用：（1）數(shù)據(jù)質(zhì)量：數(shù)據(jù)本身是否存在問題，例如與測量、錯誤記錄或缺失值有關(guān)的問題；（2）數(shù)據(jù)分析方法：如何選擇適當(dāng)?shù)墓ぞ撸行Ш涂焖俚靥幚泶罅繑?shù)據(jù)并提取可行動的信息；（3）客戶視角：正在解決的問題是否為客戶關(guān)注的問題。這種情況類似于制作美味的日本壽司：要取得成功，我們必須擁有高質(zhì)量的原料、熟練的手藝以及滿足客戶需要的適當(dāng)口感。