花婷婷，王嶺人，趙云波

(浙江工業(yè)大學(xué) 信息工程學(xué)院，杭州 310023)

0 引言

珍珠是一些瓣鰓綱軟體動(dòng)物(主要是牡蠣)的產(chǎn)物，是重要和常見的珠寶類型?，F(xiàn)有珍珠大多通過淡水養(yǎng)殖牡蠣進(jìn)行生產(chǎn)，我國的產(chǎn)量占世界總產(chǎn)量的80%。珍珠的價(jià)值與其外觀品相密切相關(guān)，光澤、形狀、表皮質(zhì)量、顏色、大小和有無瑕疵等所造成的珍珠優(yōu)等品和次等品之間價(jià)格能差幾百上千倍。因而，對(duì)于珍珠生產(chǎn)商而言，按照不同的等級(jí)將珍珠進(jìn)行分揀就成為一個(gè)必要和重要的步驟。

現(xiàn)有珍珠分揀主要通過人工進(jìn)行。經(jīng)驗(yàn)豐富的從業(yè)人員通過肉眼觀察珍珠的顏色、光澤、形狀和質(zhì)地等多種外觀特征，然后依照某種事先定好的等級(jí)規(guī)則進(jìn)行分類。容易認(rèn)識(shí)到，對(duì)大量外觀差距可能并不太大的珍珠進(jìn)行觀察分揀是一項(xiàng)重復(fù)單調(diào)的勞動(dòng)；而隨著時(shí)間的增加，人的疲勞也會(huì)大大影響分揀的準(zhǔn)確度。然而，將高等級(jí)珍珠誤分為低等級(jí)固然會(huì)錯(cuò)誤的降低售賣價(jià)值，反過來將低等級(jí)珍珠誤分為高等級(jí)也會(huì)影響產(chǎn)品質(zhì)量和信譽(yù)。這樣，為了分揀的高效和穩(wěn)定，就有必要引入自動(dòng)化的分揀方法。

由于珍珠分揀主要基于珍珠外觀進(jìn)行，自動(dòng)化的分揀方法因而大多基于機(jī)器視覺的方法和技術(shù)。例如，文獻(xiàn)[1]利用色調(diào)、飽和度和亮度(HSL，hue, saturation, lightness)顏色模型轉(zhuǎn)換技術(shù)，以及模糊模式識(shí)別方法進(jìn)行珍珠判別歸類，文獻(xiàn)[2]利用調(diào)、飽和度和明度(HSV，hue, saturation, value)顏色模型來提取珍珠顏色信息，文獻(xiàn)[3]提出了基于傅里葉變換的模糊分類方法，文獻(xiàn)[4]通過Zernike矩描述珍珠形狀特征從而實(shí)現(xiàn)分類。為觀察珍珠這種細(xì)粒度級(jí)別的多個(gè)視圖的多個(gè)特征[5-7]，在上述使用較少特征的分類方法基礎(chǔ)上，文獻(xiàn)[8]利用單目多視角攝像裝置直接獲取5個(gè)不同視角的珍珠表面圖像，利用更全面的珍珠檢測(cè)視角提升了珍珠識(shí)別精度。傳統(tǒng)計(jì)算機(jī)視覺方法中珍珠特征的手工標(biāo)注依賴于專家知識(shí)，成本相對(duì)較高。近年來，深度學(xué)習(xí)[9]方法尤其是卷積神經(jīng)網(wǎng)絡(luò)(CNN，convolutional neural networks)[10]在圖像分類方面取得了很大的成功，它可以自動(dòng)生成有用的特征，從而節(jié)省大量手工標(biāo)注工作，各種CNN模型如AlexNet[11]、VGG[12]、GoogleNet[13]、DenseNet[14]、ResNet[15]等都被提出。基于這些理論進(jìn)展，文獻(xiàn)[16]提出了一種多尺度卷積神經(jīng)網(wǎng)絡(luò)(MS-CNN，multi-scale CNN)方法，通過充分利用不同觀測(cè)角度的信息提升自動(dòng)分類的效果；文獻(xiàn)[17]則提出了一種多視角對(duì)抗生成網(wǎng)絡(luò)(MV-GAN，multiview generative adversarial network)方法，通過自動(dòng)擴(kuò)展標(biāo)記的多視圖珍珠圖像實(shí)現(xiàn)更可靠的珍珠分類效果。

注意到，盡管上述的各種珍珠分揀的人工智能系統(tǒng)已經(jīng)在實(shí)際中得到了初步應(yīng)用，但所達(dá)到的分揀準(zhǔn)確度仍有很大提升空間。例如，2018年所提出的MS-CNN方法只能達(dá)到92.57%[16]的分揀準(zhǔn)確度。而可以理解的是，在此基礎(chǔ)上的準(zhǔn)確度的進(jìn)一步提升存在很大的困難。原因一方面是技術(shù)上的，這一技術(shù)上的限制只有在現(xiàn)有深度學(xué)習(xí)算法有了本質(zhì)的改進(jìn)才有可能得以消除。另一方面的原因是成本上的，如前所述，大量準(zhǔn)確標(biāo)注的珍珠數(shù)據(jù)集難以獲取。上述分析意味著如果需要進(jìn)一步提升珍珠分揀的準(zhǔn)確度，很有可能需要跳出現(xiàn)有的單純的深度學(xué)習(xí)技術(shù)框架。

另一方面，前面已經(jīng)指出，對(duì)珍珠生產(chǎn)企業(yè)而言，1%的分揀準(zhǔn)確度提升也有很大的經(jīng)濟(jì)價(jià)值。這主要是因?yàn)檎渲閱蝺r(jià)昂貴，不同分級(jí)之間價(jià)格甚至相差幾百倍，把優(yōu)等珍珠分成次等品會(huì)導(dǎo)致利益損失嚴(yán)重，而把有瑕疵珍珠分成上等品會(huì)造成產(chǎn)品質(zhì)量爭議和企業(yè)信譽(yù)受損。這就對(duì)珍珠分揀準(zhǔn)確度的提升提出了現(xiàn)實(shí)的需求。

考慮上述兩方面的因素，即對(duì)珍珠分揀準(zhǔn)確度的現(xiàn)實(shí)需求和提升準(zhǔn)確度在現(xiàn)有技術(shù)框架下的限制，在本文提出一種通過人的分歧介入來提升珍珠分揀準(zhǔn)確度的方法。該方法的基本思想是找出基于深度學(xué)習(xí)的自動(dòng)分揀方法中分錯(cuò)的部分，將這一部分交由人進(jìn)行進(jìn)一步的檢查判定，通過人機(jī)合作達(dá)到更高的分揀準(zhǔn)確度。容易想到，該方法技術(shù)上的難點(diǎn)正在于如何準(zhǔn)確的識(shí)別自動(dòng)分揀方法的失誤，為此使用了一種多個(gè)冗余算法分歧的方法，通過引入冗余的自動(dòng)分揀算法，將多個(gè)算法產(chǎn)生判定分歧的珍珠認(rèn)定為分揀失誤，通過在文獻(xiàn)[17]中采集的珍珠數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，證明了方法的有效性。

1 珍珠分揀相關(guān)研究

基于機(jī)器視覺的珍珠分揀方法的關(guān)鍵在于有效提取所需的特征。傳統(tǒng)機(jī)器視覺使用手工標(biāo)注的特征進(jìn)行珍珠分揀，比如形狀和紋理特征。形狀特征可以用傅里葉級(jí)數(shù)[3]和Zernike矩[18]來描述，傅里葉級(jí)數(shù)可用來表示圖像的二維封閉形狀，低階Zernike矩可表示圖像的整體形狀，高階Zernike矩可描述圖像的細(xì)節(jié)。紋理特征可通過灰度級(jí)共現(xiàn)矩陣(GLCM，gray-level co-occurrence matrix)[19]和Gabor濾波器[20]得到，灰度級(jí)共現(xiàn)矩陣?yán)镁仃嚨母鞣N統(tǒng)計(jì)指標(biāo)作為紋理特征，Gabor濾波器對(duì)圖像進(jìn)行濾波獲得圖像像素的特征向量作為紋理特征。目前珍珠分揀大多只使用一種特征，但在實(shí)際中珍珠分類應(yīng)考慮珍珠的多個(gè)視圖的多個(gè)特征。文獻(xiàn)[8]從顏色、光澤度以及色度均勻度三方面對(duì)珍珠進(jìn)行分類。先利用HSL顏色模型對(duì)珍珠進(jìn)行顏色分類，用色調(diào)H 和飽和度S來表示顏色的類別與深淺程度，再在同一色系、同一飽和度等級(jí)下根據(jù)I分量進(jìn)行分類；然后通過融合拼接后的全景珍珠圖像中的反光區(qū)域來識(shí)別珍珠光澤度；另外對(duì)珍珠表面光澤的不均勻區(qū)域以及色度不均勻區(qū)域進(jìn)行均勻度識(shí)別。

傳統(tǒng)的方法涉及不同類別的特征，所需成本較高，而最近深度學(xué)習(xí)在視覺識(shí)別分類任務(wù)中具有強(qiáng)大表現(xiàn)力。文獻(xiàn)[16]設(shè)計(jì)了一種珍珠自動(dòng)分類裝置來采集珍珠的多視角圖像， 以每顆珍珠5個(gè)視圖的圖像作為輸入，提取珍珠的表面特征，利用元素智能層得到一個(gè)統(tǒng)一的特征向量，并通過權(quán)重共享機(jī)制將珍珠特征進(jìn)一步融合，模仿了現(xiàn)實(shí)中手工分類珍珠方法。文獻(xiàn)[17]在此基礎(chǔ)上加入GAN框架，對(duì)采集的珍珠圖像數(shù)據(jù)集進(jìn)行有效擴(kuò)展，使珍珠分類具更高精度，且能幫助MS-CNN抵抗環(huán)境引入的干擾如亮度干擾，使珍珠分類更加魯棒。

2 方法模塊設(shè)計(jì)

所提出的面向珍珠分揀的人的分歧介入方法整體框架如圖1中的下框圖所示。與上框圖所表示的一般AI算法不同，在人的分歧介入方法中，主算法之外另外構(gòu)建了一個(gè)獨(dú)立的次算法，兩個(gè)算法獨(dú)立產(chǎn)生預(yù)測(cè)輸出，輸出進(jìn)而交由仲裁模塊進(jìn)行分歧仲裁：如果分歧產(chǎn)生，則認(rèn)為AI系統(tǒng)分類可能有誤，此時(shí)將交給人做最終的決策；如果無分歧，則保留主算法的預(yù)測(cè)結(jié)果。

圖1 人的分歧介入框架圖

下面詳細(xì)介紹算法模塊和仲裁模塊的設(shè)計(jì)。

2.1 算法模塊設(shè)計(jì)

算法模塊的功能是通過所選擇的兩種算法產(chǎn)生的預(yù)測(cè)的分歧來判斷算法預(yù)測(cè)是否有誤，因而兩種算法選擇的核心原則即是，一方面，兩種算法本身都應(yīng)該具有較高的預(yù)測(cè)準(zhǔn)確性，因?yàn)榉駝t兩種算法的輸出判定可能會(huì)產(chǎn)生大量無意義的分歧；另一方面，兩種算法應(yīng)保證盡可能大的獨(dú)立性，因?yàn)榉駝t就難以產(chǎn)生所需要的分歧。另外，所提出的算法仍需要保持某一選擇的算法為主，另一算法為次，因?yàn)橐勒赵撍惴ńY(jié)構(gòu)，系統(tǒng)輸出會(huì)保持主算法的輸出，除非因?yàn)榉制缫l(fā)人的介入，此時(shí)的系統(tǒng)輸出就成為人的決策。

為了符合上述的選取原則，在實(shí)際問題中主次算法的選擇可按如下流程進(jìn)行：首先選取針對(duì)當(dāng)前問題性能最好的算法作為主算法，其次，在所有剩余待選算法中選擇與主算法盡可能獨(dú)立但同時(shí)又保證具有較高的自身準(zhǔn)確度的算法作為次算法。

采用上述的算法選取流程，關(guān)鍵在于次算法選取中獨(dú)立性和準(zhǔn)確性的折中。如果次算法與主算法的獨(dú)立性較差，那么主算法預(yù)測(cè)有誤的情形次算法也有很大可能出現(xiàn)同樣錯(cuò)誤，因而預(yù)測(cè)錯(cuò)誤無法產(chǎn)生分歧，影響所提出的人的分歧介入框架的準(zhǔn)確性；相反，如果次算法準(zhǔn)確性較差，那么會(huì)有很多預(yù)測(cè)因?yàn)榇嗡惴ㄗ陨淼念A(yù)測(cè)失誤而產(chǎn)生分歧，無意義的增加了人的介入成本。從上述分析可以看出，在實(shí)際的次算法選擇中，應(yīng)首先確保次算法自身的準(zhǔn)確性在某一閾值之上，然后再考慮與主算法的獨(dú)立性。

進(jìn)一步的，對(duì)次算法獨(dú)立性的確保，可以從訓(xùn)練數(shù)據(jù)集、訓(xùn)練方式、模型本身等方面的不同來考慮。針對(duì)具體問題，需要分析從所有可選算法中進(jìn)行盡可能最優(yōu)的選擇。

2.2 仲裁模塊設(shè)計(jì)

在珍珠分揀的圖像分類任務(wù)中，人在時(shí)間充分狀態(tài)良好的情況下判斷結(jié)果比絕大多數(shù)AI系統(tǒng)都更為可靠，只是因?yàn)槿肆Τ杀镜母甙汉驮陂L期工作下的疲勞所導(dǎo)致的犯錯(cuò)可能，引入機(jī)器方法是有益的。仲裁模塊的設(shè)計(jì)目標(biāo)，即是判斷機(jī)器算法何時(shí)出錯(cuò)，并在此時(shí)交由人進(jìn)行處理判斷。

分歧仲裁框圖如圖2所示。在實(shí)驗(yàn)中，由兩種 AI 算法對(duì)同一珍珠進(jìn)行分類，如果兩個(gè)獨(dú)立的AI算法都給出了相同的分類結(jié)果，則有信心認(rèn)為 AI 系統(tǒng)當(dāng)前的分類結(jié)果是正確的；如果兩個(gè)AI算法產(chǎn)生分歧給出了不同的分類結(jié)果，則有理由認(rèn)為AI系統(tǒng)當(dāng)前的分類結(jié)果需要進(jìn)行慎重評(píng)估，進(jìn)而將該珍珠交由人進(jìn)行檢查判定，并假定凡是交由人做進(jìn)一步判定的珍珠最終的分類結(jié)果都是正確的。

圖2 分歧仲裁框圖

設(shè)計(jì)良好的仲裁模塊將能夠保證機(jī)器算法的失誤可以被有效捕捉，從而在整個(gè)系統(tǒng)中，通過引入少量的人力成本，實(shí)現(xiàn)對(duì)機(jī)器算法性能的有效提升。從成本的角度來說，又可以節(jié)省寶貴的人力成本，使得人不再需要對(duì)所有珍珠進(jìn)行識(shí)別判斷。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置

本文在文獻(xiàn)[17]提出的數(shù)據(jù)集上對(duì)所提出的方法進(jìn)行評(píng)估。該珍珠數(shù)據(jù)集利用單目多視角攝像裝置拍攝來自浙江諸暨的大量珍珠的主、后、左、右和上5個(gè)不同視角的表面圖像，做了預(yù)處理并讓有經(jīng)驗(yàn)的專業(yè)人員對(duì)圖像進(jìn)行了標(biāo)記。數(shù)據(jù)集包含有10 500顆珍珠拍攝而成的52 500張帶有標(biāo)簽信息的圖像，52 500張圖像按6：2：2的結(jié)構(gòu)分成訓(xùn)練集、驗(yàn)證集和測(cè)試集。本數(shù)據(jù)集共收錄訓(xùn)練集31 500張圖像、驗(yàn)證集10 500張圖像和測(cè)試集10 500張圖像。

珍珠按粗糙規(guī)則分類可大致分為兩類：1)一類為價(jià)值較低的扁平型或深瑕疵珍珠；2)另一類為瑕疵程度較小的珍珠。前者可進(jìn)一步細(xì)分為三類：(1)具有多個(gè)平面的珍珠；(2)形狀對(duì)稱的珍珠；(3)其他珍珠。后者也可進(jìn)一步細(xì)分為四類：(1)短半徑與長半徑之比大約大于0.7的珍珠；(2)顏色淺淡的珍珠；(3)隱含斑點(diǎn)的珍珠；(4)其余珍珠。

將上述珍珠類別分別記為Class1-7，并給每張圖片制定好標(biāo)簽，如圖3所示，在訓(xùn)練階段使用訓(xùn)練集和驗(yàn)證集，在測(cè)試階段使用測(cè)試集評(píng)估訓(xùn)練模型的能力。

圖3 珍珠七分類視圖

本文采用Ubuntu16.04服務(wù)器訓(xùn)練珍珠分揀模型，算法使用Pytorch實(shí)現(xiàn)，具體設(shè)置如下。訓(xùn)練模型時(shí)設(shè)置訓(xùn)練最大次數(shù)為10個(gè)Epoch，將訓(xùn)練和測(cè)試時(shí)的單次處理樣本數(shù)Batch設(shè)置為32，學(xué)習(xí)率為0.000 1，使用Adam優(yōu)化器，并將step-size設(shè)置為5，gamma設(shè)置為0.1，學(xué)習(xí)率將在訓(xùn)練過程中經(jīng)過5次變化逐漸變成0.1。在訓(xùn)練階段，本文會(huì)對(duì)圖片進(jìn)行預(yù)處理，包括隨機(jī)二維裁剪、給定概率水平翻轉(zhuǎn)等。將在每一個(gè)訓(xùn)練Epoch后進(jìn)行一次驗(yàn)證，最后選取最優(yōu)模型用于仲裁系統(tǒng)。

3.2 評(píng)價(jià)指標(biāo)

在實(shí)驗(yàn)驗(yàn)證階段，使用分歧準(zhǔn)確指數(shù)α和額外成本指數(shù)β作為系統(tǒng)分歧的評(píng)價(jià)指標(biāo)。分歧準(zhǔn)確指數(shù)α指的是主算法分類錯(cuò)誤后被糾正的圖片數(shù)目占該模型分類錯(cuò)誤的圖片總數(shù)目的比值，用于評(píng)價(jià)該方法找出分類錯(cuò)誤的能力。額外成本指數(shù)β指的是主算法分類正確但交于人進(jìn)行判斷的圖片數(shù)目占最優(yōu)模型分類正確的圖片總數(shù)目的比值，用于表示該方法消耗的無效人力成本。

分歧準(zhǔn)確指數(shù)越高越好，而額外成本指數(shù)越低越好，當(dāng)兩者的數(shù)值均為最優(yōu)值時(shí)，說明分歧部分均為主算法出錯(cuò)的部分，是最優(yōu)結(jié)果，但實(shí)際中幾乎不可能達(dá)到。對(duì)于主算法分類出錯(cuò)交于人進(jìn)行分類的那部分人力成本是算法的必要成本，因此在成本估算上更有意義的是所需的額外成本。

分歧準(zhǔn)確指數(shù)α計(jì)算公式如下：

(1)

額外成本指數(shù)β計(jì)算公式如下：

(2)

其中:N為測(cè)試集數(shù)目，E為主算法分類錯(cuò)誤的圖片總數(shù)目，F(xiàn)為主算法分類錯(cuò)誤后被糾正的圖片數(shù)目，P為主算法分類正確但交于人進(jìn)行判斷的圖片數(shù)目。通常評(píng)價(jià)指標(biāo)還包括準(zhǔn)確度。

3.3 基于二算法分歧的實(shí)驗(yàn)評(píng)估

本文選取了目前比較主流先進(jìn)的幾個(gè)算法，包括ResNet50、SE-ResNet50、Vgg16網(wǎng)絡(luò)模型進(jìn)行對(duì)比評(píng)估。

如表1所示，本文分別對(duì)ResNet50、SE-ResNet50、Vgg16算法模型進(jìn)行訓(xùn)練，再兩兩搭配成三組，對(duì)比準(zhǔn)確率結(jié)果。為對(duì)比本文提出的方法而選用的集成學(xué)習(xí)方法(Ensemble Method)，將若干個(gè)模型的輸出結(jié)果概率進(jìn)行平均得到最終的預(yù)測(cè)輸出，其最終預(yù)測(cè)為：

表1 二算法分歧準(zhǔn)確率對(duì)比結(jié)果

(3)

其中:hi(x)是第i個(gè)模型的概率輸出結(jié)果，T是模型的個(gè)數(shù)，wi是單個(gè)模型hi的權(quán)重，通常有:

(4)

此外，為了驗(yàn)證兩個(gè)算法的分歧確實(shí)找出了AI系統(tǒng)分類錯(cuò)誤的部分，還提出了一種基線方法，隨機(jī)選取測(cè)試集中人的分歧介入方法產(chǎn)生的等量珍珠交于人進(jìn)行決策判斷，并稱之為隨機(jī)監(jiān)督方法(random supervision method)，在實(shí)驗(yàn)過程中認(rèn)為交于人的這部分最終分類結(jié)果都是正確的。

由表1實(shí)驗(yàn)結(jié)果可知，本文提出的方法是有優(yōu)勢(shì)的，比之單獨(dú)的模型算法的準(zhǔn)確率[19]提升了將近4%，且較兩個(gè)算法進(jìn)行集成后的準(zhǔn)確率也有明顯提升。即使因?yàn)槿说膮⑴c最終分類結(jié)果準(zhǔn)確率必定有所提升，但相較于隨機(jī)監(jiān)督方法的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)準(zhǔn)確率也有明顯提升，這表示了本文提出的方法確實(shí)可以在一定程度上提升珍珠分揀的精度。

為進(jìn)一步說明本文方法的有效性，本文分別從分歧準(zhǔn)確指數(shù)和額外成本指數(shù)兩個(gè)性能指標(biāo)進(jìn)行分析，來評(píng)估系統(tǒng)的整體性能。二算法分歧性能結(jié)果如表2所示。

表2 二算法分歧性能結(jié)果

由表2可以看出，本文分歧準(zhǔn)確指數(shù)在51%左右，相較于隨機(jī)監(jiān)督方法的性能結(jié)果有明顯提升，這表示了本文提出的方法確實(shí)更有效地找到AI系統(tǒng)分類出錯(cuò)的部分，此外額外成本指數(shù)也有相對(duì)減少，這表示本文提出的人的分歧介入方法用更少的人力來提升珍珠分揀的精度。

另外，為了能更清晰地展示本實(shí)驗(yàn)的實(shí)驗(yàn)效果，在以ResNet50和SE-ResNet50兩種算法分歧的情形為例，挑選了幾張圖片進(jìn)行分析，這兩種算法中SE-ResNet50算法更優(yōu)，如圖4所示。圖4中分別展示了4種情形。1)一類分歧：兩種算法分類均錯(cuò)誤但仍分歧的情形，這也是研究最期望的結(jié)果；2)二類分歧：主算法分類錯(cuò)誤而次算法分類正確導(dǎo)致分歧的情形，這和一類分歧共同決定了分歧準(zhǔn)確指數(shù)的大??；3)三類分歧：主算法分類正確而次算法分類錯(cuò)誤導(dǎo)致分歧的情形，這是額外成本指數(shù)的來源；4)不分歧：兩種算法分類均錯(cuò)誤但不分歧的情形，這是導(dǎo)致研究最終準(zhǔn)確率提升不上去的原因。其中算法對(duì)錯(cuò)誤分類結(jié)果的概率并不是很高，這也是未來研究可以切入的點(diǎn)，利用這一優(yōu)勢(shì)在減少人力成本的基礎(chǔ)上提升珍珠分揀精度。

3.4 基于多算法分歧的改進(jìn)優(yōu)化

可以在原二算法的基礎(chǔ)上進(jìn)行改進(jìn)，進(jìn)行基于三算法甚至多算法的分歧介入。算法設(shè)計(jì)的目的主要考慮提升分歧準(zhǔn)確指數(shù)和降低額外成本指數(shù)。

3.4.1 提升分歧準(zhǔn)確指數(shù)

面向?qū)Τ杀鞠鄬?duì)不敏感但對(duì)分揀結(jié)果準(zhǔn)確率有更高要求的應(yīng)用場景，多算法的人的分歧介入框圖如圖5所示，在主算法的基礎(chǔ)上設(shè)計(jì)多個(gè)次算法，其性能結(jié)果如表3所示。

圖5 基于多算法的人的分歧介入框圖

表3 多算法分歧性能結(jié)果

從表3中可以看出使用多個(gè)算法確實(shí)可以提升系統(tǒng)最終分類結(jié)果的準(zhǔn)確性，分歧準(zhǔn)確指數(shù)也有明顯的升高。但同時(shí)隨著算法個(gè)數(shù)的增加，額外成本也在逐漸增加，而準(zhǔn)確率的提升幅度卻明顯減少，有一定的限度。因此所需的成本和準(zhǔn)確率的提升之間需要一個(gè)衡量，在實(shí)際中要因事制宜。

圖6展示了三算法分歧的珍珠分類效果圖，其中SE-ResNet50為主算法。如圖6所示，依次展示4種情形。1)一類分歧：3種算法分類均錯(cuò)誤但仍分歧的情形，是此次研究最期望的結(jié)果；2)二類分歧：一種算法分類正確其余兩種算法分類錯(cuò)誤也導(dǎo)致分歧的情形；3)三類分歧：兩種算法分類正確而另一算法分類錯(cuò)誤導(dǎo)致分歧的情形，相對(duì)于二算法這導(dǎo)致人工總工作量增加；4)不分歧：3種算法分類均錯(cuò)誤但不分歧的情形，這是研究中最不愿看到的。

圖6 三算法分歧珍珠分類效果圖

3.4.2 降低額外成本指數(shù)

針對(duì)珍珠分揀準(zhǔn)確性已滿足要求，但需要降低人工成本的應(yīng)用場景，可以在三算法的基礎(chǔ)上加入一個(gè)集成的概念，將三算法集成為二算法，其他部分同二算法方法，如圖7所示。

圖7 基于算法集成的人的分歧介入框圖

選用ResNet50、SE-ResNet50、Vgg16算法，在表1的集成結(jié)果基礎(chǔ)上進(jìn)行實(shí)驗(yàn)結(jié)果分析。

從表4可以看出與二算法的性能結(jié)果(表1、表2所示)相比，提升相同的準(zhǔn)確率所需要的人工監(jiān)督成本有所減少，當(dāng)準(zhǔn)確率均達(dá)到96%左右，分歧準(zhǔn)確指數(shù)為51%左右時(shí)，額外成本指數(shù)卻降低了約2%，用更少的人力來提升珍珠分揀準(zhǔn)確性。

表4 三算法集成分歧性能結(jié)果

4 結(jié)束語

面向珍珠分揀這一應(yīng)用場景，本文提出了一種通過人的介入提升機(jī)器算法準(zhǔn)確性的方法。設(shè)計(jì)了相應(yīng)的算法模塊和仲裁模塊，使得在AI系統(tǒng)出錯(cuò)時(shí)可以有效識(shí)別并交由人處理。

雖然這一方面是面向珍珠分揀這一特定應(yīng)用領(lǐng)域的，但相關(guān)的人的分歧介入思想可以在更為廣泛的應(yīng)用領(lǐng)域中得到推廣，因?yàn)閺脑砩蟻碇v這一方法是具有普適性的。從這一角度出發(fā)，我們也認(rèn)為隨著人工智能技術(shù)在越來越多的領(lǐng)域中得到廣泛應(yīng)用，而同時(shí)意識(shí)到基于深度學(xué)習(xí)的人工智能技術(shù)本質(zhì)上的難解釋性、不確定性、弱魯棒性等，在人機(jī)混合智能的框架下考慮各類相關(guān)應(yīng)用將是一個(gè)值得關(guān)注的研究方向。

本文方法仍存在如下不足，在今后的研究中需進(jìn)一步探討：1)對(duì)主次算法的選擇尚缺少系統(tǒng)性可操作的方法，仍需針對(duì)不同應(yīng)用進(jìn)行嘗試，這影響了所提出方法的廣泛適用性；2)尚缺少對(duì)引發(fā)分歧的閾值的系統(tǒng)性確定方法，也影響了所提出方法的一般性。