王艷華

(煙臺職業(yè)學(xué)院 資產(chǎn)管理處,山東 煙臺 264670)

圖像分類技術(shù)是機(jī)器人和計算機(jī)視覺領(lǐng)域中非常重要且具有挑戰(zhàn)性的主題。所謂的圖像分類是指通過觀察給定圖像中包含的內(nèi)容來對圖像進(jìn)行分類。隨著互聯(lián)網(wǎng)多媒體技術(shù)的快速發(fā)展,出現(xiàn)了大量復(fù)雜的圖像數(shù)據(jù),根據(jù)圖像內(nèi)容對這些數(shù)據(jù)進(jìn)行有效的分析和管理已經(jīng)成為未來發(fā)展趨勢。大多數(shù)圖像分類都需要進(jìn)行語義標(biāo)記,隨著圖像處理和模式識別的快速發(fā)展,場景的圖像分類引起了人們的廣泛關(guān)注。

近年來,伴隨著新的場景分類挑戰(zhàn)的提出,涌現(xiàn)出了各種各樣的圖像分類技術(shù)。然而,管理這些文件變得越來越困難。為了降低數(shù)字圖像管理的成本,需要一種基于圖像分類技術(shù)的數(shù)字檔案管理工具。在圖像分類技術(shù)的數(shù)字檔案管理中,研究包括圖像檢索、數(shù)字版權(quán)管理和圖像標(biāo)注的問題。此外,有效的分類技術(shù)對于維持存在大量圖像的數(shù)字檔案管理的質(zhì)量和正確性非常有用。我們可以使用分類技術(shù)來驗證手動標(biāo)記的圖像類別的正確性,并且可以識別和重復(fù)檢查可疑圖像以保持?jǐn)?shù)字圖書館的質(zhì)量。本文將圖像分類技術(shù)與數(shù)字檔案管理系統(tǒng)相結(jié)合。本系統(tǒng)中的圖像分類包括兩個部分:離線圖像訓(xùn)練和在線圖像分類。在第一組件中,每個圖像被分段為非重疊塊,然后提取每個圖像塊的顏色和紋理直方圖作為其特征表示,應(yīng)用支持向量機(jī)(SVM)技術(shù)來訓(xùn)練若干圖像類別分類器。在圖像分類技術(shù)中,我們提取圖像的特征,并使用訓(xùn)練的SVM分類器將收集的圖像存儲在適當(dāng)?shù)念悇e中,最后給出結(jié)論，并討論未來的研究方向。

1 分類技術(shù)概述

在典型的圖像分類任務(wù)中,數(shù)據(jù)庫通常由一系列圖像組成[1],這些照片根據(jù)拍攝場景分類。在每種類型的圖像中,存在作為訓(xùn)練樣本的圖像和作為測試樣本的圖像。圖像分類就是根據(jù)訓(xùn)練樣本確定剩余圖像的場景標(biāo)簽,按照統(tǒng)一測試樣本,區(qū)分不同圖像的性能,并進(jìn)行分類,一般場景分類可以有以下幾類。

1.1 基于常規(guī)分類器的分類

針對每個圖像提取訓(xùn)練樣本的特征向量,將其用作底函數(shù)或高階函數(shù),使用支持向量機(jī)來執(zhí)行訓(xùn)練[2]。在最終測試圖像區(qū)域時,圖像分類器需要對圖像進(jìn)行分類,使用SVM時,交叉驗證可以以這種方式對大多數(shù)函數(shù)進(jìn)行分類以獲得最佳模型。參數(shù)SVM是一種基于統(tǒng)計學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法,是最廣泛使用的線性分類器之一。其他分類器包括KNN分類器、貝葉斯分類器和BP神經(jīng)網(wǎng)絡(luò)分類器等。然而,場景圖像的高級特征往往具有高維度,導(dǎo)致分類階段的計算復(fù)雜度升高。所以PCA等方法通常用于分類之前執(zhí)行尺寸減小。

1.2 基于場景模型的分類

直接應(yīng)用于場景分類對于基于常規(guī)紋理結(jié)構(gòu)且缺乏語義信息的低級特征不太有效。為了更好地利用這些低級函數(shù)的性能,場景識別模型通常建立在這些低級函數(shù)上,場景模型被分類為DPM模型和ROI原型模型等[3-5]。對于這種分類框架,不同的場景要進(jìn)行模型訓(xùn)練。在分類中,每種類型的模型必須首先匹配圖像,并最終將場景類別與得分最高的場景模型匹配。嚴(yán)格地說,ROI模型不是基于場景模型分類的標(biāo)準(zhǔn)方法,因為它們是基于底層特征的模型,但最終通過訓(xùn)練一系列場景分類器來實現(xiàn)分類。

1.3 基于深度學(xué)習(xí)的分類

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network)是廣泛用于場景分類的深度學(xué)習(xí)方法,大型ImageNet數(shù)據(jù)集也受到廣泛歡迎。人們在此基礎(chǔ)上進(jìn)行改進(jìn),以提高CNN最常見的分類。神經(jīng)網(wǎng)絡(luò)用于深度分類,在縮放之后,需要將測試圖像作為輸入,通過將訓(xùn)練的CNN層與鏈接層圖卷積來確定訓(xùn)練圖像的概率。另一種基于CNN的分類方法將測試圖像通過卷積層之后使用三個連接層之一的響應(yīng)值作為圖像的CNN特征向量。特征向量通過訓(xùn)練,諸如SVM的傳統(tǒng)分類器來對場景圖像進(jìn)行分類,并且基于歐幾里德距離來測量圖像之間的相似性。

基于低級功能和高級語義的傳統(tǒng)方法在處理大數(shù)據(jù)問題和海量圖像數(shù)據(jù)時面臨諸多困難，產(chǎn)品神經(jīng)網(wǎng)絡(luò)的深度場景分類任務(wù)帶來了新的突破,可以從大量圖像數(shù)據(jù)中使用卷積神經(jīng)網(wǎng)絡(luò)來加深圖像一般特征,并且基于網(wǎng)絡(luò)的響應(yīng)特性正在成為一般表示。

2 圖像分類

系統(tǒng)中的圖像分類包括兩個部分:離線圖像訓(xùn)練和在線圖像分類[6]。在培訓(xùn)組件中,從歸檔系統(tǒng)提供的圖像中提取特征,并通過SVM培訓(xùn)將它們分配到相應(yīng)的類別中。在分類組件中,使用SVM分類器將未知圖像分類為一個類別。圖1顯示了數(shù)字檔案管理系統(tǒng)中圖像培訓(xùn)和分類模塊的工作流程。

圖1 圖像訓(xùn)練和分類組件的概述Fig.1 Overview of image training and classification components

2.1 特征提取

由于同一類別中的歸檔圖像具有相似的特征,因此可以使用圖像的內(nèi)容(例如其顏色和紋理)來表示該類別的特征[7]。例如考古相關(guān)的信息數(shù)據(jù)檔案的圖像分類,一般是對目標(biāo)圖像描述了顏色和紋理特征提取過程。為了獲得顏色特征,首先將訓(xùn)練圖像的大小標(biāo)準(zhǔn)化為96×120像素,并將它們分成4×4個非重疊塊;其次計算每個塊的顏色直方圖矢量，再次計算每個塊的直方圖向量和平均向量之間的顏色直方圖交集。 最終有16個相似度值作為我們的顏色特征表示。對于紋理特征提取,將Canny的邊緣檢測算法應(yīng)用于每個塊。首先使用高斯掩模來平滑圖像的噪聲,并使用一對3×3 Sobel卷積掩模來估計x方向(Gx)和y方向(Gy)的梯度。 然后使用Gx和Gy的梯度來計算像素方向，如下所示:

Direct=180-((tan-1(Gy/Gx)×(180/π))

(1)

對于量化,邊緣方向基于其落入的范圍給出設(shè)置。 范圍(0°～22.5°和157.5°～180°)的邊緣方向設(shè)定為0°。任何邊緣方向落在(22.5°～67.5°)范圍內(nèi),設(shè)定為45°;在(67.5°～112.5°)范圍內(nèi),設(shè)定為90°;并且在(112.5°～157.5°)范圍內(nèi),設(shè)定為135°。計算圖像中四個感興趣區(qū)域(ROI)塊(圖1中的塊6、塊7、塊10和塊11)的方向直方圖,以確定其紋理特征表示。

2.2 SVM培訓(xùn)和分類

支持向量機(jī)(SVM)技術(shù)利用機(jī)器學(xué)習(xí)理論中的最小結(jié)構(gòu)化風(fēng)險原理,通常在不結(jié)合領(lǐng)域知識的情況下有效地執(zhí)行模式分類問題[8-9]。它基于二進(jìn)制分類方法,并尋找超平面將對象劃分為兩個類,可以確保最小的分類錯誤率。SVM的主要優(yōu)點是可以通過訓(xùn)練和分析給定數(shù)據(jù)來生成支持向量,從而處理線性不可分割的案例。從訓(xùn)練數(shù)據(jù)中刪除極端數(shù)據(jù)后,將支持向量構(gòu)建到模型中。然后,將任何現(xiàn)有的測試數(shù)據(jù)分類到適當(dāng)?shù)念悇e中。

顏色和紋理特征用于訓(xùn)練和分類。將訓(xùn)練圖像的特征標(biāo)準(zhǔn)化如下:

[Label] [Index1]:[Value1] [Index2]:[Value2]…

例如,第一圖像的特征向量可以是

1:0.268169 2:0.332564 3:0.246752 4:0.101631 5:0.202088 6:…等

其中[Label]是圖像的正確類別編號,[Index]是圖像的一系列特征值。在這項研究中,我們使用徑向基函數(shù)作為核函數(shù)。

3 數(shù)字檔案管理

為了保護(hù)和維護(hù)人類的文化遺產(chǎn),世界各地的博物館都開展了大量的基于圖像分類技術(shù)的數(shù)字檔案管理的研究[10]。這些項目旨在保護(hù)文化遺產(chǎn)和收藏品,推廣優(yōu)秀文化地標(biāo),鼓勵信息知識共享,加強(qiáng)文化內(nèi)容和增值服務(wù)建設(shè),提高文化素質(zhì)、創(chuàng)造力和生活質(zhì)量。數(shù)字檔案管理是建設(shè)數(shù)字博物館的先決條件和基礎(chǔ),通過信息技術(shù),博物館在學(xué)術(shù)研究、展覽、教育和娛樂方面的傳統(tǒng)功能可以得到擴(kuò)展和發(fā)展。

3.1 數(shù)字檔案管理問題

數(shù)字檔案項目大多存在以下問題:由不同的個人、組、部門、項目或應(yīng)用程序創(chuàng)建的內(nèi)容和資源不能彼此共享和重用;不能為了長期使用和應(yīng)用程序開發(fā)而集中地積累和管理內(nèi)容;數(shù)字內(nèi)容是在數(shù)據(jù)或信息級別進(jìn)行管理以保存,而不是在知識級別進(jìn)行創(chuàng)建、組織、共享和重用;系統(tǒng)是單獨重復(fù)開發(fā)的,缺乏集成,導(dǎo)致冗余的開銷和資源消耗;用戶不能從單個入口點訪問相關(guān)和集成的內(nèi)容。本研究提出了一個基于知識的內(nèi)容管理系統(tǒng)(Unified Knowledge Content Management，簡稱UKCM)模型。UKCM模型框架包括統(tǒng)一的知識內(nèi)容流程、多層可重用的知識內(nèi)容結(jié)構(gòu)和集成的知識內(nèi)容管理系統(tǒng)。該模型旨在滿足各領(lǐng)域間的知識管理問題以及博物館在學(xué)術(shù)、展覽、教育等方面的應(yīng)用。

3.2 系統(tǒng)框架

博物館中的知識管理框架不僅旨在管理這些知識資產(chǎn),同時管理對資產(chǎn)采取行動的流程。這些過程包括開發(fā)、保存、使用和共享知識。本研究提出了一個系統(tǒng)框架,用于支持統(tǒng)一的基于知識的內(nèi)容管理(UKCM)模型擴(kuò)展。在各個領(lǐng)域之間實現(xiàn)知識管理,并為長期數(shù)字博物館應(yīng)用開發(fā)奠定基礎(chǔ)。該框架中的三個組件是統(tǒng)一的知識內(nèi)容過程、基于知識的集成內(nèi)容管理系統(tǒng)和多層可重用知識內(nèi)容結(jié)構(gòu)。下面簡要介紹這三個組件,并在以下各節(jié)中詳細(xì)介紹。

統(tǒng)一知識內(nèi)容過程作為參與者和項目之間的共同工作流程,包括知識內(nèi)容收集、數(shù)字化、編輯、組織、發(fā)布和訪問階段。多層可重用知識內(nèi)容結(jié)構(gòu)為所有參與者定義知識內(nèi)容的范圍,從核心知識元素到高級和創(chuàng)新元素。核心知識元素是知識內(nèi)容的基礎(chǔ),并且包括多媒體對象和語義元數(shù)據(jù)。從現(xiàn)有內(nèi)容中進(jìn)一步手動創(chuàng)作或自動推斷高級和創(chuàng)新元素。集成的基于知識的內(nèi)容管理系統(tǒng)用于集成整個系統(tǒng)。該系統(tǒng)包括用于構(gòu)建詞匯、元數(shù)據(jù)、內(nèi)容和分類層次的創(chuàng)建子系統(tǒng);用于管理創(chuàng)建和發(fā)布的整個知識內(nèi)容和資源的管理子系統(tǒng),以及用于將所創(chuàng)作的內(nèi)容轉(zhuǎn)移到所有部門和項目的發(fā)布結(jié)構(gòu)和網(wǎng)頁的發(fā)布子系統(tǒng)。除了Rockley所展示的優(yōu)勢,例如更快地發(fā)布時間、更好地利用資源,降低成本,提高內(nèi)容的質(zhì)量和可用性,增加創(chuàng)新機(jī)會,提高工作場所滿意度和客戶滿意度。博物館的檔案館項目包括:建立基于知識的內(nèi)容創(chuàng)建、管理和發(fā)布流程,以便將所有項目的知識和信息技術(shù)(IT)專家之間的協(xié)作緊密聯(lián)系起來;構(gòu)建一個集成的、正式的、明確的領(lǐng)域知識系統(tǒng),以便在一個共同的概念框架下統(tǒng)一和整合所有領(lǐng)域?qū)＜?為專家提供標(biāo)準(zhǔn)和一致的多層知識內(nèi)容結(jié)構(gòu),以充分表達(dá)和創(chuàng)建他們的知識內(nèi)容;集中管理項目、專家和應(yīng)用程序創(chuàng)建的知識內(nèi)容,以便其他人共享和重用;提高博物館的業(yè)務(wù)效率,滿足觀眾的需求。

3.3 統(tǒng)一的知識內(nèi)容流程

統(tǒng)一的知識內(nèi)容流程創(chuàng)建了一個協(xié)作環(huán)境,以確保作者了解可重復(fù)使用的內(nèi)容,并確保所有部門都遵循可重復(fù)且透明的工作流程。對于博物館,必須定義統(tǒng)一的知識內(nèi)容流程,在知識專家、IT專家和博物館用戶之間提供共同和協(xié)作的工作流程。知識專家需要一個標(biāo)準(zhǔn)的、一致的、可重復(fù)的、可共享的和透明的環(huán)境來收集數(shù)字化編輯和組織知識內(nèi)容。IT專家需要一個集成的協(xié)作系統(tǒng)開發(fā)環(huán)境來設(shè)計一個高效、自動、可擴(kuò)展且可互操作的系統(tǒng),以支持內(nèi)容創(chuàng)建、管理和發(fā)布。用戶需要通過分類層次瀏覽和跨相關(guān)域的元數(shù)據(jù)搜索來組織、分類、集成和系統(tǒng)化的知識內(nèi)容。為了滿足知識專家、IT專家和用戶的需求,所有專家必須遵循標(biāo)準(zhǔn)流程,自主地創(chuàng)建和維護(hù)具有明確定義的知識內(nèi)容結(jié)構(gòu)的知識內(nèi)容。統(tǒng)一的知識內(nèi)容過程可以被視為一個生命周期,包括知識內(nèi)容的收集、數(shù)字化、編輯、組織、發(fā)布和訪問階段。

圖像分類的數(shù)字化管理是物流計算機(jī)的主要應(yīng)用領(lǐng)域。它是基于先進(jìn)的計算機(jī)技術(shù),基于智能倉庫管理控制和數(shù)字貨架管理以及衛(wèi)星定位系統(tǒng),以網(wǎng)絡(luò)、運輸、庫存、存儲為資源,進(jìn)一步整合各種物流信息,包括業(yè)務(wù)流程、資金流、物流和信息流。計算機(jī)技術(shù)是現(xiàn)代物流信息系統(tǒng)管理的數(shù)據(jù)分析基礎(chǔ)。本應(yīng)用是基于現(xiàn)代信息技術(shù)實現(xiàn)企業(yè)物流相關(guān)數(shù)據(jù)管理與分析的目的。它對物流管理系統(tǒng)的發(fā)展趨勢起著主導(dǎo)作用。這樣,用戶可以大大提高操作的易用性、性能的可靠性、數(shù)據(jù)的準(zhǔn)確性以及分析、定位和統(tǒng)計的準(zhǔn)確性。

3.4 多層可重用知識內(nèi)容結(jié)構(gòu)

在Rockley的UCS中,可重用內(nèi)容在文檔中受到限制,可以分解為最小的可重用對象(節(jié)、段落和句子)。對于博物館,內(nèi)容可以定義為任何類型或單位的數(shù)字信息,例如文本、圖像、圖形、視頻和聲音,或者可能通過內(nèi)部或外部網(wǎng)絡(luò)組織和發(fā)布的任何內(nèi)容。在為博物館構(gòu)建知識內(nèi)容時,必須考慮兩個主要因素。其中之一是如何創(chuàng)建一個功能多樣和結(jié)構(gòu)完整的模型;另一個是如何在專家和各種應(yīng)用程序之間重用知識。為了提供能夠在共存域的專家之間共享和重用內(nèi)容的組織模型,知識內(nèi)容必須以正式和一致的結(jié)構(gòu)表達(dá),從而可以表達(dá)和組織從基本到復(fù)雜的整個知識內(nèi)容范圍。因此,本研究定義了一個多層可重用知識內(nèi)容結(jié)構(gòu),以便于專家將知識內(nèi)容從核心知識元素組織成高級或創(chuàng)新知識元素。核心知識要素是在編輯階段創(chuàng)建的;先進(jìn)的知識要素在組織階段手工組織。然而,該系統(tǒng)利用數(shù)據(jù)挖掘技術(shù),動態(tài)地自動發(fā)現(xiàn)、組織和分類創(chuàng)新知識要素。根據(jù)內(nèi)容娛樂和維護(hù)的要求,授權(quán)專家可以隨意更改和重組任何知識內(nèi)容。

4 實驗結(jié)果

我們的圖像藏品包括考古資料、佛教碑帖、漢代石刻文字、Fu-Ssu Nien古籍和Han Wooden Slips。由Redhat Linux 7.3構(gòu)建的圖像數(shù)據(jù)庫分為兩個部分:多媒體中心Web系統(tǒng)(MMC)和圖像處理守護(hù)進(jìn)程(IPD)。這兩個組件共享內(nèi)核功能模塊層以及數(shù)據(jù)庫和文件存儲層。MMC通過Application Server調(diào)用和編譯的JavaBeans執(zhí)行Servlet。IPD通過內(nèi)核功能模塊層使用API與數(shù)據(jù)庫和文件存儲層進(jìn)行通信。分類模塊由Java-Servlet和SVM工具開發(fā)。 圖2顯示了數(shù)字檔案管理系統(tǒng)的一些分類圖像。

表1列出了圖像集。存在2716個收集的圖像(#CI)、385個訓(xùn)練圖像(#TRI)和2331個測試圖像(#TI)。在訓(xùn)練階段,我們在每個類中使用不同的交叉驗證參數(shù)(#VC)來提高準(zhǔn)確度((%)CVA)、召回率、精確率和F度量用于評估分類性能。表2顯示了圖像分類的實驗結(jié)果。召回率(Rec，(%))用TIR/TIT表示,精確率(Pre，(%))由TIR/(TIr+TIw)定義,F-measure是召回的調(diào)和平均值和精確率。TIR、TIw和TIT分別是正確聚類圖像的數(shù)量、錯誤聚類圖像的數(shù)量以及每個類的測試圖像數(shù)量。所有值均以百分比表示,由每個SVM分類器估計的測試圖像返回決策值,并且具有最高決策值的分類器被指定為測試圖像的類別。ADV是分類器中決策值的平均值。平均F-測量值如表2所示。

圖2 數(shù)字檔案管理系統(tǒng)的部分類圖像Fig.2 Part of type image from digital file management system

類考古邏輯數(shù)據(jù)佛教碑帖漢代石刻文字碑帖Fu-Ssu Nien古籍木條(彩色)木條(超紅光)總/平均 #CI1544984994985694982716 #TRI367272727162385 #TI1184264274264984362331 #CV550405515 (%)CVA98.9690.6589.8710098.9694.55

表2 圖像分類的實驗結(jié)果Table 2 Experimental results of image classification

圖3 考古資料的分類結(jié)果Fig.3 Classification results of archaeological data

圖3和圖4顯示了數(shù)字檔案管理系統(tǒng)中考古數(shù)據(jù)和Fu-Ssu Nien古籍的分類結(jié)果?？脊刨Y料、Fu-Ssu Nien古籍和Han Wooden Slips(超紅光)的結(jié)果優(yōu)于佛教碑帖、漢代石刻和漢畫像(彩色)。假設(shè)前三個類別的色調(diào)相似,從實驗結(jié)果可以看出,平均F-測量對圖像分類非常有效。

圖4 Fu-Ssu Nien古籍的分類結(jié)果Fig.4 Classification results of Fu-Ssu Nien Ancient Books

5 結(jié)論

本文將圖像分類技術(shù)與數(shù)字檔案管理系統(tǒng)集成在一起,將圖像分割成塊以提取它們的顏色和紋理直方圖作為它們的特征表示,然后訓(xùn)練它們以生成支持向量機(jī)(SVM)分類器。實驗表明,該技術(shù)在圖像分類管理方面具有突出作用,在大型圖像數(shù)據(jù)庫中的自動注釋和驗證中也具有良好的應(yīng)用價值。在后續(xù)工作中,將繼續(xù)研究和比較其他圖像特征(形狀和空間布局)和分類技術(shù)(貝葉斯網(wǎng)絡(luò)和決策樹)的有效性。除此之外,將構(gòu)建一個多級語義標(biāo)注機(jī)制,以方便圖像管理和搜索。