(1.浙江國(guó)際海運(yùn)職業(yè)技術(shù)學(xué)院,浙江 舟山 316000; 2.浙江大學(xué) 舟山海洋研究中心,浙江 舟山 316000)

0 引言

根據(jù)世界編程語(yǔ)言排行TIOBE統(tǒng)計(jì)，Python榮獲“2018年度編程語(yǔ)言”稱號(hào)。在統(tǒng)計(jì)領(lǐng)域、人工智能編程領(lǐng)域、腳本編寫方面、系統(tǒng)測(cè)試方面，Python均排名第一，另外還在Web編程與科學(xué)計(jì)算方面也處于領(lǐng)先地位。[1]

機(jī)器視覺(jué)(Machine Vision)是用計(jì)算機(jī)模擬生物的視覺(jué)功能，在圖像中提取、分辨、理解信息。目前機(jī)器視覺(jué)在人臉識(shí)別、同類商品推薦、目標(biāo)跟蹤、產(chǎn)品缺陷監(jiān)測(cè)、醫(yī)療診斷、自動(dòng)駕駛等領(lǐng)域已有非常廣泛的應(yīng)用。同時(shí)，機(jī)器視覺(jué)也是人工智能機(jī)器學(xué)習(xí)的強(qiáng)有力的分支，為機(jī)器學(xué)習(xí)的模型分析、數(shù)據(jù)調(diào)試產(chǎn)生重要的影響。

根據(jù)2019年3月，教育部公布的2018年普通高等本科專業(yè)的備案和審批結(jié)果[2]，增設(shè)人工智能專業(yè)35個(gè)，但我國(guó)高等院校在實(shí)驗(yàn)平臺(tái)的開發(fā)較薄弱，與專業(yè)建設(shè)存在脫節(jié)的現(xiàn)象。為提高高等院校的機(jī)器視覺(jué)的專業(yè)教育水平，提升學(xué)生的機(jī)器視覺(jué)的訓(xùn)練、研發(fā)、優(yōu)化能力，對(duì)機(jī)器視覺(jué)實(shí)驗(yàn)平臺(tái)進(jìn)行研發(fā)，整合常見(jiàn)機(jī)器視覺(jué)所使用的模型。

1 機(jī)器視覺(jué)實(shí)驗(yàn)教學(xué)平臺(tái)的總體設(shè)計(jì)

機(jī)器視覺(jué)實(shí)驗(yàn)教學(xué)平臺(tái)的總體設(shè)計(jì)框架如圖1所示。整個(gè)機(jī)器視覺(jué)實(shí)驗(yàn)教學(xué)平臺(tái)分為圖像分類、圖像目標(biāo)識(shí)別兩類功能模塊，兩個(gè)功能模塊能滿足機(jī)器視覺(jué)的教學(xué)需求。其中圖像分類功能模塊包括K臨近(k-NearestNeighbor，KNN)圖像分類模塊、向量機(jī)(support vector machine，SVM)圖像分類模塊，圖像目標(biāo)識(shí)別模塊包括神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)目標(biāo)識(shí)別模塊、卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)目標(biāo)識(shí)別模塊[3-4]，涵蓋真實(shí)產(chǎn)品在機(jī)器視覺(jué)方面的需求。

圖1 機(jī)器視覺(jué)實(shí)驗(yàn)教學(xué)平臺(tái)的總體設(shè)計(jì)框架

在機(jī)器視覺(jué)實(shí)驗(yàn)教學(xué)平臺(tái)程序設(shè)計(jì)方面，采用Python語(yǔ)言開發(fā)。機(jī)器視覺(jué)實(shí)驗(yàn)教學(xué)平臺(tái)的圖形用戶界面(graphical user interface，GUI)設(shè)計(jì)采用PyQt5庫(kù)，機(jī)器學(xué)習(xí)(Machine Learning)采用TensorFlow框架，圖像處理部分采用opencv-python庫(kù)。

在界面設(shè)計(jì)上，首先讓用戶通過(guò)菜單欄選擇以哪個(gè)模塊進(jìn)行試驗(yàn), 此時(shí)選擇樣本目錄、訓(xùn)練樣本、數(shù)據(jù)測(cè)試、修改參數(shù)按鈕均不可用。如圖2所示。

圖2 待用戶選擇界面

2 機(jī)器視覺(jué)實(shí)驗(yàn)教學(xué)平臺(tái)分塊設(shè)計(jì)

機(jī)器視覺(jué)實(shí)驗(yàn)教學(xué)平臺(tái)采用模塊化的設(shè)計(jì)架構(gòu)，將整個(gè)系統(tǒng)分成四個(gè)模塊，分別為基于K臨近分類(KNN)的圖像分類模塊、基于向量機(jī)(SVM)的圖像分類模塊、基于神經(jīng)網(wǎng)絡(luò)(ANN)的目標(biāo)識(shí)別模塊、基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的目標(biāo)識(shí)別模塊，其中圖像分類與目標(biāo)識(shí)別為兩個(gè)數(shù)據(jù)源，通過(guò)將每個(gè)模塊的類(Class)抽象，構(gòu)建兩個(gè)工廠方法，方便維護(hù)拓展。

2.1 基于K臨近分類(KNN)的圖像分類模塊

K臨近分類算法，通俗的講是找K個(gè)最近的點(diǎn)，核心思想是根據(jù)最近樣本的類別確定樣本所屬的類別[5]。使用歐幾里德距離公式計(jì)算距離,如式(1)所示。

(1)

計(jì)算向量點(diǎn)A與點(diǎn)B之間的距離，表示A(x1,x2,x3,…,xn)樣本與B(y1,y2,y3,…,yn)樣本在n個(gè)特征上的距離。

本實(shí)驗(yàn)平臺(tái)有kaggle的手寫數(shù)字?jǐn)?shù)據(jù)集，通過(guò)訓(xùn)練可以達(dá)到對(duì)手寫數(shù)字的分類。

用戶在選擇K臨近分類(KNN)的圖像分類菜單后，選擇樣本目錄按鈕可用，此時(shí)可以選擇樣本數(shù)據(jù)目錄，如圖3、圖4所示。

圖3 菜單欄選擇

圖4 選擇樣本目錄

用戶選擇樣本目錄后，訓(xùn)練樣本、修改參數(shù)按鈕可用，就可以根據(jù)樣本目錄文件訓(xùn)練樣本。但在每個(gè)樣本文件的命名中，有一定的格式要求，必須要有下劃線，且下劃線前為標(biāo)簽名，下劃線后為該圖片的文件序號(hào)或文件名。其中標(biāo)簽名也就是最終的分類標(biāo)簽。

在完成樣本訓(xùn)練之后，就可以進(jìn)行數(shù)據(jù)測(cè)試。當(dāng)需要優(yōu)化K臨近分類(KNN)的算法參數(shù)時(shí)，可以通過(guò)點(diǎn)擊修改參數(shù)按鈕，鏈接到代碼視圖，修改需要優(yōu)化的代碼及參數(shù)。其他幾個(gè)模塊的操作與K臨近分類(KNN)的圖像分類模塊類似。其中，K臨近分類(KNN)的主要訓(xùn)練代碼如下所示：

import numpy as np

# KNN分類函數(shù)參數(shù)說(shuō)明

# testData-待分類的數(shù)據(jù)

# trainData-用于訓(xùn)練的數(shù)據(jù)

# labes-訓(xùn)練數(shù)據(jù)的分類標(biāo)簽

# k-kNN參數(shù),選擇距離最小的k個(gè)點(diǎn)

def KNNclassify(testData, trainData, labels, k):

#統(tǒng)計(jì)trainData的行數(shù)

trainDataSize = trainData.shape[0]

#在列向量方向上(橫向)重復(fù)testData共1次,行向量方向上(縱向)重復(fù)testData共trainDataSize次

differMat=np.tile(testData,(trainDataSize, 1)) - trainData

#二維特征相減后平方

sqdifferMat = differMat**2

#sum()所有元素相加

tDistances = sqdifferMat.sum(axis=1)

#歐幾里德距離公式計(jì)算距離

distances = tDistances**0.5

#返回distances中元素從小到大排序后的索引值

sortedDistances = distances.argsort()

#定一個(gè)記錄類別次數(shù)的字典

classNum = {}

for i in range(k):

#取出前k個(gè)元素的類別

votedLabel=labels[sortedDistances[i]]

#計(jì)算類別次

classNum[votedLabel]=classNum.get(votedLabel,0) + 1

#根據(jù)字典的值進(jìn)行降序排列

sortedClassNum = sorted(classNum.items(),reverse=True,key=operator.itemgetter(1))

#返回出現(xiàn)次數(shù)最多的類別

return sortedClassNum[0][0]

#trainFileList為待訓(xùn)練的文件列表，由用戶選擇而來(lái)，count為文件數(shù)

count = len(trainFileList)

#mLabels是存放訓(xùn)練的標(biāo)簽

mLabels = []

#將待訓(xùn)練矩陣初始化，1024是32*32像素的圖像轉(zhuǎn)成一而來(lái)

trainMat = np.zeros((m, 1024))

#通過(guò)下劃線找到該樣本的標(biāo)簽

for i in range(count):

#獲取文件的名字

fileName = trainFileList[i]

#獲得分類的數(shù)字標(biāo)簽

classNumber=int(fileName.split('_')[0])

#將獲得的類別添加到mLabels中

mLabels.append(classNumber)

#將每一個(gè)樣本的1x1024數(shù)據(jù)存儲(chǔ)到已經(jīng)初始化的trainMat矩陣中

trainMat[i,:] = pic2mat(fileName)

# kNNclassify分類器

neigh=KNNclassify(myTest,trainMat, mLabels,3)

# myTest需要測(cè)試數(shù)據(jù),trainMat為待訓(xùn)練矩陣,mLabels為對(duì)應(yīng)的標(biāo)簽

#所有元素相加并用歐幾里德公式計(jì)算距離

distances = tDistances**0.5

用戶在K臨近分類(KNN)的圖像分類模塊，也可以修改其中源代碼，將歐幾里德距離改成馬哈頓距離或者余弦距離等。

2.2 基于向量機(jī)(SVM)的圖像分類模塊

支持向量機(jī) (SVM)簡(jiǎn)單來(lái)講，去找一個(gè)超平面，使得兩種數(shù)據(jù)類型距離這個(gè)超平面的間隔最大化[6]。兩種數(shù)據(jù)類型，如果能找到一個(gè)函數(shù)p(x)=ωTx+b，且p(x)> 0表示一種數(shù)據(jù)；p(x)<0表示另外一種數(shù)據(jù)，那么就實(shí)現(xiàn)了SVM。如圖5所示。

圖5 SVM線性分割圖

機(jī)器視覺(jué)所涉及的圖像或視頻特征量眾多，數(shù)據(jù)集又非線性。因此，為了讓圖像或視頻樣本特征屬性可分割，將特征量映射到多維空間，進(jìn)而通過(guò)多維切面將特征進(jìn)行分割。而高維度直接求內(nèi)積非常困難，因此需要通過(guò)核函數(shù)(kernel function)將任意兩個(gè)樣本點(diǎn)在擴(kuò)維后的空間的內(nèi)積，等于這兩個(gè)樣本點(diǎn)在原來(lái)空間經(jīng)過(guò)一個(gè)函數(shù)后的輸出。

本系統(tǒng)SVM可采用徑向基核函數(shù)(RBF，Radial Basis Function)、多項(xiàng)式核函數(shù)(poly，Polynomial Kernel)、Sigmoid 核函數(shù)[6]。

徑向基核函數(shù)公式如下：

(2)

多項(xiàng)式核函數(shù)公式如下：

k(x,y)=(axty+c)d

(3)

徑向基核函數(shù)公式如下：

k(x,y)=tanh(αxty+c)

(4)

本模塊可以對(duì)kaggle的手寫數(shù)字?jǐn)?shù)據(jù)集進(jìn)行區(qū)分，操作與K臨近分類(KNN)的圖像分類模塊類似。

2.3 基于神經(jīng)網(wǎng)絡(luò)(ANN)的目標(biāo)識(shí)別模塊

神經(jīng)網(wǎng)絡(luò)是使用多組處理單元(神經(jīng)元)將輸入、隱含、輸出，組成一個(gè)網(wǎng)狀結(jié)構(gòu)，結(jié)構(gòu)示意圖如圖6，它有自學(xué)習(xí)、自組織、自適應(yīng)、容錯(cuò)性、較強(qiáng)的非線性函數(shù)逼近的特點(diǎn)[7]。其中在誤差修正上，一般利用誤差反傳播(BP，Back Propagation)訓(xùn)練算法，提高權(quán)重(Weight)與偏差(Biases)的精確性[8]。

圖6 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

神經(jīng)網(wǎng)絡(luò)(ANN)在機(jī)器視覺(jué)方面，能用于圖像特征識(shí)別，也能用于圖像分類，圖像處理等，是機(jī)器視覺(jué)常用的方法之一，在本實(shí)驗(yàn)教學(xué)平臺(tái)中，將神經(jīng)網(wǎng)絡(luò)用于圖像特征識(shí)別。

2.4 基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的目標(biāo)識(shí)別模塊

由于神經(jīng)網(wǎng)絡(luò)(ANN)的權(quán)值太多，計(jì)算非常困難，因此Yann Lecun在1988年提出了卷積神經(jīng)網(wǎng)絡(luò)(CNN)[4]。卷積(Convolution)計(jì)算的主要方法是通過(guò)濾波器(Filter)，將原始圖像去除噪聲，并將特征提取出來(lái)，常用的濾波器為高斯濾波器，然后通過(guò)激活函數(shù)，將數(shù)據(jù)正則化，進(jìn)而通過(guò)池化(Pooling)將特征圖進(jìn)行壓縮，以減少神經(jīng)網(wǎng)絡(luò)權(quán)值數(shù)[4]。

在本實(shí)驗(yàn)教學(xué)平臺(tái)中，默認(rèn)第一層、第二層采用3*3的卷積核，步長(zhǎng)為1，兩端采用全填充方式補(bǔ)零，使得寬卷積具有交換性，激活函數(shù)采用ReLU激活函數(shù)，如式(5)所示。第三層采用最大值池化層，以2*2矩陣篩選區(qū)域最大值。第四層使用隨機(jī)失活，丟棄部分神經(jīng)網(wǎng)絡(luò)，防止過(guò)擬合。第五至八層與第一至四層一致。第九層將多維特征向量壓至一維向量，過(guò)渡進(jìn)入全連接層。第十層采用全連接層，與神經(jīng)網(wǎng)絡(luò)(ANN)類似，但激活函數(shù)仍舊用ReLU激活函數(shù)。第十一層進(jìn)一步采用隨機(jī)失活，隨機(jī)丟棄一半的神經(jīng)元，防止過(guò)擬合。第十二層采用全連接的SoftMax多分類回歸，其中SoftMax函數(shù)如式(6)所示，其中WT為權(quán)重向量，1為全1向量。

(5)

(6)

在卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中，學(xué)習(xí)參數(shù)為卷積層中的權(quán)重與偏差，與神經(jīng)網(wǎng)絡(luò)類似，卷積神經(jīng)網(wǎng)絡(luò)也可以通過(guò)誤差反向傳播訓(xùn)練算法學(xué)習(xí)參數(shù)。

在本實(shí)驗(yàn)教學(xué)平臺(tái)中，將卷積神經(jīng)網(wǎng)絡(luò)用于圖像目標(biāo)識(shí)別，測(cè)試數(shù)據(jù)采用32*32彩色牛馬圖，因此包括長(zhǎng)、寬、RGB值的四維數(shù)據(jù)。

3 實(shí)驗(yàn)測(cè)試

基于Python的機(jī)器視覺(jué)實(shí)驗(yàn)教學(xué)平臺(tái)在浙江國(guó)際海運(yùn)職業(yè)技術(shù)學(xué)院進(jìn)行了實(shí)驗(yàn)教學(xué)，學(xué)生對(duì)數(shù)據(jù)集劃分、函數(shù)特性、特征發(fā)現(xiàn)、過(guò)擬合與欠擬合等機(jī)器視覺(jué)實(shí)驗(yàn)問(wèn)題上有更深入的認(rèn)知，大大縮短了他們訓(xùn)練機(jī)器視覺(jué)的實(shí)驗(yàn)周期。

通過(guò)K臨近分類(KNN)的圖像分類模塊，對(duì)kaggle的手寫數(shù)字?jǐn)?shù)據(jù)集進(jìn)行學(xué)習(xí)，并優(yōu)化KNN參數(shù)后，其識(shí)別準(zhǔn)確率最高為98.73%，其中識(shí)別錯(cuò)誤數(shù)據(jù)如圖7所示。而通過(guò)向量機(jī)(SVM)的圖像分類模塊，學(xué)習(xí)該數(shù)據(jù)集后，并優(yōu)化參數(shù)，其識(shí)別準(zhǔn)確率最高為99.15%，其中識(shí)別錯(cuò)誤數(shù)據(jù)如圖8所示。在圖7、圖8中Res表示機(jī)器視覺(jué)的判斷結(jié)果，True表示真實(shí)結(jié)果。

圖8 SVM分類識(shí)別錯(cuò)誤數(shù)據(jù)

kaggle的手寫數(shù)字?jǐn)?shù)據(jù)集中，測(cè)試數(shù)據(jù)樣本共946個(gè)，KNN與SVM對(duì)各個(gè)數(shù)字的錯(cuò)誤判斷情況圖9所示。

圖9 SVM與KNN手寫數(shù)字識(shí)別錯(cuò)誤量

其中SVM使用多項(xiàng)式核函數(shù)在區(qū)分手寫數(shù)字時(shí)準(zhǔn)確率最高，圖10是徑向基核函數(shù)、多項(xiàng)式核函數(shù)、Sigmoid 核函數(shù)結(jié)合懲罰系數(shù)進(jìn)行對(duì)比，得出該結(jié)論。

圖10 SVM核函數(shù)與懲罰系數(shù)對(duì)錯(cuò)誤率的影響

通過(guò)卷積神經(jīng)網(wǎng)絡(luò)(CNN)的目標(biāo)識(shí)別模塊，學(xué)習(xí)牛與馬圖片，實(shí)現(xiàn)圖片中的牛馬識(shí)別區(qū)分。樣本一共1 000張牛圖、1 000張馬圖，測(cè)試數(shù)據(jù)一共500張牛圖、500張馬圖。初始的卷積神經(jīng)網(wǎng)絡(luò)模型如表1所示。

表1 初始的卷積神經(jīng)網(wǎng)絡(luò)模型

經(jīng)過(guò)100次的迭代，初始的卷積神經(jīng)網(wǎng)絡(luò)最低訓(xùn)練試誤差值為0.317 183，最低測(cè)試誤差值為0.370 668，最高訓(xùn)練準(zhǔn)確率為86.212 3%，最高測(cè)試準(zhǔn)確率為84.342 8%。

對(duì)該神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，優(yōu)化后的卷積網(wǎng)絡(luò)模型如表2所示，開始仍舊采用3*3的卷積核，兩端采用全填充方式補(bǔ)零，激活函數(shù)采用ReLU，經(jīng)過(guò)5次卷積與激活函數(shù)后，第十一層采用最大值池化層，以2*2矩陣篩選區(qū)域最大值；第十二層采用隨機(jī)失活，丟棄25%的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)。并以上述方式進(jìn)行三輪卷積，共卷積15層，如表2的

表2 優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)模型

conv2d_1至dropout_3，但在最后一次池化時(shí)，采用全域最大值池化，即global_max_pooling，最后進(jìn)行兩層全連接層，并使用SoftMax進(jìn)行多分類回歸。

對(duì)優(yōu)化后的模型，經(jīng)過(guò)100次的迭代，初始的卷積神經(jīng)網(wǎng)絡(luò)最低訓(xùn)練試誤差值為0.229 262，最低測(cè)試誤差值為0.222 37，最高訓(xùn)練準(zhǔn)確率為90.530 3%，最高測(cè)試準(zhǔn)確率為91.881 4%。

記錄下每次迭代后的誤差值與準(zhǔn)確率，通過(guò)對(duì)比優(yōu)化前與優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)，確定優(yōu)化的方向與關(guān)鍵點(diǎn)。誤差分析與準(zhǔn)確率分析如圖11、圖12所示。

圖11 CNN優(yōu)化前后誤差分析

圖12 CNN優(yōu)化前后準(zhǔn)確率分析

4 結(jié)束語(yǔ)

基于Python的機(jī)器視覺(jué)實(shí)驗(yàn)教學(xué)平臺(tái)綜合了機(jī)器視覺(jué)常見(jiàn)模型，結(jié)合opencv-python計(jì)算機(jī)視覺(jué)庫(kù)與TensorFlow機(jī)器學(xué)習(xí)框架可以實(shí)現(xiàn)圖像分類、識(shí)別，并且支持參數(shù)修改，為學(xué)生在學(xué)習(xí)機(jī)器視覺(jué)學(xué)科，提供一個(gè)交互式、可視化的實(shí)驗(yàn)環(huán)境，不僅能增強(qiáng)學(xué)生對(duì)機(jī)器視覺(jué)理論知識(shí)的理解，還能將理論與實(shí)際應(yīng)用結(jié)合，解決機(jī)器視覺(jué)在工業(yè)與電子產(chǎn)品中的實(shí)際問(wèn)題，有效提高學(xué)生的實(shí)踐解決問(wèn)題能力和創(chuàng)新能力，進(jìn)一步推動(dòng)國(guó)務(wù)院發(fā)布的《新一代人工智能發(fā)展規(guī)劃》[9]。