潘梓陽(yáng) 葉寧

關(guān)鍵詞：Unet神經(jīng)網(wǎng)絡(luò)；車牌提?。粨p失函數(shù)；神經(jīng)網(wǎng)絡(luò)深度

0 引言

車牌智能識(shí)別在停車場(chǎng)管理、刑事偵破、交通安全智能化、智慧城市建設(shè)等方面都有著長(zhǎng)足意義。如果能夠開(kāi)發(fā)出一套有效的車牌識(shí)別算法，不僅可以減少大量人力物力，而且可以結(jié)合嵌入式技術(shù)，與傳統(tǒng)監(jiān)控?cái)z像系統(tǒng)結(jié)合，將監(jiān)視到的車牌數(shù)據(jù)實(shí)時(shí)上傳服務(wù)器云端，獲得更加具有時(shí)效性的車輛時(shí)空信息。

目前采用的車牌內(nèi)容識(shí)別方法主要有模板匹配與CNN網(wǎng)絡(luò)算法等，但無(wú)論采用何種算法，都必須先提取出圖像中車牌區(qū)域才能獲得較好的效果。因此，如果要實(shí)現(xiàn)車牌內(nèi)容的智能識(shí)別，必須先找到一種可靠的車牌區(qū)域提取方法。為了解決這一問(wèn)題，本文采用改進(jìn)后的Unet網(wǎng)絡(luò)進(jìn)行圖片的語(yǔ)義分割。從損失函數(shù)和神經(jīng)網(wǎng)絡(luò)深度兩方面對(duì)普通Unet神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，采用Photoshop軟件手動(dòng)標(biāo)注800張含有車牌的圖像作為數(shù)據(jù)集，對(duì)改進(jìn)后的Unet網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最終識(shí)別準(zhǔn)確率達(dá)到94%以上，loss函數(shù)下降至2左右，訓(xùn)練效果良好。

1 研究現(xiàn)狀

雷德超等人[1]采用的車牌區(qū)域提取方法主要是輪廓檢測(cè)法，該方法的依據(jù)是我國(guó)車牌為矩形并具有統(tǒng)一的長(zhǎng)寬比例。這種方法較為成熟，但具有很大的局限性：很多時(shí)候車牌圖像的拍攝角度不甚理想，導(dǎo)致圖中車牌的輪廓并非矩形，這說(shuō)明此方法泛化性不佳；并且此算法需要采用圖像灰度、腐蝕、膨脹等操作，對(duì)照片的亮度、清晰度等條件具有苛刻要求。

除了以上說(shuō)明的邊緣檢測(cè)方法，目前已有的車牌分割方法還包括明月星等人[2]提出的聚類方法，王明吉[3]等人采用的YOLO算法等，但這些已有算法都存在一定問(wèn)題：聚類方法仍是一種傳統(tǒng)算法，其泛化性和穩(wěn)定性不高；YOLO算法雖然是一種神經(jīng)網(wǎng)絡(luò)算法，但是需要大量數(shù)據(jù)集進(jìn)行訓(xùn)練才能得到較好的效果。

為了開(kāi)發(fā)出具有良好泛化性、穩(wěn)定性的車牌分割系統(tǒng)，不妨從人工智能領(lǐng)域?qū)ふ宜悸贰ＵZ(yǔ)義分割（Se?mantic Segmentation）是圖像處理和機(jī)器視覺(jué)一個(gè)重要分支。語(yǔ)義分割就是按照“語(yǔ)義”給圖像上目標(biāo)類別中的每一點(diǎn)打一個(gè)標(biāo)簽，使得不同種類的東西在圖像上被區(qū)分開(kāi)來(lái)，這為解決車牌位置提取問(wèn)題提供了新思路。

文獻(xiàn)[7]和闞希[4]等人在開(kāi)發(fā)移動(dòng)端車牌系統(tǒng)的過(guò)程中采用了普通Unet神經(jīng)網(wǎng)絡(luò)來(lái)分割車牌區(qū)域，但原文中并未給出Unet網(wǎng)絡(luò)訓(xùn)練的詳細(xì)參數(shù)（如損失函數(shù)變化）等情況。為了驗(yàn)證本文提出改進(jìn)方法的有效性，在下文會(huì)首先給出普通Unet神經(jīng)網(wǎng)絡(luò)在自制數(shù)據(jù)集上的訓(xùn)練詳細(xì)情況，再進(jìn)行改進(jìn)后神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，以便進(jìn)行對(duì)比驗(yàn)證改進(jìn)方法的有效性。

2 算法介紹

Unet 算法是一種語(yǔ)義分割算法，由Ronneberger 發(fā)表于2015年，是比較先進(jìn)熱門的人工智能算法之一。Unet神經(jīng)網(wǎng)絡(luò)屬于是全卷積神經(jīng)網(wǎng)絡(luò)（FCN） 的一種變體，最早應(yīng)用于各種醫(yī)學(xué)圖像的處理之中。

圖1是Unet神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖，圖中的橫向短箭頭（除最右上角的外）表示3×3卷積，以實(shí)現(xiàn)特征提取；橫向長(zhǎng)箭頭表示skip-connection，實(shí)現(xiàn)特征融合；向下箭頭表示池化操作，用于降低維度；向上箭頭表示上采樣，用于維度恢復(fù)；最右上角的橫向箭頭表示1×1卷積，即輸出結(jié)果。

本文對(duì)此神經(jīng)網(wǎng)絡(luò)進(jìn)行兩方面改進(jìn)：1） 針對(duì)原有網(wǎng)絡(luò)層數(shù)較淺的問(wèn)題，加深神經(jīng)網(wǎng)絡(luò)層數(shù)，以便在訓(xùn)練中提取更深層次的特征；2） 采用Huber loss代替均方誤差（MSE） 作為損失函數(shù)指導(dǎo)網(wǎng)絡(luò)訓(xùn)練，以避免模型在使用均方誤差作為損失函數(shù)時(shí)為降低損失函數(shù)強(qiáng)行使用奇異點(diǎn)進(jìn)行擬合。

3 算法適應(yīng)性

Unet神經(jīng)網(wǎng)絡(luò)最初用于醫(yī)學(xué)圖像的處理中，如張雷等人[5]將其運(yùn)用在視網(wǎng)膜血管的分割問(wèn)題中。由于醫(yī)學(xué)圖像語(yǔ)義簡(jiǎn)單且結(jié)構(gòu)穩(wěn)定，因此高級(jí)語(yǔ)義信息和低級(jí)特征都顯得很重要，使得Unet特征融合結(jié)構(gòu)起到了很大作用；同時(shí)，由于醫(yī)學(xué)圖像較少，采用大規(guī)模架構(gòu)會(huì)導(dǎo)致參數(shù)過(guò)多，很容易在訓(xùn)練集不夠的情況下產(chǎn)生過(guò)擬合現(xiàn)象，因此Unet神經(jīng)網(wǎng)絡(luò)采取了小型架構(gòu)，縮小200% 后神經(jīng)網(wǎng)絡(luò)參數(shù)量?jī)H在7M 左右，小巧輕便。

時(shí)至今日，Unet神經(jīng)網(wǎng)絡(luò)作為一種在圖像語(yǔ)義分割中有重要地位的算法，應(yīng)用范圍早已不限于醫(yī)學(xué)圖像，周思雨等人[6]將其應(yīng)用于冶金相關(guān)研究中。而車牌作為一種語(yǔ)義簡(jiǎn)單、結(jié)構(gòu)穩(wěn)定的圖像，也非常適合采用Unet神經(jīng)網(wǎng)絡(luò)進(jìn)行處理；由于車牌的特殊性，很難找到大量的車牌圖像用于模型訓(xùn)練，Unet結(jié)構(gòu)即使在訓(xùn)練集數(shù)量較少時(shí)也能有著不錯(cuò)的性能，這為人工搜集數(shù)據(jù)、標(biāo)注訓(xùn)練集提供了可行性。

4 對(duì)Unet 神經(jīng)網(wǎng)絡(luò)的改進(jìn)

從Unet神經(jīng)網(wǎng)絡(luò)的特殊結(jié)構(gòu)可以發(fā)現(xiàn)，適當(dāng)加深神經(jīng)網(wǎng)絡(luò)層數(shù)可以有效提升網(wǎng)絡(luò)效果，這是由于神經(jīng)網(wǎng)絡(luò)層數(shù)越多越能更有效地提取更大量的細(xì)節(jié)信息進(jìn)行學(xué)習(xí)。但是，原有的Unet網(wǎng)絡(luò)層數(shù)較少，針對(duì)自制的、相對(duì)數(shù)據(jù)量較小的訓(xùn)練集，需要較長(zhǎng)時(shí)間才能得到理想的學(xué)習(xí)效果。為了解決這一問(wèn)題，筆者在原有神經(jīng)網(wǎng)絡(luò)上加深一層，多進(jìn)行一次池化四次卷積，并對(duì)應(yīng)增加一次上采樣，以增加神經(jīng)網(wǎng)絡(luò)對(duì)細(xì)節(jié)信息的學(xué)習(xí)情況。

普通Unet神經(jīng)網(wǎng)絡(luò)采用均方誤差（MSE） 作為損失函數(shù)指導(dǎo)神經(jīng)網(wǎng)絡(luò)訓(xùn)練。這種損失函數(shù)存在一個(gè)問(wèn)題，即為了滿足損失函數(shù)下降的條件，可能對(duì)偏離正常樣本的特異點(diǎn)做出比較大的反應(yīng)。在本次訓(xùn)練中，筆者只有自制的800張圖片數(shù)據(jù)集，樣本存在較大隨機(jī)性，若采用均方誤差作為損失函數(shù)訓(xùn)練，很可能出現(xiàn)過(guò)擬合現(xiàn)象，不利于模型的泛化運(yùn)用。而平均絕對(duì)誤差（MAE） 可以克服均方誤差（MSE） 的缺點(diǎn)，但是由于此函數(shù)的特殊性質(zhì)，導(dǎo)致在誤差大和誤差小時(shí)保持同等速度下降，訓(xùn)練速度很慢，無(wú)法滿足數(shù)據(jù)集時(shí)常更新的商業(yè)需求，并且此函數(shù)在某些位置甚至不可導(dǎo)，無(wú)法指導(dǎo)模型訓(xùn)練。

本文采用的損失函數(shù)是Huber loss函數(shù)，這種損失函數(shù)集合了MSE和MAE兩種函數(shù)的優(yōu)勢(shì)，原理是：首先設(shè)置一個(gè)超參數(shù)δ，若實(shí)際值和預(yù)測(cè)值之差的絕對(duì)值在δ以內(nèi)，則采用MSE作為損失函數(shù)；若絕對(duì)值大于δ，則采用類MAE函數(shù)作為損失函數(shù)。這樣既能滿足損失函數(shù)快速下降的要求，又能防止特異點(diǎn)對(duì)訓(xùn)練產(chǎn)生干擾；曾有研究證明，當(dāng)超參數(shù)δ=1.35時(shí)，有效性可以達(dá)到95%，效果好于另外兩種損失函數(shù)。

5 準(zhǔn)備訓(xùn)練數(shù)據(jù)集

進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，需要先制作訓(xùn)練數(shù)據(jù)集，由于車牌數(shù)據(jù)的特殊性，很難直接找到開(kāi)源的訓(xùn)練數(shù)據(jù)集。但得益于Unet神經(jīng)網(wǎng)絡(luò)即使在訓(xùn)練集較少的情況下也能有比較好的訓(xùn)練效果的特點(diǎn)，可以采用手動(dòng)方法自行標(biāo)注數(shù)據(jù)集。

筆者搜集到了800張車牌圖片，為了提升神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率，將這些車牌圖片統(tǒng)一為512×512的正方形圖片；采用Photoshop軟件對(duì)其進(jìn)行手動(dòng)標(biāo)注，標(biāo)注方法如下：將圖像中車牌區(qū)域設(shè)置為RGB色號(hào)為（255，255，255） 的純白色，將圖像中其他區(qū)域設(shè)置為RGB色號(hào)為（0，0，0） 的純黑色即可，標(biāo)注效果如下。

6 訓(xùn)練過(guò)程

本項(xiàng)目代碼全部采用Python 編寫，采用Tensor?Flow框架，使用GPU進(jìn)行模型訓(xùn)練，使用Pycharm開(kāi)發(fā)工具，開(kāi)發(fā)環(huán)境為：Windows 10操作系統(tǒng)，內(nèi)存為16GB，采用Intel（R） Core（TM） i7-10870H CPU @2.20GHz 2.21 GHz處理器，顯卡為英偉達(dá)3060。

BATCH_SIZE 即一次訓(xùn)練所抓取的數(shù)據(jù)樣本數(shù)量，合理設(shè)置BATCH_SIZE可以使得系統(tǒng)GPU滿載運(yùn)行，提升訓(xùn)練效率，并且可以使得梯度下降方向更為準(zhǔn)確；如果BATCH_SIZE設(shè)置過(guò)小，訓(xùn)練很容易出現(xiàn)過(guò)擬合現(xiàn)象，而如果設(shè)置過(guò)大，可能會(huì)出現(xiàn)由于內(nèi)存限制導(dǎo)致訓(xùn)練失敗的情況；本次訓(xùn)練BATCH_SIZE設(shè)置為5，考慮到商業(yè)應(yīng)用中數(shù)據(jù)集需要經(jīng)常更新的情況，訓(xùn)練輪數(shù)不宜設(shè)置過(guò)大，本文設(shè)置為40輪。

為了驗(yàn)證改進(jìn)方法的有效性，本文采用傳統(tǒng)Unet 網(wǎng)絡(luò)和改進(jìn)后Unet 網(wǎng)絡(luò)分別在自制數(shù)據(jù)集上進(jìn)行訓(xùn)練。

圖4～圖5兩張圖橫軸均為訓(xùn)練輪數(shù)，可以看到，隨著訓(xùn)練的進(jìn)行，損失函數(shù)值不斷減少，而訓(xùn)練準(zhǔn)確率不斷增加。loss函數(shù)是神經(jīng)網(wǎng)絡(luò)中常用的函數(shù)，表示“損失函數(shù)”。“損失”就是所有樣本“誤差”的總和，通常會(huì)在根據(jù)某個(gè)樣本的誤差調(diào)整網(wǎng)絡(luò)權(quán)重后，計(jì)算整體樣本的損失函數(shù)值，來(lái)判定網(wǎng)絡(luò)是否已經(jīng)訓(xùn)練到了可接受的狀態(tài)。損失函數(shù)的作用，就是計(jì)算神經(jīng)網(wǎng)絡(luò)每次迭代的前向計(jì)算結(jié)果與真實(shí)值的差距，從而指導(dǎo)下一步的訓(xùn)練向正確的方向進(jìn)行。因此loss的值越小代表神經(jīng)網(wǎng)絡(luò)的泛化能力越強(qiáng)，越能夠適應(yīng)多種情況下的分割任務(wù)。

相比于loss函數(shù)，accuracy函數(shù)比較好理解，表示通過(guò)Unet神經(jīng)網(wǎng)絡(luò)自主標(biāo)注出的二值化圖像與手動(dòng)標(biāo)注的二值化圖像相對(duì)比，吻合程度的量化值，就是訓(xùn)練的準(zhǔn)確率。為了證明本文所做改進(jìn)的有效性，將改進(jìn)前和改進(jìn)后網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)確率于同一張圖顯示，方便對(duì)比。

從圖6中可以明顯看出，在整個(gè)訓(xùn)練過(guò)程中改進(jìn)后模型的準(zhǔn)確率均優(yōu)于改進(jìn)前的模型。改進(jìn)后的模型在第四輪訓(xùn)練后開(kāi)始穩(wěn)定上升，并且于第20輪左右基本穩(wěn)定，40輪訓(xùn)練過(guò)后模型準(zhǔn)確率可達(dá)94%，效果良好。而改進(jìn)前的模型整個(gè)訓(xùn)練過(guò)程并不穩(wěn)定，甚至出現(xiàn)了準(zhǔn)確率上升后迅速下降的情況，體現(xiàn)了MSE函數(shù)作為損失函數(shù)時(shí)，模型可能由于特異點(diǎn)的存在產(chǎn)生過(guò)擬合現(xiàn)象；模型直到第20輪訓(xùn)練才開(kāi)始出現(xiàn)準(zhǔn)確率穩(wěn)定上升的情況，此時(shí)改進(jìn)后的模型準(zhǔn)確率已經(jīng)趨于穩(wěn)定。綜上所述，改進(jìn)后模型的準(zhǔn)確程度優(yōu)于未改進(jìn)的傳統(tǒng)Unet模型，結(jié)合損失函數(shù)來(lái)說(shuō)，改進(jìn)后模型損失函數(shù)于第10輪后便沒(méi)有非常大幅度的變化，可以推測(cè)改進(jìn)后模型在較少輪數(shù)的訓(xùn)練中即能獲得穩(wěn)定且準(zhǔn)確的預(yù)測(cè)性能，符合商業(yè)應(yīng)用上數(shù)據(jù)集訓(xùn)練的需求。

7 預(yù)測(cè)效果

筆者采用綠色邊框來(lái)標(biāo)出車牌區(qū)域，效果如圖6。

可以看出，系統(tǒng)基本準(zhǔn)確標(biāo)注出了車牌所在的區(qū)域。接下來(lái)，筆者嘗試角度不理想狀態(tài)下的情況。

由圖7可以看出，在角度不理想情況下，系統(tǒng)仍舊可以準(zhǔn)確標(biāo)記出車牌位置，說(shuō)明系統(tǒng)具有一定泛化性。

由圖8可以看出，本系統(tǒng)對(duì)圖像中有多張車牌的情況依舊能做出正確的標(biāo)記，貼近實(shí)際情境中的需求。

8 預(yù)測(cè)結(jié)果分析

通過(guò)多次測(cè)試，本系統(tǒng)訓(xùn)練后能夠較為準(zhǔn)確地標(biāo)記出圖像中的車牌位置，對(duì)角度不理想或拍攝光照條件不理想狀態(tài)下的圖片依舊具有有效性，同時(shí)，對(duì)多個(gè)車牌同時(shí)出現(xiàn)的情況也具有較好的效果。但是，由于本系統(tǒng)訓(xùn)練采用的數(shù)據(jù)集絕大多數(shù)車牌都是藍(lán)牌，因此對(duì)其他顏色的拍照則不具備標(biāo)注能力，后續(xù)工作中預(yù)計(jì)采用更多樣化顏色的車牌數(shù)據(jù)集對(duì)系統(tǒng)進(jìn)行訓(xùn)練，應(yīng)該能夠解決這一問(wèn)題。

9 結(jié)論

本文對(duì)Unet神經(jīng)網(wǎng)絡(luò)從損失函數(shù)和網(wǎng)絡(luò)深度兩方面進(jìn)行改進(jìn)，采用改進(jìn)后Unet神經(jīng)網(wǎng)絡(luò)作為核心算法，采用自制的800張圖片數(shù)據(jù)集作為訓(xùn)練集為模型進(jìn)行訓(xùn)練，訓(xùn)練輪數(shù)為40輪，識(shí)別準(zhǔn)確率約為94%，滿足商業(yè)數(shù)據(jù)庫(kù)更新需求，優(yōu)于傳統(tǒng)Unet神經(jīng)網(wǎng)絡(luò)；訓(xùn)練后的系統(tǒng)對(duì)不同角度、不同拍攝條件下的圖片均有較好的標(biāo)注能力，具有一定泛化性，且對(duì)計(jì)算機(jī)硬件需求不高，運(yùn)行速度快，體量較?。s7M），可以應(yīng)用于嵌入式系統(tǒng)、云端系統(tǒng)之中。