嚴(yán) 格

（浙江同濟科技職業(yè)學(xué)院，杭州 311200）

車牌的準(zhǔn)確定位和識別技術(shù)作為智能交通系統(tǒng)和車輛管理的關(guān)鍵技術(shù)之一，不僅有助于提高交通管理效率，還為智能駕駛和車輛安防提供了重要支持。然而，在復(fù)雜背景下，車牌定位存在很多問題。例如：光照條件變化，傳統(tǒng)方法對于光照條件的變化較為敏感，容易造成車牌區(qū)域定位錯誤；復(fù)雜路況下（在彎道和交叉口），車牌定位及識別準(zhǔn)確率降低；在夜間光線不好的情況下，也會限制其準(zhǔn)確性和魯棒性。激光雷達技術(shù)具有高精度，無需外部光源等優(yōu)勢，在光照變化和惡劣天氣條件下仍然能夠穩(wěn)定工作，能夠適應(yīng)復(fù)雜的實際道路環(huán)境，為車牌定位提供更為穩(wěn)健的解決方案。與此同時，遷移學(xué)習(xí)作為一種機器學(xué)習(xí)技術(shù)，可以在源領(lǐng)域和目標(biāo)領(lǐng)域之間共享知識，從而在目標(biāo)領(lǐng)域中實現(xiàn)較好的性能，減少數(shù)據(jù)需求和模型訓(xùn)練的復(fù)雜度。在車牌識別任務(wù)中，傳統(tǒng)的深度學(xué)習(xí)方法需要大量的標(biāo)注數(shù)據(jù)進行訓(xùn)練，但是在實際應(yīng)用中獲取大規(guī)模標(biāo)注數(shù)據(jù)常常具有較高的成本。因此，利用遷移學(xué)習(xí)技術(shù)將在源領(lǐng)域（如一般場景下的車輛圖像）訓(xùn)練得到的知識遷移到目標(biāo)領(lǐng)域（復(fù)雜背景下的車牌圖像）進行車牌識別，將成為提高車牌識別性能的有效途徑。

本文旨在為車牌定位與識別技術(shù)的改進提供新思路和方法，促進智能交通系統(tǒng)的進一步發(fā)展。該方法的核心在于將激光雷達技術(shù)與圖像傳感器相融合，并輔以遷移學(xué)習(xí)，構(gòu)成了一種新的車牌精準(zhǔn)定位與識別方法。在這一方法中，激光雷達技術(shù)實現(xiàn)車牌的精準(zhǔn)定位，克服了復(fù)雜背景下存在的問題，為車牌識別奠定了基礎(chǔ)。同時，圖像傳感器獲取豐富的視覺信息，為車牌識別提供了必要的特征。通過圖像傳感器獲取的車牌圖像，可以為后續(xù)的字符分割和識別提供重要的輸入。對于車牌識別任務(wù)，遷移學(xué)習(xí)利用預(yù)訓(xùn)練模型，使得字符識別模型能夠從源任務(wù)中學(xué)習(xí)到豐富的特征，再通過微調(diào)來適應(yīng)目標(biāo)任務(wù)，避免了從零開始訓(xùn)練模型所需的大量數(shù)據(jù)和計算資源。本文融合了激光雷達和圖像傳感器數(shù)據(jù)，輔以遷移學(xué)習(xí)技術(shù)，充分利用了多模態(tài)信息，改善了車牌定位與識別的綜合性能，提高了車牌識別的準(zhǔn)確性和魯棒性。本文所述車牌定位識別策略整體流程如圖1 所示。

圖1 車牌定位識別策略整體流程

1 基于激光雷達技術(shù)的車牌定位

激光雷達具有較強的環(huán)境感知能力，可以獲取到目標(biāo)物體的距離和位置信息。在車牌定位中將激光雷達設(shè)置在車輛頂部，通過掃描周圍環(huán)境，獲取車輛及車牌的三維信息。與傳統(tǒng)的圖像處理方法相比，激光雷達能夠克服復(fù)雜背景下的干擾，具有更高的魯棒性和準(zhǔn)確性。通過獲取車輛和車牌的三維點云數(shù)據(jù)可精確定位車牌的位置，本文采用Velodyne VLP-16 激光雷達進行數(shù)據(jù)采集，完成車牌定位。

1.1 點云預(yù)處理

去除離群點。點云數(shù)據(jù)中常常包含一些異常點，這些點可能是因為激光測量誤差、反射物體的干擾或傳感器故障等原因?qū)е碌?。這些離群點對后續(xù)的處理和分析會產(chǎn)生不利影響，采用中值濾波的方法，通過計算點云數(shù)據(jù)的統(tǒng)計特征來識別和去除離群點。

數(shù)據(jù)平滑處理。點云數(shù)據(jù)采集過程中可能存在噪聲，這些噪聲會導(dǎo)致點云數(shù)據(jù)的不平滑。為了提高數(shù)據(jù)的平滑度和連續(xù)性，采用高斯濾波算法，對點云數(shù)據(jù)進行平滑處理。

點云配準(zhǔn)。激光雷達在車輛行駛過程中可能會發(fā)生姿態(tài)變化或傳感器位置的微小變化，導(dǎo)致采集到的點云數(shù)據(jù)存在配準(zhǔn)誤差。本文采用ICP 算法進行數(shù)據(jù)配準(zhǔn)將多個點云數(shù)據(jù)進行匹配和對齊，使其在同一個坐標(biāo)系下表示同一場景。通過點云配準(zhǔn)，可以消除點云數(shù)據(jù)之間的配準(zhǔn)誤差，提高數(shù)據(jù)的一致性和精確性。

點云濾波。首先根據(jù)車牌尺寸及激光雷達點云密度除去過于密集或過于稀疏的點云。然后由于車牌的位置是固定的，將背景中可能存在的交通標(biāo)志牌、施工標(biāo)志牌等復(fù)雜背景下的強反射點云濾除。

1.2 基于位置特征的點云聚類及車牌三維坐標(biāo)獲取

在車牌定位中，車牌通常位于車輛的前部或后部，這一特征可用作車牌區(qū)域的定位依據(jù)。本文采用基于位置特征的幾何特征提取方法，將點云數(shù)據(jù)聚類成車牌區(qū)域和其他環(huán)境區(qū)域。具體步驟如下。

地面提取。首先，將地面點云數(shù)據(jù)從總體點云中提取出來。地面點云數(shù)據(jù)通常位于車輛周圍平坦區(qū)域，通過計算點云數(shù)據(jù)的高度特征，可以將地面點云數(shù)據(jù)識別出來。

聚類分析。在地面點云的基礎(chǔ)上，采用聚類分析方法將點云數(shù)據(jù)進行分組。聚類分析之所以能夠?qū)崿F(xiàn)車牌區(qū)域定位，是利用點云數(shù)據(jù)中的點，依據(jù)這些點的特征來進行分組。確定車牌區(qū)域選擇使用基于密度的DBSCAN 聚類算法，該算法將具有足夠密度的區(qū)域劃分為簇，并在具有噪聲的空間數(shù)據(jù)庫中發(fā)現(xiàn)任意形狀的簇，將簇定義為密度相連的點的最大集合。根據(jù)使用該算法得到的上述點云聚類的結(jié)果，確定可能包含車牌的聚類區(qū)域。然后通過計算車牌區(qū)域的形狀特征，進一步篩選出車牌區(qū)域后，根據(jù)車牌區(qū)域的位置信息，得到車牌的三維坐標(biāo)。

1.3 圖像傳感器的車牌圖像采集與雙重驗證

為驗證基于激光雷達技術(shù)的車牌定位策略的有效性，在激光雷達定位車牌的基礎(chǔ)上，利用圖像傳感器（如攝像機）對車牌區(qū)域進行圖像采集，獲取車牌圖像。通過激光雷達定位的車牌坐標(biāo)和圖像傳感器采集的車牌圖像進行雙重驗證，對比2 種信息的一致性，可以驗證激光雷達定位的準(zhǔn)確性，并排除可能存在的誤差。本文采用Velodyne VLP-16 激光雷達，在實時復(fù)雜背景下進行車牌定位，并通過圖像傳感器進行雙重驗證。共生成了153 組點云數(shù)據(jù)，每組數(shù)據(jù)大約包含10 000 個點，通過計算準(zhǔn)確率、召回率和F1-score 指標(biāo)，對2 種方法的定位準(zhǔn)確性進行了對比。車牌定位準(zhǔn)確性對比，見表1。

表1 車牌定位準(zhǔn)確性對比（%）

通過計算定位結(jié)果之間的歐式距離，在大多數(shù)情況下，2 種方法得到的車牌位置之間的歐式距離較小，說明定位結(jié)果相對一致。在實驗中，當(dāng)車輛遮擋、光照變化等復(fù)雜背景下，點云聚類方法相比圖像傳感器表現(xiàn)出更好的魯棒性。

通過實驗分析可得，在復(fù)雜背景下本文基于激光雷達的車牌定位方法有較高的準(zhǔn)確性和魯棒性。為后續(xù)車牌字符識別實現(xiàn)了提供精準(zhǔn)的車牌定位和感興趣區(qū)域，增強了魯棒性，降低了后續(xù)字符分割的難度，是提高車牌字符識別的精度和準(zhǔn)確度的基石。

2 基于遷移學(xué)習(xí)的車牌識別

2.1 基于連通域提取的車牌字符分割

圖像傳感器在車牌識別中起著關(guān)鍵作用，其能夠捕捉車牌圖像，并為后續(xù)的字符分割和識別提供重要的輸入。本文通過圖像傳感器采集車輛圖像信息，根據(jù)激光雷達定位車牌的結(jié)果，確定車牌在圖像中的位置和大小，最終提取得到車牌區(qū)域圖像。本文采用基于連通域提取的字符分割算法，該算法是一種用于圖像分割的基礎(chǔ)算法，其原理是尋找圖像中具有相同像素值且相互連接的像素集合，將其看作是一個連通區(qū)域。具體可包括圖像表示、像素連接、連通域標(biāo)記及連通域提取分析等幾個步驟。連通域提取算法在本文車牌字符分割中的實現(xiàn)過程如下。

圖像預(yù)處理。首先，對車牌圖像進行預(yù)處理。這包括將車牌圖像轉(zhuǎn)換為灰度圖像、去噪和圖像增強等操作。預(yù)處理有助于減少噪聲的影響，提高后續(xù)處理的效果。

邊緣檢測。利用Canny 邊緣檢測算法提取車牌圖像中的邊緣信息。邊緣檢測能夠確定圖像中的目標(biāo)邊緣。

連通域提取。在邊緣圖像中，通過連通域提取算法尋找連通區(qū)域，在車牌字符分割中提取具有字符形狀特征的連通域，即車牌字符區(qū)域。

連通域篩選。由于車牌圖像可能包含多個連通域，需進行篩選，留下具有字符形狀的區(qū)域，該區(qū)域的寬高比例是個固定值，且間隔較小。根據(jù)這些特征進行篩選，去除不符合要求的連通域。

字符區(qū)域提取。經(jīng)過連通域篩選后得到圖像中的字符區(qū)域。這些字符區(qū)域就是車牌圖像中的字符部分。根據(jù)連通域的位置和大小信息可以將字符區(qū)域從原始圖像中剪切出來，形成獨立的字符圖像。通車牌字符分割圖像效果示例如圖2 所示。

圖2 車牌字符分割效果示例

2.2 構(gòu)建VGGNet 車牌字符識別模型

2.2.1 構(gòu)建字符數(shù)據(jù)集

針對復(fù)雜背景下的車牌字符識別，為了提高模型在車牌數(shù)據(jù)上的表現(xiàn)，本文在VGGNet 在預(yù)訓(xùn)練時使用的數(shù)據(jù)集的基礎(chǔ)上構(gòu)建一個在復(fù)雜背景下（光線變化、復(fù)雜路況等）小規(guī)模的車牌字符數(shù)據(jù)集。將經(jīng)過上文提取得到的車牌字符作為訓(xùn)練樣本，對于每個字符區(qū)域標(biāo)注其對應(yīng)字符序列，并對字符集數(shù)據(jù)進行旋轉(zhuǎn)、平移、縮放等操作，以擴充訓(xùn)練數(shù)據(jù)量。部分字符分割數(shù)據(jù)集示例如圖3 所示。

圖3 部分字符分割數(shù)據(jù)集示例

2.2.2 模型訓(xùn)練

本文采用遷移學(xué)習(xí)策略，利用預(yù)訓(xùn)練的VGGNet網(wǎng)絡(luò)，在數(shù)據(jù)集上進行預(yù)訓(xùn)練，并將學(xué)習(xí)到的特征遷移到車牌字符識別任務(wù)中。本文訓(xùn)練數(shù)據(jù)總共為21354張，其中訓(xùn)練集1 4947 個樣本（70%），驗證集3 203 個樣本（15%），測試集3 203 個樣本（15%）。

在車牌識別過程中，首先需要將經(jīng)過字符分割的圖像輸入到VGGNet 網(wǎng)絡(luò)，并利用前幾層的卷積和池化技術(shù)提取出其中的特征，然后將這些特征輸入到全連接層，進行精確的字符分類，從而實現(xiàn)準(zhǔn)確的車牌識別。具體實現(xiàn)過程：將VGGNet 的卷積部分作為特征提取器，保持其權(quán)重不變，只對全連接層進行微調(diào)。這樣做的目的是利用在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練的VGGNet 學(xué)習(xí)到的通用特征，使其適應(yīng)車牌字符識別任務(wù)。將數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集。將ImageNet數(shù)據(jù)集上的預(yù)訓(xùn)練的VGGNet 模型替換為一個新的全連接層，以便更有效地進行車牌字符的分類。該全連接層不僅可以提高模型的準(zhǔn)確性，而且還可以更好地支持卷積分析。全連接層的輸出節(jié)點數(shù)等于車牌字符類別的數(shù)量。在開展數(shù)據(jù)分析之前，首先要對相關(guān)參數(shù)進行精確的設(shè)定，然后使用Adam 算法對交叉熵損失函數(shù)進行優(yōu)化，將學(xué)習(xí)率設(shè)定在0.000 1，最后使用學(xué)習(xí)率調(diào)節(jié)器對其進行實時校正，從而使其能夠滿足訓(xùn)練的要求。最后固定VGGNet 的卷積部分的參數(shù)，只訓(xùn)練新添加的全連接層。在訓(xùn)練過程中，根據(jù)驗證集的表現(xiàn)來調(diào)整超參數(shù)和防止過擬合。當(dāng)驗證集上的性能達到最優(yōu)時，將所有層的參數(shù)解除固定，繼續(xù)訓(xùn)練整個網(wǎng)絡(luò)。

2.3 實驗結(jié)果與分析

為驗證車牌識別算法模型的性能，實驗采用了包含3 203 張車牌圖像的測試數(shù)據(jù)集，該數(shù)據(jù)集圖像包括復(fù)雜背景下（夜間道路、交叉口、光線變化等情況）1464張圖像以及普通背景下的1 739 張圖像，圖4 為部分車牌識別示例，車牌識別結(jié)果見表2，在復(fù)雜背景下車牌識別的準(zhǔn)確率約為89%，在普通背景下車牌識別準(zhǔn)確約為94%，車牌識別平均準(zhǔn)確率為91.5%。

圖4 車牌識別示例

3 結(jié)束語

本文提出的融合多傳感器與遷移學(xué)習(xí)的車牌識別策略，旨在為復(fù)雜背景下的車牌識別問題提供新的解決思路，力求提高復(fù)雜背景下車牌定位及識別精度。通過實驗表明，使用本文提出的車牌識別方法充分利用了多傳感器的融合，能夠?qū)崿F(xiàn)復(fù)雜背景下車牌的精準(zhǔn)定位與識別。然而，本文提出的方法仍然存在一些挑戰(zhàn)和改進空間。例如，可以進一步優(yōu)化激光雷達的數(shù)據(jù)處理流程，以提高車牌定位的效率。此外，在實際應(yīng)用中，不同環(huán)境條件和車牌樣式可能會對識別性能產(chǎn)生影響，因此需要進一步考慮模型的泛化能力和魯棒性。融合多傳感器與遷移學(xué)習(xí)的車牌精準(zhǔn)定位與識別方法為解決復(fù)雜背景下車牌識別問題提供了一種創(chuàng)新思路。未來，還可進一步探索不同傳感器的組合、更高效的特征提取方法以及更強大的遷移學(xué)習(xí)策略，以進一步提升車牌識別的精準(zhǔn)度和魯棒性，為智能交通領(lǐng)域的發(fā)展作出更大的貢獻。