摘要：將機器視覺技術融入裝車機，實現(xiàn)對火車棚車特征字符區(qū)域進行定位、分割與識別。首先對采集到圖像進行預處理，定位出字符區(qū)域位置，然后進行字符矯正和剔除不屬于字符的區(qū)域，接著基于連通域分析法分割字符，最后論述并使用模板匹配、OCR識別以及卷積神經(jīng)網(wǎng)絡3種識別方法對同一分割的字符進行識別，得出每種方法識別的準確率。實驗結果證明，在同樣的圖像預處理及字符分割情況下，卷積神經(jīng)網(wǎng)絡識別結果最好，識別準確率達到96%。該研究能很好識別火車特征字符，同時也為其他類型特征字符識別提供研究思路。

關鍵詞：棚車；機器視覺；卷積神經(jīng)網(wǎng)絡；智能識別

中圖分類號：TP391.4 文獻標志碼：A DOI：10.16465/j.gste.cn431252ts.20240420

基金項目：十四五國家重點研發(fā)計劃（2022YFD2100201）。

Character recognition of train boxcar features based on machine vision

Jia Shihao， Wang Zhishan， Xu Yongsen， Xu Xuemeng， Li Yongxiang

（ School of Mechanical and Electrical Engineering， Henan University of Technology， Zhengzhou， Henan 450001 ）

Abstract： The machine vision technology is integrated into the loading machine to realize the location， segmentation， and recognition of the characteristic character area of the train box car. Firstly， the acquired image is preprocessed to locate the character region， then the character correction is carried out and the region that does not belong to the character is removed， and then the character is segmented based on the connected domain analysis method. At last， the recognition accuracy rate of each method is obtained by discussing and using three recognition methods， namely template matching， OCR recognition， and convolutional neural network. The experimental results showed that under the same condition of image preprocessing， and character segmentation， the recognition result of convolutional neural network was the best， and the recognition accuracy reached 96%. This research can identify train characteristics characters well， and also provide research ideas for other types of character recognition.

Key words： boxcar； machine vision； convolutional neural network； intelligent recognition

隨著老齡化加劇，傳統(tǒng)的袋裝成品糧火車裝車面臨年輕勞動力缺乏問題，為推進火車棚車袋裝成品糧裝車自動化[1]，現(xiàn)研究機器視覺技術智能識別棚車的特征字符，其中包括車種車型以及車號，識別的車種型號為裝車機控制系統(tǒng)提供信號，提供裝車控制。識別的車號提供給貨場控制中心，方便管理和追蹤貨物，確保貨物安全、高效地運輸[2]。

火車特征字符作為其獨特的“身份證”，已有人開展相關識別研究：吳志偉等[3]先以圖像預處理進行字符定位，再以改進的Faster R-CNN網(wǎng)絡進行車號檢測，最后利用卷積循環(huán)神經(jīng)網(wǎng)絡進行車號識別。胡路路[4]通過使用SSD算法對車號字符區(qū)域進行檢測，然后繼續(xù)利用SSD算法對檢測出的車號進行端到端的識別，提高識別準確率。于雙芳[5]利用投影分割法對預處理后的圖像進行字符分割，然后對分割出的字符進行BP神經(jīng)網(wǎng)絡預測識別。成鞏俐[6]使用基于改進的EAST算法對運煤列車車號進行定位，然后基于改進的CRNN識別列車車號。

結合以上研究，本文使用新的圖像處理算法進行圖像的預處理以及字符分割，然后對同一分割的字符用模板匹配、OCR識別以及卷積神經(jīng)網(wǎng)絡3種方法進行識別，并給出3種識別方法的準確率及優(yōu)缺點。

1 裝車機特征字符采集及特征字符意義

1.1 裝車機采集特征字符圖片

裝車機在高站臺進行裝車，遙控行走過程中采集特征字符圖片，采集圖像三維示意如圖1，實地獲取圖像如圖2。獲取到的圖像中特征字符存在模糊、間斷以及傾斜。

1.2 棚車特征字符信息介紹

鐵路運輸部門在1994年實施中華人民共和國鐵道行業(yè)標準《鐵路貨車車種車型車號編碼》[7]對鐵路貨運車輛車廂信息進行詳細規(guī)定。車種車型編碼用該車第一個大寫漢語拼音字母以及數(shù)字組成，字符數(shù)量為3～5位，車號編碼是由7位阿拉伯數(shù)字構成?；疖囎址畔藴拾凑誘BT 1.1—1995《鐵道車輛標記一般規(guī)則》刷漆書寫。其中棚車應在車體兩側墻的左側涂打大車號。車種車型以及車號書寫高度為200 mm，字符高寬比大約為3/2，其余字符大小為首字符的2/3。車號編碼大小和車種編碼首字符大小相同，要識別的特征字符由0～9和A、B、C、D、F、G、H、K、N、P、Q、S、T共23個字符組成。

2 圖像預處理

采集火車棚車車廂圖片會受到周圍環(huán)境的影響，對圖片進行灰度化、目標層提取、二值、邊緣檢測、形態(tài)學運算等預處理操作，提高圖片中特征字符質量，為后續(xù)特征字符區(qū)域定位、分割和識別提供好的基礎。圖像預處理流程如圖3。

2.1 圖像灰度化

進行灰度化處理的主要目的是突出特征字符信息，減少圖像原始數(shù)據(jù)量，降低后續(xù)的計算量[8]。常用的圖像灰度化處理方法有：分量值法、最大值法、平均值法以及加權平均值法，本文使用MATLAB中rgb2gray函數(shù)實現(xiàn)灰度處理，而rgb2gray函數(shù)采用的是加權平均值法。

2.2 灰度圖像目標層提取

使用灰度圖像偽彩色增強處理實現(xiàn)灰度圖像增強，突出特征字符目標層，然后提取目標層級圖像[9]。

2.3 圖像二值化

圖像使用全局閾值方法將提取目標層后的灰度圖像轉換為只有兩個像素值的二值圖像。這種轉換有助于提取目標對象，并進行后續(xù)分析[10]。

2.4 圖像邊緣檢測

圖像的邊緣檢測標識圖像中亮度變化明顯的點來初步判別特征字符的位置。同時有效保存圖像中的關鍵特征，減少計算機運算時的計算量。常見的邊緣檢測算法有一階微分算子Roberts、Sobel、Prewitt，二階微分算子Laplacian以及非微分邊緣檢測算子Canny。本文使用Sobel[11]算法，既能準確定位目標區(qū)域，又能減少目標區(qū)域特征提取，減少計算量。

2.5 預處理圖像形態(tài)學運算

形態(tài)學運算是用一定形態(tài)的結構元素去改變以及提取圖像的形態(tài)和特征，達到圖像分析和識別的目的[12]。預處理圖像形態(tài)學運算運用到腐蝕、區(qū)域填充、面積開運算，為下一步特征字符區(qū)域精確定位提供基礎。

圖像預處理全部操作如圖4所示。

3 特征字符區(qū)域定位及字符分割

圖像預處理后得到特征字符填充區(qū)域，在填充區(qū)域內尋找到白色像素4個邊界點，將此邊界點賦值給二值化圖片，提取出對應的區(qū)域，繼續(xù)形態(tài)學運算使特征字符間斷部分閉合，然后進行字符傾斜矯正，剔除不符合區(qū)域，最后基于連通域分析對特征字符進行分割，整體流程如圖5。

3.1 特征字符區(qū)域的定位

經(jīng)過預處理以后棚車車身特征字符區(qū)域已經(jīng)形成一個字符填充區(qū)域，字符區(qū)域大致找到，然后利用像素點統(tǒng)計尋找字符區(qū)域的上下左右4個白色像素邊界，精確定位字符區(qū)域。

3.2 特征字符間斷形態(tài)學運算

膨脹、開運算以及細化是在特征字符區(qū)域提取后，操作對象是二值化后的圖片，目的是將一部分二值化后間斷的特征字符通過以上操作使字符間斷部分閉合，同時避免分割時出現(xiàn)字符粘連[13]。

3.3 特征字符區(qū)域矯正及不符合區(qū)域提出

特征字符區(qū)域后處理包含兩部分：字符傾斜矯正以及去除不屬于車廂字符的區(qū)域（主要是鐵路路徽）。相應矯正算法主要有Hough變換法、Radon變換法以及線性回歸法[14]。本文使用Radon變換算法，二維圖像通過Radon變換在各個方向的投影得到傾斜角度，然后根據(jù)傾斜角度對字符區(qū)域進行傾斜校正。在進行字符傾斜矯正后，圖片中存在一部分不屬于字符的信息，依據(jù)棚車車廂字符形狀特征以及面積特征去除不屬于車廂字符的火車型號標志以及其他不屬于字符區(qū)域的像素團簇，從而保留字符區(qū)域。

3.4 特征字符分割

常用字符分割方法有：基于閾值的分割、連通區(qū)域分析、基于邊緣檢測的分割以及基于投影的分割等[15]。連通區(qū)域分析分割方法是對二值圖像進行連通區(qū)域分析，即將同一字符對象中相鄰的像素劃分到同一個區(qū)域中。在本文圖像前面處理的都是為了滿足連通區(qū)域分析的正確分割。

特征字符區(qū)域定位及字符分割全部操作見圖6。

4 特征字符識別

4.1 字符識別方法介紹

特征字符識別是整個圖像處理中最重要的一步，將分割出的單一字符圖片識別為文本信息，常用的方法有模板匹配、OCR以及神經(jīng)網(wǎng)絡學習5種方法[16]。

4.2 基于模板匹配的字符識別

基于模板匹配的字符識別是基于特征匹配原理，將待識別字符與預定義的模板進行比較，通過計算相似度或距離來確定最匹配的字符。但是需要對待識別字符進行尺寸歸一化，將分割出的待識別字符圖片大小縮放為字符數(shù)據(jù)庫中模板的大小，然后與所有的模板進行匹配，最后選最佳匹配作為結果。

模板匹配除了進行圖像預處理和字符分割等以外，還需進行以下步驟：

模板準備：首先，需要準備火車車種車型、車號庫模板，該模板是一個二值字符圖像，其中字符為白色，背景區(qū)域為黑色。由于以上字符是噴涂的，且字符噴涂方式不一，為了提升識別精度，對每個字符選取多張模板圖片，并且放置于一個文件夾中，以該字符名稱命名。在進行模板匹配識別時對字符圖片大小做歸一化處理，與分割處理后的字符大小一致，圖7為字符模板庫。

匹配計算：將字符模板與分割后的字符圖片進行匹配計算。根據(jù)選擇的相似性度量方法，計算待識別字符與模板之間的相似性度量值，找出相似性最大，最接近模板的文件夾名稱。

結果輸出：根據(jù)匹配計算結果，確定車種車型、車號，識別結果如圖8。

4.3 基于OCR的字符識別

OCR全稱叫Optical Character Recognition，中文名稱為光學字符識別。OCR技術的基本原理是將輸入的圖像進行一系列的圖片預處理、切割字符以及分類識別步驟，最終將圖像中的字符轉換為可編輯的文本。

OCR識別技術在經(jīng)過字符圖像預處理和分割后，還需進行特征提取、字符分類和結果輸出三步。

特征提?。簭拿總€字符的圖像中提取出特征。常用的特征包括字符的輪廓、幾何形狀、紋理等。這些特征可以用來對字符進行描述和區(qū)分。

字符分類：將提取到的特征與已知MATLAB中OCR數(shù)據(jù)庫中的字符模板進行比較，以確定每個字符的類別。

結果輸出：根據(jù)字符分類的結果，將識別的字符轉換為文本字符，輸出結果如圖9。

4.4 基于卷積神經(jīng)網(wǎng)絡的字符識別

卷積神經(jīng)網(wǎng)絡（convolutional neural neywork，CNN）在圖像分類和目標檢測方面有著廣泛應用。本文利用卷積神經(jīng)網(wǎng)絡對準備的數(shù)據(jù)集進行訓練，學習樣本數(shù)據(jù)集中的字符特征，判斷出相應的字符類別。將訓練好的卷積神經(jīng)網(wǎng)絡導入分割后的程序，實現(xiàn)對分割字符的分類預測。

4.4.1 卷積神經(jīng)網(wǎng)絡介紹

本文選取LeNet-5結構的卷積神經(jīng)網(wǎng)絡模型訓練字符數(shù)據(jù)集。LeNet-5卷積神經(jīng)網(wǎng)絡框架如圖10。

LeNet-5結構的卷積神經(jīng)網(wǎng)絡由輸入層、卷積層、池化層、全連接層和輸出層組成。對最左面的灰度圖片框選一個區(qū)域，該區(qū)域內每一個像素代表一個神經(jīng)元，每個像素區(qū)域內的神經(jīng)元作為一組元素構成卷積神經(jīng)網(wǎng)絡的初始輸入單位，圖片中小立方體代表遍歷兩側網(wǎng)絡包含的所有神經(jīng)網(wǎng)絡。整個神經(jīng)網(wǎng)絡可以分為兩部分，輸入圖像、C1、S2、C3、S4、C5為第一部分，輸入圖像在第一部分被加工，變成尺寸更小、數(shù)量更多的圖像，并且在此過程中完成特征的提取。第二部分采用傳統(tǒng)的前饋神經(jīng)網(wǎng)絡，采用全連接層實現(xiàn)分類。

卷積神經(jīng)網(wǎng)絡與普通神經(jīng)網(wǎng)絡重要不同在于引入了卷積層和池化層這兩個新的網(wǎng)絡結構。在卷積網(wǎng)絡中使用卷積層操作的目的是組合一個區(qū)域內多個像素點，進一步提取空間信息特征，卷積層常具有卷積操作、填充、步長以及通道等參數(shù)，卷積操作是卷積層的核心。假設輸入圖像在進行矩陣處理以后得到6×6的矩陣，卷積核為3×3的矩陣，卷積運算輸入如圖11，卷積運算原理如圖12。

池化層和卷積層不同，池化層模仿了人類視覺對看到的圖像進行抽象和降維的功能。池化只是在輸入圖像的每一個相鄰的正方形窗口區(qū)域中取最大值或者平均值，輸入數(shù)據(jù)和輸出數(shù)據(jù)通道數(shù)不會改變。最大值池化層運算原理如圖13。

LeNet-5結構卷積神經(jīng)網(wǎng)絡全連接層將卷積、池化階段提取的特征進行整合，并通過權重矩陣與輸出層進行連接，最終輸出對輸入圖像的分類預測結果。最后通過輸出層輸出分類結果的概率。

4.4.2 訓練神經(jīng)網(wǎng)絡

本文訓練神經(jīng)網(wǎng)絡需要數(shù)據(jù)集如圖14，采集0～9和A、B、C、D、F、G、H、K、N、P、Q、S、T共23個字符組成23個字符文件的數(shù)據(jù)集，每個數(shù)據(jù)集有1016張圖片，使用splitEachLabel函數(shù)將訓練數(shù)據(jù)集劃分為訓練集和測試集，其中訓練集700張，測試集316張。對樣本數(shù)據(jù)集后續(xù)進行歸一化及灰度化處理，滿足神經(jīng)網(wǎng)絡輸入要求。

對神經(jīng)網(wǎng)絡進行訓練，以每個文件夾名稱作為字符標簽，使用隨機梯度下降（SGD）作為優(yōu)化算法，通過設置合適的訓練參數(shù)進行訓練。在訓練過程中，會自動進行前向傳播計算輸出結果，并通過反向傳播計算梯度并更新網(wǎng)絡的權重和偏置，以提高訓練網(wǎng)絡的分類準確率。

4.4.3 神經(jīng)網(wǎng)絡訓練結果與分析

神經(jīng)網(wǎng)絡訓練周期設定為50輪，最大迭代次數(shù)為4100次，整個訓練用時156 min 24 s，數(shù)據(jù)集驗證準確度為98.92%。訓練好的神經(jīng)網(wǎng)絡以mat文件保存，后續(xù)以文件格式導入程序中，分類預測識別字符。其識別結果如圖15所示。

4.5 不同算法實驗結果分析

在詳細介紹了以上3種字符識別方法后，對3種程序進行實驗，在MATLAB中搭建GUI界面，選取需要識別的火車棚車圖片，對經(jīng)過處理后分割出的字符圖片進行識別測試。

4.5.1 圖形用戶界面（GUI）設計

為了在程序使用時提供直觀、友好的操作界面、簡化操作流程，提供可視化數(shù)據(jù)展示以及增加程序的靈活性，在MATLAB中創(chuàng)建圖像用戶界面（GUI）。GUI運行界面如圖16，第一部分11個模塊對應前面圖像預處理以及特征字符區(qū)域定位及字符分割中的11個模塊。第二部分是將分割的特征字符進行識別，以及進行文本輸出。

4.5.2 實驗結果分析

選取28張待識別的圖片，分別對其進行實驗，實驗準確率如表1。

由表1可知，模板匹配算法的正確率低于OCR以及CNN算法。模板匹配算法對噪聲比較敏感且經(jīng)過前面圖像處理，分割出的字符與字符模板庫中要識別的正確的模板差別較多，計算機將其匹配給另外的模板字符。OCR算法略優(yōu)于模板匹配，是因為OCR算法夠根據(jù)輸入圖像的特征和上下文信息進行靈活的識別，并且在MATLAB中OCR算法使用了大量的訓練數(shù)據(jù)進行訓練，可以從數(shù)據(jù)中學習到更全面和準確的模式，提高了識別的準確率。CNN算法作為識別準確率最高的算法，通過對數(shù)據(jù)集的訓練，提取字符的特征，能更有效地應對和處理更復雜的場景。

5 結 語

根據(jù)實際生產(chǎn)需求，將機器視覺技術融入火車棚車裝車機，推動了裝車機自動化，以實現(xiàn)裝車機對需要裝載的棚車信息的智能識別。為此，設計并使用了一系列新的算法，包括圖像預處理、車廂字符區(qū)域定位、字符分割和字符識別，并對3種字符識別方法進行了實驗比對。結果顯示，卷積神經(jīng)網(wǎng)絡展現(xiàn)出最佳的字符識別效果。此研究方法后續(xù)將搭配嵌入式設備在棚車裝車機進行使用，提升裝車機自動化水平。

參 考 文 獻

[1] 鄧原勝.移動式多功能裝卸機的研究與設計[D].武漢：華中科技大學，2017：2-7.

[2] 馬云嶺，陳雷，吳月東.鐵路貨車車號管理的發(fā)展及其應用信息技術的研究[J].鐵道車輛，2006（4）：29-34+46.

[3] 吳志偉，高達，劉慧賢，等.鐵路貨車號碼圖像精準識別方法研究[J].鐵道貨運，2023，41（11）：61-68.

[4] 胡路路.基于深度學習的鐵路列車車號識別系統(tǒng)[D].南京：東南大學，2020：35-49.

[5] 于雙芳.運行列車車廂編號定位技術和識別系統(tǒng)的研究[D].鄭州：鄭州大學，2017：26-35.

[6] 成鞏俐.基于EAST與CRNN的運煤列車車號定位與識別研究[D].西安：西安科技大學，2022：18-40.

[7] 許華娣.《鐵路貨車車種車型車號編碼》標準簡介[J].鐵道標準化，1994（5）：11-12+6.

[8] 顧梅花，蘇彬彬，王苗苗，等.彩色圖像灰度化算法綜述[J].計算機應用研究，2019，36（5）：1286-1292.

[9] GRUNDLAND M， DODGSON N A. Decolorize： fast， contrast enhancing， color to grayscale conversion[J]. Pattern Recognition，2007，40（11）：2891-2896.

[10] ARBELAEZ P， MAIRE M， FOWLKES C， et al. Contour detection and hierarchical image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，33（5）：898-916.

[11] RAKESH R， VINAY A. Edge detection using guided sobel image filtering[J]. Wireless Personal Communications，2023，132（1）：651-677.

[12] RAO S G， SRIKRISHNA A. Contrast enhancement of poor-quality satellite images through morphological operations[J]. Traitement Du Signal，2021，38（3）：821-827.

[13] 周偉，崔明.基于圖像處理的草莓匍匐莖定位技術研究[J].糧食科技與經(jīng)濟，2018，43（9）：89-92+106.

[14] 張愛苓.基于FPGA的復雜場景下的車牌識別系統(tǒng)設計[D].西安：西安石油大學，2023：35-36.

[15] 王鑫.鐵路機車車號字符分割與識別算法研究[D].武漢：中南民族大學，2019：12-18.

[16] 張松蘭.車牌識別系統(tǒng)算法綜述[J].電子技術與軟件工程， 2021（4）：128-130.