周　雪，張舜堯，趙駿生

?

基于機器視覺與Andriod的停車場智能管理系統(tǒng)

*周雪1，張舜堯1，趙駿生2

（1.廈門軟件職業(yè)技術(shù)學院, 福建，廈門 361024；2.內(nèi)蒙古工業(yè)大學信息工程學院，內(nèi)蒙古，呼和浩特 010051）

為了實現(xiàn)停車場的智能與精確管理，設(shè)計了一套基于機器視覺與Andriod的停車場智能管理系統(tǒng)。首先，集成網(wǎng)絡(luò)攝像頭、數(shù)據(jù)處理服務(wù)器硬件和Andriod終端顯示器，組成系統(tǒng)硬件平臺；嵌入機器視覺算法和局域網(wǎng)通信，構(gòu)建了停車場智能管理系統(tǒng)架構(gòu)。然后，基于10萬幀各場景各車型的大數(shù)據(jù)樣本，利用卷積神經(jīng)網(wǎng)絡(luò)四層訓練，設(shè)計了車牌定位檢測算子，實現(xiàn)車輛有無判斷與車牌定位。在Visiual Studio平臺開發(fā)系統(tǒng)，并對該智能管理系統(tǒng)進行了測試，輸出結(jié)果表明：所提出的停車場智能管理系統(tǒng)，在車牌檢測和系統(tǒng)智能性方面，都優(yōu)于傳統(tǒng)停車場管理系統(tǒng)。

停車場智能管理；機器視覺；Andriod系統(tǒng)；大數(shù)據(jù)樣本；卷積神經(jīng)網(wǎng)絡(luò)；車牌檢測

0 引言

隨著經(jīng)濟水平提高,城市機動車保有量的急劇增加，導致了大型停車場的工作人員管理難、機動車主停車難的問題。如何以智能化、自動化的方案和技術(shù)，高效地解決城市場管理與用戶體驗問題，成為全面實現(xiàn)城市智能交通的關(guān)鍵。近幾年來，這一領(lǐng)域的研究與應(yīng)用已經(jīng)吸引了很多專家與學者的重視，并取得一定進展，其成果開始應(yīng)用于實際用戶場景。

目前已提出的解決方案與技術(shù)系統(tǒng)中，有基于傳感器檢測、RFID傳輸和人工少量引導的系統(tǒng)。比如，高通[1]等人提出，在嵌入式平臺下，建立一個基于機器視覺的空位檢測，人性快捷的RFID智能引導，以及完善管理系統(tǒng)和便民的微信公眾服務(wù)的現(xiàn)代一體化停車場，改善了車輛引導以及用戶服務(wù)方面有所缺失的問題，但是RFID、人工引導和嵌入式設(shè)備成本昂貴，導致方案推廣缺乏普遍性。賀振寧[2]等人基于HALCON的檢測方法，使停車場管理人員和用戶能夠及時了解車場車位情況,根據(jù)車場車輛的運停情況實時對車輛車位進行管理調(diào)度控制，為存車與取車的動作提供便捷、安全的服務(wù)，但是商業(yè)機器視覺庫HALCON缺乏應(yīng)用靈活性與定制性，往往存在車牌檢測定位失誤的問題，導致停車管理系統(tǒng)仍然需要人工蹲守并解決現(xiàn)場問題。丁元舟[3]等人提出了一種基于嵌入式設(shè)備的停車場視頻監(jiān)控和車位檢測方案，車位狀態(tài)的檢測采用2種判據(jù)：一種是車位范圍內(nèi)差影的均值；另外一種是車位區(qū)域內(nèi)的邊緣點數(shù)，以機器視覺這種低成本高精度的技術(shù)，一定程度上達到了車位車牌檢測的目的，但是過度依賴現(xiàn)場視覺背景采集和大數(shù)據(jù)驗證的支持，從而存在視覺檢測不穩(wěn)定的問題。

為了解決上述問題，本文提出了基于機器視覺與Andriod的停車場智能管理系統(tǒng)，解決傳統(tǒng)系統(tǒng)硬件成本高、車輛車牌檢測不穩(wěn)定的問題，達到停車場智能管理的目的。

1 新型的停車場智能管理系統(tǒng)設(shè)計

該智能系統(tǒng)預(yù)設(shè)目標有3個，首先，實時檢測車位狀態(tài)，即是否有機動車占用車位；其次，如果車位存在機動車，檢測車牌位置，為后續(xù)研究做好識別數(shù)據(jù)的準備；最后統(tǒng)計出整個停車場空車位數(shù)量及分布。以上三個目標以經(jīng)濟、高效和準確

如圖1(a)所示，為本文停車庫智能管理系統(tǒng)的架構(gòu)，整個停車場范圍安置網(wǎng)絡(luò)攝像頭，每個網(wǎng)絡(luò)攝像頭的拍攝視野固定，并覆蓋1-3個車位，完成實時車位圖像采集。每個網(wǎng)絡(luò)攝像頭采集數(shù)據(jù)通過局域網(wǎng)與網(wǎng)線傳輸給一臺中央數(shù)據(jù)處理工作站，完成機器視覺檢測，并將檢測結(jié)果信息，經(jīng)過局域網(wǎng)，傳輸給基于Andriod的顯示終端。Android[4]是一種基于Linux的自由及開放源代碼的操作系統(tǒng)，主要使用于移動設(shè)備，如智能手機和平板電腦，由Google公司和開放手機聯(lián)盟領(lǐng)導及開發(fā)。本停車場智能管理系統(tǒng)借助Android開源免費的優(yōu)勢，相比于嵌入式設(shè)備，降低系統(tǒng)成本。另外，本系統(tǒng)采用了局域網(wǎng)，實現(xiàn)圖像采集端、數(shù)據(jù)處理端和Andriod顯示端的通信關(guān)聯(lián)，由于局域網(wǎng)架設(shè)工作簡單，且局域網(wǎng)內(nèi)通信穩(wěn)定，在滿足系統(tǒng)功能的前提下，達到低成本高效的目的。如圖1(b)所示，本系統(tǒng)UI主要有實時圖像采集、車牌檢測、車牌統(tǒng)計。如圖1(c)所示，該智能管理系統(tǒng)的硬件平臺由網(wǎng)絡(luò)攝像頭、車位、服務(wù)器和Andriod終端顯示構(gòu)成。

2 車牌檢測定位算子

為了實現(xiàn)車輛的智能與準確管理，首先需要對車位是否存在機動車進行判斷，以進一步檢測車牌坐標位置，完成車牌定位。然而，傳統(tǒng)車位檢測或者車牌檢測，多數(shù)采用面對場景或者個例圖像的思路，針對性強，但是過度定制化，帶來開發(fā)成本的問題，缺乏適應(yīng)性。并且容易受到場景光線、背景的影響。為此，本文采用基于卷積神經(jīng)網(wǎng)絡(luò)的車牌檢測定位算子來解決上述難題，見圖2。首先，構(gòu)建大數(shù)據(jù)庫樣本，包含停車場內(nèi)不同車位、不同車型在不同時間下采集的圖像，共100000幀，作為卷積神經(jīng)網(wǎng)絡(luò)的訓練數(shù)據(jù)，實現(xiàn)對整個采集視野的機動車有無檢測和車牌位置定位檢測。本系統(tǒng)設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)層級結(jié)構(gòu)共4層，分別為數(shù)據(jù)輸入層、卷積計算層、激勵層、池化層。

圖2 車牌檢測定位算子的過程

數(shù)據(jù)輸入層。對本系統(tǒng)采集的車位實時圖像進行預(yù)處理：(1) 去均值，把輸入數(shù)據(jù)3個顏色維度（RGB）都中心化為0；(2) 歸一化[5]，幅度歸一化到標準范圍，范圍為1，減少各維度數(shù)據(jù)取值范圍的差異而帶來的干擾；(3) 白化、對數(shù)據(jù)各個特征軸上的幅度歸一化[6]。

卷積層。本系統(tǒng)進行操作：每個圖像神經(jīng)元看做一個濾波器，以車牌區(qū)域大小窗口滑動，濾波器對局部數(shù)據(jù)計算。在卷積層中每個圖像神經(jīng)元連接數(shù)據(jù)窗的權(quán)重，經(jīng)過本文經(jīng)驗值訓練，設(shè)定為0.65。神經(jīng)元就是圖像處理中的濾波器，所有神經(jīng)元加起來就好比就是整張圖像的特征提取器集合[7-8]。

激勵層。本系統(tǒng)把卷積層輸出結(jié)果做非線性映射。

代表每層卷積的權(quán)重，被系統(tǒng)設(shè)置為0.65，為神經(jīng)元參數(shù)，代表圖像輸入數(shù)據(jù)量，代表卷積非線性函數(shù)表達。

本系統(tǒng)的池化層夾在連續(xù)的卷積層中間，用于壓縮數(shù)據(jù)和參數(shù)的量，減小過擬合，池化操作就是圖像的尺寸調(diào)整，圖像壓縮時去掉的信息只是一些無關(guān)緊要的信息，而留下的信息則是具有尺度不變性的特征，是最能表達圖像的特征[9-10]。

本系統(tǒng)將攝像頭采集的視野圖像幀作為卷積神經(jīng)網(wǎng)絡(luò)的訓練與檢測輸入端，以10萬級多場景多元素的數(shù)據(jù)量作為開發(fā)學習檢測基礎(chǔ)，以車牌區(qū)域大小為滑動窗口大小，經(jīng)過數(shù)據(jù)輸入層、卷積層、激勵層和池化層，構(gòu)建起車牌檢測定位算子。對圖3的圖像實施檢測，得到車牌檢測定位結(jié)果如圖4所示。由圖發(fā)現(xiàn)，該方法準確檢測到車位被機動車占用，并定位到車牌區(qū)域，將其作為后續(xù)研究（車牌識別）數(shù)據(jù)基礎(chǔ)。

車牌檢測定位算子的部分關(guān)鍵代碼如下：

atsoft::itkRGBImageType::Pointer largeBlock = atsoft::itkRGBImageType::New();

{

atsoft::itkIndexType start;

start.Fill(0);

atsoft::itkRGBImageType::SizeType sz;

sz[0] = 256*3;

sz[1] = 256*3;

atsoft::itkRegionType region(start, sz);

largeBlock->SetRegions(region);

largeBlock->Allocate();

}

atsoft::itkIndexType largeIdx;

atsoft::itkIndexType blockIdx;

for (long iy = 0; iy < 256; ++iy)

{

largeIdx[1] = iy;

blockIdx[1] = iy;

for (long ix = 0; ix < 256; ++ix)

{

largeIdx[0] = ix;

blockIdx[0] = ix;

largeBlock->SetPixel(largeIdx, block1->GetPixel(blockIdx));

}

})

Int patchTopLeftInThisBlockX = pixelIndexOfCellCentroidInThisBlockX - patchSize/2;

int patchTopLeftInThisBlockY = pixelIndex Of Cell Centroid In This Block Y - patchSize/2;

圖3 待檢測原圖

圖4 車牌檢測定位算子的處理結(jié)果

3 實驗結(jié)果及分析

采用Intel i7 四核CPU，16GB的內(nèi)存，電腦系統(tǒng) Windows 10，64位，借助Visual Studio開發(fā)平臺對本文提出的基于Andriod和機器視覺的智能停車場管理系統(tǒng)的進行開發(fā)實現(xiàn)。

為了驗證本文智能停車場管理系統(tǒng)的優(yōu)異性能，本文設(shè)立了對照組，分別為文獻[2]和文獻[3]，分別記為A、B算法。輸入圖像如圖5所示，視野內(nèi)有三個車位待檢測，系統(tǒng)有圖像采集、車牌檢測、車位數(shù)統(tǒng)計功能。本文技術(shù)、A組技術(shù)、B組技術(shù)，在本系統(tǒng)實現(xiàn)仿真，處理圖5中原圖，分別得到結(jié)果如圖6-圖8所示。從圖中可知，依據(jù)視覺，本文采用局域網(wǎng)與Andriod終端，實現(xiàn)系統(tǒng)功能，車位實時狀態(tài)檢測和車牌檢測定位。本文基于大數(shù)據(jù)樣本訓練與卷積神經(jīng)網(wǎng)絡(luò)，車牌檢測準確、檢測出2個車牌，且定位精準，如圖6所示。而A組技術(shù)依賴圖像采集背景和定制化特征開發(fā)，在不同場景采集車位車牌檢測存在不穩(wěn)定，如圖7所示，車牌漏檢測，只檢測出1個車牌。而B組技術(shù)依賴商用機器視覺Halcon開發(fā)，現(xiàn)成函數(shù)庫缺乏靈活性，不能所有場景的檢測，車位車牌檢測同樣存在不穩(wěn)定，如圖8所示，檢測出2個車牌，但第二個車牌定位錯誤。

圖5 智能系統(tǒng)與待檢測原圖

圖6 本文算法的檢測結(jié)果

圖7 文獻[2]的檢測結(jié)果

圖8 文獻[3]的檢測結(jié)果

4　結(jié)束語

為了提高停車場管理系統(tǒng)的智能化與自動化，減少成本，提高停車效率，本文設(shè)計并開發(fā)實現(xiàn)了基于Andriod 與機器視覺的智能停車場管理系統(tǒng)。采用局域網(wǎng)、網(wǎng)線、網(wǎng)絡(luò)攝像頭、Andriod顯示終端和中央服務(wù)器，組成低成本、高穩(wěn)定的智能停車場系統(tǒng)硬件架構(gòu)?；?0萬幀級多類有效樣本數(shù)據(jù)，經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)訓練，構(gòu)建車牌檢測與定位算子，達到車位狀態(tài)檢測與車牌定位待識別的目的。用Visual Studio平臺來實現(xiàn)本文系統(tǒng)，結(jié)果表明：相比于當前的管理系統(tǒng)，在保證系統(tǒng)功能前提下，本文系統(tǒng)在車位檢測車牌檢測定位方面具有更高的精度和穩(wěn)定性。

后續(xù)將對所提的車牌識別算法進行改進，以進一步提高本文系統(tǒng)的智能程度與準確率。

[1] 高通.基于機器視覺與RFID智能引導停車場[J].計算機系統(tǒng)應(yīng)用，2017, 30(5): 123-127.

[2] 賀振寧.基于機器視覺的停車場車輛檢測與識別[J].數(shù)字技術(shù)與應(yīng)用,2017,27(6):121-126.

[3] 丁元舟.停車場遠程視頻監(jiān)控系統(tǒng)的設(shè)計與開發(fā)[J].電子測量技術(shù),2015,31(2): 158-163.

[4] 何懷文.一種基于Andriod藍牙HID遠程控制系統(tǒng)的設(shè)計[J].工業(yè)控制計算機, 2018, 31(2): 158-163.

[5] Yan G J, Yang W M, Rawat D B, et al.Smart Parking: ASecure and Intelligent Parking System[J].IEEE IntelligentTransportation Systems Magazine, 2011, 3(1): 18–30.

[6] 吳鏡鋒.結(jié)合SVD和CNN的接觸網(wǎng)支柱號牌圖像異常檢測[J].計算機工程與應(yīng)用,2018, 27(3): 1042-1045.

[7] 劉美菊.深度卷積網(wǎng)絡(luò)壓縮算法在焊縫識別中的應(yīng)用[J].激光與光電子學進展, 2018, 30(1): 318-320.

[8] 馮晨霄.融合特征和決策的卷積-反卷積圖像分割模型[J].激光與光電子學進展，2018, 29(1): 42-46.

[9] Bashkirova D.Convolutional Neural Networks for Image Steganalysis [J].BioNanoScience, 2016, 6(31): 243-249.

[10] Zhong J Y, Yang B, Huang G Y.Remote Sensing Image Fusion with Convolutional Neural Network [J].Sensing and Imaging, 2016, 17(1): 1012-1022.

Intelligent parking management system based on machine vision and Andriod

*ZHOU Xue1, ZHANG Shun-yao1, ZHAO Jun-sheng2

(1.Xiamen Institute of Software Technology, Xiamen, Fujian 361024, China;2.School of information engineering, Inner Mongolia University of Technology, Inner Mongolia, Hohhot 010051, Chian)

In order to achieve intelligent and accurate parking management, a parking intelligent management system based on machine vision and Andriodwas proposed in this paper.Firstly, the system hardware platform was integrated by network cameras, data processing server hardware and an Android terminal display.And the car park intelligent management system structure was constructed by embedding machine vision algorithm and LAN communication.Then, a license plate locating and detecting operator was designed by using convolution neural network four-layer training based on 100,000 frames of large data samples of each vehicle type in each scene to realize the vehicle identification and license plate location.The Visual Studio platform development systemwas used to test the proposed intelligent management system.The results show that the proposed intelligent parking management system is superior to the traditional parking management system in license plate detection and system intelligence.

machine vision; Andriod; big data sample; convolution neural network; license plate detection

TP391

A

10.3969/j.issn.1674-8085.2018.06.007

2018-10-03；

2018-10-24

福建省中青年教師科研資助項目(JAT171206

*周 雪(1979-)，女，吉林梅河人，講師，主要從事圖像處理、模式識別、計算機應(yīng)用、數(shù)據(jù)庫設(shè)計與開發(fā)研究(E-mail:zxue796@163.com);

張舜堯(1986-)，男，吉林人，高級工程師，碩士，主要從事圖像處理、模式識別、軟件工程研究(E-mail:zhangyao5798jl6@163.com);

趙駿生(1964-)，男，內(nèi)蒙古呼和浩特人，副教授，碩士，主要從事圖像處理、人工智能、云計算研究(E-mail:zhangjs1964mg@sina.com).

1674-8085(2018)06-0039-05