梁定康，賈月恬，錢 瑞，陳義豪，肖 建

（南京郵電大學(xué) 江蘇 南京 210000）

1 技術(shù)概述

本發(fā)明實例提供了一種基于無人機的自主巡檢違章罰停系統(tǒng)的方法，用于解決現(xiàn)有智能交通領(lǐng)域查處車輛違章罰停需要人工操作，實時性不高、查處范圍小、工作量大，進(jìn)而導(dǎo)致工作效率低的問題。本發(fā)明旨在給出一種快速、準(zhǔn)確、自主式的基于無人機的巡檢違章罰停方法，且在低像素，不同天氣條件下均有較高的實用性，在禁停路段，利用機載攝像頭對無人機當(dāng)前視野圖像進(jìn)行采集，進(jìn)行快速的車牌定位和車牌字符識別，之后連接車牌數(shù)據(jù)庫進(jìn)行匹配，得到車主相關(guān)信息，同時聯(lián)網(wǎng)進(jìn)行違章信息的注冊，最后發(fā)送短信告知車主當(dāng)前車輛處于違停違章狀態(tài)，盡快處理，進(jìn)而實現(xiàn)遠(yuǎn)程提醒車主的作用。本發(fā)明主要用于智能交通領(lǐng)域，給無人機下達(dá)巡檢任務(wù)后，無人機能進(jìn)行自主巡檢，自動進(jìn)行違停取證。

本發(fā)明包含四大子系統(tǒng)，分別為：無人機飛行控制子系統(tǒng)、車牌定位識別子系統(tǒng)、車牌數(shù)據(jù)子系統(tǒng)、地面控制中心子系統(tǒng)。

2 無人機飛行控制子系統(tǒng)

無人機飛行控制子系統(tǒng)，包括無人機飛行控制板和飛行主控板、超聲波測距模塊、GPS定位模塊、氣壓計模塊、GSM模塊。超聲波模塊，用于檢測無人機與周圍環(huán)境障礙物是否處于安全距離內(nèi)、GPS定位模塊，能幫助無人機按照預(yù)先規(guī)定好的路徑進(jìn)行飛行；氣壓計模塊，用于無人機定高飛行，保證無人機處于一定的高度，確保行人及無人機安全；加速度計，能通過數(shù)據(jù)融合得到無人機沿各個方向的加速度，幫助飛行控制板控制無人機的沿X，Y，Z三軸的速度變化。GSM模塊，用于給違停車輛車主發(fā)送提醒短信。

3 車牌識別子系統(tǒng)

車牌識別子系統(tǒng)，包括機載攝像頭，圖像處理開發(fā)板，車牌識別包含車牌定位、字符分割、字符識別三個部分。其具體實施方式為：

（1）車牌定位。使用Sobel定位和顏色定位相結(jié)合，降低候選車牌矩形框數(shù)量。

（2）字符分割。將候選矩形框傳入SVM判斷模型即可得出車牌照片，下一步對車牌照片進(jìn)行字符分割，首先先將車牌照片進(jìn)行尺寸歸一化處理，統(tǒng)一轉(zhuǎn)化為長140，寬40的矩形框，進(jìn)行高斯模糊處理，模糊車牌雜點，然后進(jìn)行二值化操作，最后進(jìn)行輪廓繪制，即可得到包含各個字符的矩形框，再傳入OpenCV神經(jīng)網(wǎng)絡(luò)CvANN_MLP進(jìn)行字符識別。

（3）字符識別。本步驟使用的是OpenCV自帶的人工神經(jīng)網(wǎng)絡(luò)類——CvANN_MLP進(jìn)行字符識別，傳入的字符矩形框數(shù)據(jù)，其中30%作為測試數(shù)據(jù)，70%作為訓(xùn)練數(shù)據(jù)，進(jìn)行字符識別調(diào)用的就是此前由訓(xùn)練數(shù)據(jù)訓(xùn)練好的.XML文件，將字符矩形框圖像一個一個輸入ANN網(wǎng)絡(luò)中即可獲取到判斷出的字符。

4 車牌數(shù)據(jù)子系統(tǒng)

由車牌識別子系統(tǒng)得到車牌字符串，發(fā)送到模擬的交通部門數(shù)據(jù)庫，進(jìn)行數(shù)據(jù)匹配即可得到當(dāng)前車輛的車主情況，其中包含車主的聯(lián)系方式、所有車輛信息等，然后進(jìn)行違章注冊，將該車主的違章記錄記錄到交通部門，最后短信通知該車主。同時，車牌數(shù)據(jù)庫亦可作為車牌定位SVM訓(xùn)練和車牌字符識別ANN訓(xùn)練的訓(xùn)練文件，實現(xiàn)資源的重復(fù)利用。

5 地面控制中心子系統(tǒng)

地面控制中心系統(tǒng)主要用于發(fā)送巡檢任務(wù)和及時查看當(dāng)前無人機所處位置、巡檢結(jié)果、無人機飛行狀態(tài)及當(dāng)無人機處于故障模式下能切換為手動模式，確保無人機安全。進(jìn)一步的，無人機所處位置包括無人機當(dāng)前所處路段，無人機GPS模塊獲取到的GPS信息及搜星情況；巡檢結(jié)果包含已處理幾處違章停車行為、違停車輛的信息、以及違章車輛照片、是否提醒車主等；無人機飛行狀態(tài)包括無人機所屬編號、無人機剩余電量、無人機飛行高度等狀態(tài)信息。

6 系統(tǒng)工作流程

首先根據(jù)交通部門的路段劃分，無人機將道路的GPS數(shù)據(jù)轉(zhuǎn)化為其可識別接收的數(shù)據(jù)，并根據(jù)設(shè)定好的路徑及路徑數(shù)據(jù)，由GPS導(dǎo)航模塊獲取當(dāng)前無人機所處位置的實際GPS數(shù)據(jù)信息，和預(yù)先設(shè)定的GPS數(shù)據(jù)進(jìn)行對比，無人機的飛行控制板和飛行主控板根據(jù)誤差及時調(diào)整飛行方向和飛行姿態(tài)。

當(dāng)?shù)孛婵刂浦行南逻_(dá)巡檢命令時，無人機自主起飛，進(jìn)行懸停定高3秒，無人機在懸停期間進(jìn)行快速自檢，檢測超聲波模塊與無人機控制板的通信連接情況、GPS模塊是否能獲取到正確坐標(biāo)、GPS的搜索速度是否適合本次巡檢工作以及由機載GPS模塊得到的位置和需求巡檢起始點的位置坐標(biāo)差。

無人機執(zhí)行完一系列的自檢程序后，正式進(jìn)入巡檢工作，以固定的速度向當(dāng)前道路進(jìn)行飛行，讀取當(dāng)前加速度計的值，即可得到無人機沿X，Y，Z三個軸的加速度。當(dāng)進(jìn)行偏航或俯仰動作時，融合加速度計的實際值，無人機主控制板能快速響應(yīng)需求，并下達(dá)指令給無人機的飛行控制板，飛行控制板操控電機完成姿態(tài)轉(zhuǎn)換。

在無人機飛行過程中，若經(jīng)過違停路段區(qū)域，圖像處理板啟用攝像頭進(jìn)行圖像捕獲，檢測當(dāng)前無人機視野中是否存在車輛車牌，若存在，則機載的圖像處理板則進(jìn)行車牌定位和識別，在車牌定位和識別過程中，無人機始終處于靜止懸停狀態(tài)，直至將違停車輛的車牌信息提取完畢，并注冊好違章記錄，再進(jìn)行轉(zhuǎn)向檢測此路段其他方向是否存在違停車輛，若無，則向下一巡檢路段飛行，若有，重復(fù)上述車牌定位和識別過程。

上述車牌定位將顏色定位算法和Sobel定位算法相結(jié)合，能極大的加快車牌定位效率，考慮到相鄰幀時間較短，為解決因無人機物理抖動造成圖像模糊的問題，故車牌定位將會連續(xù)定位五幀圖像，取矩形框重合最大面積視為車牌定位結(jié)果，車牌定位的結(jié)果將由OpenCV自帶的SVM判斷模型得到最接近訓(xùn)練數(shù)據(jù)的車牌矩形框，此矩形框也將作為最終定位的唯一結(jié)果傳入車牌字符識別模型。

在車牌字符識別階段，采用OpenCV自帶的CvANN_MLP進(jìn)行字符識別，首先完成字符分割，即對每個字符的矩形框輪廓進(jìn)行繪制，隨后傳入訓(xùn)練好的模型中進(jìn)行識別，依次輸入單個字符矩形框即可得到最接近的字符匹配結(jié)果。在本處識別過程中，若識別到非常相似的字符，如“o”與“0”，為了確保準(zhǔn)確性，此時圖像處理開發(fā)板將向無人機發(fā)出請求，無人機的主控板響應(yīng)后向地面控制系統(tǒng)發(fā)送人工鑒別車牌的請求，此時可進(jìn)行人工鑒別車牌，以提高本系統(tǒng)的準(zhǔn)確性。

在進(jìn)行車牌定位和識別后，圖像處理板返回當(dāng)前車牌的字符串，無人機的主控板將會把字符串進(jìn)行聯(lián)網(wǎng)匹配交通數(shù)據(jù)庫，得到本車的車主信息，可知當(dāng)前車主姓名，手機號等信息，同時進(jìn)行違章信息的注冊，此時，由機載的GSM模塊將發(fā)送短信通知車主，以完成遠(yuǎn)程提醒，警示的作用。

在完成車牌識別，違章注冊，短信通知的任務(wù)后，無人機當(dāng)前的一套工作執(zhí)行完成，若未收到地面控制系統(tǒng)的返回或停止命令，則將繼續(xù)按照預(yù)先設(shè)定好的路徑飛行，結(jié)合實際GPS坐標(biāo)數(shù)據(jù)和預(yù)輸入好的GPS坐標(biāo)進(jìn)行自主飛行巡檢。

[1]劉同焰.車牌識別系統(tǒng)的相關(guān)算法研究與實現(xiàn)[D].廣東：華南理工大學(xué)，2012：1-81.

[2]耿慶田.基于圖像識別理論的智能交通系統(tǒng)關(guān)鍵技術(shù)研究[D].吉林：吉林大學(xué)，2016：1-169.

[3]靳鵬飛.一種改進(jìn)的sobel圖像邊緣檢測算法[J].2008(04)：625-628.