楊佳義
(重慶移通學(xué)院 智能工程學(xué)院,重慶 401520)
社會(huì)步入了人工智能的高速發(fā)展時(shí)代,其中機(jī)器視覺(jué)的發(fā)展是人工智能面向用戶交流體驗(yàn)的關(guān)鍵,機(jī)器對(duì)目標(biāo)檢測(cè)與識(shí)別是人工智能的“慧眼”。智能汽車需要有效地識(shí)別路側(cè)的交通標(biāo)志識(shí)別牌輔助汽車駕駛運(yùn)行,但是在自然采集的原始圖像環(huán)境復(fù)雜容易影響交通標(biāo)志的檢測(cè)識(shí)別,需要對(duì)原始圖像增強(qiáng)預(yù)處理提高目標(biāo)識(shí)別率。本文設(shè)計(jì)了基于BP神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別系統(tǒng),并對(duì)不同的交通標(biāo)志進(jìn)行顏色模型分類,將預(yù)處理后的交通標(biāo)志提取出來(lái)與訓(xùn)練模板進(jìn)行匹配對(duì)比識(shí)別交通標(biāo)志,為智能汽車提供慧眼。
BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種[1],BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為三層,分別是輸入層,隱藏層和輸出層。隱藏層收到多個(gè)輸入信號(hào),學(xué)習(xí)輸入層給的特征標(biāo)志,相當(dāng)于記住了一個(gè)物體的多種特點(diǎn),再由輸出層輸出。BP神經(jīng)網(wǎng)絡(luò)算法具有反饋式的誤差分析,能夠?qū)⒂?jì)算出的值反饋給輸入層進(jìn)行再次優(yōu)化和計(jì)算,計(jì)算過(guò)程由正向計(jì)算過(guò)程和反向計(jì)算過(guò)程組成,目前BP網(wǎng)絡(luò)主要用于函數(shù)誤差分析,記憶識(shí)別,分類等方面[2]。設(shè)計(jì)應(yīng)用BP神經(jīng)網(wǎng)絡(luò)的記憶識(shí)別功能,將模板進(jìn)行首次檢測(cè),當(dāng)下一次遇到和模板相似的時(shí)候,將調(diào)動(dòng)記憶和模板匹配。
首先導(dǎo)入模板讀取模板的特征數(shù)據(jù),然后設(shè)定訓(xùn)練的次數(shù),將輸出的數(shù)據(jù)和輸入的模板讀取的數(shù)據(jù)進(jìn)行匹配計(jì)算,求得這一輸出數(shù)據(jù)和模板輸出值之間的平方誤差值。根據(jù)實(shí)際情況調(diào)整訓(xùn)練,對(duì)訓(xùn)練集中的所有不同的輸入樣本向量重復(fù)進(jìn)行多次,直到誤差值降低到與模板數(shù)據(jù)誤差在接受的范圍以內(nèi)。BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的流程圖如圖1所示,當(dāng)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)束后把交通標(biāo)志模板數(shù)據(jù)保存到程序數(shù)據(jù)庫(kù)中,當(dāng)進(jìn)行識(shí)別程序的時(shí)候調(diào)用交通標(biāo)志模板數(shù)據(jù)庫(kù)與目標(biāo)進(jìn)行對(duì)比、判斷。
圖1 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程
采集自然光照下圖像,交通標(biāo)志在采集時(shí)受環(huán)境的影響很大,而且交通標(biāo)志有各種各樣的形狀和顏色,為了區(qū)別復(fù)雜的背景區(qū)域和目標(biāo)區(qū)域,提高目標(biāo)識(shí)別率需要對(duì)原始圖像進(jìn)行預(yù)處理,圖像預(yù)處理方法如圖2所示。
圖2 圖像預(yù)處理流程
首先,把采集的數(shù)字圖像的RGB數(shù)據(jù)模型轉(zhuǎn)化為HSV數(shù)據(jù)模型。雖然我國(guó)交通標(biāo)志種類繁多,但是交通標(biāo)志的顏色固定,主要為紅色、黃色、白色和黑色,相比于RGB三原色模型,HSV模型的顏色范圍更好確定,方便目標(biāo)定位。然后,根據(jù)交通標(biāo)志典型顏色設(shè)置圖像二值化閾值轉(zhuǎn)化為二值化圖像,使得交通標(biāo)志從復(fù)雜背景中區(qū)分出來(lái)。最后,為了提高目標(biāo)識(shí)別精度,對(duì)圖像增強(qiáng)處理,創(chuàng)建腐蝕膨脹模板生成3*3維的矩陣,運(yùn)用開(kāi)運(yùn)算[3]連接鄰近像素平滑邊界,減少圖像中的噪聲,防止腐蝕掉特征目標(biāo)。
對(duì)于交通標(biāo)志的定位和提取采用的是基于形態(tài)學(xué)的膨脹操作的提取連通分量的方法。在預(yù)處理后的二值化圖像上,從左邊緣到右邊緣依次從上到下讀取每像素的灰度值,若第一次掃描到的這一行讀取到的灰度值只有一個(gè)數(shù)值和交通標(biāo)志的灰度值相同,則認(rèn)為這是交通標(biāo)志的左邊界,這時(shí)記下該像素點(diǎn)Xmin,如果所讀取的這一行上的灰度值有兩個(gè)或者多個(gè)灰度值有著相同的值的時(shí)候,則認(rèn)為該行位于交通標(biāo)志范圍之間,此時(shí)記下像素縱坐標(biāo)Ymin和Ymax,到掃描結(jié)束進(jìn)行判斷。若掃描到的讀取的灰度值和目標(biāo)交通標(biāo)志的灰度值相同像素點(diǎn)從多點(diǎn)變?yōu)橐稽c(diǎn)時(shí),則認(rèn)為是交通標(biāo)志的右邊界,把每一次讀取到的目標(biāo)灰度值坐標(biāo)信息做記錄,根據(jù)像素坐標(biāo)點(diǎn),對(duì)像素連通區(qū)域在二值化圖像中進(jìn)行裁剪獲得目標(biāo)圖像。
為了方便人機(jī)交互,觀察檢驗(yàn)?zāi)繕?biāo)識(shí)別效果,設(shè)計(jì)了人機(jī)交互操作界面[4]。設(shè)置5個(gè)操作按鈕控件,分別用于讀取原始圖像、圖像預(yù)處理、分割標(biāo)志、識(shí)別標(biāo)志和退出程序。不僅設(shè)計(jì)顯示采集原圖和用靜態(tài)文本框顯示識(shí)別結(jié)果,為了方便調(diào)試測(cè)試,設(shè)計(jì)顯示了預(yù)處理的增強(qiáng)圖像和分割顯示的標(biāo)志。
采用模板匹配實(shí)現(xiàn)目標(biāo)識(shí)別,從已加載的交通標(biāo)志的標(biāo)準(zhǔn)模型庫(kù)中提取交通標(biāo)志的多個(gè)特征分量,并與需要識(shí)別的圖像的特征向量進(jìn)行一一比對(duì),同時(shí)計(jì)算圖像與模板之間的特征向量的距離,用最小的距離和相識(shí)度最高的概率來(lái)判定所屬類別。模板匹配建立模板庫(kù)和匹配過(guò)程中都需要花費(fèi)大量的時(shí)間,但是隨著技術(shù)的進(jìn)步,現(xiàn)在開(kāi)發(fā)出了高速模板匹配法[5],提高匹配效率。在系統(tǒng)開(kāi)始的時(shí)候首先載入交通標(biāo)志的模板和判斷交通標(biāo)志的類型,因?yàn)槲覈?guó)交通標(biāo)志種類繁多,本系統(tǒng)分了警示標(biāo)志、禁令標(biāo)志和指示標(biāo)志三種交通標(biāo)志類別,每一種標(biāo)志的形狀、顏色特征不一樣,在檢測(cè)識(shí)別和仿真的時(shí)候運(yùn)用不一樣的RGB數(shù)值檢測(cè)提取,在系統(tǒng)運(yùn)行前提前判斷交通標(biāo)志是屬于什么類型。載入車載攝像機(jī)拍攝到的道路環(huán)境交通標(biāo)志圖片,然后對(duì)圖像進(jìn)行預(yù)處理。由于可能存在誤拍的情況,在進(jìn)行預(yù)處理之后先判斷是否存在交通標(biāo)志,如果沒(méi)有交通標(biāo)志彈窗則提示重新輸入圖像,然后分割標(biāo)志并與BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的模板匹配,最后輸出識(shí)別結(jié)果,基于模板匹配的特征標(biāo)志識(shí)別流程如圖3所示。
圖3 基于模板匹配的特征標(biāo)志識(shí)別
先應(yīng)用BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練模板,載入模板進(jìn)行訓(xùn)練,本次共訓(xùn)練了三種類型的交通標(biāo)志共計(jì)9個(gè)模板,訓(xùn)練錯(cuò)誤個(gè)數(shù)為0,訓(xùn)練模板結(jié)果如圖4所示。通過(guò)仿真驗(yàn)證是否能精準(zhǔn)識(shí)別交通標(biāo)志,分別為三種類型標(biāo)志創(chuàng)建了三種模板,進(jìn)行對(duì)照實(shí)驗(yàn)。本系統(tǒng)適用于各種交通標(biāo)志,如三角形的交通標(biāo)志、圓形的交通標(biāo)志或者方形的交通標(biāo)志,從建立的30種模板中選取質(zhì)量較好的10張圖像作為實(shí)驗(yàn)基礎(chǔ)模板,再進(jìn)行交通標(biāo)志識(shí)別。圖5、圖6、圖7分別為禁令標(biāo)志、警示標(biāo)志和指示標(biāo)志識(shí)別結(jié)果圖,根據(jù)識(shí)別結(jié)果所示,所有的交通標(biāo)志都能夠正常識(shí)別,同時(shí)語(yǔ)音播報(bào)和文字彈窗顯示交通標(biāo)志。
圖4 訓(xùn)練模板
圖5 禁令標(biāo)志識(shí)別
圖6 警示標(biāo)志識(shí)別
圖7 指示標(biāo)志識(shí)別
本文依據(jù)BP神經(jīng)網(wǎng)絡(luò)建立交通標(biāo)志模板庫(kù),基于機(jī)器視覺(jué)的數(shù)字圖像處理增強(qiáng)、定位匹配,有效識(shí)別路側(cè)交通標(biāo)志,并分別通過(guò)人機(jī)對(duì)話界面顯示和語(yǔ)音播報(bào)識(shí)別結(jié)果,實(shí)驗(yàn)測(cè)試在原始圖像基本清晰且有交通標(biāo)志的情況下,交通標(biāo)志識(shí)別率達(dá)到100%。在實(shí)際應(yīng)用中,車載攝像頭采集圖像受到環(huán)境因素和運(yùn)動(dòng)模糊的影響使交通標(biāo)志難以識(shí)別,需要結(jié)合圖像增強(qiáng)技術(shù)和多幀視頻圖像聯(lián)合識(shí)別提高識(shí)別系統(tǒng)的適應(yīng)性。