周 怡,祝啟瑞,謝海成,羊箭鋒

(蘇州大學(xué)電子信息學(xué)院,江蘇 蘇州 215006)

1 引 言

隨著交通科技的發(fā)展,水路航運(yùn)在交通運(yùn)輸方式中起到了越來(lái)越重要的作用,不斷推動(dòng)著經(jīng)濟(jì)全球化的發(fā)展。船舶是水路運(yùn)輸過(guò)程的重要載體,因此在船舶之間、船舶與岸臺(tái)如何進(jìn)行高效、準(zhǔn)確的身份識(shí)別,成為保障航道安全的重點(diǎn)問(wèn)題[1]。

船舶銘牌是船舶最重要的身份識(shí)別信息之一,銘牌上的船名標(biāo)識(shí)是由國(guó)家統(tǒng)一規(guī)定的船舶身份信息。目前已經(jīng)有一些文獻(xiàn)通過(guò)計(jì)算機(jī)視覺(jué)等相關(guān)技術(shù)對(duì)船舶銘牌進(jìn)行識(shí)別與監(jiān)管。金雪丹[2]將船舶監(jiān)管系統(tǒng)與計(jì)算機(jī)視覺(jué)相結(jié)合,用來(lái)實(shí)現(xiàn)岸臺(tái)和目標(biāo)船舶之間的識(shí)別與通信,并提出運(yùn)用圖像處理相關(guān)技術(shù)和神經(jīng)網(wǎng)絡(luò)對(duì)船舶進(jìn)行分類和識(shí)別。古輝[3]等基于雙線性空間變換技術(shù)與弧度插值等技術(shù)提出了銘牌字符矯正方法。Zhu[4]等提出船舶非標(biāo)銘牌的定制化字符識(shí)別。

加強(qiáng)對(duì)船舶身份的管理,亟需在各個(gè)航道設(shè)立實(shí)時(shí)智能視頻監(jiān)控系統(tǒng),通過(guò)圖像處理以及計(jì)算機(jī)視覺(jué)等相關(guān)技術(shù)對(duì)船舶銘牌進(jìn)行提取與識(shí)別。設(shè)立的視頻監(jiān)控系統(tǒng)需要實(shí)時(shí)、準(zhǔn)確地對(duì)銘牌圖像序列進(jìn)行目標(biāo)檢測(cè)、分類和定位。與目前流行的車牌檢測(cè)算法不同的是,船舶銘牌由于較多內(nèi)外因素的影響,其檢測(cè)更為復(fù)雜。例如銘牌字體印刷方式多變、印刷位置差異巨大、字符傾斜、外部光照、懸掛物遮擋與航道環(huán)境復(fù)雜、銘牌銹蝕損傷等。因此,必須結(jié)合相應(yīng)的目標(biāo)檢測(cè)算法與有限庫(kù)匹配等后續(xù)處理,才能達(dá)到準(zhǔn)確、高效識(shí)別非標(biāo)銘牌的要求。

傳統(tǒng)的目標(biāo)檢測(cè)方法有三種:光流法[5]、背景建模法[6]和幀間差分法[7]。光流法是基于灰度圖中像素的運(yùn)動(dòng)矢量來(lái)提取目標(biāo)并跟蹤的,光流法的檢測(cè)精度較高,但抗噪性能差,且所需硬件成本較高。幀間差分法對(duì)相鄰兩幀圖像之間的差值進(jìn)行計(jì)算,對(duì)滿足設(shè)定閾值的目標(biāo)進(jìn)行提取,可以實(shí)時(shí)準(zhǔn)確地對(duì)區(qū)域內(nèi)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè),但幀間差分法對(duì)速度較慢的運(yùn)動(dòng)目標(biāo)檢測(cè)較差,且抗噪性能不高,很難長(zhǎng)時(shí)間對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)。背景建模法通過(guò)計(jì)算每一幀與背景模板之間的差值提取滿足閾值的運(yùn)動(dòng)區(qū)域,其優(yōu)點(diǎn)是可以適應(yīng)復(fù)雜多變的環(huán)境狀況,能夠完整地檢測(cè)出運(yùn)動(dòng)目標(biāo)。但由于船舶航行時(shí),會(huì)產(chǎn)生波浪、陰影、光強(qiáng)等多方因素影響,背景建模法會(huì)出現(xiàn)誤檢的現(xiàn)象。

為了更好地避免外界因素對(duì)檢測(cè)的影響,本文采用基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)是一種前饋神經(jīng)網(wǎng)絡(luò),其人工神經(jīng)元能夠相應(yīng)覆蓋范圍內(nèi)的周圍單元,使得圖像可以作為網(wǎng)絡(luò)的直接輸入,無(wú)需傳統(tǒng)目標(biāo)檢測(cè)算法中復(fù)雜的特征提取過(guò)程以及數(shù)據(jù)重建過(guò)程[8]。相對(duì)于傳統(tǒng)的檢測(cè)方法,基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)可以更好的解決外部因素的影響,更適合船舶非標(biāo)銘牌的提取與識(shí)別。

卷積神經(jīng)網(wǎng)絡(luò)主要的組成部分有卷積層、池化層以及全連接層。卷積層和上一層的局部接受域連接,進(jìn)行卷積運(yùn)算提取區(qū)域的特征。池化層將上一層傳遞的數(shù)據(jù)進(jìn)行采樣或聚合,通過(guò)采樣最大值或平均值等將該區(qū)域數(shù)據(jù)的復(fù)雜度大大降低,同時(shí)保留了數(shù)據(jù)的關(guān)鍵信息。全連接層起到分類器的作用,能夠?qū)W(xué)習(xí)到的“分布式特征表示”映射到樣本標(biāo)記空間。

基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法大致可以分為兩大類,一類是基于區(qū)域提名的目標(biāo)檢測(cè),例如R-CNN、Fast R-CNN[9]等,另一類是端到端的檢測(cè),例如YOLO[10](You Only Look Once)、SSD[11](single shot multibox detector)等。由于在船舶非標(biāo)銘牌識(shí)別系統(tǒng)中,需要同時(shí)滿足實(shí)時(shí)性和準(zhǔn)確性并存的要求,本文提出了基于卷積神經(jīng)網(wǎng)絡(luò)的YOLO檢測(cè)方法,能夠快速精確的識(shí)別出船舶非標(biāo)銘牌。

2 YOLO目標(biāo)檢測(cè)算法實(shí)現(xiàn)

2.1 YOLO模型

本文使用的YOLOv3[12]基本框架結(jié)構(gòu)如圖1所示,采用了DarkNet-53的網(wǎng)絡(luò)結(jié)構(gòu),主要由卷積層、批標(biāo)準(zhǔn)化層連接而成,其采用LeakyRelu激活函數(shù)。同時(shí)借鑒了殘差神經(jīng)網(wǎng)絡(luò)(Residual Network)的做法,在一些層與層之間設(shè)置了快捷鏈路。

圖1 YOLOv3框架Fig.1 YOLOv3 framework

DarkNet-53網(wǎng)絡(luò)的輸入為256×256×3,其中包含多個(gè)不同的殘差單元,每一個(gè)殘差單元由兩個(gè)卷積層和一個(gè)快捷鏈路組成。整個(gè)YOLOv3結(jié)構(gòu)中通過(guò)改變卷積核的相應(yīng)步長(zhǎng)來(lái)進(jìn)行張量的尺寸變換,由此替代掉了原先的池化層和全連接層。YOLOv3借鑒Faster R-CNN中的錨箱(anchor)機(jī)制,通過(guò)維度聚類的方法聚類出9種尺寸的先驗(yàn)框,同時(shí)直接預(yù)測(cè)出先驗(yàn)框的相對(duì)位置。對(duì)邊界框(bounding box)進(jìn)行預(yù)測(cè)時(shí)采用了邏輯回歸方式,用于對(duì)錨箱包圍的部分進(jìn)行目標(biāo)性評(píng)分,預(yù)測(cè)該位置為目標(biāo)的可能性有多大,以此去掉不必要的錨箱,減少計(jì)算量。YOLOv3將輸入圖像映射到3個(gè)不同尺度的輸出張量,用以代表圖像中各個(gè)位置存在某種目標(biāo)的概率。

2.2 損失函數(shù)

在YOLOv3的目標(biāo)檢測(cè)任務(wù)中,需要確定幾個(gè)關(guān)鍵信息:坐標(biāo)(x,y),長(zhǎng)寬(w,h),分類(class),置信度(confidence),因此損失函數(shù)由各自的特點(diǎn)分別確定并相加得到,其表達(dá)式為:

(truthconf-predictconf)2

(1)

式中,主要分為三部分,坐標(biāo)損失函數(shù)、置信度損失函數(shù)以及類損失函數(shù)。λobj代表柵格是否存在物體,當(dāng)柵格內(nèi)存在物體時(shí)λobj為1,反之為0。由于YOLOv3的檢測(cè)在三個(gè)尺度上進(jìn)行,有13×13、26×26、52×52,每個(gè)b-box負(fù)責(zé)對(duì)三個(gè)anchor box進(jìn)行回歸操作,因此最終輸出的尺寸為1×(3×(13×13+26×26+52×52))×(5+k)=1×10647×(5+k),其中k代表類的數(shù)量。

坐標(biāo)損失是希望預(yù)測(cè)的邊界框和先驗(yàn)框之間的差距能夠盡可能與真實(shí)框和先驗(yàn)框的差距接近,使得預(yù)測(cè)的邊界框能夠最大的接近真實(shí)框,置信度損失與類損失則是希望預(yù)測(cè)的目標(biāo)與類別更趨于準(zhǔn)確。通過(guò)網(wǎng)絡(luò)訓(xùn)練的過(guò)程,損失函數(shù)會(huì)計(jì)算預(yù)測(cè)值和真實(shí)值間的誤差,進(jìn)一步調(diào)整參數(shù),使得預(yù)測(cè)模型性能更好。

2.3 構(gòu)建數(shù)據(jù)集

YOLO目標(biāo)檢測(cè)是一種端對(duì)端的算法。采用架設(shè)在鶴溪大橋下京杭運(yùn)河航段的兩臺(tái)網(wǎng)絡(luò)高清攝像機(jī)大量采集樣本圖片。兩臺(tái)攝像機(jī)架設(shè)方式如圖2所示。

其中1號(hào)為大焦距攝像機(jī),用來(lái)采集船舶非標(biāo)銘牌的細(xì)節(jié)更優(yōu)、距離更近的圖片用以訓(xùn)練字符；2號(hào)為小焦距攝像機(jī),用來(lái)拍攝范圍更大的航道信息,同時(shí)對(duì)船舶物體進(jìn)行訓(xùn)練。分別提取分辨率為1280×720的10000張圖片制作訓(xùn)練集和驗(yàn)證集、提取1000張圖片制作測(cè)試集,通過(guò)大樣本圖片的采集有效解決了訓(xùn)練集不足的問(wèn)題。樣本包括了不同光照環(huán)境下、不同時(shí)間點(diǎn)的圖片,使得最后訓(xùn)練出的模型具有較好的性能。YOLO目標(biāo)檢測(cè)的樣本需要手動(dòng)進(jìn)行標(biāo)注,為了避免光照、背景對(duì)船舶銘牌的影響,對(duì)船舶銘牌的樣本圖片采取二值化處理、中值濾波后進(jìn)行標(biāo)注訓(xùn)練的方式,處理后的銘牌如圖3所示,每批訓(xùn)練圖片的數(shù)量為10,迭代次數(shù)為1000。

圖2 攝像機(jī)架設(shè)示意圖Fig.2 Schematic diagram of camera erection

圖3 樣本處理示例Fig.3 Sample processing example

3 基于YOLOv3算法的非標(biāo)銘牌識(shí)別實(shí)驗(yàn)及結(jié)論

本文選取在架設(shè)在鶴溪大橋的兩組攝像機(jī)進(jìn)行船舶視頻監(jiān)控,用以進(jìn)行算法的驗(yàn)證分析。仿真實(shí)驗(yàn)的在PC端完成,主要配置為:Inter(R)i5-4590 CPU處理器,主頻為3.30 GHz,GPU(NVIDIA GeForce GTX 1070)。

實(shí)驗(yàn)中,使用小焦距攝像機(jī)的圖像進(jìn)行實(shí)際測(cè)試。將包含有船舶目標(biāo)的航道圖片輸入網(wǎng)絡(luò)后,首先對(duì)船舶進(jìn)行識(shí)別與定位,將船舶所處的預(yù)測(cè)框裁剪出圖片。由于船舶圖像為長(zhǎng)方形,網(wǎng)絡(luò)的輸入為正方形。且相對(duì)于高度來(lái)說(shuō),船舶的長(zhǎng)度太大,直接對(duì)圖片進(jìn)行尺寸的變換會(huì)壓縮圖片上的銘牌信息,因此將船舶圖片按寬度等比分為三段分別輸入網(wǎng)絡(luò)中,識(shí)別定位出銘牌,并裁剪出銘牌的預(yù)測(cè)框包含圖像。最后將銘牌再次輸入,能夠識(shí)別出船舶身份信息。船舶非標(biāo)銘牌的檢測(cè)流程如圖4所示。

圖4 非標(biāo)銘牌檢測(cè)流程示例Fig.4 Example of non-standard nameplate inspection process

通過(guò)測(cè)試結(jié)果,得到在測(cè)試集上YOLOv3目標(biāo)檢測(cè)的查準(zhǔn)率、查全率、每秒識(shí)別的幀數(shù),相對(duì)于CNN和Faster R-CNN實(shí)驗(yàn)結(jié)果如表1所示。

表1 測(cè)試集在YOLOv3上的實(shí)驗(yàn)結(jié)果Tab.1 Experimental results of the test set on YOLOv3

4 基于YOLOv3的非標(biāo)銘牌識(shí)別改進(jìn)算法實(shí)際應(yīng)用

觀察測(cè)試集在YOLOv3上的表現(xiàn),同時(shí)與其他兩種方法比對(duì)發(fā)現(xiàn),盡管YOLOv3的每秒識(shí)別幀數(shù)fps遠(yuǎn)大于其余兩種方法,基本滿足實(shí)時(shí)性的要求,但是直接將YOLO用于非標(biāo)銘牌識(shí)別會(huì)存在一些漏檢、錯(cuò)檢的現(xiàn)象,這是因?yàn)榇茷榉菢?biāo)銘牌,本身會(huì)存在銘牌銹蝕、障礙物遮擋等導(dǎo)致字符模糊不清的因素,再加上光照不均等外界因素,查準(zhǔn)率和查全率較低。基于以上問(wèn)題,本文在檢測(cè)之后采取設(shè)置關(guān)聯(lián)因子的方法,在有限船名庫(kù)中進(jìn)行匹配。

交通運(yùn)輸部發(fā)布的《船舶名稱管理辦法》對(duì)船舶銘牌的字符組成及數(shù)量做出了規(guī)定,其中第四條規(guī)定“船舶中文名稱由2個(gè)或是兩個(gè)以上的規(guī)范漢字后加阿拉伯?dāng)?shù)字構(gòu)成”。針對(duì)銘牌為中文加數(shù)字這一特點(diǎn),且船名中文部分組成為有限庫(kù),隨機(jī)選取鶴溪大橋航道上不同時(shí)段的10000艘貨船進(jìn)行中文船名庫(kù)的制作,制作出的中文船名庫(kù)中出現(xiàn)次數(shù)前15高的船名如圖5所示。

圖5 中文船名庫(kù)出現(xiàn)次數(shù)前15高的船名Fig.5 The top 15 ship names in the Chinese ship name database

依據(jù)管理規(guī)定中對(duì)船舶銘牌的中文部分制定的要求,再加上統(tǒng)計(jì)得到的中文船名庫(kù),本文創(chuàng)新型的以δ因子作為匹配有限庫(kù)的參數(shù),用來(lái)調(diào)節(jié)檢測(cè)非標(biāo)銘牌與船名庫(kù)的關(guān)聯(lián)程度。可以得到非標(biāo)銘牌識(shí)別系統(tǒng)的匹配公式為:

(2)

式中,R為檢測(cè)到的不完整非標(biāo)銘牌中的單個(gè)字符序列;ω為中文船名庫(kù)中的統(tǒng)計(jì)字符所占比重;N為檢測(cè)到的銘牌字?jǐn)?shù)。將檢測(cè)之后的船名在有限中文庫(kù)中尋找存在的相同字符,如果發(fā)現(xiàn)缺失字符,則依據(jù)船名出現(xiàn)次數(shù)占比,根據(jù)模糊匹配的規(guī)則自動(dòng)找出可能性最高的船名。

經(jīng)測(cè)試,通過(guò)有限中文庫(kù)模糊匹配后的非標(biāo)銘牌識(shí)別系統(tǒng),能夠保證較高的查準(zhǔn)率和查全率,以及較快的檢測(cè)速度,如表2所示。這滿足了非標(biāo)銘牌識(shí)別的準(zhǔn)確性和實(shí)時(shí)性的要求。

表2 設(shè)置有限中文庫(kù)匹配后的實(shí)驗(yàn)結(jié)果Tab.2 Experimental results after setting up limited Chinese library matching

設(shè)計(jì)非標(biāo)銘牌有限中文庫(kù)匹配機(jī)制,通過(guò)匹配最大關(guān)聯(lián)因子解決銘牌無(wú)法辨別的問(wèn)題,在很大程度上提高了系統(tǒng)的準(zhǔn)確率。同時(shí),每隔固定時(shí)間對(duì)中文船名庫(kù)進(jìn)行更新,減少新增名牌帶來(lái)的誤差,進(jìn)一步提高了系統(tǒng)的穩(wěn)定性。

5 結(jié) 論

本文設(shè)計(jì)了一種基于YOLOv3目標(biāo)檢測(cè)的非標(biāo)船牌識(shí)別系統(tǒng),通過(guò)視頻監(jiān)控的方式實(shí)時(shí)準(zhǔn)確對(duì)監(jiān)管航道船舶進(jìn)行船號(hào)的識(shí)別與獲取,并在YOLOv3目標(biāo)檢測(cè)的基礎(chǔ)上提出了有限船名庫(kù)模糊匹配的思想。

本文對(duì)主要的目標(biāo)檢測(cè)技術(shù)進(jìn)行了詳細(xì)的描述,針對(duì)船舶非標(biāo)銘牌識(shí)別的可行性與難點(diǎn)進(jìn)行了分析介紹,提出船名有限中文庫(kù)模糊匹配方法,完成了對(duì)船舶非標(biāo)銘牌較高查準(zhǔn)率、查全率的識(shí)別,滿足了視頻監(jiān)測(cè)準(zhǔn)確性、實(shí)時(shí)性的要求。在后續(xù)的工作中,將不斷補(bǔ)充并完善現(xiàn)有船名中文庫(kù),將系統(tǒng)更好地應(yīng)用于廣泛場(chǎng)景中。