倪金卉

(吉林建筑科技學(xué)院,吉林 長(zhǎng)春 130114)

0 引言

數(shù)字化理解輸入到計(jì)算機(jī)中的圖像是計(jì)算機(jī)視覺(jué)中的一部分,利用該原理可以快速模擬人類的識(shí)別視角,完成目標(biāo)檢測(cè)。 深度學(xué)習(xí)技術(shù)是ML(Machine Learning)發(fā)展中的一部分,與實(shí)際的人工智能目標(biāo)有著密切的關(guān)系。 因此,深度學(xué)習(xí)可以根據(jù)樣本數(shù)據(jù)的實(shí)際狀態(tài),采集并識(shí)別獲取樣本中的關(guān)鍵信息,分析采集到的關(guān)鍵信息[1-3]。 深度學(xué)習(xí)是一種較復(fù)雜的算法,但因其在實(shí)際應(yīng)用中的識(shí)別效果較好,且分析效率較高,被廣泛地應(yīng)用在數(shù)字化圖像處理及檢測(cè)中。 本文基于深度學(xué)習(xí)設(shè)計(jì)了監(jiān)控圖像信息目標(biāo)檢測(cè)系統(tǒng)。

1 硬件設(shè)計(jì)

1.1 數(shù)字信號(hào)處理器

首先,DSP 數(shù)字信號(hào)處理器可以根據(jù)實(shí)際信號(hào)中蘊(yùn)含的邏輯單元設(shè)置控制器,并將各個(gè)采集模塊采集到的信息集中在一個(gè)模塊中;其次,在內(nèi)部設(shè)置符合數(shù)字信號(hào)處理需求的處理算法,實(shí)現(xiàn)簡(jiǎn)單且高效的數(shù)字信號(hào)處理[4-6]。 傳統(tǒng)的NMOS 處理器的功耗較大且成本較高,不滿足本文設(shè)計(jì)系統(tǒng)的實(shí)際運(yùn)算需求,因此本文使用三代DSP 處理器。 該處理器可以將常用的處理模塊集中在同一個(gè)芯片內(nèi)部,這樣不僅減少了實(shí)際處理功耗,還降低了處理成本。 在DSP 信號(hào)處理器調(diào)試過(guò)程中,可以加入CMOS,設(shè)置運(yùn)算芯片,提高信號(hào)處理器的處理速度,保證監(jiān)控圖像信息目標(biāo)檢測(cè)系統(tǒng)的檢測(cè)效率。

1.2 CCD 圖像采集器

監(jiān)控圖像信息目標(biāo)檢測(cè)系統(tǒng)中最重要的就是監(jiān)控圖像的采集,因此可以使用含有ASS6552 芯片的CCD圖像采集器采集監(jiān)控圖像信息。 在CCD 圖像采集器工作過(guò)程中,首先,要利用前端的數(shù)字信號(hào)處理器進(jìn)行圖像信息解碼;其次,使用CCD 器件進(jìn)行衛(wèi)星MOS 轉(zhuǎn)換。當(dāng)CCD 圖像采集器中的傳感芯片感光后,可以立即形成光照信號(hào)電流,完成監(jiān)控圖像信息的采集。 本系統(tǒng)使用Composite Video Broadcast Signal 進(jìn)行拍攝信息轉(zhuǎn)換,保證采集圖像的質(zhì)量。 在圖像采集器內(nèi)部,還設(shè)置了ASS6552 解碼芯片,起到模數(shù)轉(zhuǎn)換的作用,因?yàn)樵撔酒哂懈咚贁?shù)字處理作用。 在該芯片內(nèi)部,含有9 位CVB 信號(hào)處理通道,可以隨時(shí)處理前端采集到的數(shù)字化圖像信息。 為了增加實(shí)際圖像處理的效率,ASS6552解碼芯片額外設(shè)置了自動(dòng)控制模塊,不僅可以自動(dòng)進(jìn)行濾波解碼,還能將PLASECAM 等格式轉(zhuǎn)換成系統(tǒng)實(shí)際所需的形式,實(shí)時(shí)進(jìn)行數(shù)據(jù)信號(hào)的切換。 除此之外,ASS6552 解碼芯片還含有4 個(gè)A/D 轉(zhuǎn)換器,提高了分辨頻率,增加了監(jiān)控圖像信息采集的準(zhǔn)確度。

1.3 TMSDM642 儲(chǔ)存器

本設(shè)計(jì)的監(jiān)控圖像信息目標(biāo)檢測(cè)系統(tǒng)中的數(shù)據(jù)交互量較大,為了確保系統(tǒng)的實(shí)際圖像信息檢測(cè)效率,需保證其能夠及時(shí)處理調(diào)用產(chǎn)生的檢測(cè)信息,因此本設(shè)計(jì)的目標(biāo)檢測(cè)系統(tǒng)設(shè)計(jì)了TMSDM642 儲(chǔ)存器。 該儲(chǔ)存器內(nèi)部含有微小的中央處理元件并使用指定的EMIF接口與監(jiān)控圖像采集器進(jìn)行連接,微小的中央處理元件可以及時(shí)控制TMSDM642 儲(chǔ)存器內(nèi)部的狀態(tài),保證其可以根據(jù)需求進(jìn)行數(shù)據(jù)的處理和調(diào)用,因此該處理器內(nèi)部包含幾個(gè)差異性功能單元。

TMSDM642 儲(chǔ)存器內(nèi)部設(shè)置了寄存模塊,根據(jù)實(shí)際信息的狀態(tài)設(shè)置特異性Veloci 架構(gòu)。 TMSDM642 儲(chǔ)存器內(nèi)部可以儲(chǔ)存超過(guò)64 位的圖像處理數(shù)據(jù),并額外添加了相關(guān)的功能單元,使用儲(chǔ)存器內(nèi)部的數(shù)據(jù)轉(zhuǎn)換通道可以實(shí)現(xiàn)數(shù)據(jù)的多方向訪問(wèn)和轉(zhuǎn)換,提高了整個(gè)系統(tǒng)的運(yùn)行效率。 TMSDM642 儲(chǔ)存器內(nèi)部還設(shè)置了延遲時(shí)鐘,避免CPU 中相關(guān)數(shù)據(jù)載入產(chǎn)生的數(shù)據(jù)地址驅(qū)動(dòng)變換問(wèn)題。

2 軟件設(shè)計(jì)

2.1 采集監(jiān)控圖像目標(biāo)檢測(cè)信息

監(jiān)控圖像目標(biāo)信息檢測(cè)最關(guān)鍵是要采集監(jiān)控圖像信息,因此本文設(shè)計(jì)的模塊通過(guò)數(shù)據(jù)標(biāo)注及篩選實(shí)現(xiàn)監(jiān)控圖像目標(biāo)信息的采集,以數(shù)據(jù)驅(qū)動(dòng)作為基本驅(qū)動(dòng)原則,根據(jù)實(shí)際監(jiān)控需求可以設(shè)置正確的監(jiān)控圖像目標(biāo)檢測(cè)信息采集算法。 首先,配置圖像目標(biāo)檢測(cè)信息采集算法的實(shí)際圖像訓(xùn)練集,利用labelling 作為綜合處理工具;其次,利用Python 對(duì)相關(guān)的采集QT 進(jìn)行初步開(kāi)發(fā),將圖像信息轉(zhuǎn)化成xml 格式的文件;最后,利用PASCAL VOC 進(jìn)行數(shù)據(jù)采集格式轉(zhuǎn)換,配置編譯源碼,實(shí)現(xiàn)監(jiān)控圖像目標(biāo)檢測(cè)信息的初步采集。 初步監(jiān)控圖像信息采集完畢后需要進(jìn)行數(shù)據(jù)預(yù)處理,初始圖像數(shù)據(jù)可能會(huì)由于采集效果不同出現(xiàn)白化效果,因此可以進(jìn)行歸一化裁剪進(jìn)行處理。 除此之外,由于數(shù)據(jù)之間存在測(cè)試訓(xùn)練差異性,可以利用Faster-CNN 框架與相關(guān)的數(shù)據(jù)傳輸接口相連。 如果存在冗余的數(shù)據(jù)需要進(jìn)行數(shù)據(jù)打包,保證數(shù)據(jù)處理的高效性,還可以利用lmdb快速引擎進(jìn)行key-xalue 接口處理,降低leveldb 的內(nèi)部消耗,增加了圖像處理的效率。

2.2 基于深度學(xué)習(xí)構(gòu)建監(jiān)控圖像訓(xùn)練框架

利用深度學(xué)習(xí)可以劃分樣本的實(shí)際層次,對(duì)圖像樣本進(jìn)行綜合分析處理從而構(gòu)建高效的圖像訓(xùn)練框架,因此可以基于Fast-RCNN 深度學(xué)習(xí)訓(xùn)練模型構(gòu)建監(jiān)控圖像的訓(xùn)練框架,如圖1 所示。

圖1 監(jiān)控圖像訓(xùn)練框架

由圖1 可知,整個(gè)監(jiān)控訓(xùn)練框架由利用C++語(yǔ)言進(jìn)行綜合開(kāi)發(fā),并使用python 進(jìn)行綜合封裝,依賴Matlab 進(jìn)行綜合實(shí)現(xiàn)。 根據(jù)C++架構(gòu)可以實(shí)現(xiàn)Matlab與Python 的綜合轉(zhuǎn)換,整個(gè)框架的組件可以用執(zhí)行與調(diào)用來(lái)表示并通過(guò)Memory 實(shí)現(xiàn)數(shù)據(jù)的交互,應(yīng)用過(guò)程中可以利用shape_進(jìn)行blob 維度儲(chǔ)存,data_進(jìn)行數(shù)據(jù)內(nèi)轉(zhuǎn)換。 因此,blob 往往呈多維配置,但在blob 應(yīng)用過(guò)程中還應(yīng)避免其存在維度受限問(wèn)題。 整個(gè)訓(xùn)練可用loss 進(jìn)行數(shù)據(jù)的反傳,并使用blobProto 進(jìn)行數(shù)據(jù)序列轉(zhuǎn)換SGD,AdaDelta,AdaGrad,Adam,Nesterov,RMSProp都是模型相關(guān)caffe 的正確優(yōu)化措施,其綜合優(yōu)化式如公式(1)所示。

公式(1)中,a代表數(shù)據(jù)轉(zhuǎn)換系數(shù),e代表優(yōu)化指數(shù)。 應(yīng)用該公式可以計(jì)算訓(xùn)練指標(biāo),實(shí)現(xiàn)Forward Backward 函數(shù)與其他監(jiān)控函數(shù)之間的交互轉(zhuǎn)換,保證監(jiān)控圖像信息的訓(xùn)練效果。

2.3 設(shè)計(jì)功能模塊

本系統(tǒng)的功能模塊較復(fù)雜:首先是系統(tǒng)的登錄注冊(cè)模塊。 用戶在第一次登錄后需要進(jìn)行注冊(cè),輸入驗(yàn)證并輸入正確的密碼后才能完成初次登錄。 本系統(tǒng)還添加了信息儲(chǔ)存功能,即用戶的信息可以在本地保存,方便用戶的二次登錄。 其次是監(jiān)控圖像的檢測(cè)模塊。在系統(tǒng)應(yīng)用中心可以進(jìn)行監(jiān)控圖像選定,并實(shí)時(shí)上傳到處理中心,進(jìn)行終端檢測(cè)并處理。 成功獲取檢測(cè)結(jié)果后,再將監(jiān)測(cè)數(shù)據(jù)與客戶端進(jìn)行解析,并繪制出矩形框,實(shí)現(xiàn)監(jiān)控圖像信息的實(shí)時(shí)監(jiān)測(cè)。

檢測(cè)記錄模塊是實(shí)現(xiàn)監(jiān)控圖像信息目標(biāo)檢測(cè)的重要模塊,不僅可以根據(jù)從服務(wù)端返回的檢測(cè)結(jié)果進(jìn)行數(shù)據(jù)更正并保存,還可以及時(shí)處理錯(cuò)誤的檢測(cè)信息并進(jìn)行記錄,避免信息不準(zhǔn)確對(duì)目標(biāo)檢測(cè)結(jié)果造成的影響。 圖像標(biāo)注模塊可以對(duì)復(fù)雜的監(jiān)控圖像及時(shí)標(biāo)注。

2.4 實(shí)現(xiàn)監(jiān)控圖像信息目標(biāo)檢測(cè)

本文利用creator 對(duì)整個(gè)系統(tǒng)的QT 界面進(jìn)行綜合開(kāi)發(fā),保證其可以與標(biāo)準(zhǔn)的數(shù)據(jù)庫(kù)及檢測(cè)中心實(shí)時(shí)交互,因此設(shè)計(jì)界面中需要包含檢測(cè)快捷鍵、網(wǎng)絡(luò)配置文件及數(shù)據(jù)模型處理參數(shù),方便后續(xù)的可視化檢驗(yàn)。 本文使用C++框架開(kāi)發(fā)初始的圖像界面,利用creator 進(jìn)行QT 庫(kù)的擴(kuò)展及開(kāi)發(fā),實(shí)現(xiàn)SDK 的綜合設(shè)計(jì)。 為了實(shí)現(xiàn)系統(tǒng)的綜合初始化功能在數(shù)據(jù)讀取后可以構(gòu)建string model_file_path,string prototxt_file_path,float confidence,完成模型網(wǎng)絡(luò)的初始化,實(shí)現(xiàn)監(jiān)控圖像信息目標(biāo)檢測(cè)系統(tǒng)的綜合功能,保證系統(tǒng)界面有效性。

3 平臺(tái)測(cè)試

為了檢測(cè)本文設(shè)計(jì)的系統(tǒng)檢測(cè)性能,本研究搭建了系統(tǒng)測(cè)試平臺(tái),在指定的環(huán)境下進(jìn)行系統(tǒng)測(cè)試。

3.1 測(cè)試準(zhǔn)備

為了保證系統(tǒng)測(cè)試的測(cè)試效果,本測(cè)試選取GTX5665 作為系統(tǒng)測(cè)試平臺(tái),系統(tǒng)的客戶端需要提前進(jìn)行部署,保證用戶測(cè)試的準(zhǔn)確性,測(cè)試CPU 使用E5-54-5441。 根據(jù)初始狀態(tài)下測(cè)試平臺(tái)的實(shí)際空間占用情況配置測(cè)試的監(jiān)控圖像,針對(duì)系統(tǒng)的實(shí)際情況選取了實(shí)際監(jiān)控圖像,如表1 所示。

表1 測(cè)試圖像

由表1 可知,在圖像上傳完畢后即可進(jìn)行圖像訓(xùn)練,設(shè)計(jì)的圖像訓(xùn)練集可分為PASCAL VOC2020,City Scapes 及 Pattern Analysis Statical Modeling and Computational Learning。 利用設(shè)計(jì)的深度學(xué)習(xí)算法進(jìn)行圖像分割及檢測(cè),根據(jù)上述的訓(xùn)練結(jié)果在NVIDIA Tesla環(huán)境中進(jìn)行后續(xù)的系統(tǒng)測(cè)試。

3.2 測(cè)試結(jié)果與討論

根據(jù)上述的測(cè)試圖像置信度,將全部數(shù)據(jù)集中的數(shù)據(jù)圖像劃分為A～J10 個(gè)不同的類型,分別使用本文設(shè)計(jì)的監(jiān)控圖像信息目標(biāo)檢測(cè)系統(tǒng)和傳統(tǒng)的圖像信息目標(biāo)檢測(cè)系統(tǒng)進(jìn)行系統(tǒng)測(cè)試,檢測(cè)兩者檢測(cè)識(shí)別的時(shí)間差異,測(cè)試結(jié)果如表2 所示。

由表2 可知,在相同狀況下對(duì)不同類型圖像樣本進(jìn)行檢測(cè)時(shí),設(shè)計(jì)的圖像信息目標(biāo)檢測(cè)系統(tǒng)的檢測(cè)識(shí)別耗時(shí)始終較短,證明設(shè)計(jì)的檢測(cè)系統(tǒng)的性能較好。

表2 系統(tǒng)測(cè)試結(jié)果

4 結(jié)語(yǔ)

綜上所述,隨著計(jì)算機(jī)技術(shù)與圖像技術(shù)的發(fā)展,計(jì)算機(jī)視覺(jué)技術(shù)的應(yīng)用范圍越來(lái)越廣泛,及時(shí)對(duì)監(jiān)控到的圖像信息進(jìn)行檢測(cè)不僅可以提高數(shù)字化圖像的處理效率,還能擴(kuò)大計(jì)算機(jī)技術(shù)的應(yīng)用范圍。 本文利用深度學(xué)習(xí)設(shè)計(jì)了監(jiān)控圖像信息目標(biāo)檢測(cè)系統(tǒng),進(jìn)行系統(tǒng)測(cè)試。 結(jié)果表明,設(shè)計(jì)的圖像信息目標(biāo)檢測(cè)系統(tǒng)的檢測(cè)性能良好,耗時(shí)較短,具有一定的應(yīng)用價(jià)值。