孫信賢,羅燕龍,陳振波,潘 樂(lè)

(深圳地鐵運(yùn)營(yíng)集團(tuán)有限公司,廣東 深圳 518040)

0 引言

隨著城市化進(jìn)程的加快,地鐵已成為各大城市的交通樞紐。為了確保地鐵列車載客過(guò)程的穩(wěn)定性,需采用巡視檢查保證地鐵運(yùn)營(yíng)效率,檢修人員需在停車庫(kù)內(nèi)完成大量的人工檢測(cè)[1]。而這種方式主要依靠地鐵檢修人員在地鐵列車回庫(kù)后進(jìn)行人工檢查,檢修質(zhì)量的好壞取決于巡檢人員的經(jīng)驗(yàn)及狀態(tài),存在作業(yè)任務(wù)多、巡檢效率低、跳檢漏檢多、監(jiān)管難度高、統(tǒng)計(jì)追溯難等問(wèn)題。很多地鐵車輛安全事件與員工違規(guī)作業(yè)直接相關(guān),體現(xiàn)在檢修過(guò)程中違反巡檢作業(yè)流程標(biāo)準(zhǔn)、巡檢作業(yè)完成后沒(méi)有及時(shí)將設(shè)備設(shè)施恢復(fù)到位及遺漏巡檢物品、漏檢漏修等方面。巡檢作業(yè)質(zhì)量控制及自動(dòng)化是地鐵車輛中心管理的重點(diǎn),面對(duì)日益增長(zhǎng)的巡檢任務(wù),僅通過(guò)人工巡檢很難滿足行業(yè)發(fā)展需求,因此智能化的巡檢方式逐漸走入人們的視線。

隨著大數(shù)據(jù)時(shí)代的來(lái)臨及AI技術(shù)的逐步成熟,已有很多場(chǎng)景使用人工智能技術(shù)取代傳統(tǒng)的人工技術(shù)。在軌道交通領(lǐng)域[2],AI輔助人工減少了工作量,但不能完全替代人工,因?yàn)榈罔F列車巡檢過(guò)程中設(shè)備部件死角較多,人工智能巡檢只能覆蓋60%～80%的部件設(shè)備檢查,而人工巡檢可達(dá)90%以上,因此人工巡檢是保證列車正常出庫(kù)的最后一道安全防線,可避免跳檢漏檢造成的安全隱患。依托AI技術(shù)實(shí)現(xiàn)巡檢人員的軌跡查詢及工作管理可實(shí)現(xiàn)動(dòng)態(tài)實(shí)時(shí)化、數(shù)字可視化、網(wǎng)絡(luò)化、空間可視化管理,使MT5系統(tǒng)成為數(shù)字地鐵的基礎(chǔ)工程。

1 軌道車輛巡檢系統(tǒng)的總體設(shè)計(jì)

1.1 系統(tǒng)架構(gòu)

軌道車輛巡檢系統(tǒng)主要包括便攜式結(jié)構(gòu)光3D光學(xué)采集設(shè)備、面向地鐵檢修場(chǎng)景的3D視覺(jué)訓(xùn)練庫(kù)、面向巡檢的故障在線檢測(cè)分析模型、巡檢邊云協(xié)同系統(tǒng)。軌道車輛巡檢系統(tǒng)由數(shù)據(jù)采集、邊緣計(jì)算、中臺(tái)服務(wù)、展示交互等層次構(gòu)成,系統(tǒng)架構(gòu)如圖1。

圖1 系統(tǒng)架構(gòu)Fig.1 System architecture

1.2 巡檢終端

改變巡檢行業(yè)手持式終端應(yīng)用模式,巡檢終端采用穿戴式設(shè)計(jì),分解為不同模塊,頭戴模塊的主要功能是圖像采集、顯示及照明。腰帶部分主要功能是邊緣服務(wù)器的數(shù)據(jù)處理、供電。此設(shè)計(jì)方式可最大限度減少頭戴部分的重量,長(zhǎng)時(shí)間佩戴無(wú)任何不適,可以與任意型號(hào)的安全帽相結(jié)合,適應(yīng)性強(qiáng)。

1.3 便攜式結(jié)構(gòu)光3D光學(xué)采集設(shè)備的設(shè)計(jì)

對(duì)3D光學(xué)攝像機(jī)進(jìn)行改造,形成一套滿足地鐵巡檢工人現(xiàn)場(chǎng)使用的巡檢裝備,將RGB攝像頭與深度攝像頭相結(jié)合,識(shí)別出地鐵列車部件的所有設(shè)備信息。

2 面向地鐵檢修場(chǎng)景的3D視覺(jué)訓(xùn)練庫(kù)的設(shè)計(jì)

研發(fā)人員巡檢現(xiàn)場(chǎng),了解地鐵巡檢人員的日常作業(yè)及作業(yè)行為習(xí)慣,模擬巡檢人員的檢修作業(yè),進(jìn)行地鐵列車設(shè)備圖像采集,在快速移動(dòng)過(guò)程中對(duì)列車部件的核心檢查區(qū)域進(jìn)行區(qū)分和拆解,形成一套符合地鐵列車部件的訓(xùn)練數(shù)據(jù)集,后續(xù)進(jìn)行大量的部件圖像數(shù)據(jù)采集,對(duì)其進(jìn)行標(biāo)注及訓(xùn)練。區(qū)別出各個(gè)不同的零部件及其重點(diǎn)檢查區(qū)域,對(duì)地鐵巡檢場(chǎng)景下的所有列車部件進(jìn)行全面分析,搭建基于深度學(xué)習(xí)的模型框架數(shù)據(jù)庫(kù),建立基于深度學(xué)習(xí)算法的數(shù)據(jù)集。

2.1 數(shù)據(jù)處理

在地鐵檢修中,由巡檢工人采集的數(shù)據(jù)存在較多的問(wèn)題,在圖像和視頻數(shù)據(jù)中無(wú)法直接使用和標(biāo)注,需通過(guò)算法數(shù)據(jù)處理進(jìn)行分類,篩選無(wú)用數(shù)據(jù),留下符合視覺(jué)識(shí)別的基礎(chǔ)數(shù)據(jù),對(duì)此提出3種策略解決動(dòng)態(tài)圖像問(wèn)題:將部件設(shè)備進(jìn)行分類,按照巡檢工藝卡進(jìn)行拆解,形成地鐵列車部件模塊化。對(duì)重點(diǎn)檢查的部件區(qū)域進(jìn)行圖像特征提取。提取圖像特征后進(jìn)行二次訓(xùn)練。

2.2 數(shù)據(jù)標(biāo)注

采用深度攝像頭,按照巡檢方式采集地鐵車輛部件數(shù)據(jù),研發(fā)一個(gè)半自動(dòng)標(biāo)注工具,實(shí)現(xiàn)畫框標(biāo)注功能,根據(jù)視頻采集特點(diǎn)[3]由前一幀圖像標(biāo)注結(jié)果自動(dòng)匹配后一幀圖像的標(biāo)注,實(shí)現(xiàn)半自動(dòng)標(biāo)注,提高標(biāo)注效率。采用鼠標(biāo)點(diǎn)擊畫框的形式對(duì)目標(biāo)進(jìn)行標(biāo)注,采用前后幀模板匹配的方法提高標(biāo)注效率,具體算法是:對(duì)第一幀圖像進(jìn)行標(biāo)注,通過(guò)鼠標(biāo)點(diǎn)擊框部件位置并選擇正確的標(biāo)記。保存當(dāng)前幀標(biāo)注結(jié)果時(shí),將當(dāng)前幀選擇的部件區(qū)域作為匹配模板。第二幀圖像讀取后,以上一幀標(biāo)注的部件位置為基準(zhǔn),擴(kuò)大范圍,并在這個(gè)范圍內(nèi)生成不同大小和長(zhǎng)寬比的網(wǎng)格,每個(gè)網(wǎng)格作為一個(gè)目標(biāo)候選區(qū),與上一幀提取的模板進(jìn)行匹配,匹配算法通過(guò)計(jì)算模板與當(dāng)前幀候選區(qū)域的歸一化相關(guān)系數(shù)實(shí)現(xiàn),相關(guān)系數(shù)最高且超過(guò)一定閾值的區(qū)域作為部件在當(dāng)前幀中的位置。自動(dòng)添加上一幀中的標(biāo)注結(jié)果,實(shí)現(xiàn)部分自動(dòng)標(biāo)注,減少手動(dòng)操作工作量。

3 面向巡檢的故障在線檢測(cè)分析模型設(shè)計(jì)

采用Yolo-V3作為基礎(chǔ)目標(biāo)檢測(cè)網(wǎng)絡(luò),對(duì)其進(jìn)行修改,融合深度數(shù)據(jù),實(shí)現(xiàn)RGB-D目標(biāo)檢測(cè)。具體實(shí)現(xiàn)包括[4]:修改Yolo-V3的特征提取backbone(Darknet53),分別提取RGB與深度特征,進(jìn)行融合,RGB圖像與深度圖像分別輸入到Darknet53網(wǎng)絡(luò),提取3個(gè)不同尺度的特征,分別輸入到融合網(wǎng)絡(luò)中進(jìn)行處理,輸出融合后的特征圖,用于Yolo檢測(cè)。對(duì)多種不同的特征進(jìn)行合并,在訓(xùn)練庫(kù)中進(jìn)行卷積及疊加。由于多種不同的特征存在差異性,將進(jìn)行特征剝離,應(yīng)對(duì)多種不同特征在融合狀態(tài)中的影響。通過(guò)自適應(yīng)學(xué)習(xí)各通道的權(quán)重,對(duì)特征響應(yīng)值進(jìn)行預(yù)處理及判斷,體現(xiàn)RGB和深度特征的重要程度。融合后的特征圖輸入得到Y(jié)olo-V3目標(biāo)檢測(cè)網(wǎng)絡(luò),輸出圖像中的部件位置及類別信息。

4 巡檢邊云協(xié)同系統(tǒng)設(shè)計(jì)

4.1 硬件設(shè)計(jì)

人員是安全生產(chǎn)的最核心要素,巡檢數(shù)字化不是替代人工,而是輔助人工做得更好。作業(yè)過(guò)程需監(jiān)控漏檢、跳檢、疑似故障并實(shí)時(shí)提醒,提升巡檢過(guò)程質(zhì)量。對(duì)列車部件巡檢整體過(guò)程進(jìn)行記錄,保證事后追溯有跡可循,提升人員責(zé)任感。開(kāi)發(fā)邊緣計(jì)算方案,不依賴庫(kù)區(qū)網(wǎng)絡(luò)環(huán)境,不對(duì)環(huán)境做改造,不影響車庫(kù)現(xiàn)有業(yè)務(wù)運(yùn)行。開(kāi)發(fā)穿戴式設(shè)備方案,不對(duì)列車做改造,不對(duì)現(xiàn)有巡檢流程作調(diào)整。整套設(shè)備輕量化、智能化,盡可能弱化巡檢員對(duì)該設(shè)備的感知。在硬件設(shè)計(jì)過(guò)程中不斷與現(xiàn)場(chǎng)使用人員進(jìn)行交流,使硬件設(shè)備滿足人員需求。

4.2 軟件設(shè)計(jì)

本系統(tǒng)采用Lab VIEW語(yǔ)言進(jìn)行開(kāi)發(fā),該框架符合現(xiàn)代開(kāi)發(fā)的快速迭代及穩(wěn)定性要求[5],接口豐富,可對(duì)接地鐵車輛中心內(nèi)部使用系統(tǒng),在對(duì)接過(guò)程中可減少工作量,大大縮短研發(fā)周期,提升工作效率。

4.3 作業(yè)流程

巡檢邊云協(xié)同系統(tǒng)從巡檢規(guī)劃、任務(wù)創(chuàng)建、數(shù)據(jù)管理、統(tǒng)計(jì)分析、狀態(tài)監(jiān)測(cè)、缺陷識(shí)別、故障分析、AI學(xué)習(xí)等方面對(duì)人員巡檢全過(guò)程進(jìn)行管控,實(shí)現(xiàn)人員巡檢作業(yè)的精益化建設(shè)與規(guī)范化管理,保障人員作業(yè)合法、合規(guī)開(kāi)展,為軌道交通巡檢提供決策支撐。如圖2所示。

圖2 巡檢邊云協(xié)同系統(tǒng)作業(yè)流程Fig.2 Workflow of inspection edge cloud collaborative system

5 深圳地鐵車輛庫(kù)現(xiàn)場(chǎng)測(cè)試應(yīng)用

在深圳某車輛段進(jìn)行現(xiàn)場(chǎng)實(shí)車測(cè)試,完成實(shí)際巡檢流程,驗(yàn)證地鐵車輛巡檢系統(tǒng)的整體功能是否已實(shí)現(xiàn)。測(cè)試設(shè)備:穿戴式巡檢終端樣機(jī)。試驗(yàn)地點(diǎn):某車輛段運(yùn)用庫(kù)。測(cè)試結(jié)果如下:在此車輛段運(yùn)用庫(kù)對(duì)26列車車型進(jìn)行模擬測(cè)試,共采集設(shè)備類型54類,覆蓋列車巡檢點(diǎn)數(shù)量700個(gè),綜合識(shí)別準(zhǔn)確率為94%。如表1所示,現(xiàn)場(chǎng)故障如圖3所示。

表1 現(xiàn)場(chǎng)檢修點(diǎn)實(shí)測(cè)識(shí)別率統(tǒng)計(jì)情況

圖3 現(xiàn)場(chǎng)故障Fig.3 Field failure

6 結(jié)論

設(shè)計(jì)了軌道車輛巡檢系統(tǒng),在深圳某檢修庫(kù)進(jìn)行應(yīng)用測(cè)試,綜合識(shí)別準(zhǔn)確率達(dá)94%,獲得了較好的效果,解決了地鐵人工巡檢的局限性問(wèn)題。以AI技術(shù)為主線,設(shè)計(jì)光學(xué)采集設(shè)備、3D視覺(jué)訓(xùn)練庫(kù)、穩(wěn)定的目標(biāo)檢測(cè)算法,巡檢邊云協(xié)同系統(tǒng)實(shí)現(xiàn)了如下功能:結(jié)合深度學(xué)習(xí)算法及自主設(shè)計(jì)的軟硬件,完成了地鐵列車巡檢場(chǎng)景下的人員室內(nèi)定位,解決了近距離快速運(yùn)動(dòng)場(chǎng)景下對(duì)列車部件的識(shí)別問(wèn)題,不依賴于環(huán)境及人員特征的人工智能輔助巡檢流程卡控及監(jiān)管。通過(guò)軟件模塊化設(shè)計(jì),支持所有類型的巡檢作業(yè)流程卡控。從巡檢規(guī)劃、任務(wù)創(chuàng)建、數(shù)據(jù)管理、統(tǒng)計(jì)分析、狀態(tài)監(jiān)測(cè)、缺陷識(shí)別、故障分析、AI學(xué)習(xí)等功能模塊入手,實(shí)現(xiàn)了巡檢及運(yùn)用的信息化與智能化管理,工作效率比傳統(tǒng)人工巡檢作業(yè)有了大幅度提高,縮短了巡檢時(shí)間,提高了地鐵運(yùn)營(yíng)的可靠性,提升了地鐵巡檢品質(zhì),在很大程度上推進(jìn)了軌道交通產(chǎn)業(yè)的發(fā)展,助力實(shí)現(xiàn)了傳統(tǒng)人工巡檢的數(shù)字化轉(zhuǎn)型。