邵欣桐 劉省賢

摘 ?要：飛機(jī)的繞機(jī)檢查是航線安全檢查中最為重要的一個(gè)環(huán)節(jié)，傳統(tǒng)的繞機(jī)檢查經(jīng)常遇到維修人員經(jīng)驗(yàn)不足、光線較暗、檢查位置過高、機(jī)體表面損傷不易發(fā)現(xiàn)等缺點(diǎn);針對(duì)航線繞機(jī)檢查這樣的特點(diǎn)提出了一種基于OpenVINO平臺(tái)的智能繞機(jī)檢查的方法，將機(jī)器視覺的概念引入到航線繞機(jī)檢查的工作中，針對(duì)飛機(jī)蒙皮損傷、感溫探頭堵塞、飛機(jī)機(jī)身表面有無油漬有較好的效果;在樣本的訓(xùn)練中，對(duì)現(xiàn)有的模型進(jìn)行了遷移學(xué)習(xí)，使得樣本的訓(xùn)練量大大減小，能夠快速準(zhǔn)確的發(fā)現(xiàn)飛機(jī)外表面檢查過程中出現(xiàn)相關(guān)問題。

關(guān)鍵詞：機(jī)器視覺;OpenVINO;遷移學(xué)習(xí);繞機(jī)檢查

中圖分類號(hào)：TP391.7 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2020）19-0161-03

Abstract： Aircraft winding inspection is the most important link in route safety inspection. Traditional winding inspection often encounters shortcomings such as inexperience of maintenance personnel， low light， high inspection position， and difficulty in finding surface damage on the aircraft. This feature of winding inspection presents a method of intelligent winding inspection based on the OpenVINO platform， which introduces the concept of machine vision into the work of route winding inspection， has a better effect aiming at aircraft skin damage， temperature probe clogging， and the presence or absence of grease on the surface of fuselage. In the sample training， apply transfer learning for the existing model， which greatly reduces the amount of training， and can quickly and accurately find related problems during the inspection of the outer surface of the aircraft.

Keywords： machine vision; OpenVINO; transfer learning; winding inspection

引言

繞機(jī)檢查是航線維護(hù)過程中的重要工作，以保證飛機(jī)的整體運(yùn)行狀態(tài)，確?？梢姴考驮O(shè)備安全可靠;由于繞機(jī)檢查發(fā)生在航線維護(hù)中，所以對(duì)其準(zhǔn)確性和效率有較高的要求，但由于繞機(jī)檢查自身的特點(diǎn)導(dǎo)致在維護(hù)的過程中經(jīng)常出現(xiàn)目視檢查視野較差、檢查高度過高、維護(hù)人員經(jīng)驗(yàn)不足以及任務(wù)時(shí)間較為緊張等問題。因此我們?cè)O(shè)計(jì)這樣的一套系統(tǒng)，將機(jī)器視覺的概念引入到航線維護(hù)的過程中，通過無人機(jī)對(duì)繞機(jī)檢查的重點(diǎn)區(qū)域進(jìn)行圖像的實(shí)時(shí)采集，傳遞到電腦端;通過Intel提供的OpenVINO平臺(tái)對(duì)機(jī)體表面常見的問題進(jìn)行智能分析和判斷，從而發(fā)現(xiàn)機(jī)體外表面出現(xiàn)的問題，該系統(tǒng)不但使得航線維護(hù)人員工作量減輕，大大提高了現(xiàn)場診斷的準(zhǔn)確率，取得了較好的效果。

1 系統(tǒng)硬件平臺(tái)的搭建

機(jī)器視覺是指用攝像機(jī)和電腦代替人眼對(duì)目標(biāo)進(jìn)行辨識(shí)、跟蹤和測量等操作，進(jìn)一步做圖像處理，使其更利于人眼觀察或傳送儀器檢測圖像。目前機(jī)器視覺的平臺(tái)主要有：

（1）NVIDIA VisionWorks是計(jì)算機(jī)的軟件開發(fā)包視覺（CV）和圖像處理。其實(shí)現(xiàn)并擴(kuò)展了Khronos OpenVX標(biāo)準(zhǔn)，并且針對(duì)支持CUDA的GPU和SOC進(jìn)行了優(yōu)化，從而使開發(fā)人員能夠在可擴(kuò)展且靈活的平臺(tái)上實(shí)現(xiàn)CV應(yīng)用程序，主要應(yīng)用在自動(dòng)駕駛、增強(qiáng)現(xiàn)實(shí)中，對(duì)系統(tǒng)的資源要求較高，所需硬件較為昂貴。

（2）Amazon Rekognition，其以在圖像和視頻中識(shí)別對(duì)象、人物、文本、場景和活動(dòng)，也可以檢測任何不適宜的內(nèi)容;提供高度精確的面孔分析和面孔搜索功能，但其不符合機(jī)務(wù)現(xiàn)場實(shí)時(shí)操作的需求。

（3）OpenVINO是英特爾基于自身現(xiàn)有的硬件平臺(tái)開發(fā)的一種可以加快高性能計(jì)算機(jī)視覺和深度學(xué)習(xí)視覺應(yīng)用開發(fā)速度工具套件，支持各種英特爾平臺(tái)的硬件加速器上進(jìn)行深度學(xué)習(xí)。支持在Windows與Linux系統(tǒng)，Python/C++語言，是目前能運(yùn)行在CPU上的最好的深度學(xué)習(xí)框架，功能強(qiáng)大，大大降低了部署成本，體驗(yàn)較好，適宜在航線維護(hù)的實(shí)時(shí)檢查分析中使用。

綜合上述觀點(diǎn)，考慮到飛機(jī)繞機(jī)檢查項(xiàng)目的確定性，可變度較低等因素;在視頻采集的過程中，我們通過無人機(jī)完成繞機(jī)過程中的實(shí)時(shí)圖像采集，將數(shù)據(jù)實(shí)時(shí)傳遞給我們的服務(wù)器端，我們選擇OpenVINO作為計(jì)算機(jī)視覺的開發(fā)包完成對(duì)視頻中問題部件的檢識(shí)別和檢測，如圖1所示。

2 系統(tǒng)軟件平臺(tái)技術(shù)研究

OpenVINO對(duì)系統(tǒng)的平臺(tái)要求相比于其他計(jì)算機(jī)視覺工具包相對(duì)較低，我們選取Windows平臺(tái)，處理器為第8代Intel ?Core處理器。

2.1 OpenVINO的部署和使用

OpenVINO目前包含有三個(gè)全新的API分別為：深度學(xué)習(xí)部署工具包、通用的深度學(xué)習(xí)推理工具包以及OpenCV和OpenVX的優(yōu)化功能;支持TensorFlow＼MXNet和Caffe。

OpenVINO的深度學(xué)習(xí)部署工具主要包括兩個(gè)部分，一個(gè)是模型優(yōu)化器，另一個(gè)是推理引擎。模型優(yōu)化器是由Python編寫，推理引擎是一套C++函數(shù)庫及C++類。工作原理是對(duì)訓(xùn)練產(chǎn)生的網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，優(yōu)化結(jié)果轉(zhuǎn)換成中間表示文件，得到IR文件（XML文件和BIN文件），其中XML文件中包含優(yōu)化以后的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，BIN文件包含優(yōu)化之后的模型參數(shù)和模型變量;在實(shí)際應(yīng)用場景中使用推斷引擎測試生成的IR。然后在應(yīng)用程序中調(diào)用推斷引擎相應(yīng)接口，將生成的模型IR部署到實(shí)際環(huán)境中。

2.2 使用遷移學(xué)習(xí)完成樣本模型的訓(xùn)練

遷移學(xué)習(xí)也稱為歸納遷移、領(lǐng)域適配，其目標(biāo)是將某個(gè)領(lǐng)域或任務(wù)上學(xué)習(xí)到的知識(shí)或模式應(yīng)用到不同的但相關(guān)的領(lǐng)域或問題中。由于OpenVINO支持多種深度學(xué)習(xí)框架，諸如ONNX、TensorFlow、Caffe、Kaldi等，實(shí)際的項(xiàng)目中我們只需將其轉(zhuǎn)換為OpenVINO的XML/BIN模型即可。我們已經(jīng)獲取了通過TensorFlow訓(xùn)練的目標(biāo)模型，其提供了有關(guān)飛機(jī)、汽車部件級(jí)的識(shí)別工具包，我們只需要在其上對(duì)某型號(hào)飛機(jī)上特定的零件進(jìn)行遷移學(xué)習(xí)，就可以完成對(duì)特定機(jī)型的識(shí)別和故障檢測。

由于TensorFlow訓(xùn)練模型大多為卷積神經(jīng)網(wǎng)絡(luò)模型，其可以分為兩部分，前面的卷積層和后面的全連接層。卷積層的作用是圖片特征的提取，全連接層作用是特征的分類。我們的思路便是現(xiàn)有的網(wǎng)絡(luò)模型上，修改全連接層，保留卷積層。卷積層的參數(shù)使用的是別人已經(jīng)訓(xùn)練好的，全連接層的參數(shù)需要我們初始化并使用我們自己的數(shù)據(jù)來訓(xùn)練和學(xué)習(xí)，如圖3所示。

其代碼實(shí)現(xiàn)步驟為：

（1）首先進(jìn)行模型讀取和轉(zhuǎn)換

Conda create -n aircraftvino python=5.0;

//打開conda控制臺(tái)，創(chuàng)建虛擬環(huán)境

Python C：＼OpenVINO＼openvino-2020.1;

// 模型轉(zhuǎn)換為BIN/XML文件

（2）對(duì)獲取的模型進(jìn)行遷移學(xué)習(xí)，由于我們的模型的功能是對(duì)飛機(jī)上的部件進(jìn)行分類，所以我們需要修改全連接層，只增加一個(gè)連續(xù)層。

bottleneck_input = tf.placeholder（）;

//定義新的神經(jīng)網(wǎng)絡(luò)輸入

With tf.name_scope（）;//定義全連接層

train_step=tf.GradientDescentOptimizer（）

//定義交叉熵?fù)p失函數(shù)

for i in range（STEPS）：

{ get_random_cached_bottlenecks（）;

//磁盤讀入的張量值作為輸入向量

sess.run（）;}//訓(xùn)練全連接層

（3）訓(xùn)練完成后，完成正確率測試

test_ground_truth = get_test_bottlenecks（）;

3 基于OpenVINO的繞機(jī)故障檢測系統(tǒng)的實(shí)現(xiàn)

3.1 系統(tǒng)對(duì)繞機(jī)檢查中飛機(jī)部件的識(shí)別

本系統(tǒng)通過無人機(jī)采集的視頻可以實(shí)時(shí)地傳遞給電腦端，完成飛機(jī)部件的識(shí)別，目前我們僅對(duì)繞機(jī)檢查中的關(guān)鍵部件進(jìn)行識(shí)別，如感溫探頭、飛機(jī)風(fēng)擋玻璃、皮托管雷達(dá)天線以及艙門等，如圖4。

3.2 系統(tǒng)對(duì)飛機(jī)繞機(jī)檢查中故障的發(fā)現(xiàn)

系統(tǒng)在繞機(jī)檢查中檢測到發(fā)動(dòng)機(jī)進(jìn)氣道內(nèi)側(cè)六點(diǎn)鐘位置螺栓處裂紋故障，經(jīng)現(xiàn)場確認(rèn)故障真實(shí)存在，如圖5。

4 結(jié)論

機(jī)器視覺技術(shù)的引入使得航線的工作更加智能化和簡潔化，從以往更多依靠人的經(jīng)驗(yàn)判斷轉(zhuǎn)換為依靠機(jī)器的智能檢測?；贠penVINO的飛機(jī)繞機(jī)輔助檢查系統(tǒng)可以實(shí)現(xiàn)特定的飛機(jī)部件的識(shí)別和故障檢測，在航線測試中，可以起到減輕維護(hù)人員工作量且提高其檢查效率的作用;目前該系統(tǒng)僅能針對(duì)特定的飛機(jī)及其相關(guān)部件的識(shí)別還處于系統(tǒng)的研發(fā)階段，并不能完全全部的繞機(jī)檢查工作，這也是該系統(tǒng)未來的研究方向。

參考文獻(xiàn)：

[1]Kay-Pong D. Yip， Byeong-Jik Cha， Omkar Paudel， et al. Ryanodine Receptor-1 Mediated Endoplasmic Reticulum - Mitochondrial Calcium Transfer in High-Grade Serous Ovarian Cancer Cells（HGSOC）[J].Biophysical Journal， 2020，118（3）.

[2]英特爾OpenVINO工具包為創(chuàng)新智能視覺提供更多可能[J].中國信息化，2018（08）：51.

[3]鄭遠(yuǎn)攀，李廣陽，李曄.深度學(xué)習(xí)在圖像識(shí)別中的應(yīng)用研究綜述[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（12）：20-36.

[4]W. R. Twink Allen， Sandra Wilsher. Historical Aspects Of Equine Embryo Transfer[J]. Journal of Equine Veterinary Science， 2020，89.

[5]Cook Diane， Feuz Kyle D. Transfer learning for activity recognition： a survey[J]. Knowledge and Information Systems， 2013，36（3）：537-556.

[6]Le Tianhao， Liu Chao， Yao Bin， et al. Application of Machine Learning to Hyperspectral Radiative Transfer Simulations[J]. ?Journal of Quantitative Spectroscopy and Radioactive Transfer， 2020（prepublish）.

[7]Pan， Sinno Jialin， and Qiang Yang. A survey on transfer learning[J]. IEEE Transactions on knowledge and data engineering，22.10（2010）：1345-1359.