文/宋中建 周章勇 胡 偉(國營蕪湖機械廠)
航空電子系統(tǒng)是飛機的重要組成部分,航空電子產(chǎn)品集成度高、修理難度大、操作復雜,對修理人員的技術水平要求很高。其中,測試環(huán)節(jié)是檢驗修理結果與修理質(zhì)量的最后一道防線,作用至關重要。以測試環(huán)節(jié)中典型的航空電子系統(tǒng)聯(lián)試為例,測試過程存在效率低、過程不可控、結果無法量化且勞動強度大等問題。自動化測試技術可以有效改善人工測試中存在的上述問題,但傳統(tǒng)工業(yè)機器人存在的智能化程度較低、安全系數(shù)不高、難以人機協(xié)作等缺點,制約了其在航空復雜環(huán)境中的應用。而隨著深度強化學習、機器視覺等人工智能技術的不斷發(fā)展,智能機器人的應用范圍越來越大,其具有的學習與自適應能力更加適合在航空復雜環(huán)境中使用??紤]到航空測試的專用性、多樣性和特殊性,需根據(jù)應用場景對現(xiàn)有的機器人平臺進行有針對性地開發(fā),使其滿足人機協(xié)作測試需求,采用人機協(xié)作的方式克服機器人本身的不足,通過優(yōu)勢互補有效提高測試效率,降低勞動強度,實現(xiàn)測試方式的轉型升級。
本文選取典型的航電聯(lián)試環(huán)境作為實施場景,實施技術升級和改進,通過測試技術分析、可行性論證、方案設計、系統(tǒng)構建、推廣應用等步驟,將現(xiàn)有的人工測試模式改進為人機協(xié)作測試模式。主要涉及航空復雜環(huán)境下的人機協(xié)作技術、基于機器視覺的圖像處理技術、人機協(xié)作測試綜合控制技術。
航空電子系統(tǒng)人機協(xié)作測試工作環(huán)境仿真示意圖如圖1 所示,工作環(huán)境采用類飛機駕駛艙設計,基本符合人機工效設計,為1200 mm×1190 mm×1400 mm 的矩形空間,實際需要進行測試的區(qū)域為①—④四個區(qū)域。但由于工作區(qū)域小,被操作對象體積小、種類多、價值高,對機器人及其控制系統(tǒng)的操作精度、響應延遲、安全性都有著極高要求。硬件平臺選擇高精度雙臂機器人加RGBD 深度攝像頭,對被操作對象實現(xiàn)實時定位與誤差修正,同時對工作區(qū)域及周邊環(huán)境進行檢測;采用多傳感器信息融合技術,結合力傳感器,保證產(chǎn)品與人員安全。軟件平臺選擇ROS 操作系統(tǒng)進行開發(fā),實現(xiàn)對機器人的智能控制,在保證安全的前提下實現(xiàn)復雜環(huán)境下的人機協(xié)作。
圖1 工作環(huán)境仿真示意圖
航空環(huán)境下所需識別的畫面與元素多,復雜程度高,很多畫面包含多個二級、三級子畫面,某些情況下存在多個元素重疊、互相遮擋等現(xiàn)象,需要對畫面中的字符符號、形狀、指針以及其他非典型圖像進行識別,同時需要對識別出的圖像信息進行理解,判斷測試結果是否合格,并記錄相應信息。因此,需要對圖像的預處理、特征提取、模式識別、語義分析等技術進行深入研究,可以通過采用深度學習等人工智能算法進一步提高識別精度,實現(xiàn)復雜畫面的實時圖像處理與分析。擬采用的圖像處理方法如圖2 所示。
圖2 圖像處理方法示意圖
航空電子系統(tǒng)人機協(xié)作測試系統(tǒng)組成示意圖如圖3所示。有別于傳統(tǒng)的產(chǎn)品級測試系統(tǒng),系統(tǒng)級的測試方法涉及的產(chǎn)品、測試設備更多,產(chǎn)品之間、產(chǎn)品與設備之間的交聯(lián)關系更加復雜,且不僅僅包括軟件層面的測試,還包括硬件層面的測試,因此對整個綜合控制系統(tǒng)的要求也更高。系統(tǒng)需要在實現(xiàn)子系統(tǒng)(機器人系統(tǒng)、圖像處理系統(tǒng)、數(shù)據(jù)管理系統(tǒng))功能的同時,對綜合控制系統(tǒng)邏輯進行設計,對系統(tǒng)資源進行合理分配與利用,通過獲取的信息(總線數(shù)據(jù)、圖像數(shù)據(jù)、機器人反饋、音頻數(shù)據(jù)等)對測試結果進行判斷,并對人機協(xié)作測試系統(tǒng)的下一步操作進行決策。
圖3 人機協(xié)作測試系統(tǒng)組成示意圖
航電聯(lián)試平臺有別于其他單個產(chǎn)品的測試平臺,具有測試產(chǎn)品種類多、操作流程繁雜、環(huán)境復雜等特點,需要在考慮到各個產(chǎn)品的測試需求的基礎上,對整個聯(lián)試環(huán)境進行分析,設計出相應的人機協(xié)作測試方法。
初步技術路線如圖4 所示,前期主要對當前的航電系統(tǒng)測試技術進行梳理與分類,對產(chǎn)品、設備及人員的安全需求進行分析,并在此基礎上進行廠家調(diào)研;中期先對人機協(xié)作測試系統(tǒng)中3 個主要的子系統(tǒng)分別進行研究,并設立合理的技術指標,再對整個系統(tǒng)的邏輯進行設計,通過綜合控制系統(tǒng)對各個子系統(tǒng)的資源進行分配,完成系統(tǒng)資源的合理利用;后期通過仿真環(huán)境的搭建,對設計好的測試方法進行檢驗,滿足指標要求后進行現(xiàn)場試驗,達到驗收標準后進行驗收。
圖4 技術路線圖
面向航空電子系統(tǒng)開發(fā)的基于航電聯(lián)試環(huán)境的人機協(xié)作測試系統(tǒng),集成了機器人系統(tǒng)、圖像處理系統(tǒng)、數(shù)據(jù)管理系統(tǒng),并開發(fā)出與之相匹配的綜合控制系統(tǒng),對整個人機協(xié)作測試過程進行監(jiān)測和控制,實現(xiàn)測試過程的自動化、信息化、智能化。
機器人控制系統(tǒng)。機器人系統(tǒng)是人機協(xié)作測試系統(tǒng)的執(zhí)行機構,按如下功能進行規(guī)劃:網(wǎng)絡管理模塊,對系統(tǒng)間的通信和通信數(shù)據(jù)進行記錄;視覺定位模塊,對操作對象進行實時定位;運動控制模塊,對機器人的運動軌跡進行實時規(guī)劃;力感力控模塊,對機器人末端實現(xiàn)力反饋控制,實現(xiàn)安全防護。
圖像處理系統(tǒng)。圖像處理系統(tǒng)負責對飛機儀表和屏幕信息進行收集與處理,按如下功能進行規(guī)劃:圖像預處理模塊,對收集的圖像進行預處理,包括圖像去噪、圖像分割等方法;特征提取模塊,負責對圖像中需要識別部分的特征信息進行提取,包括邊緣、角、區(qū)域等;模式識別模塊,實現(xiàn)對圖像中的數(shù)字和字符進行識別。
數(shù)據(jù)管理系統(tǒng)。數(shù)據(jù)管理系統(tǒng)完成429 總線、1553B 總線、FC 總線和多種非總線信號數(shù)據(jù)的采集和處理。數(shù)據(jù)管理系統(tǒng)應具有如下功能:基于局域網(wǎng)的實時數(shù)據(jù)庫技術,多源信息的獲取與融合技術;具備數(shù)據(jù)的實時解析、判讀、記錄和回放等能力;1553B 總線、FC 總線測試能力;ARINC429 總線及非總線信號測試能力。
綜合控制系統(tǒng)。綜合控制系統(tǒng)主要由服務器、磁盤陣列和接口轉換設備組成,通過人機協(xié)作測試方法的設計,對機器人系統(tǒng)、圖像處理系統(tǒng)、數(shù)據(jù)管理系統(tǒng)、綜合激勵設備實施控制。根據(jù)人機協(xié)作測試系統(tǒng)的需求,綜合控制系統(tǒng)具有如下功能:操作系統(tǒng),含語言編輯軟件、工具軟件、系統(tǒng)支持及維護軟件等;I/O 接口模塊,實現(xiàn)綜合控制系統(tǒng)與各個子系統(tǒng)的通信傳輸;數(shù)據(jù)庫管理模塊,將所有I/O 的配置信息和輸出量值,存儲到本地的數(shù)據(jù)庫文件中,程序啟動時會直接讀取上一次的設置值,關閉時直接保存當前的配置信息和輸出量值;流程管理模塊,完成初始條件的設定,控制整個人機協(xié)作測試的運作過程,包括腳本的加載、顯示、執(zhí)行以及異常狀態(tài)提示、報警與中止;結果管理模塊,負責記錄整個測試過程中各個子系統(tǒng)的運行狀態(tài),以及測試結果的生成、顯示與存儲。
本文主要涉及人機協(xié)作技術、圖像處理技術、人工智能技術等研究工作,研究成果可應用于開展人機協(xié)作修理、儀表類設備快速測試、跨平臺系統(tǒng)級人機協(xié)作測試方法設計等方面。研究的開展將拓寬人機協(xié)作技術在航空維修領域的應用范圍,推動航空維修系統(tǒng)從手工作業(yè)向自動化、智能化作業(yè)方式的轉型,提高生產(chǎn)效率和維修質(zhì)量,促進產(chǎn)業(yè)升級轉型。[本文系蕪湖市科技計劃重點研發(fā)項目“航空電子系統(tǒng)的人機協(xié)作測試及其關鍵技術”(項目編號:2020yf12)研究成果。 ]