（北京航空航天大學(xué)機(jī)械工程及自動化學(xué)院，北京 100191）

飛機(jī)裝配是飛機(jī)制造過程中的重要環(huán)節(jié)，與飛機(jī)的性能、質(zhì)量等因素密切相關(guān)[1]。在飛機(jī)裝配過程中，裝配現(xiàn)場工藝可視化程度直接影響操作人員的工作效率[2]。提高裝配現(xiàn)場工藝可視化程度，優(yōu)化裝配現(xiàn)場信息管理方式，有利于提高飛機(jī)裝配的效率。

現(xiàn)代飛機(jī)裝配行業(yè)中，基于三維模型的裝配仿真技術(shù)得到廣泛應(yīng)用，為飛機(jī)裝配現(xiàn)場無紙化提供了重要前提，因主要應(yīng)用于裝配工藝設(shè)計(jì)階段，在裝配現(xiàn)場應(yīng)用較為有限[3]。Autodesk公司提出了一種可交互三維工藝可視化方法應(yīng)用于工業(yè)裝配現(xiàn)場[4]，西北工業(yè)大學(xué)通過基于（Model Based Definition,MBD）技術(shù)的三維作業(yè)卡，將輕量化模型應(yīng)用于飛機(jī)等復(fù)雜產(chǎn)品的檢修現(xiàn)場[5]。但是在現(xiàn)場應(yīng)用過程中，由于可視化終端設(shè)備固定，操作者在飛機(jī)內(nèi)部或距離終端設(shè)備較遠(yuǎn)的位置操作不便，甚至需要從裝配工位到控制計(jì)算機(jī)反復(fù)、頻繁移動，并依賴對三維模型的感官記憶輔助裝配，人機(jī)交互需要借助鼠標(biāo)和鍵盤來瀏覽三維模型，嚴(yán)重影響操作者的直觀體驗(yàn)[6]。因此，在飛機(jī)裝配現(xiàn)場應(yīng)用三維可視化技術(shù)過程中，提高可視化終端設(shè)備的便攜性和直觀性有利于提高裝配人員的工作效率。

本文提出了基于移動終端的飛機(jī)裝配現(xiàn)場工藝可視化及信息管理方法，將仿真動畫和三維簡化模型載入移動終端，提高工藝可視化水平，并在此基礎(chǔ)上對傳統(tǒng)的交互方式進(jìn)行改進(jìn)，通過觸摸屏實(shí)現(xiàn)裝配人員與三維模型的直接交互。利用移動終端無線網(wǎng)絡(luò)數(shù)據(jù)傳輸技術(shù)實(shí)現(xiàn)裝配現(xiàn)場信息的實(shí)時(shí)發(fā)布和反饋，開發(fā)了一套基于移動終端的飛機(jī)裝配現(xiàn)場工藝可視化及信息管理系統(tǒng)，提高飛機(jī)裝配現(xiàn)場的工作效率。

基于移動終端的工藝可視化及信息管理方法

飛機(jī)裝配現(xiàn)場工藝可視化的目的在于工藝規(guī)程的分層次展現(xiàn)[11]，并通過裝配仿真過程動畫以及三維模型使裝配人員直觀理解裝配工藝?？梢暬畔ㄈ蝿?wù)文本、工藝規(guī)程文件、仿真動畫以及三維數(shù)字化模型等，可以通過無線網(wǎng)絡(luò)數(shù)據(jù)傳輸技術(shù)從遠(yuǎn)程工作站下載，用以指導(dǎo)現(xiàn)場裝配。

飛機(jī)裝配現(xiàn)場工藝可視化及信息管理系統(tǒng)總體架構(gòu)和模塊劃分如圖1所示。其中顯示層用于裝配現(xiàn)場工藝可視化，通過任務(wù)信息、AO工藝文本、仿真動畫以及三維數(shù)字化模型直接指導(dǎo)現(xiàn)場裝配；數(shù)據(jù)層負(fù)責(zé)組織裝配數(shù)據(jù)信息，并存儲于后臺裝配信息數(shù)據(jù)庫；數(shù)據(jù)傳輸層實(shí)現(xiàn)工藝數(shù)據(jù)發(fā)布和反饋功能。

1 基于數(shù)據(jù)字典的工藝數(shù)據(jù)組織與可視化

工藝文件的數(shù)字化改變了傳統(tǒng)的工藝設(shè)計(jì)過程，使工藝人員從繁重的重復(fù)勞動中解脫出來，有利于工藝規(guī)程的編制和管理[12]。從數(shù)字化工藝文件中自動提取工藝規(guī)程并存儲于數(shù)據(jù)庫，與移動終端系統(tǒng)數(shù)據(jù)字典形成映射模型，即可實(shí)現(xiàn)工藝規(guī)程在終端系統(tǒng)上的可視化。本文采用基于數(shù)據(jù)字典的工藝數(shù)據(jù)組織與可視化方法進(jìn)行數(shù)據(jù)組織和可視化，其實(shí)現(xiàn)流程如圖2所示。

（1）AO工藝規(guī)程電子化:工藝員在Excel環(huán)境下編寫工藝規(guī)程，形成Excel類型電子化工藝文件，便于工藝規(guī)程管理及與CAPP系統(tǒng)集成[13]。

（2）建立工藝數(shù)據(jù)庫:通過Excel表格行與列的定位關(guān)系，批量自動提取工藝文件中的工藝規(guī)程信息，如工藝規(guī)程編號、工序名稱、工步序號、操作說明等，存入工作站數(shù)據(jù)庫創(chuàng)建工藝數(shù)據(jù)表。

羅譯：...since he is almost of the same age and as erudite as another man...[6]64

（3）工藝數(shù)據(jù)網(wǎng)絡(luò)傳輸:從數(shù)據(jù)庫中提取工藝規(guī)程信息，按其層次關(guān)系組織為Json格式數(shù)據(jù)，通過Http網(wǎng)絡(luò)框架傳輸至移動終端，以工藝規(guī)程編號為鍵值建立工藝信息與數(shù)據(jù)字典的映射關(guān)系，并存儲為屬性列表（plist）文件。

（4）工藝規(guī)程可視化:在移動環(huán)境下按鍵值對關(guān)系解析數(shù)據(jù)字典中的工藝數(shù)據(jù)，分層次顯示在移動終端頁面，實(shí)現(xiàn)工藝規(guī)程便攜式可視化。

上述過程以數(shù)據(jù)字典方式存儲工藝規(guī)程數(shù)據(jù)，不僅能夠滿足飛機(jī)裝配工藝規(guī)程邏輯要求，而且節(jié)省存儲空間。移動終端存儲容量有限，采用合理的數(shù)據(jù)存儲結(jié)構(gòu)，有效地保證了大量工藝數(shù)據(jù)在移動環(huán)境下的可視化。

圖2 基于數(shù)據(jù)字典的工藝數(shù)據(jù)組織與可視化流程Fig.2 Process organization and visualization procedure based on data dictionary

2 便攜式數(shù)字化仿真與三維模型交互

2.1 便攜式裝配仿真

為實(shí)現(xiàn)裝配工藝的便攜式直觀可視化，將仿真動畫載入移動終端輔助現(xiàn)場操作。通過實(shí)現(xiàn)移動終端系統(tǒng)的多媒體數(shù)據(jù)接口API，完成仿真動畫在移動終端上的播放及進(jìn)度控制，在裝配過程中隨時(shí)保證仿真過程的清晰和流暢。通過移動終端系統(tǒng)關(guān)鍵字查詢功能，裝配人員可快速檢索到所需的仿真過程文件，并進(jìn)行仿真過程回看、仿真過程分步瀏覽等操作。

2.2 三維模型繪制與交互

在移動終端上繪制三維模型需要嵌入式CPU與GPU等硬件支持，并依托于OpenGL ES、OSG等嵌入式三維圖形繪制API[14]。在移動終端進(jìn)行三維模型繪制時(shí)，為提高圖形繪制速度和交互流暢度，需采用簡化后的輕量化三維模型。本文采用二次誤差測度（Quadric Error Metrics,QEM）簡化算法，以迭代邊折疊為簡化手段，通過不斷進(jìn)行邊折疊的代價(jià)計(jì)算完成模型簡化過程[15]，并將模型數(shù)據(jù)文件輸出為obj格式，用于移動終端顯示。

利用基于OpenGL ES的三維圖形加載引擎NinevehGL，加載簡化后的obj格式三維模型，并嵌入可視化窗口。通過添加面片、光照、材質(zhì)等信息，實(shí)現(xiàn)輕量化模型在移動終端系統(tǒng)中的繪制和渲染，其實(shí)現(xiàn)流程如圖3所示。

在三維模型載入移動終端顯示的基礎(chǔ)上，利用移動終端的觸屏功能，通過監(jiān)聽移動設(shè)備屏幕上的觸摸事件，實(shí)現(xiàn)操作者與三維模型的人機(jī)交互。

針對操作者對三維模型的不同操作情況，設(shè)計(jì)并實(shí)現(xiàn)了手勢交互算法，算法流程如圖4所示。

（1）獲取移動終端屏幕上接觸手指的數(shù)量，若為1判斷為旋轉(zhuǎn)操作，若為2判斷為縮放或平移操作，若＞2按終端系統(tǒng)默認(rèn)手勢處理。

（2）當(dāng)判斷為進(jìn)行旋轉(zhuǎn)操作時(shí)，獲取手指與屏幕當(dāng)前接觸點(diǎn)和先前接觸點(diǎn)坐標(biāo)，并計(jì)算X、Y兩軸方向的差值，將此差值進(jìn)行加權(quán)后作為三維模型各軸旋轉(zhuǎn)量，進(jìn)行模型重繪，實(shí)現(xiàn)旋轉(zhuǎn)操作。

（3）當(dāng)判斷為縮放或平移操作時(shí)，獲取手指與屏幕當(dāng)前兩個(gè)接觸點(diǎn)和先前兩個(gè)接觸點(diǎn)的坐標(biāo)，分別計(jì)算兩對接觸點(diǎn)距離并求得距離差值。若此距離差值＞閾值，則判斷為縮放操作，將此差值加權(quán)后作為縮放倍數(shù)，進(jìn)行模型重繪，實(shí)現(xiàn)縮放操作；若此距離小于閾值，則判斷為平移操作，取當(dāng)前任一觸摸點(diǎn)計(jì)算其與先前觸摸點(diǎn)的X、Y軸向差值，將此差值加權(quán)后作為平移位置參數(shù)，進(jìn)行模型重繪，實(shí)現(xiàn)平移操作。

圖3 移動終端三維模型繪制流程Fig.3 Rendering procedure of threedimensional model

圖4 三維模型手勢交互算法流程圖Fig.4 Gesture interaction algorithm of digital model

本算法根據(jù)接觸手指數(shù)量及移動軌跡的變化，對三維模型的坐標(biāo)進(jìn)行相應(yīng)變換，實(shí)現(xiàn)模型的旋轉(zhuǎn)、縮放、平移等交互響應(yīng)，交互方式更加直觀，有利于現(xiàn)場裝配人員對裝配信息的全面理解。

2.3 移動環(huán)境下裝配現(xiàn)場信息管理

利用移動終端與后臺數(shù)據(jù)庫遠(yuǎn)程通信技術(shù)，可以實(shí)時(shí)更新上游裝配信息數(shù)據(jù)庫，實(shí)現(xiàn)現(xiàn)場信息的實(shí)時(shí)反饋[16]。當(dāng)裝配現(xiàn)場信息發(fā)生改變時(shí)，如任務(wù)狀態(tài)改變、裝配工位人員變動、實(shí)際測量值更改等，裝配人員通過移動終端向服務(wù)器發(fā)送修改請求，服務(wù)器連接裝配信息數(shù)據(jù)庫進(jìn)行數(shù)據(jù)更新，并將更新結(jié)果實(shí)時(shí)發(fā)布到移動終端顯示，提高裝配信息流傳遞與更新的效率，其工作過程如圖5所示。

系統(tǒng)以Tomcat服務(wù)器為介質(zhì)，進(jìn)行移動終端與工作站數(shù)據(jù)庫之間的數(shù)據(jù)傳輸。按數(shù)據(jù)傳輸?shù)倪^程分為數(shù)據(jù)篩選、數(shù)據(jù)傳輸和數(shù)據(jù)反饋3個(gè)基本階段，各階段工作過程如下:

（1）數(shù)據(jù)篩選:移動終端通過ASIHttpRequest移動網(wǎng)絡(luò)請求框架向服務(wù)器發(fā)送（post）數(shù)據(jù)篩選條件，后臺數(shù)據(jù)庫接收并處理服務(wù)器的請求后，連接數(shù)據(jù)進(jìn)行查詢操作。（2）數(shù)據(jù)傳輸:在Windows系統(tǒng)環(huán)境下，通過Jdbc方式建立Windows系統(tǒng)與SqlServer數(shù)據(jù)庫的連接，經(jīng)過Servlet技術(shù)處理后上傳至服務(wù)器，經(jīng)過Json數(shù)據(jù)組織和解析，發(fā)布顯示在移動終端頁面。（3）數(shù)據(jù)反饋:當(dāng)裝配現(xiàn)場數(shù)據(jù)發(fā)生變化時(shí)，移動終端返回更改值到服務(wù)器，通過無線網(wǎng)絡(luò)遠(yuǎn)程更新數(shù)據(jù)庫，實(shí)現(xiàn)裝配現(xiàn)場數(shù)據(jù)信息的實(shí)時(shí)反饋。

系統(tǒng)實(shí)現(xiàn)

利用本文提出的基于移動終端的飛機(jī)裝配現(xiàn)場工藝可視化及信息管理方法，通過移動終端開發(fā)技術(shù)以及無線網(wǎng)絡(luò)通信技術(shù)，開發(fā)了一套基于移動終端的飛機(jī)裝配工藝可視化及信息管理系統(tǒng)。選取承載iOS6操作系統(tǒng)的蘋果公司平板電腦iPad2作為移動終端系統(tǒng)硬件，利用Xcode開發(fā)工具進(jìn)行移動終端前端系統(tǒng)開發(fā)。應(yīng)用Tomcat服務(wù)器作為數(shù)據(jù)傳輸介質(zhì)，以SqlServer數(shù)據(jù)庫存儲工藝數(shù)據(jù)，通過J2EE技術(shù)實(shí)現(xiàn)數(shù)據(jù)庫與服務(wù)器之間的數(shù)據(jù)交互。

移動終端系統(tǒng)通過無線網(wǎng)絡(luò)從工作站數(shù)據(jù)庫下載任務(wù)信息、工藝規(guī)程、仿真視頻和輕量化三維模型等工藝數(shù)據(jù)文件，以模塊化形式展現(xiàn)工藝信息。

系統(tǒng)任務(wù)模塊界面如圖6所示，將任務(wù)信息以簡潔的用戶界面呈現(xiàn)，裝配人員可快速準(zhǔn)確地獲得所需信息。

系統(tǒng)裝配工藝AO模塊頁面如圖7所示，將電子化工藝規(guī)程分層次展現(xiàn)在移動終端。

系統(tǒng)裝配仿真模塊界面如圖8所示，將仿真動畫嵌入可視化窗口框架，并實(shí)現(xiàn)仿真動畫的進(jìn)度控制，直觀體現(xiàn)裝配工藝過程。

圖5 移動環(huán)境下裝配現(xiàn)場數(shù)據(jù)傳輸及反饋過程Fig.5 Data transmission and feedback process on site

圖6 系統(tǒng)主頁任務(wù)模塊頁面Fig.6 Home page of the task module

圖7 裝配工藝AO模塊頁面Fig.7 Page of assembly process AO module

圖8 仿真動畫播放及進(jìn)度控制Fig.8 Simulation play and control

圖9 三維模型渲染與交互Fig.9 Rendering and interaction of digital model

系統(tǒng)三維模型瀏覽交互模塊界面如圖9所示，將輕量化三維模型引入裝配現(xiàn)場，便于操作者隨時(shí)查看裝配體或零件的三維模型，并可以通過手指直接與三維模型進(jìn)行交互。

結(jié)束語

本文開發(fā)了基于移動終端的飛機(jī)裝配現(xiàn)場工藝可視化及信息管理系統(tǒng)，研究了基于移動終端的工藝數(shù)據(jù)組織方法，采用移動三維圖形繪制技術(shù)和無線網(wǎng)絡(luò)通信技術(shù)，解決了工藝仿真結(jié)果在飛機(jī)裝配現(xiàn)場應(yīng)用困難問題。與傳統(tǒng)的桌面端工藝可視化和信息管理系統(tǒng)相比，本系統(tǒng)具有直觀便攜性，更好的人機(jī)交互體驗(yàn)及實(shí)時(shí)信息反饋機(jī)制，且支持多個(gè)終端同時(shí)操作，為并行作業(yè)提供了基礎(chǔ)。現(xiàn)代化智能移動終端的應(yīng)用越來越廣泛，隨著其硬件性能的提高和系統(tǒng)開發(fā)的多元化[17]，其在飛機(jī)裝配行業(yè)中具有廣闊的應(yīng)用前景，對提高飛機(jī)裝配現(xiàn)場作業(yè)效率具有先導(dǎo)性意義。

[1]范玉青,梅中義,陶劍.大型飛機(jī)數(shù)字化制造工程[M].北京:航空工業(yè)出版社,2011.

FAN Yuqing, MEI Zhongyi, TAO Jian.Digital manufacturing engineering of large aircraft[M]. Beijing:Aviation Industrial Press,2011.

[2]ZHU W，HAN H，F(xiàn)ANG M, et al.Studies on visual scene process system of aircraft assembly[J]. Journal of Manufacturing Systems，2013, 32(32):580-597.

[3]QU L, ZHAO T. Technological research on aircraft assembling process visualization oriented assembly field[C]. 2010 International Conference on Computer Application and System Modeling, Taiyuan, 2010.

[4]WANG Q H, LI J R. Interactive visualization of complex dynamic virtual environments for industrial assemblies[J].Computers in Industry, 2006,57(4): 366-377.

[5]GENG J H, TIAN X T. A design method for three-dimensional maintenance, repair and overhaul job card of complex products[J].Computers in Industry, 2014, 65(1):200-209.

[6]趙偉. 三維可視化裝配技術(shù)[C].2011年河南省先進(jìn)制造技術(shù)學(xué)術(shù)年會，鄭州,2011.

ZHAO Wei. Three dimensional visualization technology[C]. Advanced Manufacturing Technology Seminar in Henan Province in 2011,Zhengzhou, 2011.

[7]肖崢嶸, 趙友軍. 移動終端3D技術(shù)及發(fā)展分析[J]. 移動通信, 2013, 37(5):27-30.

XIAO Zhengrong, ZHAO Youjun. Analysis and development of 3D technology of mobile terminal[J]. Mobile Communication, 2013,37(5):27-30.

[8]MORKOS B，TAIBER J，SUMMERS J，et al. Mobile devices within manufacturing environments: a BMW applicability study[J].International Journal on Interactive Design &Manufacturing, 2012, 6(2):101-111.

[9]Airbus. Global market forecast[EB/OL][2012-02-31]. http://www.airbus.com/company/market/forecast/.

[10]HAN S H，AL-HUSSEIN M，ALJIBOURI S, et al. Automated post-simulation visualization of modular building production assembly line[J]. Automation in Construction,2012, 21(1):229-236.

[11]王云渤.飛機(jī)裝配工藝學(xué)[M].北京:北京國防工業(yè)出版社, 2012:23-26.

WANG Yunbo. Aircraft assembly technology[M]. Beijing: National Defense Industry Press, 2012:23-26.

[12]RíOS J, MENéNDEZ J L, GóMEZ A. A process-oriented approach to modeling the conceptual design of aircraft assembly lines[J].Advanced Manufacture Technology, 2013, 67(1-4):771-784.

[13]ANSELMETTI B，F(xiàn)RICERO B. Aid tool for the design of process and aircraft assembly lines[J]. Aerospace Science & Technology, 2012,23(1):387-398.

[14]何高奇. 面向移動設(shè)備的圖形繪制技術(shù)研究[D]. 杭州:浙江大學(xué),2010.

HE Gaoqi. Research on graphics rendering technology for mobile devices [D]. Hangzhou:Zhejiang University, 2010.

[15]楊毅. 面向移動設(shè)備的真實(shí)感圖形處理[D]. 合肥:中國科學(xué)技術(shù)大學(xué), 2010.

YANG Yi. Realistic graphics processing for mobile devices[D]. Hefei: University of Science and Technology of China, 2010.

[16]BILAL M. An intelligent future mobile terminal architecture[C]. International Conference on Information & Emerging Technologies, Karachi,2010:1-6.

[17]LI Shangmeng, SHANG Yanlei, HA Jingjing, et al. The design and implementation of multimedia conference terminal system on 3G mobile phone[C]. 2010 International Conference on E-Business and E-Government, Guangzhou, 2010.