郝穎明 ,付雙飛 ,范曉鵬 ,魏景陽 ,朱 楓
(1.中國科學院沈陽自動化研究所,沈陽 110016;2.中國科學院光電信息處理重點實驗室,沈陽 110016;3.遼寧省圖像理解與視覺計算重點實驗室,沈陽 110016)
隨著航天技術的飛速發(fā)展,空間飛行器的結構、組成日趨復雜,性能、技術水平不斷提高。在這種情況下,如何保證空間飛行器在復雜的空間環(huán)境中更加持久、穩(wěn)定的在軌運行,已成為目前空間技術領域亟待解決的重要問題。空間在軌服務(On-Orbit Servicing,OOS)逐漸成為航天領域的研究熱點。空間在軌服務即指在太空中通過人、機器人(或類機器人衛(wèi)星)或兩者協(xié)同來完成涉及延長衛(wèi)星、平臺、空間站附屬艙和空間運載器壽命和能力的空間裝配、維護和服務(Space Assembly,Main-tenance and Servicing,SAMS)任務[1]。
自20世紀60年代早期提出概念,在軌服務技術迄今已經(jīng)歷四十多年的發(fā)展歷程,并取得了豐碩的成果[2]。早期的在軌服務大多是由航天員完成的,但由于航天員出艙活動存在生理限制和巨大風險,隨著機器人、遙操作等技術的不斷發(fā)展,以空間機械臂代替航天員進行空間在軌服務已成為一種必然趨勢[3]。空間機械臂要實現(xiàn)在軌服務操作,離不開感知系統(tǒng)的支持,而視覺作為空間機械臂最主要的傳感器,相當于機械臂的眼睛,在空間機械臂在軌服務操作中具有舉足輕重的地位。
空間目標航天器可分為兩類:合作目標航天器和非合作目標航天器。合作目標航天器指航天器上安裝有經(jīng)過特殊設計以配合完成在軌服務任務的專用部件,如用于機械手抓取的抓捕手柄和用于視覺測量的合作標志器。而非合作目標航天器則指不是為對接或捕獲設計的任一航天器,即航天器上不安裝用于機械臂捕獲的抓持機構(手柄)以及用于輔助測量的合作標志器和特征塊,或不能進行姿態(tài)控制,在空間自由翻滾的航天器。一般包括己方未裝置合作部件的衛(wèi)星、己方裝置合作部件但燃料耗盡或姿軌控系統(tǒng)故障的衛(wèi)星、己方失效衛(wèi)星、空間碎片,以及對方航天器[4]。從空間機械臂操作的控制方式來說主要有兩種:一種是遙操作,即通過操作者在空間艙內(nèi)或地面對空間的機械手進行遙控操作;一種是自動操作,即不需要人的參與,自動完成對機械臂的控制。
對空間機械臂遙操作來說,視覺系統(tǒng)僅需提供待操作目標的圖像即可,機械臂操作均由人工操作完成,這是最簡單的視覺感知,可以稱為遙操作監(jiān)控。對自動操作來說,為實現(xiàn)機械臂的閉環(huán)控制,視覺系統(tǒng)必須能夠在線測量出機械臂末端與待操作目標間的相對位置和姿態(tài)。由于操作對象有合作目標和非合作目標之分,因此自動操作的視覺測量可分為合作目標視覺測量和非合作目標視覺測量。對于非合作目標,根據(jù)目標模型是否已知,又可分為目標模型完全已知或部分已知的非合作目標和目標模型完全未知的非合作目標。這里目標模型部分已知是指目標模型的信息不能完全已知,如已知目標形狀,但無法獲得具體形狀參數(shù)等。空間在軌服務中,絕大多數(shù)航天器是己方航天器,其目標模型應該是完全已知或部分已知的,僅在空間軌道垃圾清運中,操作對象可能不是己方的航天器,其目標模型就是完全未知的。對模型完全未知的操作目標來說,首先要建立目標三維模型,在此基礎上進行相對位姿測量。因此,根據(jù)空間機械臂操作的需求,視覺感知技術從簡單到復雜,包括遙操作監(jiān)控、合作目標視覺測量、模型已知或部分已知的非合作目標視覺測量和模型完全未知的非合作目標視覺三維建模與測量等,各項技術的具體描述詳見表1。
本文將結合國外空間在軌服務計劃,對空間機械手在軌服務中的視覺感知的歷史、關鍵技術及發(fā)展趨勢進行綜述。
由于空間在軌服務在航天領域具有迫切的應用需求,各空間大國啟動了多項空間在軌服務計劃,本節(jié)將簡要介紹這些計劃中的視覺感知系統(tǒng)與技術。由于沒有查到有關目標模型完全未知的非合作目標測量的計劃,這里僅給出與前幾項技術相關的空間計劃。
表1 空間機械臂視覺感知技術需求與狀態(tài)
德國1993年發(fā)射的ROTEX是空間機器臂首次在軌遙操作。該機械臂上安裝了4個CCD攝像機,一對在手爪上,形成手爪立體視覺,一對提供機器人工作空間的立體視覺,以虛擬立體圖形預測為主,立體視覺監(jiān)視圖像為輔的方式通過地面遙控實現(xiàn)了對自由漂浮物體的捕獲[5-7]。該項目中,所有的視覺處理都是在地面完成的,可以通過雙目視覺給出自由漂浮物體的相對位姿。
美國NASA的RRM計劃(Robotic Refueling Mission)是目前已經(jīng)成功完成的空間在軌維修計劃,其目的是利用機器人對衛(wèi)星進行燃料補給。其第一階段任務于2013年完成,第二階段任務于2015年開始[8]。RRM首次使用加拿大的空間遙控機械臂(Space Station Remote Manipulator System,SSRMS)及專用靈巧機械臂(Canadian Space Agency’s Special Purpose Dexterous Manipulator,SPDM)及相關程序,為在役衛(wèi)星的推進劑燃料箱加注了推進劑燃料。RRM計劃中使用的機械臂末端可以固聯(lián)4種不同功能的執(zhí)行器[9],分別為導線切割工具、安全蓋工具、加油工具及多功能工具。每個工具上帶有兩個相機及照明系統(tǒng)用于為遙操作提供視頻信息。第二階段任務中使用了新型敏感器VIPIR (Visual Inspection Poseable Invertebrate robot)[10]。VIPIR包含三個相機,分別為焦距變化為8~24mm的變焦相機,焦距為6mm的定焦鏡頭相機以及一個直徑為1.2mm、分辨率為224×224的航天用最小相機,每個相機上都包含有光源。圖1給出了RRM計劃使用的4種工具和VIPIR傳感器。RRM計劃中,當目標星停泊后,機械手要找到加油接口的位置,切開包覆的多層,切斷導線,摘掉兩種類型安全蓋,完成加油操作。以上所有操作任務均由遙操作實現(xiàn),機械手上的相機僅起到遙控監(jiān)視的作用,不具備測量功能,可利用獲取的圖像信息進行三維重建。RRM的視覺系統(tǒng)采集到了不同光照條件下的大量圖像,為后續(xù)視覺處理算法開發(fā)提供了真實的輸入圖像[11]。
圖1 RRM計劃的四種工具及VIPIR
圖2 ETS-VII衛(wèi)星、機械臂及合作標志器
空間合作目標視覺測量技術已經(jīng)相對成熟,并已成功進行了多次在軌試驗驗證。國外與機械手操作直接相關的合作目標視覺測量在軌試驗包括日本的ETS-VII計劃和美國的軌道快車計劃。
日本的ETS-VII是1997年發(fā)射的一顆實驗衛(wèi)星系統(tǒng),用來研究及演示在軌接近、交會、抓捕及其他機器人技術。由兩顆衛(wèi)星組成,分別為2.5t的任務星及0.4t的目標星。任務星上裝有2m長的6自由度機械臂,機械手上裝有一個手眼視覺相機,為機械手控制器提供用于視覺伺服控制的圖像和測量結果[12]。其手眼視覺相機采用合作標志器進行視覺測量,在200mm范圍內(nèi),位置測量精度距離方向上為3mm,其它兩個方向上為1mm,姿態(tài)測量精度達到1°[13]。在速度不超過20mm/s,旋轉角度不超過0.2deg/s的情況下,通過視覺伺服可以抓取目標。ETS-VII機械手對目標星的抓捕在僅有地球反射光的時候進行,此時不需考慮太陽光的影響,選擇地球反射光均勻的時間段進行抓捕以提高相機的成像質量并保證快門時間穩(wěn)定。該系統(tǒng)在首次在軌實驗中通過接近固定目標驗證了視覺伺服算法,第二次實驗中抓捕了在軌道上自由漂浮的目標星并取得成功。
美國的軌道快車計劃(Orbital Express,OE)于1999年11月提出,2007年發(fā)射升空,是一項較為完善的在軌服務體系演示計劃。軌道快車是一種維修衛(wèi)星的太空機器人,主體由追蹤星ASTRO與目標星NextSat組成,追蹤星上裝有空間機械臂[15]。軌道快車完成了多項機械臂在軌操作演示試驗,其中最為關鍵的是對自由飛行的目標星的自主捕獲和對電池ORU的自動更換。軌道快車機械臂對自由飛行的目標星的自動抓捕是基于視覺引導實現(xiàn)的,其機械臂末端執(zhí)行器上裝有一個手眼視覺相機,在機械手對目標星自動捕獲過程中,采用合作目標視覺測量獲取機械臂末端與目標星間的相對位姿,其合作標志器如圖3(b)所示,中間為抓捕機構。
圖3 軌道快車計劃的衛(wèi)星和合作標志器圖像
美國在自主在軌服務方面一直處于國際領先地位,開展了多項與非合作目標在軌服務相關的空間計劃。FREND計劃屬于比較早期的空間計劃,全稱為Front-end Robotics Enabling Near-term Demonstration,其前身為SUMO計劃(Spacecraft for the Universal Modification of Orbits),2006年更名為FREND計劃。項目目標是研制與GEO軌道上航天器進行對接的空間飛行機器人,驗證對那些沒有對接裝置的空間目標實現(xiàn)自動抓捕的能力,已開發(fā)了地面試驗樣機,并在美國海軍實驗室近距離操作實驗平臺上成功進行了關鍵技術的演示實驗。FREND機械臂的視覺測量系統(tǒng)由三個相機組成[16],每個相機為10bit像素深度,640×480的圖像分辨率,且都帶有照明。三個相機具有冗余備份功能,當測量目標在一個相機中成像效果差時,另外兩個相機仍可構成雙目立體視覺實現(xiàn)相對位姿測量,如果目標在三個相機中均正常成像,則可通過信息冗余提高測量精度。FREND機械臂的測量范圍為20cm以內(nèi),測量輸出頻率為5Hz。抓捕對象有兩種[18],一種是對接環(huán)目標,一種是杯錐狀目標。對接環(huán)目標限于1194和1666對接環(huán);杯錐狀目標為內(nèi)徑大約為4cm的金屬圓筒。目標識別算法要適應不同光照條件,為提高測量結果的可靠性,需要已知抓捕對象的物理尺寸信息。圖4(c)給出了地面演示實驗現(xiàn)場圖。
美國DAPRA發(fā)起的“鳳凰計劃”,以及后來RSGS計劃,和NASA發(fā)起的Restore-L劃都使用機械臂來完成空間衛(wèi)星的抓捕、維修等操作,其中“鳳凰計劃”從2012年開始,持續(xù)4年,到目前為止已經(jīng)完成了地面原理樣機的實驗論證,為后續(xù)的RSGS計劃累積了多項技術[19]。RSGS計劃主要針對高軌地球同步衛(wèi)星進行在軌維護,預計2021年發(fā)射[20];Restore-L計劃主要針對低軌道地球衛(wèi)星進行燃料加注,預計2020年發(fā)射[21]。鳳凰計劃和RSGS計劃都使用了FREND機械臂技術。鳳凰計劃設計了三條機械臂,其中有一條為柔性機械臂,兩條FREND機械臂;RSGS計劃使用兩條FREND機械臂,一條用來捕獲和握緊目標,另一條用于取工具和修理,如圖5所示。RSGS計劃的機械手操作采用自主操作與遙操作兩種方式。FREND機械臂在不同的研制階段又劃分為不同的具體型號,在RSGS計劃中FREND機械臂的具體型號為MARKII,機械臂末端如圖6(a)所示,包括控制板、工具更換裝置、相機系統(tǒng)及其光源。相機系統(tǒng)為三目相機,單個相機為帶有照明的MDA相機。相機在2018年完成工程樣機,2019年完成飛行件,采用雙目視覺對目標進行位姿測量,同時另一相機作為備份。測量數(shù)據(jù)可以用來引導機械手進行抓捕等操作,完成空間在軌維護任務。目前,已經(jīng)在地面實現(xiàn)了對對接環(huán)的自動抓捕,其對接環(huán)抓捕工具如圖6(c)所示,抓捕工具的手爪很短,3個相機鏡頭在抓捕工具最前端,兩相機間的距離很大,基線很長。但采用的具體測量方法沒有查到相關文獻,圖7給出了地面演示實驗現(xiàn)場圖。
圖4 FREND計劃的抓捕對象與地面實驗
圖5 在軌維修過程示意圖
圖6 FREND機械臂末端結構及對接環(huán)抓捕工具
DEOS計劃全稱為Deutsche Orbitale Servicing,于2007年開始概念設計,旨在演示驗證以半自主方式從地面為地球同步軌道上的非合作衛(wèi)星提供維護、燃料加注和故障維修(非合作、滾轉)服務,以及如何清除非合作衛(wèi)星和軌道碎片[22]。DEOS是對德國此前開展的輕型機械臂、遙操作等在軌服務技術的首次綜合在軌演示驗證。DEOS機械臂的抓捕對象是目標航天器的標準對接接口,目標航天器上沒有合作標志器,對視覺測量來說,屬于非合作目標視覺測量。DEOS機械臂末端執(zhí)行器上的視覺傳感器,2011年發(fā)表的文獻中采用立體視覺系統(tǒng),即立體相機加光源[23]。其相機的視角為44.4°×30.4°,分辨率為384×256,刷新頻率為10Hz,立體相機基線長為約5cm。2015年發(fā)表的文獻中,機械臂末端采用單目相機加光源的形式,其中相機視場約為60°,保證在抓捕過程中在夾子范圍內(nèi)的所有物體都可以被拍攝到[24]。捕獲操作以“有監(jiān)督的自動”模式執(zhí)行,正常情況下完全自動執(zhí)行,只在異常和突發(fā)情況下,或星上故障檢測不能正確觸發(fā)時才需要地面操作人員控制。
圖7 對接環(huán)抓捕地面演示試驗
圖8 MDA公司的對接抓捕工具及機械臂作業(yè)概念圖
歐洲航天局(ESA)的e.Deorbit計劃屬于ESA清潔太空倡議工作,于2012年啟動,目的是移除800~1000km太陽同步軌道和極軌道上的大質量非合作目標。將在2023年執(zhí)行首次主動碎片清除任務[25]。該計劃選擇的廢棄衛(wèi)星為歐洲環(huán)境衛(wèi)星Envisat。加拿大的MDA公司還有歐洲的OHB公司分別開展了針對Envisat衛(wèi)星的救援計劃。這兩家公司的解決方案都是采用單根機械臂抓捕對接環(huán)。與RSGS計劃不同的是救援星的接近方向不是從對接環(huán)的正面而是從對接環(huán)的側面接近,當接近到一定距離后,機械臂伸出,再從對接環(huán)的正面進行抓取。加拿大MDA公司提出的對接環(huán)抓捕工具如圖8(a)所示[25,26],包含兩個閂鎖抓捕機構,可以抓捕直徑大于937mm的對接環(huán)。其上的非接觸式傳感器可以判斷圓環(huán)是否進入抓捕包絡內(nèi)。該工具的視覺系統(tǒng)有兩組。第一組為監(jiān)視用視覺系統(tǒng),包括黑白相機加LED照明燈,用于人工操作時的監(jiān)視,其中照明可用于補光。第二組是用于自動操作的視覺系統(tǒng),包括兩個相機及兩個激光發(fā)射器,可以構成兩套結構光測量系統(tǒng)。從圖8(b)的機械臂作業(yè)概念圖上可以看出,每個激光發(fā)射器可以發(fā)出5條點激光[27]。德國OHB公司設計的另一種空間機械臂視覺系統(tǒng)如圖9所示[29]。該系統(tǒng)采用雙目視覺結合機械手,進行對接環(huán)的抓捕。在對接初期觀察電池板電機和對接環(huán)邊緣來完成6自由度的追蹤。在抓捕末期通過觀察對接環(huán)邊緣,來完成5個自由度的追蹤。
圖9 OHB公司的空間機械臂視覺系統(tǒng)
德國的ESS計劃全稱為Experimental Servicing Satellite,是德國宇航局于1994年左右提出的研究計劃。該計劃主要針對早期發(fā)射的TV-Sat-1衛(wèi)星故障(人軌后未能打開太陽帆板中的一塊)進行維修,需要接近、抓捕并維修衛(wèi)星。ESS計劃機械臂的抓捕對象為故障衛(wèi)星的遠地點發(fā)動機噴嘴,通過將抓捕工具插入目標衛(wèi)星遠地點發(fā)動機的噴嘴中來實現(xiàn)抓捕。其視覺測量系統(tǒng)通過安裝在手腕上的立體視覺相機對目標衛(wèi)星遠地點發(fā)動機噴嘴成像,激光測距儀測量相對距離,由圖像處理系統(tǒng)計算相對位姿。該計劃經(jīng)過了概念設計和地面試驗階段以后宣告結束,但是其關鍵技術和抓捕裝置卻延續(xù)到后續(xù)項目中。
歐洲SMART-OLEV計劃全稱為Smart Orbital Life Extension Vehicle[30],相當于一個太空拖船,針對的目標是地球靜止軌道上燃料耗盡或姿軌控系統(tǒng)故障的通信衛(wèi)星,它在接近并抓捕目標衛(wèi)星后。接管目標衛(wèi)星的姿軌控系統(tǒng),為其提供推進、導航、制導和控制,使目標衛(wèi)星保持合適的軌道和姿態(tài),使其有效載荷繼續(xù)發(fā)揮作用。SMART-OLEV包括平臺和抓捕系統(tǒng)兩部分,沒有專門的機械手,抓捕對象仍舊是目標航天器的遠地點發(fā)動機噴嘴。平臺采用瑞典Space公司的SMART-1并做了改進。抓捕系統(tǒng)包括:抓捕工具、伸縮臂、目標支撐托架、視覺系統(tǒng)(如圖10所示)[31]。視覺系統(tǒng)包括近距離立體視覺相機和照明系統(tǒng),用于在距目標5m內(nèi)的相對導航。近距離立體視覺相機對待抓捕目標成像,地面根據(jù)圖像計算相對距離,并導引SMART-OLEV逼近至離目標0.3m處。SMARTOLEV是一個商用化的在軌服務項目,其服務對象是2010年后大批即將因燃料用盡而退役的GEO通訊衛(wèi)星該計劃于2009年啟動了C/D/E階段的研究工作[2]。軌道ATK公司2016年和2018年先后兩次獲得“任務擴展飛行器”(Mission Extension Vehicle)MEV-1和 MEV-2合同[32,33],為Intel.SA衛(wèi)星提供商務服務,采用的抓捕方案和SMART-OLEV看起來幾乎相同[34]。
圖10 SMART-OLEV概念圖及抓捕工具
綜上所述,到目前為止各種空間在軌維護計劃中,空間機械手的主要操作任務包括:對目標衛(wèi)星的抓捕、維修、裝配、加油、在軌更換等,其中對目標衛(wèi)星的抓捕是最主要也是最基本的操作??梢宰詣舆M行,而其它操作相對復雜,多采用遙操作與自動操作相結合的方式。在抓捕對象的選擇上,有星箭對接環(huán)、分離螺栓孔和遠地點發(fā)動機噴嘴,以前者居多。在傳感器配置上,對合作目標的視覺測量一般采用單目視覺;而對非合作目標的測量則多采用雙目視覺和結構光;為提高可靠性,在設計中多考慮傳感器的備份。三種傳感器配置中,單目視覺結構簡單,更容易滿足空間機械手對測量設備質量、體積、功耗的要求,但要求目標模型完全已知,且目標特征足夠多能夠滿足相對位姿求解的要求,受環(huán)境光照影響較大。雙目立體視覺比單目視覺增加了一個相機,質量、體積、功耗都會增加,且兩相機圖像特征的匹配有一定難度;但不要求目標模型完全已知,在相同條件下比單目視覺具有更高的測量精度,受環(huán)境光照影響與單目視覺相當;結構光視覺比單目視覺增加了一個或多個激光發(fā)射器,增加了質量、體積、功耗,但也不需要目標模型完全已知;與雙目立體視覺相比,不存在圖像特征匹配的問題,且受環(huán)境光照影響較小,但測量精度略低于雙目立體視覺。表2給出了個空間計劃中的視覺系統(tǒng)統(tǒng)計。
從發(fā)展趨勢看,空間機械手在軌維護操作的視覺感知,經(jīng)歷了遙操作監(jiān)控、合作目標視覺測量,目前正處于模型已知或部分已知的非合作目標視覺測量階段,今后的發(fā)展趨勢是模型完全未知的非合作目標視覺測量。對具體空間計劃來說,根據(jù)機械手操作任務復雜程度的不同,在同一個空間計劃中,遙操作監(jiān)控、合作目標視覺測量和非合作目標視覺測量可能同時存在,各自服務于不同的操作任務。如通過非合作目標視覺測量完成對目標航天器的抓捕操作,通過合作目標視覺測量完成對操作工具的抓取操作,而通過遙操作監(jiān)控實現(xiàn)復雜的在軌維修操作。
面向空間機械手操作的視覺感知在經(jīng)歷了遙操作監(jiān)控、合作目標視覺測量后,目前主要集中在模型已知或部分已知的非合作目標視覺測量上,當解決了這一難題后,進一步的發(fā)展方向將是模型完全未知的非合作目標視覺測量。因此,本節(jié)重點闡述非合作目標視覺測量的關鍵技術。
相比于合作目標視覺測量,空間非合作目標視覺測量的難度更大,這主要表現(xiàn)在:
(1)視覺測量的觀察目標不是專門設計的,而是目標航天器本身固有的。由于目標航天器本身都包有反光效果極強的熱控包覆材料,不僅使得航天器本身能夠提供精確幾何特征的部位相對較少,這些特征對于相對位姿態(tài)求解不見得是最佳的,而且這些特征與背景間的差異也不見得很強。因此,對于非合作目標視覺測量來說,即便目標模型完全已知,其目標識別和相對位姿求解也有相當大的難度。
表2 各空間計劃中的視覺系統(tǒng)統(tǒng)計表
(2)空間在軌道服務時,空間光照環(huán)境變化多端,特別是高軌衛(wèi)星,絕大部分時間均處于太陽光照中。視覺傳感器又是受環(huán)境光照影響較大的傳感器。因此,如何從硬件上減弱空間光照對相機成像的影響,在軟件上提高目標識別的魯棒性和適應性,是空間視覺測量要解決的又一個難題。
(3)待操作的非合作目標航天器不受維修航天器的控制,還可能處于空間翻滾狀態(tài),空間機械手在接近非合作航天器的過程中要有很精確的位姿控制和很快的響應速度以避免碰撞,這就要求視覺測量不僅要有很高的精度還要有很高的數(shù)據(jù)輸出頻率。高精度和高速度構成了一對矛盾,因為高精度要求相機分辨率高,而高分辨率則直接影響處理速度。要想同時保證精度和處理速度,只能提高視覺處理器的處理能力。而空間視覺處理器受質量、體積、功耗和空間特殊環(huán)境的限制,其處理能力要比地面低得多。因此,一方面要研究適應空間應用環(huán)境的快速處理器,另一方面從軟件上要研究快速算法,才能滿足工程應用的需求。
根據(jù)前面的分析,面向空間非合作目標機械手操作的視覺測量關鍵技術包括:
(1)復雜光照條件下高魯棒性目標識別與特征提取技術。無論采用哪種傳感器配置方案,視覺位姿測量都離不開目標圖像特征的提取,而提取目標圖像特征的前提是將目標從雜亂的背景中識別出來。非合作航天器上,可用的視覺特征明顯的特征可能有點(特殊載荷的部件、衛(wèi)星的自然角點、太陽帆板的角點等),直線(部分部件的直線邊緣、太陽能帆板邊緣或支架等),圓或曲線(螺栓孔邊緣、對接環(huán)邊緣等)。這些特征與背景間的區(qū)別本身就不是很大,特別是當遇到熱控包覆材料反光的時候,干擾特征更多。而空間光照條件變化較大,目標與背景間的對比關系會隨著光照條件的變化而變化。因此,如何在不同光照條件下均能將目標從背景中分離出來以實現(xiàn)正確的圖像分割,以及如何在眾多類似目標的區(qū)域中找的真正的目標區(qū)域完成目標識別都是空間非合作目標視覺測量必須解決的關鍵技術。雖然圖像分割和目標識別方法與具體測量任務和目標直接相關,但針對空間航天器的共同特點,研究其典型特征的目標識別和特征提取方法,為非合作目標視覺測量的工程應用提供技術儲備,我國現(xiàn)階段是完全必要的。涉及的關鍵技術包括:面向復雜光照條件的圖像預處理技術、基于目標模型約束的空間飛行器及典型部件穩(wěn)定識別技術、基于目標模型約束的空間飛行器及典型部件高精度特征提取技術等。
(2)基于全部或部分目標模型約束的相對位姿高精度求解技術。非合作目標視覺測量時,當目標模型完全已知且目標特征足夠多時,可以用單目視覺實現(xiàn)相對位姿求解。當目標模型部分已知時,如已知目標形狀但不知目標參數(shù)時,可以通過目標特征間位置關系不變的約束,通過優(yōu)化求解目標模型參數(shù)和相對位姿。當采用雙目視覺和結構光視覺時,目標特征間的約束條件更多,冗余信息也更多,可以利用冗余信息通過優(yōu)化求解相對位姿以提高測量精度。因此,基于空間航天器的典型特征,研究不同特征組合條件下如何實現(xiàn)高精度位姿求解是空間非合作目標視覺測量要解決的一個關鍵技術。涉及的關鍵技術包括:不同傳感器配置下的目標特征選擇技術、基于冗余信息的相對位姿優(yōu)化求解技術、基于部分目標模型約束的相對位姿求解技術、多相機非共視場的相對位姿求解技術等。
(3)基于完全未知的非合作目標的三維建模與視覺測量技術。對完全非合作目標,事實上已不能定義姿態(tài),因為對非合作目標已不能對其建立坐標系了,姿態(tài)角也就無從定義。此時,首先需要利用雙目立體視覺、結構光甚至三維測量傳感器對目標進行三維建模,并根據(jù)建立的三維模型實現(xiàn)相對位姿的測量。此時,三維建模完成后目標坐標系的建立即可以通過人機交互的方式建立,也可以以目標初始狀態(tài)為基準,后續(xù)測量只測量相對于初始狀態(tài)的位置與姿態(tài)。涉及的關鍵技術包括:基于雙目立體視覺或結構光的目標三維建模技術、基于三維點云數(shù)據(jù)與圖像數(shù)據(jù)相融合的相對位姿求解技術、基于稀疏點云數(shù)據(jù)的相對位姿求解技術。
(4)面向空間機械手操作的視覺感知硬件技術。傳感器是視覺測量的硬件基礎,既適應空間環(huán)境特點又能滿足機械手操作需求的新型空間傳感器是必須解決的關鍵技術??臻g環(huán)境具有光照動態(tài)范圍大、普通攝像機對亮區(qū)與暗區(qū)的細節(jié)均不能清晰成像,需研發(fā)高動態(tài)范圍的攝像機。三維點云成像技術在空間非合作目標位姿測量方面有著巨大的應用空間,目前還存在精度低、分辨率低和作用范圍小等問題,且還需要解決空間環(huán)境的約束與應用等問題??臻g視覺處理器硬件速度較慢,難以滿足視覺測量高速度的要求。涉及的關鍵技術包括:適應空間復雜光照條件下的高動態(tài)成像傳感器技術;高精度、高分辨率三維成像傳感器技術,適應航天環(huán)境的高速處理器硬件技術等。
(5)空間視覺測量工程實現(xiàn)技術。面向空間在軌維護與服務的需要,設計空間視覺測量系統(tǒng),開發(fā)空間視覺測量軟件,研制空間視覺測量樣機并完成在軌試驗驗證。這里,既要滿足空間設備對質量、體積功耗以及備份的苛刻要求,又能滿足空間機械手的多種操作任務需求;既要適應空間光照條件的復雜變化實現(xiàn)目標的特征的穩(wěn)定提取、在輸入?yún)?shù)誤差較大的情況下優(yōu)化求解相對位姿以保證測量精度,又要受空間處理器處理能力及內(nèi)存容量的限制。涉及的關鍵技術包括:面向多感知任務的傳感器配置技術、基于人機協(xié)同的目標識別與特征提取技術、面向空間處理器的算法優(yōu)化技術、測量系統(tǒng)地面驗證與測試技術、在軌試驗設計與驗證技術等。
本文面向空間機械手在軌服務操作,分析機械手操作對視覺感知技術的需求;通過對國外典型空間在軌服務計劃中空間機械手視覺系統(tǒng)的介紹,給出了空間視覺感知的發(fā)展歷史和趨勢;對目前各航天大國普遍關注的非合作目標視覺測量關鍵技術進行了綜述。目前,遙操作監(jiān)控和非合作目標視覺測量在理論與技術上相對成熟,模型已知和部分已知的非合作目標視覺測量正處于技術攻關階段,而模型完全未知的非合作目標視覺測量則處于探索階段。因此,結合空間機械手在軌服務操作的應用需求,開展非合作目標視覺測量關鍵技術研究,對我國航天事業(yè)的發(fā)展具有重要意義。
參 考 文 獻
[1]崔乃剛,王平,郭繼楓,等.空間在軌服務技術發(fā)展綜述[J].宇航學報,2007,28(4),805-811.
[2]梁斌,杜曉東,李成,等.空間機器人非合作航天器在軌服務研究進展[J].機器人,2012,34(2),233-256.
[3]郭筱曦.國外載人航天在軌服務技術發(fā)展現(xiàn)狀和趨勢分析[J].國際太空,2016(7),27-32.
[4]蔡洪亮,高永明,邴啟軍,等.國外空間非合作目標抓捕系統(tǒng)研究現(xiàn)狀與關鍵技術分析[J].裝備指揮學院學報.2010,20(6),71-77.
[5]G.H,B.B,J.D.The First remotely controlled robot in space[C].1994 IEEE International Conference on Robotics and Automation.2604-2608.
[6]ROTEX.https∶//www.nasa.gov/mission_pages/shuttle/shuttlemissions/archives/sts-55.html
[7]J O,G C,Bernard EK,et al.SUMO/FREND∶ Vision System for Autonomous Satellite Grapple[J].Sensors and Systems for Space Applications,Proc.of SPIE Vol.6555,65550Y-1~65550Y-11.
[8]Robotic Refueling Mission.https∶//en.wikipedia.org/wiki/Robotic_Refueling_Mission.
[9]The RRM tools perform servicing and refueling tasks in the harsh environment of space—robotically by remote control,https∶//sspd.gsfc.nasa.gov/rrm_tools.html#fragment-2.
[10]Gefke Gardell G,Alex Janas,Benjamin Reed.Advances in Robotic Servicing Technology Development[C],AIAA SPACE 2015 Conference and Exposition,1-9.
[11]RRM Task∶ Launch Lock Removal and Vision,RRM.https∶//sspd.gsfc.nasa.gov/rrm_llr-vt.html.
[12]Noriyasu Inaba,Mitsushige Oda,Masato Hayashi.Visual Servoing of Space Robot for Autonomous Satellite Capture[J].Trans.Japan Soc.Aero.Space Sci.Vol.46,No.153,pp.173-179,2003.
[13]Inaba N,Oda M.Automatic Satellite Capture by a Space Robot[J].Proc.IEEE International Conference on Robotic and Automation,2000,pp.1169–1174.
[14]Allport Ogilvie J,Hannah M,Lymer J.Autonomous Satellite Servicing Using the Orbital Express Demonstration Manipulator System[C].Proceedings of the 9th International Symposium on Artificial Intelligence,Robotics and Automation in Space,iSAIRAS,Los Angeles,U.S.A.,2008.
[15]Andrew Ogilvie,Justin Allport,Michael Hannah,et al.Autonomous Robotic Operations for On-Orbit Satellite Servicing[J].Proceedings of SPIE 6958:695809-695809-12.
[16]Debus Thomas J,Dougherty Sean P.Overview and Performance of the Front-End Robotics Enabling Near-Term Demonstration (FREND) Robotic Arm[J].AIAA Infotech@Aerospace Conference AIAA 2009-1870.
[17]Jerome Obermark,Glenn Creamer,Kelm Bernard E,et al.SUMO/FREND∶ Vision System for Autonomous Satellite Grapple[J].Sensors and Systems for Space Applications.Proc.of SPIE Vol.6555 65550Y-1.
[18]Carl Glen Henshawa,Keith Akinsa.A Software Architecture for Autonomous Orbital Robotics[J].Proc.of SPIE Vol.6220,2006,62200K1-6200k18.
[19]陳羅婧,郝金華,袁春柱,等.“鳳凰”計劃關鍵技術及其啟示[J].航天器工程,2013,22(5),119-128.
[20]Gordon Roesler.Robotic Servicing of Geosynchronous Satellites(RSGS) Proposers Day,2016.
[21]Reed BB,Smith RC,Naasz BJ,et al.Restore-L Servicing Mission[J].AIAA SPACE,pp.5478,2016.
[22]賈平,劉海印,李輝.德國軌道任務服務系統(tǒng)發(fā)展分析[J].中國航天,2016(6),24-29.
[23]Rank P,Mühlbauer Q,Naumann W,et al.The DEOS Automation And Robotics Payload[C].Esa/Estec,Noordwijk,The Netherlands,2011.
[24]Rank P,Mühlbauer Q,Naumann W,et al.The DEOS Automation and Robotics Payload[C].Proceedings of the 11th ESA Workshop on Advanced Space Technologies for Robotics and Automation(ASTRA),Noordwijk,The Netherlands,April 2011.
[25]Stéphane Estable,Jürgen Telaar,etc,Definition Of An Automated Vehicle With Autonomous Fail-Safe Reaction Behavior To Capture And Deorbit Envisat[C].Proc.7th European Conference on Space Debris.
[26]John Ratti.Spacecraft Robotic Capture Tool,2014.
[27]John Ratti.The LAR Capture Tool and the Clamping System∶ Mechanisms for the Capture and berthing of Envisat,2016.
[28]Richard Rembala.Launch Adapter Ring Capture Tool,Canadian Robotic Technology for the Autonomous Capture of Unprepared and Non-Operational Debris.
[29]Gerrit Hausmann Matthias Wieser.E.Deorbit Mission∶OHB Debris RemovalConcepts.
[30]Kaiser C,Sj berg F,del Cura B JM.Eilertsen∶On-Orbit Servicing of a Geostationary Satellite Fleet∶ OLEV as a Novel Concept for Future Telecommunication Services[C].60th IAF Congress,12.-16.10.2009,Daejeon,Republic of Korea,Paper No.IAC-09.D3.2.4.
[31]Clemens Kaiser,F(xiàn)redrik Sj berg,Juan Manuel Delcura,et al.SMART-OLEV—An orbital life extension vehicle for servicing commercial spacecrafts in GEO[J].Acta Astronau tica,2008,63(1-4),400-410.
[32]龐子彥.軌道ATK首個在軌維護飛行器將由質子號發(fā)射[J].中國航天.
[33]軌道ATK獲得第二個在軌衛(wèi)星服務飛行器的訂單.http∶//www.ronghe.org.cn/news/newsview/202344.
[34]軌道ATK公司的任務擴展飛行器(MEV)在軌延壽星.https∶//www.bilibili.com/video/av4344825/.