傅卓鑫，孫 昊，陳建文，郭 悅，陳 金

（1.河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院，天津 300130；2.國家康復(fù)輔具研究中心附屬康復(fù)醫(yī)院骨外科，北京 100176；3.天津市人民醫(yī)院康復(fù)科，天津 300121）

（*通信作者電子郵箱chenjin630715@163.com）

0 引言

將人的主觀能動(dòng)性因素考慮在內(nèi)的信息物理融合系統(tǒng)（Cyber-Physical and Human System，CPHS）是一個(gè)人、機(jī)、物以及環(huán)境共融的系統(tǒng)模型［1］，連接起了物理系統(tǒng)與信息系統(tǒng)［2］，充分考慮了人的情感、動(dòng)作、思維等狀態(tài)在整個(gè)系統(tǒng)中的作用，將面臨的多信息、多維度、干擾不確定等因素融入了系統(tǒng)中，使系統(tǒng)有了感知分析能力。CPHS是考慮了人的因素在內(nèi)的集感知、計(jì)算、通信、控制于一體的控制模型［3］，應(yīng)用于醫(yī)療保健大數(shù)據(jù)的構(gòu)建［4］，解決了醫(yī)療設(shè)備與社交網(wǎng)絡(luò)的高效融合［5］。以數(shù)據(jù)驅(qū)動(dòng)尋找網(wǎng)絡(luò)物理系統(tǒng)的狀態(tài)軌跡［6］。作為醫(yī)療設(shè)備，安全穩(wěn)定性是重要的臨床因素，人因工程的研究為醫(yī)療領(lǐng)域的安全性提供了保障，也為醫(yī)療設(shè)備的可用性做了評估［7］，對設(shè)備的研發(fā)和市場監(jiān)管部門的約束提供了保障依據(jù)，最終的受益群體還是設(shè)備相關(guān)者，包括制造商、醫(yī)護(hù)人員及患者，同時(shí)為當(dāng)前高度智能化、自動(dòng)化的研究提供了新思路、新方案，更好地從傳統(tǒng)系統(tǒng)向智能系統(tǒng)過渡。

如圖1所示，CPHS由人-機(jī)-物-環(huán)境交互組成，信息感知模塊、決策控制模塊、動(dòng)作執(zhí)行模塊以及具有主觀能動(dòng)性的人共同驅(qū)動(dòng)完成任務(wù)。信息感知模塊將感知系統(tǒng)所在的內(nèi)外部環(huán)境因素、系統(tǒng)本身的變化及人的主觀干擾，將信息傳入決策控制模塊，經(jīng)過計(jì)算處理將執(zhí)行命令傳至動(dòng)作執(zhí)行組，系統(tǒng)執(zhí)行相應(yīng)的動(dòng)作，整體模塊的要素構(gòu)成一個(gè)不斷循環(huán)的交互系統(tǒng)。

圖1 CPHS構(gòu)成Fig.1 Composition of CPHS

目前國內(nèi)外的手術(shù)機(jī)器人層出不窮，但是用信息物理融合系統(tǒng)的思路研究手術(shù)機(jī)器人的整體控制還比較少。在顱額面部手術(shù)中，Duan等［8］提出了一種新穎的手術(shù)機(jī)器人系統(tǒng)，重點(diǎn)研究基于導(dǎo)航技術(shù)的機(jī)器人系統(tǒng)的建模和實(shí)驗(yàn)，建立基于光學(xué)導(dǎo)航的手眼協(xié)調(diào)模型，以控制機(jī)器人的末端執(zhí)行器沿規(guī)劃路徑移動(dòng)到目標(biāo)位置。為了提高系統(tǒng)的定位精度，提出了閉環(huán)控制方法“運(yùn)動(dòng)學(xué)+光學(xué)”混合運(yùn)動(dòng)控制方法，整體研究思路屬于普通的控制系統(tǒng)，在病情判斷和治療決策上仍然依靠醫(yī)生的經(jīng)驗(yàn)。達(dá)芬奇手術(shù)機(jī)器人在醫(yī)療上的應(yīng)用最根本也是輔助醫(yī)生，提高了醫(yī)生手的靈活性和精確性，減少了由于醫(yī)生的疲勞或心理因素造成的操作失誤；但是達(dá)芬奇手術(shù)機(jī)器人并沒有深層次的感知和分析能力，只是將手術(shù)周圍的視野放大、清晰地呈現(xiàn)給醫(yī)務(wù)人員，代替醫(yī)生的手深入到細(xì)微的部位，但判斷病情癥狀及作出治療方案還得依靠醫(yī)生判斷［9-10］。

以信息物理融合思想構(gòu)建的手術(shù)機(jī)器人系統(tǒng)，能夠感知患者病情、感知環(huán)境、具有分析判斷能力、控制執(zhí)行能力及醫(yī)學(xué)倫理道德，更加智能化幫助醫(yī)生為患者服務(wù)，極大地減少醫(yī)生因經(jīng)驗(yàn)及思想情感等因素造成對病情的誤判。CPHS 將信息系統(tǒng)和物理系統(tǒng)融合在了一起，上層規(guī)劃包含的信息更多，將醫(yī)學(xué)庫和實(shí)際病歷數(shù)據(jù)進(jìn)行結(jié)合，進(jìn)行虛實(shí)交互、模擬復(fù)位，隨著病例的增加，CPHS的知識(shí)感知庫更加完善，輔助醫(yī)生判斷病情會(huì)更加精確。將人結(jié)合到了系統(tǒng)中，不僅僅體現(xiàn)人機(jī)交互，更重要的是將人作為系統(tǒng)中的一部分，醫(yī)生患者融入了醫(yī)療系統(tǒng)的整個(gè)過程，從醫(yī)生的判斷到患者的知情及倫理道德都體現(xiàn)在CPHS中。

1 骨折復(fù)位機(jī)器人CPHS模型架構(gòu)

骨折復(fù)位機(jī)器人信息物理融合系統(tǒng)模型架構(gòu)如圖2 所示，由感知監(jiān)測層、數(shù)據(jù)資源層、虛擬仿真層、網(wǎng)絡(luò)傳輸層、決策控制層、用戶接口層和硬件執(zhí)行層構(gòu)成［11］。感知監(jiān)測層是整個(gè)CPHS 的感官，充當(dāng)起系統(tǒng)自身認(rèn)識(shí)了解周圍事物的眼睛，用于感知患者的身體狀況、醫(yī)生的病情判斷、醫(yī)院的環(huán)境及醫(yī)療條件、機(jī)器人狀態(tài)及人因工程等的影響。數(shù)據(jù)資源層是整個(gè)CPHS 自身資源的儲(chǔ)備及認(rèn)知能力的體現(xiàn)，用于建立醫(yī)學(xué)知識(shí)庫，保存病歷數(shù)據(jù)，同時(shí)不斷加強(qiáng)自身學(xué)習(xí)提高系統(tǒng)的分析能力，幫助分析患者目前的狀況及其他并發(fā)癥的影響。虛擬仿真層是CPHS 的思維擴(kuò)展和認(rèn)知構(gòu)思，體現(xiàn)整個(gè)系統(tǒng)的分析預(yù)測能力，用于結(jié)合數(shù)據(jù)資源層的儲(chǔ)備數(shù)據(jù)及傳感檢測數(shù)據(jù)用于模擬患者的病情，對系統(tǒng)預(yù)演預(yù)判、與數(shù)據(jù)資源層虛實(shí)交互、協(xié)調(diào)引導(dǎo)［12］、提前對病情的狀況及治療手段進(jìn)行分析評估，模擬治療過程，推斷病情發(fā)展。網(wǎng)絡(luò)傳輸層是整個(gè)CPHS 的神經(jīng)血管，構(gòu)建起了數(shù)據(jù)傳輸?shù)闹虚g橋梁，保證了數(shù)據(jù)信息的完整可靠，使各個(gè)層級的數(shù)據(jù)互相傳輸，使信息能夠在各部分暢通無阻、互相交流、共享共建，為未來遠(yuǎn)程醫(yī)療［13-14］CPHS 的運(yùn)行奠定良好的實(shí)踐基礎(chǔ)。決策控制層是CPHS 的大腦，對整個(gè)CPHS 進(jìn)行布局控制，高效協(xié)調(diào)各層級之間的關(guān)系，將有效數(shù)據(jù)資源進(jìn)行分析整合，利用人工智能算法進(jìn)行計(jì)算決策，通過各個(gè)層級之間互相配合，使系統(tǒng)穩(wěn)定快速運(yùn)行。用戶接口層是CPHS 的對話窗口，使人機(jī)交互更加方便，保證了人機(jī)的高效對話。在窗口顯示機(jī)器人的狀態(tài)、患者病情數(shù)據(jù)及手術(shù)方案模擬預(yù)演和對機(jī)器人控制發(fā)布操作命令等。硬件執(zhí)行層作為CPHS 的肢體，是實(shí)現(xiàn)系統(tǒng)想法的關(guān)鍵部位，系統(tǒng)整體的協(xié)調(diào)組織、計(jì)算分析、誤差精度等思維信息最終都將通過硬件執(zhí)行層來體現(xiàn)。

圖2 骨折復(fù)位機(jī)器人CPHS模型架構(gòu)Fig.2 Model architecture of fracture reduction robot CPHS

人-機(jī)-物-環(huán)境構(gòu)成的信息物理和人融合的系統(tǒng)最終在7個(gè)層級之間的配合下協(xié)調(diào)運(yùn)行。

2 6-UPU并聯(lián)機(jī)器人信息物理系統(tǒng)構(gòu)成

2.1 數(shù)字孿生

研究CPHS 就必然會(huì)涉及數(shù)字孿生，數(shù)字孿生是構(gòu)成CPHS整體不可或缺的一部分，骨折復(fù)位機(jī)器人數(shù)字孿生模型由骨折復(fù)位機(jī)器人實(shí)體物理空間、物理空間映射的虛擬空間及虛實(shí)之間雙向映射、實(shí)時(shí)交互的通信數(shù)據(jù)構(gòu)成。如圖3 所示，物理實(shí)體為6-UPU（Universal-Prismatic-Universal）并聯(lián)結(jié)構(gòu)，物理實(shí)體與虛擬模型數(shù)據(jù)交互，互相映射。虛擬模型能反映物理實(shí)體的狀態(tài)，基于傳感器的數(shù)據(jù)，不斷傳入虛擬空間，使虛擬模型不斷更新，能時(shí)刻描述當(dāng)前的系統(tǒng)狀態(tài)；同時(shí)根據(jù)控制要求，在虛擬空間也能預(yù)先模擬物理實(shí)體的狀態(tài)，達(dá)到理想效果后用于指導(dǎo)物理實(shí)體的運(yùn)行，實(shí)現(xiàn)骨折處的復(fù)位。

圖3 數(shù)字孿生模型Fig.3 Digital twin model

2.2 系統(tǒng)集成

骨折復(fù)位機(jī)器人CPHS 集成軟件和硬件兩部分。硬件包括控制器、傳感器、伺服電機(jī)、并聯(lián)六自由度機(jī)器人平臺(tái)及雙目相機(jī)?？刂品桨覆捎眠\(yùn)動(dòng)控制器+HS（Hollysys）伺服驅(qū)動(dòng)器的多軸集成控制方案；數(shù)據(jù)交互采用UDP（User Datagram Protocol）通信協(xié)議，在傳輸距離上適合長距離傳輸，且傳輸速度和信號(hào)保證度有了很大的提高［15］；工程布線也較為簡單，而且在后續(xù)的擴(kuò)展中也靈活方便，這些特點(diǎn)在不同程度上降低了系統(tǒng)的安全隱患，更加適合醫(yī)療信息物理系統(tǒng)的安全可靠性需求。HS 伺服驅(qū)動(dòng)器是具有32 位浮點(diǎn)數(shù)運(yùn)算能力的雙核數(shù)字信號(hào)處理芯片，可以滿足位置、速度、力矩控制，具有很好的動(dòng)態(tài)跟隨性，內(nèi)置動(dòng)態(tài)制動(dòng)控制和自動(dòng)降載算法，可以參數(shù)化配置是否過載保護(hù)，從硬件上為CPHS 提供了額外的安全保障［16］，可以配合解決Altawy 等［17］提出的非授權(quán)訪問安全機(jī)制。如圖4 所示機(jī)器人復(fù)位裝置采用并聯(lián)Stewart 結(jié)構(gòu)［18］，它的控制精度高、承載能力強(qiáng)，六根連桿的電缸采用滾珠絲杠，無間隙、高剛性、啟動(dòng)力矩極小，可實(shí)現(xiàn)微進(jìn)給運(yùn)動(dòng)，能有效克服肌肉組織之間的拉力，每根桿的誤差呈相互抵消趨勢，末端執(zhí)行機(jī)構(gòu)移動(dòng)慣性較低，不會(huì)造成串聯(lián)的誤差累積，對于骨折復(fù)位的高精度要求來說并聯(lián)結(jié)構(gòu)恰能體現(xiàn)它的優(yōu)越性，在骨折復(fù)位的高精度小微運(yùn)動(dòng)空間比較適合，而且滾珠絲杠的運(yùn)動(dòng)效率高、發(fā)熱小，對系統(tǒng)整體性能的提升在硬件上有很大的保障。

圖4 骨折復(fù)位機(jī)器人實(shí)體Fig.4 Fracture reduction robot entity

軟件系統(tǒng)基于Qt開發(fā)的圖形化界面［19］，部署手術(shù)機(jī)器人的控制要求及可視化的顯示［20］。雙目相機(jī)能夠檢測骨折模型及醫(yī)療環(huán)境的狀態(tài)，很好承擔(dān)CPHS的環(huán)境感知作用。

2.3 信息感知

如圖5 所示，雙目相機(jī)用于檢測骨折遠(yuǎn)近端的姿態(tài)［21-22］，為手術(shù)復(fù)位前的配準(zhǔn)及術(shù)中的監(jiān)控提供定量的參數(shù)化指標(biāo)，利用外部Marker跟蹤定位可以在術(shù)中很大程度上減少X光的拍攝次數(shù)，減輕患者和醫(yī)護(hù)人員的輻射損傷，X 光機(jī)只需要在術(shù)前檢查、相對位置確定和術(shù)后確認(rèn)的過程中拍攝，實(shí)時(shí)姿態(tài)顯示如圖6所示。

圖5 骨折遠(yuǎn)端近端MarkerFig.5 Marker of the distal and proximal sites

圖6 雙目位姿識(shí)別結(jié)果Fig.6 Result of binocular pose recognition

經(jīng)過信息感知階段數(shù)據(jù)的建立，最終驅(qū)動(dòng)機(jī)器人的行為，CPHS中信息感知和行為實(shí)現(xiàn)是一個(gè)相互促進(jìn)的過程，信息感知得越準(zhǔn)確越能夠促進(jìn)機(jī)器人行為的準(zhǔn)確執(zhí)行，機(jī)器人行為的執(zhí)行滿意度在系統(tǒng)的評價(jià)指標(biāo)中不斷優(yōu)化，反過來又可以指導(dǎo)信息感知階段更加有針對性地進(jìn)行語義感知，促進(jìn)感知發(fā)育［23］，驅(qū)動(dòng)傳感器根據(jù)系統(tǒng)學(xué)習(xí)記憶進(jìn)行主動(dòng)感知，使傳感器根據(jù)需求調(diào)動(dòng)，自動(dòng)融合，這樣既可以保證需要工作的傳感器性能充分發(fā)揮，又可以節(jié)省運(yùn)算功耗開銷。

2.4 CPHS手術(shù)機(jī)器人系統(tǒng)中人因工程的融合

人因工程將人、機(jī)器、環(huán)境相互作用結(jié)合在一起提升治療效果的同時(shí)還要從心理、生理上創(chuàng)造一個(gè)舒適、安全、沒有恐懼的醫(yī)療環(huán)境。加入了人的主觀能動(dòng)性及思想感情因素的信息物理融合系統(tǒng)將人在系統(tǒng)中的作用上升到了重要的位置，CPHS將人的融合體現(xiàn)到手術(shù)流程中，如圖7所示。

圖7 CPHS手術(shù)流程Fig.7 Surgical procedure of CPHS

系統(tǒng)中加入了人的感知判斷及倫理道德思想感情，使信息物理系統(tǒng)與人融合了起來，人因工程能夠?qū)⑷说囊蛩乜紤]在內(nèi)，更加人性化地服務(wù)患者和醫(yī)生。另外，在設(shè)備和網(wǎng)絡(luò)數(shù)據(jù)的交換中需要對患者的信息數(shù)據(jù)進(jìn)行加密傳輸［24-25］，注重其完整性和私密性的保護(hù)。

2.5 CPHS手術(shù)過程的模擬

將骨折實(shí)體映射成等比例模型在測量界面進(jìn)行骨折部位畸變參數(shù)的測量［26］，如圖8 所示，確定其正位、側(cè)位、軸位3 個(gè)方向的移位和成角矯正值。

圖8 骨折部位畸變值測量Fig.8 Distortion value measurement of fracture site

CPHS 骨折復(fù)位機(jī)器人復(fù)位過程提供預(yù)先的骨折模擬復(fù)位，如圖9 所示，根據(jù)骨折三維模型中確定的測量值，預(yù)先在交互界面進(jìn)行模擬復(fù)位，根據(jù)骨折的不同情形選擇不同的復(fù)位步驟進(jìn)行復(fù)位效果的觀察，最終確定一套行之有效的復(fù)位方案和手術(shù)步驟，最后將規(guī)劃的手術(shù)執(zhí)行命令發(fā)送給機(jī)器人進(jìn)行執(zhí)行。在執(zhí)行的過程中模型和實(shí)體實(shí)時(shí)映射，能夠時(shí)刻反映當(dāng)前機(jī)器人執(zhí)行復(fù)位的情況，在可控可觀保證安全的條件下進(jìn)行復(fù)位操作［17］。

圖9 骨折復(fù)位模擬Fig.9 Simulation of fracture reduction

3 骨折復(fù)位實(shí)驗(yàn)

手術(shù)機(jī)器人復(fù)位的流程如圖10 所示，首先根據(jù)患者的骨折情況對骨折部位進(jìn)行三維重建，經(jīng)過圖像處理提取骨折復(fù)位信息，然后將數(shù)據(jù)信息輸入計(jì)算機(jī)進(jìn)行計(jì)算，對復(fù)位過程中存在的各種風(fēng)險(xiǎn)情況進(jìn)行模擬比對，最終確定可行的復(fù)位方案，在機(jī)器人輔助下對骨折進(jìn)行復(fù)位。復(fù)位過程參考中醫(yī)的理念［27］，在復(fù)位過程中先判斷骨折的情況，計(jì)算骨折畸變成角，對其進(jìn)行成角矯正，保證骨折周圍的神經(jīng)血管等軟組織盡可能處于原位，不被骨折處的鋒利裂骨破壞；然后對其進(jìn)行適當(dāng)?shù)臓恳欤朔∪饫钦墼斐傻闹丿B錯(cuò)位；接著機(jī)器人進(jìn)行側(cè)位移位矯正，將骨折處恢復(fù)到軸向上，為最后的軸向旋轉(zhuǎn)微調(diào)及最終對位做準(zhǔn)備，減小二次損傷；最后進(jìn)行軸向的旋轉(zhuǎn)和移位矯正，將骨折部位完好對接。整個(gè)運(yùn)行過程要緩慢平穩(wěn)。

圖10 機(jī)器人復(fù)位流程Fig.10 Process of robotic fracture reduction

在實(shí)驗(yàn)中采取如表1所示的5個(gè)不同位姿的模擬病例，以病例1為例，按照圖10所示的矯正步驟進(jìn)行矯正，矯正過程的期望軌跡位姿按照表2 分步確定，機(jī)器人骨折末端的分步驟矯正軌跡如圖11所示，其他4個(gè)病例矯正過程同理。

表1 骨折復(fù)位模擬病例Tab.1 Simulated cases of fracture reduction

表2 模擬骨折復(fù)位軌跡矯正值Tab.2 Correction values of simulated fracture reduction trajectory

圖11 機(jī)器人復(fù)位軌跡姿態(tài)變化Fig.11 Postural change of robotic reduction trajectory

在每組模擬病例的實(shí)施過程中用計(jì)算機(jī)自動(dòng)計(jì)時(shí)，記錄每次實(shí)驗(yàn)所用時(shí)間，每組實(shí)驗(yàn)結(jié)束后用游標(biāo)卡尺及角度測量器測量骨折復(fù)位后縫隙誤差距離，包括軸向殘余、側(cè)位殘余、軸向旋轉(zhuǎn)角度、內(nèi)外翻角度。記錄結(jié)果如表3 所示，其中軸向殘余為3.44±0.56 mm，旋轉(zhuǎn)角度為3.22±0.77°，側(cè)位殘余為3.62±0.45mm，內(nèi)外翻角度為3.34±0.94°，復(fù)位時(shí)間為18.4±3.2 min。

表3 模擬病例骨折復(fù)位實(shí)驗(yàn)結(jié)果Tab.3 Experimental results of fracture reduction of simulated cases

從數(shù)據(jù)可以看出復(fù)位后的效果可以滿足術(shù)后功能恢復(fù)的要求。骨折復(fù)位注重復(fù)位后的肌能協(xié)調(diào)、筋骨并重，傳統(tǒng)方法有一定的療效，但是恢復(fù)期仍需要較長時(shí)間，西醫(yī)微創(chuàng)復(fù)位方法可以減輕患者疼痛，改善臨床癥狀。在傳統(tǒng)的復(fù)位方法中，手法復(fù)位、牽引復(fù)位、手術(shù)復(fù)位雖然奠定了良好的醫(yī)學(xué)基礎(chǔ)，為機(jī)器人復(fù)位找到了可以參考的例子，但是均存在各自的缺點(diǎn)，對于它們的優(yōu)缺點(diǎn)比較如表4所示。

表4 不同復(fù)位方式比較Tab.4 Comparison of different reduction methods

從表4 可以看出，采用CPHS 機(jī)器人復(fù)位從治療效果、康復(fù)時(shí)間、輻射影響、復(fù)位精度及手術(shù)效率等方面都有較大的改善。從圖12 中可以看出機(jī)器人六根伸縮桿的長度和速度變化，從4 個(gè)階段的速度可以看出每個(gè)階段啟動(dòng)和停止的速度都是零，能夠緩慢過渡，分步啟停，進(jìn)行柔順的軌跡規(guī)劃。

圖12 機(jī)器人復(fù)位過程中六軸長度及速度變化Fig.12 Speed and length change of six axes in robotic reduction

4 結(jié)語

在信息高度發(fā)達(dá)的人工智能時(shí)代，人們對人工智能帶來的體驗(yàn)感、舒適度與智能設(shè)備的性能存在一定的差距，人們對服務(wù)于自身的智能設(shè)備的滿意度提出了更高的要求：更加緊密地將人參與到系統(tǒng)中，讓自身成為智能系統(tǒng)的一部分，和系統(tǒng)協(xié)調(diào)配合更好地服務(wù)于人類。融入了人的因素的信息物理融合手術(shù)機(jī)器人系統(tǒng)更加符合現(xiàn)實(shí)需求，更能體現(xiàn)以人為中心的思想，更深層次地將患者、家屬、醫(yī)護(hù)人員的訴求結(jié)合了起來，人機(jī)關(guān)系更加和諧。信息物理系統(tǒng)最終的目的是使系統(tǒng)具有感知分析及學(xué)習(xí)能力，能夠進(jìn)行進(jìn)化演變，隨著系統(tǒng)自身的實(shí)踐次數(shù)增多，不斷豐富自身的知識(shí)儲(chǔ)備和經(jīng)驗(yàn)積累，具有感知發(fā)育、協(xié)同進(jìn)化的能力。同時(shí)手術(shù)機(jī)器人復(fù)位的精度還有待提高，與臨床的高精度復(fù)位要求還有一定的距離，信息物理融合的理論體系正在萌芽發(fā)展中，CPHS 涉及的技術(shù)廣、領(lǐng)域多，各個(gè)層面的發(fā)展不均衡，實(shí)際可參考的例子有限，都不同程度制約著CPHS 的發(fā)展，在技術(shù)飛速發(fā)展的同時(shí)，不斷探索，補(bǔ)齊各方面的短板，推動(dòng)CPHS 在醫(yī)療領(lǐng)域達(dá)到一個(gè)新的水平，將會(huì)帶動(dòng)整個(gè)醫(yī)療體系的建設(shè)，將是一個(gè)充滿前景的研究方向。信息物理融合系統(tǒng)（CPHS）為解決人與物理世界的交互及人機(jī)互動(dòng)提供了開創(chuàng)性的思路，是引領(lǐng)下一代智能領(lǐng)域的新技術(shù)。