湯　博，崔曉海，，關　正，，張曉剛，，吳榮謙，#，呂　毅，#西安交通大學：先進外科技術與工程研究所；第一附屬醫(yī)院肝膽外科；陜西省再生醫(yī)學與外科工程研究中心，西安　7006

?

外科手術語音圖文記錄報告系統(tǒng)的研發(fā)及臨床應用研究

湯博1，2，崔曉海1，2，3，關正1，2，3，張曉剛1，2，3，吳榮謙1，2，3#，呂毅1，2，3#
西安交通大學：1先進外科技術與工程研究所；3第一附屬醫(yī)院肝膽外科；2陜西省再生醫(yī)學與外科工程研究中心，西安710061

【摘要】：外科手術語音圖文記錄報告系統(tǒng)主要由硬件系統(tǒng)及軟件系統(tǒng)組合而成。硬件主要包括：圖像采集單元，用于采集術中圖像信息；可活動臂單元，用于安裝圖像采集單元調整采集角度；PC計算機單元，配有語音接收插口和USB插口，語音接收插口與語音收發(fā)單元相連接，USB插口與彩色打印機單元相連接；工作站單元，與圖像采集單元連接接收其采集的圖像信息；術中監(jiān)視器單元，與工作站單元連接對其接收的圖像信息進行實時顯示；無線路由器單元，用于建立網絡；彩色打印機單元，將PC計算機單元下發(fā)的打印內容進行打?。徽Z音收發(fā)單元，接收語音描述以及相關解釋并發(fā)送至PC計算機單元。軟件主要是自主開發(fā)具有自主知識產權的外科手術語音圖文軟件。通過初步使用，顯示該系統(tǒng)既可實現(xiàn)術中實時圖片采集，又可配有主刀操作步驟說明，通過軟硬件處理后生成手術圖文報告。

【關鍵詞】：外科手術；圖文記錄；語音

【DOI】：10.13566/j.cnki.cmet.cn61-1317/g4.201602023

電話：13991200581；E-mail：luyi169@126.com

注：#同為通信作者

隨著計算機網絡信息技術的發(fā)展，信息技術、網絡技術以及云計算等技術在醫(yī)療健康領域也得到了廣泛應用和長足的發(fā)展，使得依托互聯(lián)網技術的云醫(yī)院已現(xiàn)端倪，其便捷高效的結果提供將顛覆當前傳統(tǒng)的醫(yī)療模式。從最初使用計算機記錄病歷和開處方，到PACS（醫(yī)學影像管理系統(tǒng)）、LIS（檢驗系統(tǒng)）、HIS（醫(yī)院信息管理系統(tǒng)）等相繼進入，管理效率得到了極大快速的提升。

醫(yī)療文檔作為醫(yī)師進行臨床活動的主要依據，大多早已采用了圖文報告形式，如各類臨床病理學診斷、影像學檢查、胃鏡檢查等都附有詳細的圖文報告，這種圖文并茂的形式不僅有助于醫(yī)患的溝通與醫(yī)師診斷，而且有助于減少醫(yī)療資源的重復與浪費。外科手術報告作為臨床最為重要的醫(yī)療文書之一，目前僅使用文字描述，缺少必要的紀實照片，成為醫(yī)療文書全面信息化、數(shù)字化“最后的死角”。傳統(tǒng)的手術圖文記錄是由下級醫(yī)師術后手繪完成的，其缺點是：第一，不精確，非主刀執(zhí)筆；第二，不明了，文字不直觀；第三，負擔重，導致病例文字大量的復制粘貼。據查閱文獻和相關報道，國內、外專家對于外科手術圖文記錄產生過共鳴。世界著名肝膽外科泰斗二村雄次教授在其史詩級論著《膽道外科：要點與盲點》中指出：“手繪圖文手術記錄雖費時費力，但極有利于醫(yī)師的成長與醫(yī)患交流，應設法在臨床推廣”；2015年1月9日，我國著名肝膽外科專家呂毅教授在中華醫(yī)學會外科學手術學組會議上發(fā)起了“倡用圖文手術記錄專家共識”，得到與會專家的積極響應，并且在《中華肝臟外科手術學電子雜志》2015第5期發(fā)表［1］。總而言之，術中圖文資料對疾病診療技術革新、年輕醫(yī)師成長具有重要意義，同時還可以幫助患者了解診療過程、緩解醫(yī)療糾紛的壓力。

1　設計思路

為了克服傳統(tǒng)外科手術記錄的缺點，該研究的目的在于提供一種應用于外科手術過程的語音圖文記錄工作系統(tǒng)，如圖1所示。既可實現(xiàn)術中實時圖片采集，又可配有主刀操作的步驟說明，通過軟、硬件處理后，最終生成外科手術圖文報告。

圖1　外科手術語音圖文報告系統(tǒng)示意圖

與現(xiàn)有技術相比，該系統(tǒng)旨在解決傳統(tǒng)文字手術記錄過程中所引發(fā)的信息不準確、醫(yī)患交流不暢等難題。在使用過程中，一方面可以實時記錄術中圖片，另一方面可根據術中術者語音表達的實時描述及解釋，并且依托互聯(lián)網百度語音進行在線翻譯文字，最終完成對手術過程采集的圖文信息一一配對，整理后即可形成手術過程記錄的圖文報告。與傳統(tǒng)手術過程的手繪、文字描述相比，要可靠、真實、便捷的多。外科手術圖文報告，不僅有助于醫(yī)生教學、交流或者自身業(yè)務的提高，還可以用于患者的術后復查、轉診等其他方面，具有很好的留存作用和指導意義［2-3］。

2　基本結構

為了實現(xiàn)上述目的，外科手術語音圖文工作系統(tǒng)采用的技術方案主要包括硬件、軟件兩個部分。

2.1硬件部分

硬件主要由醫(yī)用臺車單元、可活動臂單元、電動云臺單元、無線路由器單元、圖像采集單元、術中監(jiān)視器單元、PC計算機單元、工作站單元、彩色打印機單元、語音收發(fā)單元以及可編程控制器單元構成：

醫(yī)用臺車單元：利用現(xiàn)有腹腔鏡放置支架延伸，安置可活動臂單元，總體分為四層：第一層放置術中監(jiān)視器單元，第二層放置PC計算機單元，第三層放置工作站單元，第四層放置彩色打印機單元；

可活動臂單元：采用四連桿的設計，固定于醫(yī)用臺車之上，根據手術過程需要，提供更加方便的調整角度。術前使用無菌袖套包裹，達到無菌的效果，使得在手術過程使用當中應用自如；

電動云臺單元：利用電機驅動橫、豎齒輪機械交叉運動，利用可編程控制器單元來控制操作方向、角度的調整，上端可固定圖像采集單元，下端與可活動臂單元的頂端連接；

無線路由器單元：利用其建立一個虛擬的局域網絡，將PC計算機單元與工作站單元相連，使其在同一的IP網段內進行簡單操作；

圖像采集單元：采用多倍變焦的高清攝像機采集，傳感器類型Exmor R CMOS、視頻：高清MPEG-4 AVC/H.264（AVCHD）、靜態(tài)影像2410萬像素16：9（6 544× 3 680）［4］；

術中監(jiān)視器單元：主要顯示術中實時畫面，術者、助手也可通過術中監(jiān)視器單元對術中操作進行實時觀察，以確保術中畫面質量獲取的優(yōu)劣；

PC計算機單元：硬件，推薦配置，主頻2.4GHz/內存2GMB/硬盤500GB，操作系統(tǒng)，Microsoft Windows XP/7/8/，并配有外界語音接收插口和USB插口。語音接收插口與語音接收單元相連接，USB插口與彩色打印機單元相連接；

工作站單元：對工作站單元網絡WebService做二次開發(fā)，實現(xiàn)實時圖像及拍照。通過工作站單元固有的HD-SDI接口與圖像采集單元連接，實現(xiàn)實時圖像獲取。手術室外的權威專家醫(yī)生也可通過無線方式經由無線路由器單元進行訪問，通過移動智能通訊設備醫(yī)生端的APP軟件［5］（如圖2所示）進行網絡遠程術中管理訪問，實時監(jiān)測患者的手術進展，遇到突發(fā)問題時也可給予術中實時指導［6］。

圖2　醫(yī)生端的移動APP軟件功能圖

彩色打印機單元：將采集到的數(shù)據，包括，圖像、語音轉化的文字，以及病人術前、術中具體的過程一一記錄下來，最終通過軟件的設定打印出來，是一個輸出的過程；

語音收發(fā)單元：為接收、發(fā)送手術記錄過程中，術者對手術過程中實時操作的語音描述以及相關解釋；

可編程控制器單元：分為左區(qū)和右區(qū)兩個部分，左區(qū)主要控制軟件的執(zhí)行，設置4個按鈕：1號鍵執(zhí)行手術開始，2號鍵執(zhí)行語音錄制，執(zhí)行操作時，會發(fā)出提示音，表示整個語音錄制完成，3號鍵執(zhí)行手術拍照命令，4號鍵執(zhí)行手術結束命令。右區(qū)設置兩個按鈕，右上按鍵分別以T、W兩個按鍵調整圖像采集單元1的變焦，右下十字鍵為F、B、L、R，分別控制電動云臺單元的上、下、左、右方向控制（如圖3所示）。

圖3　可編程控制器單元功能圖

2.2軟件部分

該系統(tǒng)軟件部分是基于Win7 +Visual Studio 2010開發(fā)平臺，利用C#語言編程來實現(xiàn)良好的人機交互界面，再結合PC平臺收集到的數(shù)據信息，系統(tǒng)操作中都以按鍵的形式提供相應的操作，非常簡捷［7-8］。由于現(xiàn)階段語音轉文字技術有限，該系統(tǒng)的后臺添加了語音校正處理模塊，主要對輸入語音做修正，結合現(xiàn)有的語音庫完成對該語音的處理和翻譯，形成病理圖片說明。主要由操作功能單元、圖像實時采集窗口單元、語音及校正模塊單元以及素材庫單元構成（如圖4所示）。

圖4　外科手術語音圖文報告工作系統(tǒng)軟件界面

操作功能區(qū)單元：作為控制軟件主要功能的組成部分，結合控制面板可以完成手術過程中的實時控制并生成文檔結果，即該功能包括了新建、開始、錄音、拍照、結束、生成Word、系統(tǒng)配置等功能；

圖像實時采集窗口單元：主要同步實時顯示術中畫面。通過工作站單元處理，使用截圖形式采集術中照片；

語音及校正模塊單元：通過語音收發(fā)單元進行術中對術者描述的詳細信息進行實時采集，并通過訪問百度語音庫，在互聯(lián)網的基礎上進行在線翻譯，對翻譯不準確的文字可以進行二次修改，直至準確；

素材庫單元：對包括圖像采集單元、語音收發(fā)裝置單元所采集的圖片、語音素材進行留存，便于術后整理、修改和匹配。

3　工作過程

先將所有相關設備安置固定于醫(yī)用臺車單元上，將所有設備接線相連接，將圖像采集器單元調整至開始處，啟動軟件后（如圖4所示），圖像實時采集窗口單元將實時術中畫面顯示于PC計算機單元的顯示屏上，利用可編程控制器單元，對整套設備進行實時控制。

通過調整可編程控制器單元，對整套設備進行全方位控制，其主要功能有手術開始、語音截取、圖片捕獲、手術結束，以及圖像采集單元的拍照與電動云臺單元角度的調整，采用臨床現(xiàn)有的無菌袋包裝即可上手術臺，對手術過程完全按照主刀意愿進行實時控制和保存。通過對“T、W”鍵的操作可對圖像采集單元進行變焦調整，同時對“F、B、L、R”鍵分別操作，可對水平情況下的電動云臺進行上、下、左、右操作，進而使搭載的圖像采集單元進行術中角度調整，以獲取優(yōu)質的術中資料；在手術操作過程中，根據手術操作過程需要：第一步，手術新建，按1號鍵執(zhí)行；第二步，語音錄入、停止，按2號鍵執(zhí)行；第三步，術中拍照，在線翻譯按3號鍵執(zhí)行；第四步，手術結束，按4號鍵執(zhí)行，在線修改語音報告，運用預先設定的模板與軟件合成，將手術過程中捕獲珍貴的圖文資料最終以手術圖文報告打印出來。

4　臨床應用

目前，該設備已在西安交通大學第一附屬醫(yī)院肝膽外科投入臨床使用，開腹手術及腹腔鏡手術都有所涉及，分別用于臨床肝移植、復雜肝癌切除術、脾臟切除術、膽囊癌切除術等十余術式之中，共收集臨床手術圖文報告80余例。制定了相應的醫(yī)患溝通手術圖冊（如圖5所示），不僅方便醫(yī)師用于術后醫(yī)患溝通、分級診療，也為復查、轉診提供了詳實的診斷資料，而且為醫(yī)師之間學術交流、病案討論提供了詳實、可靠的臨床資料。該設備使用至今，取得了較好的效果，并且在陜西省人民醫(yī)院、西安市中心醫(yī)院、寶雞市中心醫(yī)院、內蒙古鄂爾多斯中心醫(yī)院以及湖北省十堰市太和醫(yī)院等相關單位進行了相關的推廣和初步應用。

圖5　臨床手術圖文記錄報告示例

該系統(tǒng)智能、高效，大大減輕了醫(yī)護人員的工作負擔，而且有助于提高手術記錄質量，并將助力互聯(lián)網+時代智能醫(yī)療體系的建立，將帶來外科手術記錄的一場革命［9］。另外，該系統(tǒng)擬建立手術圖文報告信息管理系統(tǒng)，其中包括建立圖文手術病歷統(tǒng)計系統(tǒng)，增加查找、備份、凍結病歷、病歷分類、刻盤等功能，方便對圖文病例的調取。該系統(tǒng)在使用過程中，通過編程控制器單元，可實現(xiàn)對軟件的各個功能進行控制，例如：手術開始、語音收錄、手術拍照、手術結束等其他方面，還可控制電動云臺單元的角度以及圖像采集單元變焦，從而優(yōu)化視場，獲得醫(yī)師滿意的術中圖像。反復控制可編程控制器單元的語音收錄和手術拍照按鍵，對手術操作的重要過程進行采集，對主刀的術中講解語音，通過互聯(lián)網訪問百度語音文庫進行翻譯，并對翻譯錯誤的解釋進行二次修改，直至準確。通過預先設定好的Word模板，將采集到的圖文資料對應地插入模板，最終生成外科手術語音圖文報告。同時有效地解決了現(xiàn)有的手術記錄不精確導致的上下級醫(yī)師交流不暢、不客觀、不利于醫(yī)患溝通等難題。

參考文獻

［1］呂毅，徐向華，仵正，等.倡用圖文外科手術記錄專家共識（2015·西安）［J］.中華肝臟外科手術學電子雜志，2015，4（5）：265-267

［2］孫建華.圖文式術前訪視在老年普通外科手術病人中的應用［J］.齊齊哈爾醫(yī)學院學報，2013，34（5）：770-771

［3］龐雪芬，徐清玲，黃翠霞，等.《漫畫普通外科手術圖譜》在普通外科術前宣教中的應用［J］.江蘇醫(yī)藥，2010，36（14）：1716-1717

［4］湯博，呂毅，劉學民，等.微型智能手術照明攝像機的研制［J］.中國醫(yī)療設備雜志，2015，30（7）：28-29，35

［5］朱超，緱文海，王福義，等.內鏡圖文工作站及手術示教系統(tǒng)的綜合應用［J］.醫(yī)療衛(wèi)生裝備，2012，33（10）：34-35

［6］居健，李濤，李偉.遠程手術示教系統(tǒng)在我院的構建與實現(xiàn)［J］.醫(yī)療衛(wèi)生裝備，2011，32（9）：29-30

［7］劉鋒，曾凡，黃昊.基于局域網的臨床手術示教系統(tǒng)的構建［J］.重慶醫(yī)學，2009，38（21）：2656，2658

［8］劉運祥，徐偉星.“內窺鏡動態(tài)影像網絡信息系統(tǒng)”的研究與應用［J］.中國數(shù)字醫(yī)學，2007，2（2）：22-25

［9］徐向華，盧強，劉學民，等.用圖文手術記錄能提高醫(yī)療服務品質［J］.醫(yī)院與醫(yī)學，2015，3（2）：19-22

Research and development of intraoperative medical images and texts recording report system and its clinical application

Tang Bo1，2，Cui Xiaohai1，2，3，Guan Zheng1，2，3，Zhang Xiaogang1，2，3，Wu Rongqian1，2，3#，Lü Yi1，2，3#1Research Institute of Advanced Surgical Technology and Engineering；3Department of
Hepatobiliary Surgery，the First Affiliated Hospital of Xi'an Jiaotong University；2Regenerative Medicine and Surgery Engineering Research Center of Shaanxi Province，Xi'an 710061，China

【Abstract】：The recording report system for intraoperative medical images and texts mainly consists of hardware and software systems.The hardware system includes the image-capturing unit，the jointed arm unit，the PC computer unit，the workstation unit，the intraoperative monitor unit，the wireless router unit，the color-printing unit，and the voice transmitting-receiving unit.The image-capturing unit is in charge of shooting images during each surgery.The jointed arm unit installs the image-capturing unit and adjusts the angles to take pictures.The PC computer unit has sockets for audio information receiving and USB.The audio information-receiving socket is connected with the audio information receiving and transmitting unit，and the USB socket is connected with a color printer.The workstation unit is linked with the image-shooting unit to receive images information.The monitor unit，joined with the workstation unit，shows real-time image information received from the workstation.The wireless router unit creates the network.The color-printing unit prints the files which the PC computer issues.The voice transmitting-receiving unit receives and transmits the voice descriptions and explanations to the PCbook=195,ebook=82computer unit.This software was developed independently with self-owned intellectual property rights.Preliminary application of this invention shows that the system not only realizes acquiring images during surgery，but also offers the procedure illustration for surgeons in charge.Finally，it will produce an operation report with medical images and texts automatically by hardware and software processing.

【Key words】：surgical operation；recording of images and texts；audio information

通信作者：吳榮謙（1971-），男，武漢人，教授，博士研究生導師，博士，主要研究方向：重癥醫(yī)學研究、外科技術創(chuàng)新及醫(yī)工結合方面的研究。電話：18629053941；E-mail：rwugmail@163.com呂毅（1963-），男，西安人，教授，博士研究生導師，博士，主要研究方向：肝移植臨床研究、外科技術創(chuàng)新及應用。

作者簡介：湯博（1989-），男，陜西寶雞人，碩士研究生在讀，主要研究方向：醫(yī)工結合外科輔助器械研發(fā)。

收稿日期：2016-03-01

基金項目：國家自然科學基金科學儀器項目（81127005/H0322）；教育部“創(chuàng)新團隊發(fā)展計劃”（IRT1279）

【中圖分類號】：G434；R-058

【文獻標志碼】：A

【文章編號】：1004-5287（2016）02-0194-04