王琳，雷長(zhǎng)海，楊勇驥，王曄

1. 解放軍第85醫(yī)院 眼科，上海 200052；2. 第二軍醫(yī)大學(xué) 基礎(chǔ)部生物物理學(xué)教研室，上海 200433；3. 華東師范大學(xué) 數(shù)據(jù)科學(xué)與工程學(xué)院，上海 200062

引言

光學(xué)顯微鏡是利用光學(xué)原理，把人眼所不能分辨的微小物體放大成像，以供人們提取微細(xì)結(jié)構(gòu)信息的光學(xué)儀器，被廣泛應(yīng)用于工農(nóng)業(yè)生產(chǎn)及科學(xué)研究，在生物學(xué)和醫(yī)學(xué)工作中也經(jīng)常使用。隨著醫(yī)學(xué)手術(shù)的精細(xì)化發(fā)展，顯微鏡在各類(lèi)手術(shù)中得到越來(lái)越廣泛的應(yīng)用，尤其適用于微細(xì)血管和神經(jīng)的縫合、眼科各類(lèi)手術(shù)等需要借助于顯微放大進(jìn)行的精細(xì)手術(shù)或檢查[1]。然而由于手術(shù)顯微鏡設(shè)備限制，大部分只提供一路助手鏡供助手觀摩顯微鏡下視野，不能供多人同時(shí)觀看，因此也無(wú)法為多人提供演示示教，影響了此類(lèi)精密手術(shù)技術(shù)的學(xué)習(xí)和推廣效率。

采用分光模式架設(shè)多個(gè)顯微目鏡可以供多名用戶(hù)同時(shí)觀察相同的顯微視野，德國(guó)徠卡公司的Leica Multiviews系統(tǒng)就提供了類(lèi)似產(chǎn)品，可供最多20名用戶(hù)同時(shí)使用，觀察同一標(biāo)本，每個(gè)觀察點(diǎn)具有相同的清晰細(xì)節(jié)和顏色。然而此類(lèi)系統(tǒng)價(jià)格昂貴，且設(shè)備硬件連接方式和人員使用方式?jīng)Q定了系統(tǒng)需要比較大型的場(chǎng)地空間，不適合手術(shù)顯微鏡的使用場(chǎng)景。

通過(guò)在顯微鏡觀察筒和鏡身上加裝電子攝像系統(tǒng)，是目前顯微示教的另一類(lèi)主要模式，多個(gè)用戶(hù)可以通過(guò)大屏幕的方式共同觀察電子攝像的顯微視野，然而這類(lèi)大屏系統(tǒng)也涉及到場(chǎng)地限制和經(jīng)費(fèi)問(wèn)題，因此最新的顯微示教系統(tǒng)大都采用了多個(gè)智能終端無(wú)線接入的方法[1]?？紤]到高清圖像傳輸所需要的高帶寬，大部分系統(tǒng)采用了Wi-Fi的無(wú)線接入方式[2]。比如徠卡顯微系統(tǒng)發(fā)布最新無(wú)線教學(xué)顯微相機(jī)，配備有無(wú)線信號(hào)發(fā)射裝置的全新Leica ICC 50 W寬場(chǎng)顯微攝像頭及EZ 4 W體視顯微鏡，使用一體化高清攝像頭系統(tǒng)共享、攝取和保存圖像，已在生命科學(xué)研究中得到應(yīng)用。這兩款顯微鏡系統(tǒng)配合專(zhuān)用APP后都能直接將高清圖像傳輸至學(xué)生的移動(dòng)設(shè)備，其自帶的Wi-Fi功能可供5臺(tái)移動(dòng)設(shè)備同時(shí)接入，共享實(shí)時(shí)圖像。然而目前已有的此類(lèi)顯微示教系統(tǒng)的缺點(diǎn)主要有：① 多為專(zhuān)用型儀器服務(wù)，價(jià)格不菲，移動(dòng)性不強(qiáng)且不能適用于多種顯微鏡；② 在示教使用時(shí)只能觀察顯微鏡下圖像，不能同時(shí)觀察顯微鏡操作者（或手術(shù)操作者）的視頻圖像；③ 只能做單向的視頻觀察，無(wú)法實(shí)現(xiàn)老師和學(xué)生雙向交流，無(wú)法實(shí)現(xiàn)師生在線標(biāo)注、在線討論等需求。

在總結(jié)了現(xiàn)有系統(tǒng)優(yōu)缺點(diǎn)的基礎(chǔ)上，本文研究和開(kāi)發(fā)一種低成本、小型的適用于各類(lèi)顯微鏡的無(wú)線視頻示教裝置，用于實(shí)現(xiàn)多人同時(shí)多屏觀看顯微鏡視野和顯微鏡操作者視頻，并提供師生同時(shí)在線標(biāo)注和在線討論的功能。

1 材料與方法

1.1 系統(tǒng)架構(gòu)

系統(tǒng)硬件主要包含3個(gè)部分：① 控制主機(jī)部分，一臺(tái)迷你尺寸的控制主機(jī)，集成可充電電池，集成無(wú)線網(wǎng)卡，集成一個(gè)內(nèi)置魚(yú)眼廣角攝像頭（用于攝錄顯微鏡操作者視頻）；② 電子目鏡部分，一個(gè)USB高清攝像頭插入控制主機(jī)的USB接口，多個(gè)尺寸的套管用于配合攝像頭插入不同型號(hào)的顯微鏡；③ 客戶(hù)端部分，包括一臺(tái)教師主機(jī)用于管理控制（可推送教師機(jī)桌面到控制主機(jī)，供學(xué)生同屏觀看），多臺(tái)學(xué)生終端同時(shí)接入訪問(wèn)。

系統(tǒng)軟件主要包含4個(gè)模塊：① 教師管理端模塊，以HTML5的Web頁(yè)面形式提供迷你主機(jī)的實(shí)時(shí)管理功能，多用戶(hù)實(shí)時(shí)交流管理以及教學(xué)資源管理功能；② 多用戶(hù)實(shí)時(shí)在線交流模塊，可共同收看流媒體直播，以共享電子白板和彈幕的形式提供給多個(gè)用戶(hù)和教師一同交流；③ 輕量級(jí)WebServer，作為教師管理和多用戶(hù)交流的中間件模塊，負(fù)責(zé)后端應(yīng)用服務(wù)與Web前端的通信服務(wù)；④ 應(yīng)用服務(wù)端模塊，負(fù)責(zé)提供系統(tǒng)應(yīng)用服務(wù)，包括視頻服務(wù)、文件服務(wù)和交互服務(wù)。系統(tǒng)架構(gòu)，見(jiàn)圖1。

1.2 系統(tǒng)實(shí)現(xiàn)方法

系統(tǒng)需要提供給多個(gè)用戶(hù)采用不同智能終端同時(shí)接入訪問(wèn)，因此必須考慮系統(tǒng)的跨平臺(tái)特性和整體性能。經(jīng)過(guò)綜合評(píng)估，我們確定采用如下的軟件架構(gòu)。

（1）教師管理端模塊和多用戶(hù)交流模塊，基于HTML5前端實(shí)現(xiàn)。HTML5是HTML最新的修訂版本[3]，2014年10月由萬(wàn)維網(wǎng)聯(lián)盟（W3C）完成標(biāo)準(zhǔn)制定。它能夠減少網(wǎng)頁(yè)瀏覽器對(duì)于插件的需求，并且提供更多能有效加強(qiáng)網(wǎng)絡(luò)應(yīng)用的標(biāo)準(zhǔn)集。支持HTML5的瀏覽器包括Firefox（火狐瀏覽器）、IE9及其更高版本、Chrome（谷歌瀏覽器）、Safari、Opera等；還有國(guó)內(nèi)的360瀏覽器、搜狗瀏覽器、QQ瀏覽器、獵豹瀏覽器等，移動(dòng)端（手機(jī)或Pad）瀏覽器同樣具備支持HTML5的能力。因此選用HTML5進(jìn)行前端的開(kāi)發(fā)有利于我們實(shí)現(xiàn)系統(tǒng)的跨平臺(tái)特性。在HTML5頁(yè)面上系統(tǒng)以HTML5 Canvas[4]實(shí)時(shí)繪制的方式提供視頻顯示和公共白板功能，通過(guò)定義Canvas（畫(huà)布）的 MouseDown、MouseMove和 MouseUp以及 TouchStart、TouchMove和TouchEnd事件處理函數(shù)，這樣就可以使用鼠標(biāo)或者觸摸屏在Canvas容器上直接繪圖。在瀏覽器訪問(wèn)HTML5的Javascript腳本中使用WebSocket[5]可與后端服務(wù)和其他正在訪問(wèn)該頁(yè)面的瀏覽器直接通信。

圖1 系統(tǒng)架構(gòu)

（2）輕量級(jí)WebServer，基于Nginx實(shí)現(xiàn)。迷你控制主機(jī)的計(jì)算能力有限，因此我們采用輕量級(jí)的WebServer——Nginx來(lái)作為HTML5的服務(wù)端，Nginx還添加了rtmp模塊用于解析視頻[6-7]，在HTML5前端我們就可以使用開(kāi)源的FlowPlayer作為視頻的播放器和直播的接收器。

（3）應(yīng)用服務(wù)端模塊，基于Node.js實(shí)現(xiàn)。應(yīng)用服務(wù)端我們采用Node.js[8]搭建，Node.js是一個(gè)基于Chrome V8引擎的JavaScript運(yùn)行時(shí)平臺(tái)[9]，用于方便地搭建響應(yīng)速度快、易于擴(kuò)展的網(wǎng)絡(luò)應(yīng)用服務(wù)。Node.js使用事件驅(qū)動(dòng)和非阻塞I/O模型而得以輕量和高效，非常適合在分布式設(shè)備上運(yùn)行數(shù)據(jù)密集型的實(shí)時(shí)應(yīng)用。我們使用基于Node.js的Socket.IO庫(kù)實(shí)現(xiàn)WebSocket服務(wù)端[10]，主要負(fù)責(zé)三個(gè)部分的功能：① 實(shí)現(xiàn)高效的視頻服務(wù)端，采用WebSocket將獲取到的三路ffmpeg[11]視頻（包括顯微鏡視頻、操作者視頻以及教師機(jī)桌面）流轉(zhuǎn)碼，推送給Web前端，以Canvas實(shí)時(shí)繪制的方式顯示；② 實(shí)現(xiàn)文件上傳和管理服務(wù)端，Web頁(yè)面上采用AJAX的異步方式傳輸文件[12]，不影響Web頁(yè)面上視頻的正常顯示，后端采用Node.js架設(shè)文件服務(wù)器；③ 實(shí)現(xiàn)交互服務(wù)端，在HTML5前端的Canvas上繪圖只能顯示在本地的瀏覽器上，要在多個(gè)瀏覽器上共同標(biāo)注和繪圖就需要有服務(wù)器接收所有Canvas的繪圖指令，并轉(zhuǎn)發(fā)到所有客戶(hù)端上，繪圖服務(wù)器同樣采用Node.js實(shí)現(xiàn)，用類(lèi)似的方式該服務(wù)器還實(shí)現(xiàn)了多個(gè)瀏覽器發(fā)送彈幕的功能。

2 結(jié)果

按照前述系統(tǒng)架構(gòu)，我們實(shí)現(xiàn)了該無(wú)線視頻示教裝置，以迷你控制主機(jī)為核心。系統(tǒng)實(shí)現(xiàn)的硬件連接，見(jiàn)圖2。

圖2 系統(tǒng)硬件連接示意圖

迷你尺寸控制主機(jī)的主板部分使用Element 14的樹(shù)莓派3代實(shí)現(xiàn)[13-14]，內(nèi)置一個(gè)1.2 GHz 64位四核ARMv8 CPU和802.11bgn無(wú)線網(wǎng)卡，以32G TF卡作為存儲(chǔ)，有4個(gè)USB2.0接口以及1個(gè)以太網(wǎng)接口，只有一張信用卡大小面積，體積是一個(gè)煙盒大小?？刂浦鳈C(jī)中集成一個(gè)5 V/2 A的可充電移動(dòng)電源為主機(jī)供電，同時(shí)集成樹(shù)莓派專(zhuān)用800萬(wàn)像素?cái)z像頭模塊，用于攝錄顯微鏡操作者的高清操作視頻?？刂浦鳈C(jī)使用USB接口連接專(zhuān)用的500萬(wàn)像素顯微鏡電子目鏡作為另一路攝像頭，采用多種尺寸的套管可以插入多種顯微鏡目鏡攝錄高清顯微視野的視頻?？刂浦鳈C(jī)同時(shí)以無(wú)線網(wǎng)卡硬件結(jié)合hostapd軟件模塊[15]提供AP服務(wù)，實(shí)現(xiàn)802.11bgn接入和WPA-PSK認(rèn)證，以dnsmasq軟件模塊[16]實(shí)現(xiàn)客戶(hù)端地址自動(dòng)分配，多臺(tái)智能終端（筆記本電腦、手機(jī)或PAD設(shè)備，其一作為管理端，其余作為顯示和互動(dòng)終端）可同時(shí)Wi-Fi接入控制主機(jī)，在多個(gè)終端打開(kāi)瀏覽器訪問(wèn)控制主機(jī)以HTML5的形式同時(shí)顯示顯微鏡動(dòng)態(tài)圖像（視頻）和操作者操作視頻。

控制主機(jī)采用Raspbian操作系統(tǒng)，視頻采集單元以ffmpeg軟件采集兩路視頻并推流到視頻分發(fā)單元；視頻分發(fā)單元以Node.js架設(shè)迷你視頻服務(wù)器接收視頻推流，以Web Socket方式分發(fā)給客戶(hù)端；互動(dòng)控制單元采用輕量級(jí)的Web服務(wù)器Nginx，以HTML5的形式負(fù)責(zé)接受指令拍攝、存儲(chǔ)動(dòng)態(tài)視頻和靜態(tài)畫(huà)面，存儲(chǔ)在控制主機(jī)的TF卡內(nèi)，同時(shí)服務(wù)多個(gè)終端使用彈幕和共享白板方式進(jìn)行交流溝通，控制主機(jī)中的后臺(tái)應(yīng)用服務(wù)采用Node.js實(shí)現(xiàn)。

3 討論

本文研制了一套用于顯微鏡的無(wú)線視頻示教裝置，文中詳細(xì)介紹了系統(tǒng)的組成、系統(tǒng)架構(gòu)、軟件設(shè)計(jì)和結(jié)構(gòu)功能。研究創(chuàng)新點(diǎn)主要有以下三點(diǎn)：① 系統(tǒng)采用了基于樹(shù)莓派和高清USB攝像頭的硬件，集成了無(wú)線熱點(diǎn)和可移動(dòng)電池供電，為系統(tǒng)提供了低成本和可移動(dòng)的特性；② 在樹(shù)莓派Raspbian系統(tǒng)中以Nginx提供Web服務(wù)，基于Node.js和Canvas實(shí)現(xiàn)了實(shí)時(shí)HTML5視頻傳輸方案，系統(tǒng)視頻傳輸?shù)臅r(shí)延在0.5 s左右；③ 基于WebSocket實(shí)現(xiàn)了多用戶(hù)在同一界面中共享白板共同標(biāo)注和實(shí)時(shí)彈幕的功能，為系統(tǒng)提供了實(shí)時(shí)的交互特性。

與現(xiàn)有的顯微鏡示教系統(tǒng)相比，該系統(tǒng)最大的優(yōu)勢(shì)在于小型化、低成本、高性能、可無(wú)線靈活部署和強(qiáng)大的交互功能。實(shí)際系統(tǒng)使用的展示，見(jiàn)圖3。

圖3 系統(tǒng)使用展示

在后續(xù)的研究中將探討系統(tǒng)實(shí)現(xiàn)音視頻的一體化直播功能，在系統(tǒng)的功能擴(kuò)展中考慮在控制主機(jī)上增加一個(gè)帶麥克風(fēng)的USB攝像頭，以rtmp[17]（供PC端訪問(wèn)）和hls[18-19]（供移動(dòng)端訪問(wèn)）結(jié)合的方式提供一路教師的音視頻直播信號(hào)，豐富課堂展示效果。此外將研究在系統(tǒng)中以硬件方式提高無(wú)線AP性能，提高視頻數(shù)據(jù)傳輸速度，同時(shí)提高整體系統(tǒng)的無(wú)線承載能力以供更多用戶(hù)的同時(shí)Wi-Fi接入使用。