彭韻

(國(guó)家知識(shí)產(chǎn)權(quán)局專利局專利審查協(xié)作四川中心光電部，成都610200)

膠囊內(nèi)窺鏡成像技術(shù)專利分析

彭韻

(國(guó)家知識(shí)產(chǎn)權(quán)局專利局專利審查協(xié)作四川中心光電部，成都610200)

本文對(duì)膠囊內(nèi)窺鏡的成像技術(shù)所涉及的三個(gè)方面，即圖像采集、無(wú)線通信和圖像處理的主要申請(qǐng)人和申請(qǐng)兩趨勢(shì)進(jìn)行了分析，并分析了奧林巴斯和基文兩家公司在圖像處理技術(shù)上不同的研發(fā)脈絡(luò)，總結(jié)了膠囊內(nèi)窺鏡圖像處理技術(shù)中研發(fā)方向。

膠囊;內(nèi)窺鏡;成像;專利分析

0 引言

隨著生活水平的不斷提高，人們的飲食結(jié)構(gòu)發(fā)生改變，工作壓力驟增，消化道疾病也越來(lái)越多，已成為最常見(jiàn)最多發(fā)的疾病之一。醫(yī)生通常使用傳統(tǒng)的插入式內(nèi)窺鏡進(jìn)入人體消化道，探測(cè)消化道內(nèi)圖像信息和/或進(jìn)行手術(shù)操作，然而這種傳統(tǒng)的內(nèi)窺鏡尺寸較大、帶有外部操作裝置，插入人體腸道深處時(shí)很容易對(duì)腸壁組長(zhǎng)造成損傷，給患者帶來(lái)巨大的不適和痛苦，隨著MEMS技術(shù)的快速發(fā)展，外形如吞服膠囊大小的體腔內(nèi)膠囊內(nèi)窺鏡應(yīng)運(yùn)而生。膠囊內(nèi)窺鏡在消化道中的一個(gè)重要應(yīng)用是對(duì)消化道進(jìn)行拍攝成像，為醫(yī)生對(duì)消化道疾病的診斷提供直觀的依據(jù)，膠囊內(nèi)窺鏡的成像技術(shù)包括了體腔內(nèi)圖像的采集、通信和處理三個(gè)主要部分。

1 圖像采集

膠囊內(nèi)窺鏡的圖像采集系統(tǒng)主要包括照明系統(tǒng)、光學(xué)系統(tǒng)和圖像傳感器等三部分。由于微型機(jī)器人的體積限制，照明系統(tǒng)一般采用高亮度的白光貼片式發(fā)光二極管，由于電源的限制，其發(fā)光強(qiáng)度一般比較弱，光的照射無(wú)法及遠(yuǎn)，因此如何提高照明系統(tǒng)的發(fā)光強(qiáng)度以及照射范圍和距離是照明系統(tǒng)的研究重點(diǎn);消化道內(nèi)微型機(jī)器人的圖像傳感器主要采用CCD(電荷耦合器件)和CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)兩種，由于微型機(jī)器人的體積和電源的限制，尺寸更小、功耗更低的CMOS圖像傳感器被采用的更為普遍。而采用可旋轉(zhuǎn)的或多個(gè)圖像采集系統(tǒng)從而提高微型機(jī)器人的圖像采集效率，降低漏檢率，是本技術(shù)分支的發(fā)展趨勢(shì)。

從圖2所示的圖像采集主要申請(qǐng)人分布情況來(lái)看，奧林巴斯、基文、富士、廣州寶膽和富士能五家公司排名前5，其中又以?shī)W林巴斯和基文公司的申請(qǐng)量占據(jù)壟斷地位，這與奧林巴斯和基文在整個(gè)膠囊內(nèi)窺鏡領(lǐng)域所占的統(tǒng)治地位也是相符合的。

圖1 圖像采集主要申請(qǐng)人

圖2 無(wú)線通信主要申請(qǐng)人

2 無(wú)線通信

膠囊內(nèi)窺鏡的無(wú)線通信模塊包括圖像信號(hào)的無(wú)線發(fā)射和控制信號(hào)的無(wú)線接收。圖像信號(hào)的無(wú)線發(fā)射在膠囊內(nèi)窺鏡系統(tǒng)中占有重要的地位，圖像的無(wú)線通信可以克服引線在體內(nèi)牽引造成的痛苦和不便，同時(shí)微型機(jī)器人的運(yùn)動(dòng)靈活性也大大增加。圖像無(wú)線通信的關(guān)鍵是圖像通信的質(zhì)量、圖像發(fā)射電路的尺寸和功耗。微型機(jī)器人工作在人體的消化道中，由于空間位置狹小，它的圖像發(fā)射電路應(yīng)當(dāng)盡可能的小，應(yīng)由最少的元件構(gòu)成。膠囊內(nèi)窺鏡的控制信號(hào)的無(wú)線接一般采用低頻信號(hào)接收模塊，其可以把便攜裝置的指令傳送給微型機(jī)器人的控制模塊，從而完成參數(shù)設(shè)定等控制工作，低頻信號(hào)接收模塊的芯片選擇也應(yīng)考慮到抗干擾、低功耗和微型化等因素。

從圖4所示的無(wú)線通信主要申請(qǐng)人分布情況來(lái)看，奧林巴斯、基文、富士、賓得和卡普索五家公司排名前5，其中以?shī)W林巴斯的申請(qǐng)量占據(jù)壟斷地位，表明奧林巴斯在圖像的無(wú)線通信技術(shù)上展開(kāi)了大量的研發(fā)和布局，遠(yuǎn)遠(yuǎn)超過(guò)其他公司。

3 圖像處理

膠囊內(nèi)窺鏡在檢查過(guò)程中需要由檢查者吞咽后，隨著胃腸道蠕動(dòng)拍攝整個(gè)消化道的檢查圖像，并通過(guò)病人隨身攜帶的接收器接受所拍攝的圖像數(shù)據(jù)，最后在終端工作站由閱片醫(yī)生觀察而做出診斷。膠囊內(nèi)窺鏡在病人消化道內(nèi)存在的時(shí)間在8小時(shí)以上，檢查過(guò)程中需要拍攝數(shù)萬(wàn)張彩色圖像，其拍攝的圖像本身具有大量的信息冗余，對(duì)其進(jìn)行壓縮和存儲(chǔ)是圖像處理中的關(guān)鍵技術(shù)，并且醫(yī)生在閱讀上萬(wàn)張圖像時(shí)由于過(guò)長(zhǎng)的工作時(shí)間所導(dǎo)致的漏診率較高效率較低也是影響膠囊內(nèi)窺鏡發(fā)展與普及的重要問(wèn)題，如何通過(guò)圖像處理算法對(duì)冗余圖像進(jìn)行計(jì)算機(jī)輔助的篩選，序列圖像之間的配準(zhǔn)與融合、三維重建等，以及通過(guò)計(jì)算機(jī)圖像處理技術(shù)輔助醫(yī)生進(jìn)行診斷，例如自動(dòng)識(shí)別并標(biāo)記所拍攝圖像中的病灶，均是本技術(shù)分支內(nèi)研究的熱點(diǎn)。

圖3 圖像處理主要申請(qǐng)人

從圖6所示的圖像處理主要申請(qǐng)人分布情況來(lái)看，奧林巴斯、基文、富士、intromedic和卡普索五家公司排名前5，其中以?shī)W林巴斯的申請(qǐng)量占據(jù)壟斷地位，表明奧林巴斯在圖像處理技術(shù)上展開(kāi)了大量的研發(fā)和布局，而基文公司在圖像處理技術(shù)上的申請(qǐng)量也比較突出，表明了基文公司對(duì)圖像處理技術(shù)的重視程度。

4 圖象處理技術(shù)重要專利分析

最終呈現(xiàn)給用戶的是膠囊內(nèi)窺鏡所拍攝的圖像，圖像質(zhì)量的好壞直接決定了用戶的第一感覺(jué)，只有高質(zhì)量的圖像質(zhì)量才能首先打動(dòng)用戶使用其產(chǎn)品，在基文公司最新的產(chǎn)品中，膠囊內(nèi)窺鏡能夠以高達(dá)40幀/秒的速度采集圖像，最終可獲得超過(guò)30萬(wàn)張圖像，因此如何通過(guò)計(jì)算機(jī)輔助的手段來(lái)降低醫(yī)生的閱片時(shí)間，是各大公司的研發(fā)重點(diǎn)，本節(jié)中將深入分析奧林巴斯和基文兩家公司在圖像處理技術(shù)中最終呈現(xiàn)給用戶的圖像顯示技術(shù)上的技術(shù)研發(fā)脈絡(luò)，從而展現(xiàn)兩家公司在技術(shù)研發(fā)和布局上的思路，總結(jié)技術(shù)發(fā)展的方向。

4.1 奧林巴斯

奧林巴斯在2004年申請(qǐng)了一系列關(guān)于圖像瀏覽界面的專利。CN1777391A中公開(kāi)了在圖像顯示裝置上顯示表示由膠囊內(nèi)窺鏡按時(shí)間序列拍攝的圖像的整個(gè)攝像期間的平均顏色條。將全部攝像圖像中被檢驗(yàn)的圖像，一覽顯示在檢驗(yàn)圖像顯示欄中，算出各檢驗(yàn)圖像對(duì)應(yīng)于攝像期間中的哪個(gè)時(shí)間，用平均顏色條的刻度，在該平均顏色條上以與各檢驗(yàn)圖像對(duì)應(yīng)的編號(hào)進(jìn)行標(biāo)記顯示。由此，提高拍攝體內(nèi)所得的圖像的檢索性，并且，可容易地識(shí)別顯示圖像是哪個(gè)臟器的圖像。

CN1777390A在圖像瀏覽界面上設(shè)置滑塊S，該滑塊S能在平均顏色條上移動(dòng)，隨著滑塊S的移動(dòng)將與滑塊位置對(duì)應(yīng)的攝像時(shí)刻的圖像顯示在圖像顯示欄中，并將基于攝像圖像數(shù)據(jù)的平均顏色顯示在平均顏色條上的時(shí)間對(duì)應(yīng)的位置上。

到2007～2008年，奧林巴斯基于上述圖像瀏覽界面作出改進(jìn)，提供簡(jiǎn)單的圖像識(shí)別手段，根據(jù)圖像的顏色信息檢測(cè)圖像中的病變部位(例如出血部位)，并附加病變標(biāo)記，在標(biāo)記顯示部中以對(duì)應(yīng)的病變顏色來(lái)顯示病變標(biāo)記，滑塊不只是起到快速瀏覽的作用，而且滑塊本身的顏色也將根據(jù)病變標(biāo)記發(fā)生變化，從而更利于快速的對(duì)病變圖像進(jìn)行瀏覽。

奧林巴斯在2009年申請(qǐng)的三件專利中，均采用了計(jì)算機(jī)圖像識(shí)別技術(shù)來(lái)輔助醫(yī)生快速的定位病變圖像。其中US2010124365A1通過(guò)直方圖聚類來(lái)自動(dòng)識(shí)別膠囊內(nèi)窺鏡所采集的消化道圖像中的粘膜區(qū)域，其對(duì)圖像中對(duì)顏色特征量的數(shù)據(jù)分布進(jìn)行聚類，然后根據(jù)圖像數(shù)據(jù)在顏色特征空間中的直方圖的雙峰性，判斷構(gòu)成一系列消化道內(nèi)圖像的各圖像內(nèi)的粘膜區(qū)域。CN101739659A也提供了一種根據(jù)直方圖來(lái)識(shí)別粘膜區(qū)域的裝置，而CN102056530A則提供了一種根據(jù)圖像中的光流場(chǎng)來(lái)檢測(cè)圖像中異常區(qū)域的手段。

2010年，奧林巴斯利用顏色空間轉(zhuǎn)換進(jìn)行圖像中粘膜區(qū)域識(shí)別，其將圖像的RGB值轉(zhuǎn)換為色差信號(hào)即UV值，然后將UV值轉(zhuǎn)換為由色調(diào)H和飽和度S構(gòu)成的顏色平面(HS顏色平面)，通過(guò)在HS顏色平面上的數(shù)據(jù)聚類來(lái)判斷采集的圖像是否為粘膜區(qū)域。2011年奧林巴斯進(jìn)一步利用圖像之中的紋理信息(CN102567988A)和形狀信息(CN102525381A)進(jìn)行圖像識(shí)別以輔助醫(yī)生進(jìn)行快速閱片。

從奧林巴斯公司在計(jì)算機(jī)輔助閱片技術(shù)上技術(shù)研發(fā)的脈絡(luò)來(lái)看，早期其主要利用圖像的多樣顯示和控件技術(shù)來(lái)方便醫(yī)生的瀏覽;其后又采用了簡(jiǎn)單的圖像識(shí)別技術(shù)，例如通過(guò)顏色信息來(lái)識(shí)別出血部位，來(lái)輔助醫(yī)生快速的定位病變圖像;隨后，花樣繁多的圖像識(shí)別技術(shù)，如顏色空間、紋理、形狀等越來(lái)越多的信息被用于圖像的識(shí)別，從而為醫(yī)生提供更加準(zhǔn)確和多樣的瀏覽手段，進(jìn)一步提高醫(yī)生閱片的效率。

4.2 基文公司

基文最早在2001年就提交了一份關(guān)于圖像流顯示控制的專利申請(qǐng)，其提供了通過(guò)鼠標(biāo)滾輪或者操縱桿來(lái)控制動(dòng)態(tài)圖像顯示的技術(shù)，通過(guò)鼠標(biāo)滾輪的前后滾動(dòng)，控制動(dòng)態(tài)圖像的前進(jìn)、后退以及顯示速度的加速、減速等，從而為閱片醫(yī)生提供了一種便捷的圖像瀏覽方式。

隨后，基文在2003年提出了雙圖像流的顯示技術(shù)，圖像流被切分為兩部分，分別在兩個(gè)獨(dú)立的窗口中進(jìn)行顯示，兩個(gè)窗口中可顯示多種不同的內(nèi)容。隨后在US2004027500A1中提供了更為豐富的圖像流顯示方案，其中一個(gè)窗口顯示原圖像流，另一個(gè)窗口能夠顯示經(jīng)過(guò)平滑、線性或非線性變換、亮度標(biāo)準(zhǔn)化等預(yù)處理的圖像流，從而為閱片醫(yī)生提供更加豐富的顯示內(nèi)容以提高閱片效率。

2004年，基文提交了三份關(guān)于圖像流顯示的申請(qǐng)。在WO2005031650A1中，圖像流的顯示界面中加入了與奧林巴斯的平均顏色條和滑塊技術(shù)相類似的顏色條技術(shù)，顏色條位于圖像流顯示窗口的側(cè)面，與奧林巴斯不同的是，基文還進(jìn)一步在顏色條中加入了解剖位置的標(biāo)記，或者溫度、pH水平的標(biāo)記，從而為閱片醫(yī)生提供更為豐富的概覽信息。在WO2005062715A2中，基文提供了多達(dá)16個(gè)或更多圖像流同時(shí)顯示的技術(shù)，原始圖像流根據(jù)時(shí)間被切分為16個(gè)子圖像流，從而為閱片醫(yī)生一次性提供大量的圖像信息，從而盡可能的減少醫(yī)生的閱片時(shí)間，但是與此同時(shí)，醫(yī)生的單位時(shí)間內(nèi)工作強(qiáng)度也將大大增加。

同年，基文在豐富圖像流的內(nèi)容編輯上也開(kāi)始發(fā)力，在US2006074275A1中，圖像顯示界面提供了編輯按鈕，用戶可以選擇一些特定的編輯方法來(lái)編輯所觀看的圖像流，例如選擇每第n個(gè)圖像來(lái)供顯示，其中n是根據(jù)生成所述圖像的身體區(qū)域而確定的、選擇與癥狀相關(guān)的圖像來(lái)供顯示、選擇與預(yù)先存在的圖像相似的圖像來(lái)供顯示、以及選擇具有最佳質(zhì)量的圖像來(lái)供顯示。

2007年基文公司在圖像識(shí)別技術(shù)上進(jìn)行了比較深入的研究，WO2007105213A2中，模式識(shí)別技術(shù)、圖像幀的紋理(例如褶皺)提取技術(shù)被用于識(shí)別腸道中的收縮，從而輔助醫(yī)生識(shí)別病變圖像，在估計(jì)圖像中腸道的中心位置時(shí)，其中采用了邊緣檢測(cè)、圖像二值化以及形態(tài)學(xué)骨骼化的技術(shù)。

時(shí)隔4年后，基文在2011－2012年重新發(fā)力，繼續(xù)在圖像流的顯示和編輯技術(shù)上展開(kāi)布局。在WO2011135573A1中，用戶可自由選擇圖像流顯示的布局陣列，并且利用其功能強(qiáng)大的編輯濾波器，對(duì)圖像流進(jìn)行預(yù)先識(shí)別和分類，預(yù)先確定的標(biāo)準(zhǔn)可以包括，病理檢測(cè)或解剖標(biāo)志檢測(cè)的度量或得分，膠囊的估算位置或區(qū)域，膠囊在優(yōu)選部位的可能性，次要傳感器信息，膠囊運(yùn)動(dòng)或可動(dòng)性，膠囊方位，幀獲取或傳送速率等等。

基于布局陣列和編輯濾波器的結(jié)合，基文可以說(shuō)是將圖像流顯示和編輯技術(shù)發(fā)揮到了極致，與此同時(shí)，也對(duì)閱片醫(yī)生的操作熟練程度提出了更高的要求，其實(shí)際使用的體驗(yàn)究竟如何，還有待市場(chǎng)的檢驗(yàn)。

5 結(jié)論

膠囊內(nèi)窺鏡的一個(gè)最主要應(yīng)用就是進(jìn)行消化道內(nèi)成像，因此各公司的研發(fā)重點(diǎn)也是在成像技術(shù)上。從成像技術(shù)的三個(gè)子分支技術(shù)來(lái)看，奧林巴斯和基文兩家公司在圖像采集、無(wú)線通信和圖像處理技術(shù)上的申請(qǐng)量均占據(jù)前兩位，值得一提的是，國(guó)內(nèi)的廣州寶膽公司進(jìn)入了圖像采集技術(shù)申請(qǐng)量的前5位，并且其在2010年后的申請(qǐng)量與奧林巴斯基本持平，展現(xiàn)了國(guó)內(nèi)企業(yè)在圖像采集技術(shù)上與國(guó)外巨頭相抗衡的實(shí)力。

在圖像處理技術(shù)的研發(fā)上，奧林巴斯和基文兩家公司各自展現(xiàn)了不同的思路，奧林巴斯在圖像顯示技術(shù)、圖像瀏覽控件以及圖像識(shí)別上均有所涉獵，而基文公司則專注于其圖像流的顯示和編輯技術(shù)，但殊途同歸，兩家公司最終均選擇了圖像識(shí)別技術(shù)作為其在計(jì)算機(jī)輔助閱片技術(shù)上的研發(fā)方向，由此可見(jiàn)，更加智能化的病灶部位計(jì)算機(jī)自動(dòng)識(shí)別是未來(lái)輔助閱片醫(yī)生快速準(zhǔn)確的瀏覽圖像的首選手段。

TH776+.1

A

1002－2376(2015)07－0035－03

2015－03－15