陳淑珍

摘? 要： 膠囊內(nèi)窺鏡所拍攝的圖像通常由醫(yī)生進(jìn)行閱片獲得診斷結(jié)果，為了便于醫(yī)生診斷，對(duì)膠囊內(nèi)窺鏡拍攝的圖像進(jìn)行處理以輔助診斷具有重要意義。為了分析膠囊內(nèi)窺鏡圖像診斷技術(shù)的發(fā)展現(xiàn)狀，本文首先分析了膠囊內(nèi)窺鏡領(lǐng)域全球?qū)＠暾?qǐng)人分布，進(jìn)而選取全球?qū)＠暾?qǐng)量最大的申請(qǐng)人作為分析對(duì)象，對(duì)其在膠囊內(nèi)窺鏡圖像診斷方面的技術(shù)進(jìn)行深入分析。通過本文的分析，希望有助于本領(lǐng)域人員進(jìn)行膠囊內(nèi)窺鏡的研制。

關(guān)鍵詞： 膠囊內(nèi)窺鏡;圖像診斷;專利分析

中圖分類號(hào)： TH776;TP39? ? 文獻(xiàn)標(biāo)識(shí)碼： A? ? DOI：10.3969/j.issn.1003-6970.2019.07.024

【Abstract】： The images taken by capsule endoscope are usually read by doctors to obtain the diagnosis results. In order to facilitate the diagnosis， it is of great significance to process the images taken by capsule endoscope to assist the diagnosis. To analyze capsule endoscope image diagnosis technology development present situation， this article first analyzes the applicant distribution of patent applications in global， and then the applicant with the largest number of patent applications in the world was selected as the object of analysis， analyzing the technology of image diagnosis of the applicant with the largest number. The analysis in this paper is expected to be helpful to the development of capsule endoscope.

【Key words】： Capsule endoscope; Image diagnosis; Patent analysis

0? 引言

膠囊內(nèi)窺鏡，又稱無線膠囊內(nèi)窺鏡或者膠囊內(nèi)鏡，是人體消化道系統(tǒng)疾病檢查中經(jīng)常使用的檢查儀器，其基本功能是：通過使用者的口部吞咽進(jìn)行消化道，無創(chuàng)地拍攝消化道系統(tǒng)（包括食道、胃、小腸、大腸等）的圖像，并且利用計(jì)算機(jī)軟件進(jìn)行圖像分析，進(jìn)而為醫(yī)生進(jìn)行消化道系統(tǒng)疾病的診斷提供幫助。

對(duì)于膠囊內(nèi)窺鏡拍攝的一系列圖像，通常由醫(yī)生進(jìn)行觀察閱片而給出診斷結(jié)果，但是拍攝的圖像通常有上萬張，醫(yī)生在閱片過程中容易疲勞且容易漏診，因而本領(lǐng)域?qū)＜覍W(xué)者對(duì)膠囊內(nèi)窺鏡的計(jì)算機(jī)圖像處理技術(shù)進(jìn)行研究以輔助醫(yī)生進(jìn)行診斷，為了使得本領(lǐng)域研究人員能夠更好地了解該圖像診斷技術(shù)的發(fā)展現(xiàn)狀，有必要對(duì)其進(jìn)行一個(gè)深入的分析，從而有利于相關(guān)領(lǐng)域研究人員了解最新的技術(shù)發(fā)展動(dòng)態(tài)，更好地把握技術(shù)創(chuàng)新突破口。

本文選用中國(guó)專利檢索系統(tǒng)文摘數(shù)據(jù)庫（CPRSABS）和德溫特世界專利索引數(shù)據(jù)庫（DWPI）數(shù)據(jù)庫作為數(shù)據(jù)來源，檢索時(shí)間截止2019年3月1日，檢索以分類號(hào)結(jié)合關(guān)鍵詞進(jìn)行。對(duì)于檢索得到的結(jié)果進(jìn)行逐條人工去噪、標(biāo)引，并且進(jìn)行了膠囊內(nèi)窺鏡全球申請(qǐng)人分布的分析，同時(shí)選取了申請(qǐng)量排名第一的申請(qǐng)人對(duì)在圖像診斷技術(shù)方面的專利申請(qǐng)進(jìn)行分析，以供本領(lǐng)域技術(shù)人員參考。

1? 膠囊內(nèi)窺鏡全球申請(qǐng)人分布

通過對(duì)膠囊內(nèi)窺鏡領(lǐng)域的全球?qū)＠暾?qǐng)進(jìn)行統(tǒng)計(jì)，得到排名前三的申請(qǐng)人如圖1所示，其中申請(qǐng)量最大的是日本的奧林巴斯公司（其申請(qǐng)量占據(jù)排名前三的申請(qǐng)人中總量的74%），其次是以色列的基文影像公司（GIVEN IMAGING）（其申請(qǐng)量占據(jù)排名前三的申請(qǐng)人中總量的17%），第三是德國(guó)的西門子公司（其申請(qǐng)量占據(jù)排名前三的申請(qǐng)人中總量的10%）。

可見，在膠囊內(nèi)窺鏡領(lǐng)域，全球申請(qǐng)量排名前三的申請(qǐng)人均是國(guó)外公司，主要技術(shù)創(chuàng)新依然掌握在國(guó)外公司手中，而日本的奧林巴斯公司從專利申請(qǐng)量而言占據(jù)了絕對(duì)的優(yōu)勢(shì)，遠(yuǎn)遠(yuǎn)超過排在后面的基文影像公司和西門子公司?；诖耍疚倪x取奧林巴斯公司作為分析對(duì)象。

2? 奧林巴斯公司的圖像診斷技術(shù)分析

通過對(duì)奧林巴斯公司在膠囊內(nèi)窺鏡的圖像診斷技術(shù)方面的專利申請(qǐng)進(jìn)行分析，可以發(fā)現(xiàn)其改進(jìn)的技術(shù)主題主要包括三個(gè)方面：粘膜檢測(cè)、病變部位識(shí)別和重點(diǎn)圖像挑選，如圖2所示，其中粘膜檢測(cè)占據(jù)35%、病變部位識(shí)別占據(jù)43%、重點(diǎn)圖像挑選占據(jù)22%，可見更多的改進(jìn)在于如何識(shí)別病變部位。下面針對(duì)各個(gè)技術(shù)主題選擇一些重點(diǎn)專利申請(qǐng)作簡(jiǎn)要介紹。

2.1? 粘膜檢測(cè)

早在2004年，奧林巴斯公司就開始了粘膜檢測(cè)的研究，JP2006166939A[1]通過判斷采集的圖像數(shù)據(jù)的R、G、B濃度值，進(jìn)行粘膜邊界的檢測(cè)，進(jìn)而判斷是否存在不同性狀的粘膜，從而用于判斷是否存在巴瑞特（Barrett）粘膜。之后，CN101150977A[2]及CN101966071A[3]中，對(duì)膠囊內(nèi)窺鏡拍攝到的圖像，根據(jù)像素的色調(diào)進(jìn)行粘膜區(qū)域和非粘膜區(qū)域的區(qū)分。JP2012115342A[4]先計(jì)算圖像的紋理分量，進(jìn)而根據(jù)該紋理分量判別是否粘膜區(qū)域。

隨著技術(shù)的發(fā)展，奧林巴斯公司開始對(duì)粘膜檢測(cè)技術(shù)進(jìn)一步改進(jìn)，CN102697446A[5]根據(jù)圖像的各個(gè)像素的特征量，判定殘?jiān)蜻x區(qū)域，進(jìn)而識(shí)別圖像中包含的結(jié)構(gòu)邊緣，根據(jù)結(jié)構(gòu)邊緣與殘?jiān)蜻x區(qū)域的相對(duì)位置關(guān)系判斷殘?jiān)蜻x區(qū)域是否粘膜區(qū)域;US2010124365A1[6]對(duì)圖像的每個(gè)像素的顏色特征量進(jìn)行聚類分析，進(jìn)而劃分出粘膜與管腔內(nèi)容納物之間的邊界;JP2010187756A[7]計(jì)算圖像的色調(diào)和飽和度構(gòu)成的顏色平面，并在該平面上進(jìn)行聚類分析從而判斷粘膜區(qū)域。

由此可以發(fā)現(xiàn)，奧林巴斯公司對(duì)粘膜的檢測(cè)經(jīng)歷了簡(jiǎn)單的基于圖像顏色、紋理的處理，發(fā)展對(duì)針對(duì)顏色、色調(diào)、結(jié)構(gòu)特征等特征量作進(jìn)一步分析，進(jìn)而更準(zhǔn)確地判斷粘膜區(qū)域的發(fā)展階段。

2.2? 病變部位識(shí)別

病變部位識(shí)別是奧林巴斯公司在對(duì)膠囊內(nèi)窺鏡的圖像診斷技術(shù)中研究最多的方面，其又可以分為病變部位的直接識(shí)別以及基于異常候選區(qū)域的病變部位識(shí)別。

2.2.1? 病變部位的直接識(shí)別

奧林巴斯公司對(duì)病變部位的識(shí)別，早期主要根據(jù)圖像的色彩、輪廓、紋理、色調(diào)等來識(shí)別病變部位：

CN101170940A[8]根據(jù)圖像的各像素所表示的色彩信息、輪廓形狀、紋理、濃度梯度等來識(shí)別規(guī)定的特征并檢測(cè)特征圖像區(qū)域，從而用于識(shí)別是否存在臟器的出血、形狀異常等病變。CN101150977A[2]及CN101966071A[3]中根據(jù)圖像的綠色成分的濃度值，在粘膜區(qū)域和非粘膜區(qū)域中檢測(cè)出具有邊緣的區(qū)域;接著，根據(jù)圖像的紅色成分的濃度值，判定具有邊緣的區(qū)域是否為包含出血部位的區(qū)域，并將包含該出血部位的區(qū)域作為懷疑存在病變的區(qū)域。WO2006129430A1[9]中，根據(jù)圖像的顏色信號(hào)來計(jì)算色調(diào)，并基于該色調(diào)判斷不同圖像區(qū)域之間的差別，從而識(shí)別出包括出血區(qū)的部位。CN101116608A[10]中，不僅根據(jù)圖像的顏色信息檢測(cè)出血部位，還附加病變標(biāo)記，并且可以根據(jù)對(duì)應(yīng)的病變顏色來顯示病變標(biāo)記。

隨著技術(shù)的發(fā)展，奧林巴斯公司對(duì)圖像病變部位的識(shí)別也更加準(zhǔn)確化：CN102737388A[11]根據(jù)圖像的像素值進(jìn)行近似面的選擇，并且根據(jù)該近似面上的值檢測(cè)異常部位。JP2012238041A[12]根據(jù)圖像內(nèi)的邊緣信息，將圖像分割為分別包含多個(gè)像素的多個(gè)小區(qū)域，并且估計(jì)多個(gè)小區(qū)域分別歸屬于作為檢測(cè)對(duì)象的特定區(qū)域的概率即歸屬概率，以及計(jì)算相互相鄰的小區(qū)域?qū)儆谔囟▍^(qū)域及非特定區(qū)域內(nèi)的相同區(qū)域的程度的連結(jié)強(qiáng)度，最后根據(jù)歸屬概率及連結(jié)強(qiáng)度來檢測(cè)病變區(qū)域。

2.2.2? 基于異常候選區(qū)域的病變部位識(shí)別

基于異常候選區(qū)域的病變部位的識(shí)別，即先對(duì)膠囊內(nèi)窺鏡獲得的圖像進(jìn)行處理，識(shí)別出異常部位所在的候選區(qū)域，進(jìn)而在該候選區(qū)域中再通過不同的方法查找病變部位。

這種識(shí)別方式在早期并不存在，隨著技術(shù)的發(fā)展，從2008年開始，奧林巴斯公司申請(qǐng)了多件異常候選區(qū)域識(shí)別的專利申請(qǐng)：

JP2009297450A[13]的專利申請(qǐng)，其中計(jì)算圖像的像素值，對(duì)其梯度變化進(jìn)行建模，從而識(shí)別出異常部位的候選區(qū)域。CN102056530A[14]通過計(jì)算圖像不同區(qū)域的光流場(chǎng)，并根據(jù)光流場(chǎng)的結(jié)果比較來檢測(cè)異常候選區(qū)域。CN102254320A[15]和CN102376091A[16]中計(jì)算圖像的像素值的梯度信息，并根據(jù)該梯度信息生成符合條件“區(qū)域內(nèi)部不包含梯度強(qiáng)度為預(yù)定值以上的像素、而且區(qū)域的邊界不以大于預(yù)定值的曲率向該區(qū)域內(nèi)側(cè)彎曲”的封閉區(qū)域，并且在該封閉區(qū)域內(nèi)根據(jù)顏色特征量與基準(zhǔn)顏色的偏差檢測(cè)異常部位，從而能夠高精度地識(shí)別出人體管腔內(nèi)的病變部位。JP2012016453A[17]對(duì)各像素值的顏色要素進(jìn)行形態(tài)學(xué)處理，進(jìn)而識(shí)別異常候選區(qū)域。

進(jìn)而，在識(shí)別異常候選區(qū)域的基礎(chǔ)上，進(jìn)行病變部位的進(jìn)一步精確識(shí)別：

JP2013085718A[18]和CN103945755A[19]先識(shí)別出圖像中的出泡區(qū)域，進(jìn)而在出泡區(qū)域內(nèi)識(shí)別異常病變部位。WO2013187206A1[20]和CN104812288A[21]中先設(shè)定檢查區(qū)域，然后使用紋理特征量來識(shí)別位于檢查區(qū)域內(nèi)的被檢查者的細(xì)微結(jié)構(gòu)是否為異常。CN105828691A[22]先提取像素值比周圍高的像素連續(xù)規(guī)定像素?cái)?shù)以上的線形狀的區(qū)域作為關(guān)注區(qū)域，再計(jì)算基于沿著線形狀的區(qū)域的一個(gè)以上的圓弧的曲率，即曲率特征量，并根據(jù)該曲率特征量來判定關(guān)注區(qū)域內(nèi)是否存在病變部位。WO2017090166A1[23]根據(jù)生物體的管腔內(nèi)圖像中的粘膜壁的輪廓邊緣或粘膜壁的表面形狀來檢測(cè)異常候選區(qū)域，并根據(jù)異常候選區(qū)域的紋理信息來確定異常部位。

2.3? 重點(diǎn)圖像挑選

重點(diǎn)圖像挑選主要便于醫(yī)生更好地從眾多的圖像中識(shí)別出重點(diǎn)需要醫(yī)生閱讀的陽性圖像，并且，可以根據(jù)識(shí)別結(jié)果對(duì)需要重點(diǎn)關(guān)注的圖像予以放大、放慢速度等顯示，進(jìn)而提高醫(yī)生的閱片效率和有效診斷。

JP2013030105A[24]將采集到的圖像中拍入了同一對(duì)象的區(qū)域連結(jié)起來，來設(shè)定至少1個(gè)連結(jié)區(qū)域，計(jì)算連結(jié)區(qū)域的特征量，根據(jù)該特征量計(jì)算被拍入對(duì)象在各圖像中匯集的程度對(duì)應(yīng)的精華指標(biāo)值，根據(jù)該精華指標(biāo)值來檢測(cè)精華圖像。CN104203065A[25]中根據(jù)多個(gè)圖像之間的相似度、對(duì)象物體或場(chǎng)景的識(shí)別處理對(duì)拍攝獲得的圖像進(jìn)行精簡(jiǎn)，從而得到精簡(jiǎn)以后的數(shù)量減少的精簡(jiǎn)圖像列。CN101170940A[8]對(duì)于正常圖像和被識(shí)別出的存在病變的圖像，按照不同的速率進(jìn)行顯示，對(duì)于正常圖像，較快地進(jìn)行顯示，對(duì)于存在病變的圖像，放慢顯示速率。WO2013024687A1[26]先計(jì)算拍攝得到的圖像的特征量，特征量例如可以是圖像的平均顏色、平均顏色的變化量、平均亮度等，并將該特征量與基準(zhǔn)特征量進(jìn)行比較，判斷是否存在陽性圖像，并根據(jù)判定結(jié)果控制圖像顯示的模式，例如放大、縮小、改變顯示速度等。

隨著技術(shù)的發(fā)展，奧林巴斯公司在重點(diǎn)圖像的挑選方面，研發(fā)出了先挑選異常圖像組，進(jìn)而再?gòu)漠惓D像組中再選取優(yōu)選圖像的方法：

CN106132266A[27]中根據(jù)大局類似度或者基于大局類似度的判別參數(shù)與閾值之間的比較，提取包含相同的關(guān)注區(qū)域的關(guān)注圖像組，并從關(guān)注圖像組中提取代表圖像，其中大局類似度是指不同的關(guān)注圖像之間，至少包含除了關(guān)注區(qū)域以外區(qū)域的區(qū)域之間的類似度;WO2015137016A1[28]通過拍攝得到的一系列的圖像組中檢測(cè)包含異常區(qū)域的圖像即異常圖像，并在異常圖像中提取包含相同的異常區(qū)域的異常圖像組，進(jìn)而根據(jù)異常區(qū)域的重要度和視覺辨認(rèn)性中的至少任意一方，從各個(gè)異常圖像組中提取代表圖像。

3? 結(jié)論

在膠囊內(nèi)窺鏡領(lǐng)域，全球?qū)＠暾?qǐng)量最大的是日本的奧林巴斯公司，通過對(duì)奧林巴斯公司在膠囊內(nèi)窺經(jīng)圖像診斷技術(shù)方面的專利進(jìn)行分析，發(fā)現(xiàn)其研發(fā)重點(diǎn)主要包括粘膜檢測(cè)、病變部位識(shí)別和重點(diǎn)異常圖像挑選這三個(gè)方面，其中病變部位識(shí)別是研究的重中之重，包括了病變部位的直接識(shí)別和基于異常候選區(qū)域的病變部位的識(shí)別兩個(gè)主題的識(shí)別方式。通過本文的專利分析，有助于相關(guān)領(lǐng)域研究人員了解膠囊內(nèi)窺鏡的行業(yè)巨頭奧林巴斯公司在膠囊內(nèi)窺鏡圖像診斷技術(shù)方面的專利技術(shù)發(fā)展現(xiàn)狀，并有助于我國(guó)企業(yè)和研究機(jī)構(gòu)在此基礎(chǔ)上加強(qiáng)技術(shù)創(chuàng)新，尋找新的突破口，促進(jìn)我國(guó)膠囊內(nèi)窺鏡的研制。

參考文獻(xiàn)

[1] 奧林巴斯株式會(huì)社. 圖像處理方法， JP2006166939A[P]. 2006-06-29.

[2] 奧林巴斯醫(yī)療株式會(huì)社. 圖像處理裝置以及圖像處理方法， CN101150977A[P]. 2008-03-26.

[3] 奧林巴斯醫(yī)療株式會(huì)社. 圖像處理裝置以及圖像處理方法， CN101966071A[P]. 2011-02-09.

[4] 奧林巴斯株式會(huì)社. 圖像處理裝置、圖像處理方法以及圖像處理程序， JP2012115342A[P]. 2012-06-21.

[5] 奧林巴斯株式會(huì)社. 圖像處理裝置和圖像處理方法， CN102697446A[P]. 2012-10-03.

[6] Olympus corporation. Image display device， Computer Rea?dable Storage Medium Storing Image Processing Program， and Image Processing Method， US2010124365A1[P]. 2010- 05-20.

[7] 奧林巴斯株式會(huì)社. 圖像處理裝置以及圖像處理方法， JP2010187756A[P]. 2010-09-02.

[8] 奧林巴斯醫(yī)療株式會(huì)社. 圖像顯示裝置， CN101170940A[P]. 2008-04-30.

[9] 奧林巴斯醫(yī)療株式會(huì)社. 內(nèi)窺鏡診斷支持方法、內(nèi)窺鏡診斷支持裝置和內(nèi)窺鏡診斷支持程序， WO2006129430A1[P]. 2006-12-07.

[10] 奧林巴斯醫(yī)療株式會(huì)社. 圖像顯示裝置， CN101116608A[P]. 2008-02-06.

[11] 奧林巴斯株式會(huì)社. 圖像處理裝置以及圖像處理方法， CN102737388A[P]. 2012-10-17.

[12] 奧林巴斯株式會(huì)社. 圖像處理裝置及圖像處理方法， JP2012238041A[P]. 2012-12-06.

[13] 奧林巴斯株式會(huì)社. 圖像處理裝置、圖像處理程序以及圖像處理方法， JP2009297450A[P]. 2009-12-24.

[14] 奧林巴斯醫(yī)療株式會(huì)社. 圖像處理裝置、圖像處理程序以及圖像處理方法， CN102056530A[P]. 2011-05-11.

[15] 奧林巴斯株式會(huì)社. 圖像處理裝置及圖像處理方法， CN102254320 A[P]. 2011-11-23.

[16] 奧林巴斯株式會(huì)社. 圖像處理裝置以及圖像處理方法， CN102376091A[P]. 2012-03-14.

[17] 奧林巴斯株式會(huì)社. 圖像處理裝置、圖像處理方法以及圖像處理程序， JP2012016453A[P].? 2012-01-26.

[18] 奧林巴斯株式會(huì)社. 圖像處理裝置、圖像處理方法及圖像處理程序， JP2013085718A[P]. 2013-07-24.

[19] 奧林巴斯株式會(huì)社. 圖像處理裝置以及圖像處理方法， CN103945755A[P]. 2014-07-23.

[20] 奧林巴斯株式會(huì)社. 圖像處理裝置、圖像處理方法以及圖像處理程序， WO2013187206A1[P]. 2013-12-19.

[21] 奧林巴斯株式會(huì)社. 圖像處理裝置、圖像處理方法和圖像處理程序， CN104812288A[P]. 2015-07-29.

[22] 奧林巴斯株式會(huì)社. 圖像處理裝置、圖像處理方法和圖像處理程序， CN105828691A[P]. 2016-08-03.

[23] 奧林巴斯株式會(huì)社. 圖像處理裝置、圖像處理方法以及圖像處理程序， WO2017090166A1[P]. 2017-06-01.

[24] 奧林巴斯株式會(huì)社. 圖像處理裝置、圖像處理方法和圖像處理程序， JP2013030105A[P]. 2013-02-07.

[25] 奧林巴斯株式會(huì)社. 圖像處理裝置、程序和圖像處理方法， CN104203065A[P]. 2014-12-10.

[26] 奧林巴斯株式會(huì)社. 圖像管理裝置、方法和讀片用程序， WO2013024687A1[P]. 2013-02-21.

[27] 奧林巴斯株式會(huì)社. 圖像處理裝置、圖像處理方法以及圖像處理程序， CN106132266A[P]. 2016-11-16.

[28] 奧林巴斯株式會(huì)社. 圖像處理裝置、圖像處理方法、及圖像處理程序， WO2015137016A1[P]. 2015-09-17.