亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        腸道機(jī)器人獲取的腸道圖像降噪處理方法

        2021-11-05 03:09:00薛蓉蓉王志武顏國正莊浩宇

        薛蓉蓉, 王志武, 顏國正, 莊浩宇

        (上海交通大學(xué) 醫(yī)療機(jī)器人研究院, 上海 200240)

        無線供能式腸道機(jī)器人通過攝像頭對腸道內(nèi)部環(huán)境拍照,將圖像傳輸?shù)襟w外上位機(jī)中顯示,并供醫(yī)生診斷.由于硬件設(shè)備、磁場環(huán)境等,拍攝到的腸道圖像總是不可避免地受到噪聲影響,直接影響后續(xù)醫(yī)生的判讀.因此,減少無線供能式腸道機(jī)器人所采集的圖像中的噪聲,具有重要的臨床應(yīng)用價(jià)值.

        針對無線供能式腸道機(jī)器人采集圖像質(zhì)量的降低,傳統(tǒng)的方法是空間域?yàn)V波和變換域?yàn)V波.Ning等[1]采用自適應(yīng)中值濾波和維納濾波的方法去除機(jī)器人采集圖像的高斯噪聲和椒鹽噪聲.彭宇[2]提出正交小波變換的方法來降低腸道圖像的橫條紋噪聲,取得了比增加圖像像素輸出增益更好的效果.Duda等[3]采用超分辨率的方法對腸道圖像進(jìn)行處理,但會使得圖像的邊緣模糊.近年來,深度學(xué)習(xí)成為圖像優(yōu)化的一種重要方式.Jain等[4]首次采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型進(jìn)行圖像降噪,取得比傳統(tǒng)方法更好的效果.Zhang等[5]提出更深層的前饋去噪卷積神經(jīng)網(wǎng)絡(luò)(DnCNN)模型,首次結(jié)合殘差學(xué)習(xí)和批量歸一化進(jìn)行圖像降噪.Zou等[6]使用基于CNN的盲降噪方法,并有效抑制了腸道圖像的噪聲.

        基于以上分析,為了在降低腸道圖片噪聲的同時(shí)減小失真度并提升亮度,提出腸道圖片的頻率域降噪方法.首先,對無線供能式腸道機(jī)器人采集到的帶干擾的腸道圖片進(jìn)行直方圖均衡化預(yù)處理,提升其亮度和色彩對比度.其次,通過NSCT變換獲得腸道圖像的高低頻特征數(shù)據(jù)并對進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練.最后,將高低頻濾波輸出結(jié)果進(jìn)行NSCT逆變換,得到降噪后的圖像.算法整體流程如圖1所示.

        圖1 腸道圖像降噪算法整體流程圖Fig.1 Flow chart of intestinal image noise reduction algorithm

        1 無線供能式腸道機(jī)器人圖像采集系統(tǒng)

        無線供能式腸道機(jī)器人圖像采集系統(tǒng)由體內(nèi)發(fā)射端和體外接收端組成,采用基于NTSC制式的圖像采集方式[7],工作原理是:互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器采集腸道內(nèi)壁的圖像,編碼為NTSC制式模擬視頻流,通過發(fā)射天線傳輸?shù)襟w外,體外接收端的無線圖像接收模塊接收圖像數(shù)據(jù),并編碼為數(shù)字式圖像進(jìn)行顯示.

        在圖像采集系統(tǒng)的能量供應(yīng)方式上,采用基于電磁感應(yīng)原理的無線能量傳輸技術(shù).在能量發(fā)射電路中,直流電經(jīng)過逆變橋生成交變電流驅(qū)動發(fā)射線圈,在其周圍產(chǎn)生交變電磁場.體內(nèi)接收線圈通過電磁感應(yīng)獲得能量之后,經(jīng)過整流和穩(wěn)壓給圖像采集系統(tǒng)供應(yīng)能量,如圖2所示.

        圖2 圖像采集系統(tǒng)整體設(shè)計(jì)框圖Fig.2 Block diagram of overall design of image acquisition system

        2 腸道圖像噪聲來源

        腸道圖像中噪聲存在的原因可列為以下3點(diǎn):① 電磁場的干擾.由腸道機(jī)器人無線能量供應(yīng)的方式可知,其處在磁場環(huán)境中工作,因此信號傳遞的過程中會摻雜大量的電磁信號,在圖像上表現(xiàn)為噪點(diǎn)噪聲[8],影響圖像的質(zhì)量;② 機(jī)器人運(yùn)動不穩(wěn)定性的影響.機(jī)器人在腸道內(nèi)運(yùn)動時(shí),腸道和CMOS圖像傳感器之間產(chǎn)生的相對運(yùn)動,即運(yùn)動噪聲[9],會導(dǎo)致圖像的模糊;③ 圖像采集系統(tǒng)自身因素的影響.CMOS圖像傳感器易受到固定模式噪聲的干擾,在圖像上表現(xiàn)為條紋噪聲和亮度的不均勻性[10].由于腸道圖像噪聲的復(fù)雜性,傳統(tǒng)針對某類噪聲的單一降噪處理方法對腸道噪聲圖像的降噪效果不好,因此,采用基于學(xué)習(xí)的CNN處理方法.

        3 基于NSCT變換的腸道圖片降噪方法

        3.1 腸道噪聲圖像直方圖均衡化預(yù)處理

        由于圖像采集系統(tǒng)自身因素的影響,加之腸道機(jī)器人在人體腸道的黑暗環(huán)境中工作,僅依靠發(fā)光二極管(LED)照明,使得采集到的腸道圖像除了存在條紋噪聲之外,往往會整體上偏暗,對比度較小,對腸道圖像的視覺效果和后續(xù)的降噪性能產(chǎn)生較大的影響.針對此問題,通過直方圖均衡化對腸道圖片的紅,綠,藍(lán)(分別為R,G,B) 3個(gè)通道進(jìn)行預(yù)處理.

        3.2 NSCT變換原理

        NSCT變換是一種具有多尺度、多方向及平移不變性的頻域變換方法,由非下采樣金字塔分解(NSP)和非下采樣方向分解(NSDFB)兩部分構(gòu)成[11],其變換過程是:先采用NSP對圖像f(x,y)進(jìn)行多尺度分解,得不同頻率的高頻子帶圖像和一個(gè)低頻子帶圖像,再采用NSDFB對得到的高頻子帶圖像進(jìn)行多方向性分解,最終得到不同尺度、不同方向的子帶圖像.圖3為NSCT的二級分解結(jié)構(gòu)圖.圖中:H0(z)、H1(z)分別為低通、高通分解濾波器,滿足恒等式:

        圖3 NSCT二級分解結(jié)構(gòu)圖Fig.3 Structure of secondary decomposition of NSCT

        H0(z)+H1(z)=1
        H0(z)G0(z)+H1(z)G1(z)=1

        式中:G0(z)、G1(z)分別為對應(yīng)的低通、高通合成濾波器.

        3.3 殘差CNN處理

        CNN對圖像進(jìn)行特征提取并獲得圖像相應(yīng)的信息,常被用于圖像降噪.不同于文獻(xiàn)[12-13]提出的方法,將CNN直接用于提取圖像的像素信息,根據(jù)像素融合而成的特征進(jìn)行降噪處理.本文的創(chuàng)新之處在于,將CNN用于NSCT變換后的頻域圖而非原始圖,變換后的頻域圖本質(zhì)上和圖像一樣,由1個(gè)二維矩陣表征.因此,CNN不再針對像素學(xué)習(xí)特征,而是學(xué)習(xí)相應(yīng)的頻率域特征.在CNN訓(xùn)練過程中,主要存在梯度消失和網(wǎng)絡(luò)退化兩個(gè)問題.梯度消失主要由于反向傳播的求導(dǎo)鏈中各環(huán)節(jié)的導(dǎo)數(shù)逐漸變小,導(dǎo)致整個(gè)反向傳播的梯度趨近于0,網(wǎng)絡(luò)難以繼續(xù)調(diào)優(yōu).添加殘差可以使鏈?zhǔn)角髮?dǎo)中多個(gè)環(huán)節(jié)的導(dǎo)數(shù)接近1,讓反向傳播的梯度盡可能長時(shí)間保持在為網(wǎng)絡(luò)調(diào)優(yōu)的范圍內(nèi).網(wǎng)絡(luò)退化指的是神經(jīng)網(wǎng)絡(luò)達(dá)到一定深度后,較深層次的網(wǎng)絡(luò)參數(shù)變換和訓(xùn)練任務(wù)的關(guān)聯(lián)度下降.使用跨層連接的方式將淺層特征和深層特征相連,學(xué)習(xí)其間的差值,即使用殘差網(wǎng)絡(luò),可以有效地解決網(wǎng)絡(luò)退化的問題.因此,設(shè)計(jì)殘差網(wǎng)絡(luò)應(yīng)用于高低頻子帶圖像的降噪.該網(wǎng)絡(luò)由三部分組成:輸入輸出模塊、編碼-解碼模塊以及殘差單元模塊,如圖4所示.

        圖4 編碼-解碼網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Network structure of encoding-decoding

        該網(wǎng)絡(luò)是由18層具有殘差結(jié)構(gòu)的級聯(lián)卷積-池化層組成,細(xì)節(jié)如下:編碼部分包含3層特征圖提取網(wǎng)絡(luò),每層使用大小為3×3、步長為1的卷積核對上一層的特征圖處理,且每一次卷積后用修正線性單元激活函數(shù)(ReLU)進(jìn)行激活,并進(jìn)行最大池化.解碼部分也包含3層網(wǎng)絡(luò),使用與編碼類似的結(jié)構(gòu),通過上采樣填充之前丟失的細(xì)節(jié)信息. 為了減少信息的丟失和損耗并防止網(wǎng)絡(luò)訓(xùn)練過程中梯度消失問題,在編碼階段和解碼階段之間加入由殘差模塊組成的鏈?zhǔn)浇Y(jié)構(gòu).每個(gè)殘差模塊均采用bottleneck結(jié)構(gòu),即前后各有一個(gè)1×1的卷積層,分別用來減小和增加圖像的維度,使得3×3的卷積層(Conv)有較小的輸入維度和輸出維度,以減小計(jì)算量,如圖5所示.

        圖5 單個(gè)殘差模塊結(jié)構(gòu)Fig.5 Structure of single residual module

        4 降噪性能評價(jià)指標(biāo)

        選用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)作為腸道圖像降噪性能的評價(jià)指標(biāo).PSNR是在均方誤差(MSE)的基礎(chǔ)上定義的指標(biāo),反映算法的降噪性能.PSNR越高,表示算法的降噪性能越好.SSIM表示處理后圖像的失真程度,其值越大,失真越小.計(jì)算公式如下:

        5 實(shí)驗(yàn)結(jié)果及對比分析

        腸道噪聲圖像均衡化后的圖像及各分量的直方圖分別見圖6、7.圖7中:G′為灰度,K為像素點(diǎn)個(gè)數(shù).可以看出,原始圖像存在大量的噪聲,且有明顯的色度偏差,經(jīng)直方圖均衡化后,腸道圖像的灰度分布從原來的集中于某些灰度點(diǎn)調(diào)整到較為均勻的分布,亮度和對比度得到明顯的提升,視覺效果與真實(shí)場景的腸道環(huán)境更為接近,從而更加有利于后續(xù)噪聲的去除.

        圖6 均衡化后的腸道圖像Fig.6 Intestinal image after equalization

        圖7 原始R,G及B分量直方圖及均衡化后的直方圖Fig.7 Histogram of original R, G, and B components and histogram after equalization

        采用無線供能式腸道機(jī)器人圖像采集系統(tǒng)采集的噪聲圖像作為測試集,采用自己搜集的和噪聲圖像相配對的數(shù)據(jù)集,實(shí)驗(yàn)仿真的計(jì)算機(jī)硬件配置CPU為Intel Core i9-9960X,GPU為NVIDIA GeForce RTX 2080 Ti,內(nèi)存為64 GB,軟件配置為MATLAB 2019a,神經(jīng)網(wǎng)絡(luò)的搭建采用MATLAB的深度學(xué)習(xí)框架 Deep Learning Toolbox.NSCT變換的分解層數(shù)為3層,所對應(yīng)的方向數(shù)分別為8、16、16.

        為了驗(yàn)證NSCT-殘差CNN算法的有效性,選取不經(jīng)過NSCT變換,而直接對直方圖均衡化后的腸道圖像進(jìn)行CNN處理的方法對比,該CNN的網(wǎng)絡(luò)結(jié)構(gòu)與NSCT-CNN的網(wǎng)絡(luò)結(jié)構(gòu)相同.同時(shí),選取不帶殘差模塊的NSCT-CNN算法對比.其中初始學(xué)習(xí)率均設(shè)置為0.001,迭代了300輪,損失函數(shù)隨迭代輪數(shù)的變化情況如圖8所示,圖中:N為迭代輪數(shù);L為迭代損失.圖8(b)、8(c)分別為圖8(a)中相應(yīng)區(qū)域的放大圖.可以看出,NSCT-殘差CNN網(wǎng)絡(luò)的損失衰減最快,其次是CNN網(wǎng)絡(luò)和NSCT-CNN網(wǎng)絡(luò),而最后NSCT-殘差CNN網(wǎng)絡(luò)的損失是最小的,因此NSCT-殘差CNN網(wǎng)絡(luò)在測試集上具有最小的均方誤差.

        圖8 各模型訓(xùn)練迭代輪數(shù)和損失圖Fig.8 Training iteration rounds and loss of each model

        給出3幅測試圖像A、B、C的結(jié)果.在圖9中,從主觀視覺的角度可以看出,在相同的CNN網(wǎng)絡(luò)結(jié)構(gòu)下,腸道圖像經(jīng)NSCT變換后再進(jìn)行CNN處理,會大大減少噪聲.在CNN網(wǎng)絡(luò)結(jié)構(gòu)中加入殘差模塊,腸道圖像的邊緣細(xì)節(jié)得到增強(qiáng).

        圖9 不同算法降噪效果對比Fig.9 Comparison of noise reduction effects of different algorithms

        表1、2為不同算法的PSNR及SSIM,可以看出,NSCT-殘差CNN方法得到的PSNR和SSIM指標(biāo)高于其他幾種算法,說明NSCT-殘差CNN的處理方法,相比于CNN或NSCT-CNN的處理方法,具有更好的降噪性能,且降噪后的圖片有更小的失真度.

        表1 不同算法的PSNR對比Tab.1 Comparison of PSNR of different algorithms

        表2 不同算法的SSIM對比Tab.2 Comparison of SSIM of different algorithms

        6 結(jié)語

        針對無線供能式腸道機(jī)器人采集的圖像質(zhì)量的降低,分析了腸道圖像噪聲的來源,結(jié)合NSCT變換理論,提出了含有多個(gè)殘差單元的編解碼網(wǎng)絡(luò),將CNN應(yīng)用于腸道圖像的頻域圖.通過一系列對比實(shí)驗(yàn),證明了相比于CNN算法和NSCT-CNN算法,NSCT-殘差CNN算法能夠顯著降低腸道圖片的噪聲,使得降噪后的腸道圖片有更好的視覺效果.PSNR、SSIM等客觀指標(biāo)也有所提高,具有一定的應(yīng)用價(jià)值.在未來的工作中,將針對已有算法的架構(gòu)做出調(diào)整,使其能夠適應(yīng)更多的噪聲場景,提高算法的泛化特性.

        中文字幕亚洲乱码熟女1区2区| 中文字幕人妻偷伦在线视频 | 亚洲精品黄网在线观看| 九色精品国产亚洲av麻豆一| 久久国产精品一区av瑜伽| 东京热无码av一区二区| 国产乱沈阳女人高潮乱叫老| 毛片一级精油按摩无码| 国产在线精品观看一区二区三区| 国产欧美va欧美va香蕉在 | 人妻av无码一区二区三区| 精品人体无码一区二区三区| 超级碰碰人妻中文字幕| 美腿丝袜在线观看视频| 最新日本一道免费一区二区| 欧美日本日韩aⅴ在线视频| 中文字幕精品亚洲无线码二区 | 又黄又爽又色视频| 丰满少妇被猛烈进入| 亚洲一区二区久久青草| 中文字日产幕码三区做法| 国产七十六+老熟妇| 亚洲AV日韩AV永久无码电影| 一区二区在线视频大片| 在线播放av不卡国产日韩| 色先锋av资源中文字幕| 亚洲无码夜夜操| 亚洲中文字幕在线第六区| 高潮抽搐潮喷毛片在线播放| 久久婷婷综合色丁香五月| 美女扒开内裤露黑毛无遮挡| 极品粉嫩小仙女高潮喷水网站| 少妇无码太爽了不卡视频在线看| 丁香婷婷色| 国内偷拍精品一区二区| 亚洲日韩av无码一区二区三区人| 国产女人成人精品视频| 一级午夜理论片日本中文在线| 久久精品国产99久久久| 人人妻人人澡人人爽人人精品| 亚洲色欲色欲欲www在线|