李 昕,岳 文,褚治廣
基于圖像特征分析的大數(shù)據(jù)醫(yī)療——肝癌影像AI診斷
李 昕1,岳 文2,褚治廣1
(1.遼寧工業(yè)大學 工程訓練中心,遼寧 錦州 121001;2.遼寧工業(yè)大學 電子與信息工程學院,遼寧 錦州 121001)
通過搜集包括健康志愿者和患者的病灶區(qū)的物理信息,對其進行大數(shù)據(jù)分析。利用虛擬MRI技術對樣本進行數(shù)據(jù)的采集和成像,對于不同的序列和參數(shù)可生成大量的磁共振圖像,對樣本不同參數(shù)的參考可以極大地增廣訓練樣本,利用漢寧窗等對診斷返回的聲音信號進行處理,可得到具有參考價值的病灶特征。實驗表明,該技術可以提前對潛在的危險信號進行反映,判斷患者腫瘤的良惡性,以幫助醫(yī)生更加高效地對肝癌患者進行篩查并且可以應對將會發(fā)生的風險。
原發(fā)性肝癌;人工智能;MRI技術;CT影像
在經(jīng)濟快速發(fā)展的繽紛生活下,現(xiàn)代生活給人們帶來方便快捷的生活方式,但不健康的生活方式和食品給人體健康帶來威脅。擔當身體的排毒器官的肝臟首當其沖,吸煙酗酒、熬夜以及處于壓力環(huán)境下對肝臟損害尤為嚴重,近年來,肝病的發(fā)病開始呈現(xiàn)年輕化[1-2]。
人工智能方法在醫(yī)學處理方面的應用正在逐漸推廣,早期學者將人工智能方法應用到肝臟醫(yī)療圖像的檢測中,但方法仍存在著一些不足,例如訓練和測試的運算量過大;并且因為數(shù)據(jù)集不足,對于變異度較大的肝臟模型無法適用;此外,為了解決圖像邊界模糊的問題,雖然之前有學者[3]提出半自動分割法,但是,該方法仍然需要預先構建和后期的人工調整,消耗資源較多,本文的研究旨在對其做出改善。
為了更加準確地獲取信息,實驗采取的工作思路是先獲得數(shù)據(jù),因此要分別收集正常人和肝病患者的肝部的物理信息,并對容易患病的病灶區(qū)域重點觀察,之后利用虛擬磁共振成像技術對正常人或者患者的病灶信息完成數(shù)據(jù)的采集和成像,若是過程中采用不同的成像序列以及參數(shù),即可輸出大量的磁共振圖像[4]。因為這些圖像的各類屬性例如分辨率和信噪比,以及權重和值等的不同,可以對訓練樣本的種類和數(shù)量進行增廣[5]。實現(xiàn)過程如圖1所示。
圖1 人工智能病灶識別的基本流程
針對之前研究結果的分析,為了使聲音信號處理具有更好的實際效果,并且從多方面的角度進行考慮,結論是使用漢寧窗[6]可使效果達到最佳,因此利用漢寧窗對收集到的觀察區(qū)信號進行處理[5]。定義的公式如式(1):
第二步:對實驗數(shù)據(jù)做必要的記錄。
并且計算:
實驗依靠的虛擬掃描技術可依據(jù)經(jīng)典二維快速傅立葉變換成像的原理,對病患和正常人的觀察區(qū)域的聲音信號進行采集,然后對磁共振信號進行K空間填充,以傅立葉變換作為橋梁得到MRI圖像,再根據(jù)二維轉換,得到一個四重積分數(shù)據(jù)[6]:
式(3)中,符號表示的是編碼步數(shù),符號表示編碼的采樣點數(shù)目;符號和符號表示空間參數(shù)的積分項,其中符號表示的是與頻率方向一致的橫軸樣本信息,而表示的是與編碼方向一致的縱軸樣本信息;符號和表示時間的積分項,其中表示頻率的時間,符號表示的是相位的時間;0表示觀察區(qū)的磁化情況的矢量大小。最終若實現(xiàn)圖像的重建,則只需要對式(3)中的進行變換即可。但是在實際的醫(yī)用應用時會探查到很多受參數(shù)影響的不同信噪比的圖像,因此為了獲取有不同信噪比,并且可以區(qū)分的圖像樣本,需要在式(3)的信號上疊加程度不相同的噪聲。
若要控制采集的序列互不相同,則需要將式(3)中的0項進行修改來實現(xiàn)。
(1)SE序列,即通常所說的自旋回波[7],0的值為:
式(4)中,符號表示的實際含義是樣本質子的密度,與初始數(shù)據(jù)的Pd信息對應;符號代表的意義是觀察規(guī)定的放大倍數(shù)。
(2)GRE序列,即梯度回波序列[7],這一序列類型的0有2類,分別是去除剩余磁化的及利用剩余磁化的,公式的表達分別為:
(3)IR序列,即反差恢復序列[7],其0為:
各序列的參數(shù)不同,若對某種序列進一步完善以發(fā)揮最大準確率,則可以通過進一步增廣數(shù)據(jù)集或者更改信號的幅度規(guī)律實現(xiàn)。在下面的實驗和研究中,可以將非患者的肝部分割為灰質、白質2種組織類型,然后對于這2種不同的組織分別進行賦典型值作為測試的初始信息,所得的結果信息能夠適應性地拓展到三維像素水平模板和一些細分組織,以及全身其他部位的掃描數(shù)據(jù)輸入。另外軟件的主要功能是可以獲取初始樣本觀察區(qū)域的不同物理信息的數(shù)據(jù)。在開始之前可以依據(jù)實驗需求,挑選二維或者三維2種模式,也可以更改程度不同的噪聲條件,還有各種不同的掃描序列和各項參數(shù)的組合。例如T1WI_SE300/30_1 mmT,表示采用SE序列、=300 ms、=30 ms、1 mm厚度的橫截面的T1權重圖像。當觀察二維樣本時,可以根據(jù)需求選擇對應模式,選擇不同截面和不同的觀察區(qū)的實驗對照所需要的可調節(jié)的傾斜角度。當實際應用時,可對各類參數(shù)進行選擇和設置,包括但不限于序列和結構參數(shù),之后點擊掃描即可顯示所要查找的樣本圖像。除此之外,還可以對得到的圖像進行一些便捷的處理,例如,圖片組織的距離測量、圖片的局部縮放、圖片的平移和旋轉,還有直方圖的展示與均衡、顏色負片調節(jié)、電影瀏覽模式以及必要的標注功能。處理完畢后,圖片的保存也是可選的,可依據(jù)菜單選項在不同的模式下(包括2D和3D)選擇不同格式的圖片保存,選擇的方式是區(qū)別NII和DICOM,然后經(jīng)過專業(yè)醫(yī)生的層次處理,點擊保存勾畫痕跡即可保存,存入數(shù)據(jù)集,根據(jù)搭建的模型框架參與訓練。
HOG即為方向梯度直方圖,可以用來表示圖像的物體特征,因此能夠對這類物體進行檢測識別[5]。首先對輸入的圖片進行預處理,然后計算像素點的梯度值,形成梯度直方圖,對模塊歸一化后放到SVM中進行監(jiān)督學習。
HOG特征提取方法就是將一個要檢測的目標或者掃描窗口進行下列操作。
(1)圖片灰度處理。
(2)對進行灰度化處理的數(shù)值進行歸一化,便于下一步操作,其中可執(zhí)行的包括去除噪點以及對比度的調整,局部的加深和增亮。
(3)計算圖像各個像素點的梯度值,方便進行邊界處理,識別邊框,并且減少光照的影響。
(4)根據(jù)實際情況將圖像分為易于處理的多個較小的模塊。
(5)統(tǒng)計每個cell模塊的梯度直方圖,便可得到每個模塊的描述符。
(6)把小模塊幾個分組組成1個大模塊,1個大模塊內(nèi)的所有小模塊特征的描述符聯(lián)系起來,即可得到這個大模塊的特征描述符。
(7)將整個圖像內(nèi)組成的大模塊的HOG特征描述符聯(lián)系起來,可以得到該圖像整體的HOG特征描述符,整體的過程是一個從宏觀分成微觀,再反饋回宏觀的過程。
實驗后最終的軟件可以基于磁共振成像返回的圖像,經(jīng)過修改勾畫和標注后傳送作為訓練集樣本。并且根據(jù)應用中對不同情況的靈活選擇(例如對不同序列和參數(shù),以及成像模式)可以得到不同類型、不同權重和不同截面所對應的MRI圖像,例如STIR、T2WI、DWI和T1WI等。圖2和圖3分別為正常人的肝部組織和癌變肝部組織,在同一斷面是呈現(xiàn)的物理STIR圖像。
圖2 正常肝部組織圖像
圖3 癌變的肝部組織圖像
對于不同肝臟疾病分類的情況如圖4~圖7。
圖4 正常肝臟圖像
圖5 脂肪肝肝臟圖像
圖6 肝硬化肝臟圖像
圖7 肝癌肝臟圖像
此外本程序也可應用在其他的醫(yī)學領域,例如腦科、肺部等。根據(jù)操作者的選擇和設置,不同情況下,即選擇不同的序列參數(shù)時,相同的模型即便利用同樣的序列也能夠得到對比度不斷變化的觀察過程圖像。這類訓練所帶來的智能化的效果可以增加不同設備互通的容錯率,還可以彌補不同醫(yī)生的操作習慣所產(chǎn)生的圖像的差異。圖8(a)是正常人腦SE序列的圖像隨參數(shù)變化(為10 ms,20 ~8 000 ms),從T1WI到PDWI逐漸變化產(chǎn)生的短時內(nèi)回歸效果圖;圖8(b)是無病變大腦的SE序列圖像隨參數(shù)變化(為145 ms,從300 ms到10 500 ms)的T2WI變化效果圖;圖8(c)為正常人腦SE序列圖像隨參數(shù)變化(=100、200 ms,=5~145 ms)的圖像效果變化圖;圖8(d)為正常人腦IR序列圖像隨參數(shù)變化(為500 ms,為30 ms,TI 10~2 000 ms)的變化效果圖;圖8(e)為正常人腦SE序列的水成像效果圖。
為準確獲取病灶信息,采用虛擬MRI技術對樣本數(shù)據(jù)進行采集和成像,給出了基于奇異值分解的特征提取算法。利用HOG特征提取算法,可有效地檢測識別病灶特征。通過磁共振成像掃描平臺上實驗表明,該技術有助于判斷患者腫瘤的良惡性。因此基于圖像特征的AI肝癌診斷系統(tǒng),可以在診斷時利用龐大的數(shù)據(jù)總結并識別出病患的特征,從而幫助醫(yī)生提高診斷的準確度。
[1] 呂桂帥, 陳磊, 王紅陽. 我國肝癌研究的現(xiàn)狀與前景[J]. 生命科學, 2015, 27(3): 237-248.
[2] 吳巨海, 商雪林, 瞿炳剛. 低場磁共振對小肝癌和肝小血管瘤的診斷價值[J]. 中國醫(yī)師進修雜志, 2006(35): 51, 61.
[3] Chartrand G, Cresson T, Chav R, et al. Liver segmentation on CT and MR using laplacian mesh optimization[J]. IEEE Trans Biomed Eng, 2017, 64(9): 2110-2121.
[4] 王鳳霞. 原發(fā)性肝癌的外科治療新進展[J]. 中國社區(qū)醫(yī)師: 醫(yī)學專業(yè)半月刊, 2009, 11(4): 9.
[5] Duncan J S, Ayache N. Medical image analysis: Process over two decades and the challenges ahead[J]. IEEE Trans PAMI, 2000, 22(1): 85-106.
[6] 楊文德, 譚世奇, 黃向明, 等. CT、MRI及超聲對肝癌診斷的對比研究[J]. 臨床消化病雜志, 2005(5): 24-25.
[7] 張家崗, 李達平, 楊曉東, 等. 基于深度卷積特征光流的形變醫(yī)學圖像配準算法[J]. 計算機應用, 2020, 40(6): 1799-1805.
Big Data Medical Treatment Based on Image Feature Analysis: Image AI Diagnosis of Liver Cancer
LI Xin1, YUE Wen2, CHU Zhi-guang1
(1.Engineering Training Center, Liaoning University of Technology, Jinzhou 121001, China;1.School of Electronics and Information Engineering, Liaoning University of Technology, Jinzhou 121001, China)
With the continuous improvement of living standards, people’s lives begin to become more diversified. But there are many health problems hidden in the beauty. For example, up to 2018, there are about 422000 deaths of primary liver cancer in China every year. The occurrence of this disease is related to drinking, viral hepatitis, food and drinking water, poisons and parasites, genetic factors and so on. There are often no obvious symptoms in the early stage, but once it develops to the late stage, it is in danger. So early diagnosis and treatment are the most effective methods. By collecting healthy volunteers and patients’ physical information of the lesion area, the big data analysis was carried out. The virtual MRI technology is used to collect and image the data of the samples. For different sequences and parameters, a large number of MRI images can be generated. The reference of different parameters of the samples can greatly enlarge the training samples. Then the Hanning window is used to process the sound signal returning from the diagnosis, and the lesion features with reference value can be obtained. Experiments show that the technology can respond to the potential danger signals in advance, judge the benign and malignant tumor of patients, so as to help doctors screen liver cancer patients more efficiently and deal with the risk that will occur.
primary liver cancer; artificial intelligence; MRI technology; CT image
10.15916/j.issn1674-3261.2021.06.009
TP311
A
1674-3261(2021)06-0392-04
2020-09-04
李昕(1966-),男(滿族),遼寧錦州人,教授,博士。
責任編輯:孫 林