崔巖

摘 要： 為了對比單機系統(tǒng)和基于Hadoop系統(tǒng)的舌部圖像預(yù)處理所用時間，從天津南開醫(yī)院體檢中心采集了1482例標準化舌部圖像。使用雙Worker、四Worker的Hadoop系統(tǒng)與單機系統(tǒng)對這些圖像進行預(yù)處理。三種系統(tǒng)下運行預(yù)處理各5次，對處理時間取平均值并對比。實驗結(jié)果，表明雙Worker系統(tǒng)所用時間與單機系統(tǒng)相比縮短到了52.1%，四Worker系統(tǒng)縮短到了28.1%。相對于并行計算機，基于Hadoop多Worker的舌部圖像預(yù)處理系統(tǒng)利用現(xiàn)有計算機和網(wǎng)絡(luò)資源，在幾乎不增加成本的情況下有效地縮短了預(yù)處理時間。

關(guān)鍵詞： 舌； 圖像預(yù)處理； Hadoop； 單機； 對比

中圖分類號：TP317.4 文獻標志碼：A 文章編號：1006-8228（2016）11-54-03

A comparative study of the tongue image preprocessing time based on Hadoop system

Cui Yan

（Department of Common Required Courses， Tianjin University of Traditional Chinese Medicine， Tianjin 300193， China）

Abstract： In order to compare the tongue image preprocessing time of the single machine system and the Hadoop based system， 1482 cases of standardized tongue image are collected from the medical examination center of Tianjin Nankai hospital. These images are pre-processed by a single PC， a two-worker and a four-worker Hadoop system respectively. Three kinds of system run the preprocessing for 5 times each， average the processing time of each system then contrast. Experimental results show that the two-worker system is reduced to 52.1% compared with the single machine system， and the four-worker system is reduced to 28.1%. Compared to parallel computer， using the existing computer and network resources， the tongue image preprocessing system based on multi-worker Hadoop can effectively shorten the preprocessing time while the costs are not significantly increased.

Key words： tongue； image pre-processing； Hadoop； single machine； contrast

0 引言

舌診是中醫(yī)重要的診斷。醫(yī)生觀察病人舌部的顏色、紋理等特征，然后依據(jù)這些特征給出辨證、健康辨識或者診斷結(jié)果。但是實驗表明，舌診有一致性差的缺點[1]?；谏嗖繄D像的診斷客觀化，是克服這一缺點的主要研究方法。已有多項研究以舌部圖像為對象，總結(jié)了舌部圖像的顏色、紋理等全局特征以及像素等局部特征對舌診的影響[2]。也有研究采用介于像素特征和全局特征之間的Haar-Like特征研究舌部圖像與疾病診斷、健康辨識等的關(guān)系[3-4]。這些研究都需要對舌部圖像進行預(yù)處理。作為圖像研究中的第一步，預(yù)處理擔負著圖像剪裁、坐標對齊、去除噪聲等任務(wù)，并為后續(xù)研究步驟做好準備。

隨著基于舌部圖像的中醫(yī)診斷客觀化研究水平的提高，此類研究包含的樣本量目前已經(jīng)提高到了數(shù)千幅圖像。如何對大量圖像預(yù)處理，成為中醫(yī)舌診研究中第一道難題。并行機的應(yīng)用雖然可以提高處理效率，但是其造價昂貴，使用成本高，無法大規(guī)模使用。Hadoop技術(shù)的提出和使用，在某些并行性很強的問題中，可以使用個人計算機的堆疊成倍提高計算效率，同時又不需要額外的資源。目前已有研究使用Hadoop技術(shù)專門用于數(shù)據(jù)預(yù)處理[5-6]。本文使用自行配置的Hadoop系統(tǒng)和單機系統(tǒng)，對同樣的圖像集進行預(yù)處理，并比較兩者所耗費的時間。通過實驗驗證Hadoop技術(shù)的對舌部圖像預(yù)處理效率的提升效果。

1 材料與方法

為了完成實驗，從2015年9月7日起，到2016年5月26日止，使用改進型的YM-III舌診儀從天津市南開醫(yī)院采集了有效的舌部圖像共1482例。

系統(tǒng)硬件采用5臺DELL 7020臺式計算機，每臺均配置i5-4590處理器、4G內(nèi)存。其中四臺作為Worker節(jié)點使用的設(shè)備配備500G硬盤，一臺作為Master節(jié)點使用的配備1T硬盤。通過現(xiàn)有的D-Link DES-3624百兆交換機連接。

軟件環(huán)境采用Ubuntu14.04操作系統(tǒng)，安裝openJDK 1.7.0。Hadoop作為一個免費的編程環(huán)境，文檔齊全而且開發(fā)接口繁多，非常適合研究和小規(guī)模應(yīng)用。Hadoop 2.7.0作為較新的版本，穩(wěn)定性已經(jīng)得到驗證，結(jié)合R語言2.15.3版本，使用自行編寫的代碼對圖像進行預(yù)處理[7]。該預(yù)處理算法包括欠采樣、增加對比度、模式串匹配、圖塊提取等四個步驟，將結(jié)果直接存儲于配置好的每臺機器自身的文件系統(tǒng)中。Master節(jié)點的R語言環(huán)境還用于數(shù)據(jù)統(tǒng)計分析。

首先采用單機系統(tǒng)測試，記錄數(shù)據(jù)處理所需時間。單機測試中不使用Hadoop環(huán)境。然后分別配置兩臺Worker節(jié)點、四臺Worker節(jié)點的Hadoop環(huán)境，分別完成預(yù)處理，記錄運行時間。由于預(yù)處理算法是在先期研究中驗證過的算法，將其應(yīng)用于Hadoop環(huán)境時，并未采用rHadoop等r語言和Hadoop等接口，而是直接使用Hadoop環(huán)境在shell下運行R語言環(huán)境中的腳本。為了減少網(wǎng)絡(luò)延遲等環(huán)境因素導(dǎo)致的時間延長，實驗前將所有圖像復(fù)制到所有節(jié)點，實驗中按順序分配各節(jié)點需要預(yù)處理的圖像。雙Worker時，第一臺Worker僅處理前741幅圖像，第二臺處理另外741幅。四Worker時，四臺Worker節(jié)點按圖片編號順序分別同時開始處理371、371、370和370幅圖像。預(yù)處理后的圖像也存儲于各節(jié)點內(nèi)而不集中。為了考察測試結(jié)果的穩(wěn)定性，每種情況運行五次，時間記錄為：平均值±標準差。

2 結(jié)果與討論

2.1 預(yù)處理效果

因為所有系統(tǒng)使用同樣算法，所以均順利完成了預(yù)處理，結(jié)果示例見圖1。圖1（左）為原始圖像，高2848像素，寬4272像素。圖1（右上）為24色色塊，每塊高寬均為140像素。圖1（右下）為舌部圖像，寬1400像素，高1812像素。用于圖像預(yù)處理的算法已經(jīng)在先期研究中驗證理效果。與原始圖像包含12166656像素相比，處理后的舌部圖像僅剩余2536800像素。在保證圖像質(zhì)量不變的情況下，像素數(shù)減少為原圖像的20.9%。這將大大提高后續(xù)工作的效率。

2.2 時間對比

在實際實驗中，單機運行實驗中為了提高效率，使用五臺計算機同時分別運行，其他實驗均重復(fù)運行五次。實驗結(jié)果記錄如表1。可見隨Worker數(shù)量的增加，預(yù)處理所用時間顯著減少。其中使用雙Worker時，五次實驗平均時間從單機的89504.200±769.089秒減少到46589.400±187.820秒，使用四Worker時，進一步減少到25169.000±59.766秒。

2.3 討論

在保證預(yù)處理質(zhì)量的前提下，時間對比驗證了使用Hadoop技術(shù)可以有效縮短圖像預(yù)處理的時間，結(jié)果對比如圖2所示。相對于單機實驗，雙Worker所耗時間縮短到了52.1%，使用四Worker時，時間進一步縮短到了28.1%。近些年，隨著中醫(yī)舌診客觀化相關(guān)研究的深入，采集的圖像包含像素數(shù)快速增加。同時，高質(zhì)量的研究又需要大量的樣本圖像。Hadoop技術(shù)可以充分利用現(xiàn)有的單機系統(tǒng)和網(wǎng)絡(luò)等資源，在不增加成本的情況下，成倍的提高工作效率。

在本研究中，圖像之間的預(yù)處理工作沒有串行關(guān)系，Hadoop非常適用于這種場景。因此，即使在網(wǎng)絡(luò)延遲、shell環(huán)境啟動等影響下，工作效率仍成倍提高。使用單機環(huán)境時，總處理時間超過24小時。而使用四Worker環(huán)境時，總時間約為6.99小時。當數(shù)據(jù)量進一步增大時，可以輕易的在系統(tǒng)中加入成百上千的Worker節(jié)點繼續(xù)提高處理效率。本研究中的樣本在未來的研究中，可以使用Java或者Python等語言，在Hadoop環(huán)境下重寫預(yù)處理算法，進一步提高效率。

3 結(jié)束語

經(jīng)過對比，基于Hadoop的多Worker系統(tǒng)在使用相同算法的情況下，保持了舌部圖像預(yù)處理的效果不變。與此同時，預(yù)處理時間幾乎成倍降低。隨著大數(shù)據(jù)時代的來臨，目前與中醫(yī)相關(guān)的圖像處理問題研究面臨著數(shù)據(jù)量的暴增，單機無法處理的問題。為此，本研究初次嘗試了在相關(guān)研究中使用Hadoop技術(shù)。但是，本研究因為受到條件限制，僅采用了效率較低語言，也沒有利用Hadoop中分布式文件系統(tǒng)以及各種編程環(huán)境。因此，單幅圖像處理時間較長，總體效率仍舊較低。這些都是在進一步的研究中需要改進的方面?？傮w上講，Hadoop有著成本低，擴展性強，編程環(huán)境成熟等優(yōu)點，只要稍加改進，即可完成后續(xù)研究中的特征提取、選擇等工作。

參考文獻（References）：

[1] 李曉彥，溫澤淮，梁偉雄等.評測中醫(yī)臨床醫(yī)生觀察舌象及脈

象一致性的研究[J].中西醫(yī)結(jié)合學(xué)報，2010.8（12）：1153-1158

[2] X. Wang， B. Zhang and Z. Yang et al.， Statistical analysis

of tongue images for feature extraction and diagnostics[J].IEEE Transactions on Image Processing，2013.22（12）：5336-5347

[3] Y. Cui， S. Liao， and H. Wang， ROC-Boosting： A Feature

Selection Method for Health Identification Using Tongue Image[J]. Computational and Mathematical Methods in Medicine，2015：362806

[4] Y. Cui， S. Liao and H. Wang et al.， Relationship between

Hyperuricemia and Haar-Like Features on Tongue Images[J]. BioMed Research International，2015：363216

[5] 宋瑩，沈奇威，王晶.基于Hadoop的Web日志預(yù)處理的設(shè)計

與實現(xiàn)[J].電信工程技術(shù)與標準化，2011.24（11）：84-89

[6] 劉君.激光解析蛋白質(zhì)數(shù)據(jù)結(jié)合Hadoop的預(yù)處理方法[J].激

光雜志，2015.36（7）：121-123

[7] R Core Team， R： A Language and Environment for

Statistical Computing[Z].Australia：R Core Team，2012.