張從鵬 謝佳成 熊國順
(北方工業(yè)大學機械與材料工程學院 北京 100144)
血細胞數(shù)字切片包含了醫(yī)療涂片上全部病理信息,是臨床疾病診斷的重要依據[1]。數(shù)字切片具有閱片方便、存放可靠、無污染等優(yōu)點,是形態(tài)學檢驗智能化發(fā)展方向[2-3]。全景玻片圖像是由一系列單幅數(shù)字切片圖像拼接而成的,可以更直觀、更全面地把握形態(tài)學信息,避免因局部信息造成誤診,而且對單幅數(shù)字切片視野邊緣的不完整細胞,通過拼接可以還原細胞全貌。
目前,圖像拼接方面的研究多見于無人機影像和遙感圖像的領域[4-8]。徐麗燕等[9]利用特征網格和Forstner算子相結合,并采用多光譜遙感圖像配準的算法,在遙感圖像拼接時提升精度。李浩等[10]利用自適應閾值Harris算子與Forstner算子結合篩選特征點并隨機抽樣對圖像配準,在宏觀視野圖像拼接中應用良好,不適用于精度級別高的顯微圖像。羅守品等[11]運用ORB首先進行圖像匹配,然后使用網格運動對誤匹配點剔除,再匹配提升精度,但是效率降低。
醫(yī)學診斷圖像對拼接的精度要求極高,由于存在噪聲特征點影響,實現(xiàn)高效率、高質量拼接的難度很大。本文研究血細胞數(shù)字切片的拼接技術,設計出一種兼顧效率和準確度的顯微圖像拼接方法,并將成果應用于顯微視覺全自動血細胞玻片掃描儀,對于提高形態(tài)學臨床檢驗效率和診斷水平具有重要現(xiàn)實意義。
圖像自動拼接是尋找相鄰視野圖像的相同特征點,并將其坐標重合的過程,所以圖像特征點檢測匹配是圖像拼接的關鍵。Forstner算子的原理是提取圖像中與鄰域相差較大的點作為特征點,是實際應用中成功率最高的算子之一,計算過程如下:
首先,計算Roberts梯度。
(1)
其次,計算任意一點的(xi,yi)為中心的n×n窗口內的協(xié)方差矩陣。
(2)
式中:gx,c和gy,c分別代表圖像每個通道上的一階導數(shù)。
然后,計算特征點的權值ω和圓度q。
(3)
之后,將式(3)計算的值與閾值進行對比,選取ω>Tω,q>Tq的點作為候選點。
(4)
最后,優(yōu)化候選點。
為測試Forstner算子性能指標,對圖1進行特征點檢測,窗口為300×200像素的特征點檢測局部放大圖,黑色十字交叉點為特征點位置。然后記錄算法耗時、特征點提取個數(shù)、精度等性能指標。
圖1 血細胞顯微圖像
以圖像中心為圓心,在以短邊長為直徑的圓形區(qū)域內提取特征點與該圓形區(qū)域逆時針旋轉25°后再提取特征點進行坐標對比,計算旋轉前(xi,yi)與旋轉后(mi,ni)位移大小的均方根誤差,以此代表特征點精度,計算公式如式(5)所示,實驗數(shù)據如表1所示。
(5)
表1 算子性能指標實驗數(shù)據
由實驗結果及前期工作可知:Forstner算子有著優(yōu)異的特征點檢測精度(前期工作包括與其他常用算子進行性能指標對比),同時能夠有效地剔除品質不好的特征點,適用于精度要求高的應用場景。
圖像拼接精度對血細胞形態(tài)識別具有關鍵影響,因此選用精度較好的Forstner算子進行血細胞圖像特征點檢測。針對該算子運算耗時較大的不足,通過特征匹配優(yōu)化策略實現(xiàn)效率提升。
由于拼接匹配對只有可能存在于圖像的重合區(qū)域內[16-17],因此匹配優(yōu)化的目標就是在相拼接的圖像重合區(qū)域內,尋找面積盡可能小的、包含拼接特征點信息的圖像塊,從而減小算法的搜索面積,提高效率。
(1) 拼接重合區(qū)確定。根據圖像采集特點,拼接重合區(qū)位于圖像的四周邊緣,呈矩形帶狀,如圖2所示。實驗得知:當拼接重合區(qū)等于整幅圖像面積的1/4時,既保證有效特征點配對數(shù)量不會減少,又可以縮小搜尋面積。
圖2 區(qū)域劃分示意圖
(2) 區(qū)域配準。在拼接重合區(qū)域中心選取200×200像素大小的窗口進行輪廓提取,該輪廓作為配準塊與相拼接圖像形狀匹配,以形狀直方圖的比值為評分標準[18]。如圖3所示,在黑色區(qū)域提取配準塊。
圖3 配準塊區(qū)域
圖像采集傳輸時受機電設備影響形成圖像噪聲。在Forstner算子計算梯度階段,由于采用噪聲敏感的Robert算子計算導數(shù),處理后的圖像中仍然存在不少無效特征點。為此先采用高斯濾波器對圖像進行平滑,然后通過窗口化的高斯導數(shù)求導,篩選顯著特征點。二維高斯濾波器和高斯導數(shù)如式(6)和式(7)所示。
(6)
(7)
式中:σ為高斯分布的標準差。σ越大,窗口中心比值越小,平滑效果越明顯,根據實驗結果選取窗口為:3×3。所以式(2)改為:
(8)
本文算法主要流程如圖4所示。
圖4 拼接算法實現(xiàn)流程
(1) 區(qū)域匹配主要步驟。
Step1將源圖像和目標圖像按照圖2所示分為4個區(qū)域;
Setp2確定源圖像配準塊位置,提取形狀邊緣輪廓作為配準塊;
Step3在目標圖像中進行輪廓配準,根據評分標準,確定重合區(qū)域。
以一個區(qū)域匹配為例算法編程如下(編譯語言為c#+halcon聯(lián)合編程):
//將圖像劃分區(qū)域
HOperatorSet.GenRectangle1(out ho_RectangleF1,0,hv_Width*0.75,hv_Height,hv_Width);
//確定配準塊區(qū)域
HOperatorSet.GenRectangle1(out ho_ROIPartF1,500,1600,700,1800);
//提取輪廓作為配準塊
HOperatorSet.CreateShapeModel(ho_ImageROI,5,0,0,0,"point_reduction_low","ignore_coor_polarity",30,17,out hv_ModelID);
//配準塊匹配
HOperatorSet.FindShapeModel(ho_ImageT,hv_ModelID,0,0,0.80,4,0.5,"least_squares",0,0.7,out hv_RowCheck,out hv_ColumnCheck,out hv_AngleCheck,out hv_Score);
(2) 圖像預處理的主要步驟。
Step1對圖像進行高斯濾波;
Step2對圖像進行高斯求導。
以對行處理為例圖像高斯降噪算法編程如下(編譯語言為c#+emgu.cv聯(lián)合編程):
double[] kernel=GaussKernel(radius,sigma);
//GaussKernel為二維高斯濾波器
for (int y=0;y { for (int x=0;x { //tempR、tempG、tempB為(x,y)點RGB三通道數(shù)值 tempR=tempG=tempB=0.0; //radius為高斯濾波器大小取3×3 for (int k=-radius;k<=radius;k++) { rem=(Math.Abs(x+k)% w); t=rem*4+y*w*4; K=kernel[k+radius]; //RGB三通道與高斯濾波器卷積 tempB+=srcValue[t]×K; tempG+=srcValue[t+1]×K; tempR+=srcValue[t+2]×K; } //將RGB三通道數(shù)值賦值數(shù)組 v=x×4+y×w×4; tempValue[v]=(byte)tempB; tempValue[v+1]=(byte)tempG; tempValue[v+2]=(byte)tempR; } } 實驗的顯微視覺平臺如圖5所示,采用OLYMPUS顯微鏡及10倍物鏡,視覺系統(tǒng)選用Basler彩色工業(yè)相機。實驗環(huán)境為:Windows10操作系統(tǒng)、Intel- i5處理器、8 GB內存。圖像來源為:基于自主搭建的顯微視覺采集系統(tǒng),涂片來源于合作醫(yī)院病理科,在實驗室拍攝的分辨率為:1 920×1 200 RGB圖像,內存大小為6.59 MB。 圖5 圖像采集系統(tǒng) 為了快速準確定位圖像重合區(qū)域,選取圖1中的配準塊與相拼接圖像進行區(qū)域配準。圖6是區(qū)域配準塊尋找結果,深灰色輪廓為區(qū)域配準塊,背景為匹配區(qū)域。 (a) 評分0.96 (b) 評分0.42 (c) 評分0.41 (d) 評分0.41圖6 區(qū)域匹配結果 匹配評分低于設定閾值則判定匹配失敗,根據實驗數(shù)據選取閾值0.80,即可獲取唯一匹配區(qū)域。對圖7所示圖像分別進行全域匹配和區(qū)域匹配實驗,結果如表2所示。 (a) 全域計算 (b) 區(qū)域計算圖7 特征點分布 表2 區(qū)域匹配實驗 實驗結果表明:采用區(qū)域計算策略,配對時間減少了93.57%;特征點匹配率提升了40.15百分點。 為評估噪聲及不顯著特征點濾波算法性能,采用單一的Forstner算子與本文算法對同一幅圖像進行特征點提取,性能指標對比數(shù)據如表3所示,特征點尋找效果如圖8所示。 表3 算子性能實驗對比數(shù)據 (a) Forstner算法 (b) 本文算法圖8 特征點尋找的效果圖 根據實驗結果可以看出:特征點匹配率提升4.32百分點,匹配耗時減少80.56%。 采用Forstner原始算法和本文改進算法分別對圖1所示圖像及其配對圖像進行拼接實驗(共三組),實驗結果如表4所示。 表4 傳統(tǒng)算法與本文算法對比 實驗結果可以看出:優(yōu)化后的算法在匹配率上平均提升58.69百分點,時間效率提升90.13%,匹配優(yōu)化后的圖像特征點經過拼接融合[19-20]后依然可以保證拼接效果沒有衰減,圖9(a)為實驗拼接結果展示,窗口的中縫為拼接縫隙,圖9(b)為第一組實驗的傳統(tǒng)算法拼接結果對照。 (a) 第一組拼接實驗及縫隙 (b) 傳統(tǒng)算法拼接實驗及縫隙圖9 拼接效果樣圖 面向血細胞數(shù)字切片形態(tài)學檢驗需求,通過對算法系統(tǒng)的性能比對研究發(fā)現(xiàn),F(xiàn)orstner算子對于血細胞數(shù)字顯微圖像特征點檢測具有最高精度,確定了基于Forstner算子的血細胞圖像特征點檢測方案。針對冗余特征點導致算法效率低下的問題,本文提出了區(qū)域匹配策略和圖像定向濾波的性能優(yōu)化算法,并且應用于自主研發(fā)的血細胞形態(tài)檢驗智能機器人,能夠滿足臨床自動檢測精準快速在線圖像處理的需求,是智能醫(yī)療的重要組成部分,也為其他大場景圖片拼接提供了有效的方式。實驗結果表明:改進后的Forstner算法不僅能夠滿足血細胞圖像拼接的高精度要求,尋找特征點時特征點匹配率平均提升58.69百分點,減少無效特征點配對時間,時間平均縮短了90.13%。3 實驗結果及分析
3.1 區(qū)域匹配實驗
3.2 特征點冗余處理實驗
3.3 圖像拼接實驗
4 結 語