楊世波應夢迪夏秋婷李 宏
(杭州電子科技大學自動化(人工智能)學院,浙江 杭州 310018)
在臨床上,牙體缺損、牙列缺失和牙列缺損是人類常見病、多發(fā)病[1],目前修復中應用最多的方法是烤瓷修復體[2],顏色是影響牙齒及修復體美觀的一個重要因素,而修復體顏色與天然牙顏色的完美匹配又是口腔修復學的難點之一[3]?,F(xiàn)階段常用的比色方法[4]有視覺比色、儀器比色及數(shù)碼攝影輔助比色。視覺比色時容易受到光照條件、不同比色技師對于色彩的感覺力、視覺疲勞、比色經驗以及修復材料的影響[5],使得比色結果存在偏差;儀器比色可以避免視覺比色時的偏差,但每次只能為一顆牙齒比色,比色效率和準確率較低,而且價格昂貴[6],Sarafianou等[7]在不同光源下對Easyshade和SpectroShade兩款比色儀進行測試,認為儀器之間可靠性差,這表明它們是不兼容的;數(shù)碼攝影輔助比色是通過數(shù)碼相機取得牙齒及比色片數(shù)字圖像和顏色,仍需要人眼對滿意的圖像和顏色進行選擇,但Melody[8]認為:通過數(shù)字圖像獲得的顏色信息,可以很容易地轉換成與口腔環(huán)境相關的信息;Tam等[9]認為:用數(shù)碼照片比色,可以盡可能減少醫(yī)生和技師之間顏色溝通的差距。
近年來,將數(shù)碼攝影和相關比色算法相結合成為牙科比色技術的一大突破口,例如王遠勤[10]通過求取每一區(qū)域的顏色(RGB)、亮度“平均值”作為該區(qū)域的顏色和亮度特征,結合人工神經網絡技術以實現(xiàn)前牙修復體顏色的計算機自動選擇,結論顯示:臨床58例前牙缺失患者的滿意度評價高于視覺比色,但未明確計算準確率;劉紀紅[11]采用了中心區(qū)域比色法、9個子區(qū)域減色比色法和改進算法三種方法比較分析,其中改進算法具有最高的準確率,改進算法中通過將HSI(hue-saturation-intensity)組成特征組后進行分類,平均準確率可達到94.79%,人為地以45度自然光(10:00-14:00)照射的環(huán)境和置于均勻的藍色背景下進行圖像采集,以達到圖像中幾乎沒有陰影的效果;宋宇[12]通過暗箱和攝像筆采集牙齒圖像,取灰度矩陣利用KNN(K-NearestNeighbor)和SVM(Support Vector Machine)兩種分類器進行分類,其中KNN分類準確率較高,可達到86%,但圖像樣本基于暗箱采集,置于現(xiàn)實應用難以開展。
以上分析現(xiàn)有實現(xiàn)的算法,大多圖像采集是基于暗箱和特定角度拍攝所得,背景采用均勻的藍色或黑色,但在實際臨床應用中,為獲取到清晰的牙齒圖像,角度平面不會固定,也不能忽略實際拍攝時光照不均勻、采集圖像存在陰影等問題。所以本文考慮實際拍攝時底色一般為牙齦或嘴唇等背景,將采用均勻的紅色背景,置于自然光下隨機平面拍攝獲取樣本,采用光照不均勻圖像自適應校正算法減少光照對采集圖像的影響,并將圖像置于多種色彩模式下,以各分量作為特征向量,通過方差選擇特征法選取特征組進行KNN分類,為實現(xiàn)牙齒比色系統(tǒng)提供理論支撐。
本實驗選用目前廣泛應用于臨床的德國VITA Toothguide 3D-MASTER牙齒比色板為研究對象,如圖1所示,其包含26顆根據(jù)灰度級別(0-5級)、色度(L、M、R)和飽和度排列的不同顏色的牙齒模型和三顆漂白牙齒模型。
圖1 VITA Toothguide 3D-MASTER牙齒比色板
本文設計的牙齒比色算法是基于MATLAB平臺[13]進行的仿真測試。
牙齒比色算法總流程如圖2所示。
圖2 牙齒比色算法總流程
1.2.1 比色片數(shù)據(jù)庫的建立
以VITA Toothguide 3D-MASTER牙齒比色板為研究對象,底色選用紅色,更貼近現(xiàn)實應用場景中的牙齦和嘴唇的背景色。取每一個比色卡放置在自然光照下,數(shù)碼相機隨機拍攝樣本5張,共獲得130幅牙齒圖像,隨機挑選4張作為樣本集,剩余1張作為測試集。
將拍攝的牙齒圖像分為樣本集和測試集存為兩個主文件夾,再按類別分別存于26個子文件夾。在MATLAB中實現(xiàn)依次讀取主文件夾下所有子文件夾內的照片,并且以各子文件夾名為標簽,存儲對應樣本類別。
1.2.2 牙齒圖像的處理
首先將RGB牙齒圖像轉換為HSV圖像,因為該色彩空間是基于人的視覺系統(tǒng)的顏色感覺特性[14],其中色度圖像的目標和背景像素值對比明顯[6],所以取色度圖像進行下一步的定位分割處理。色度圖像通過整體閾值法二值化后,由于拍攝過程中牙齒比色片產生反光,產生邊緣上不圓滑、存在缺角缺塊的現(xiàn)象,為避免分割過程中產生誤差,所以先對色度圖像進行形態(tài)學處理,分別進行了閉操作和腐蝕操作,起到填充圖像中的細小空洞和平滑邊界的作用。
然后進行圖像的分割,通過投影法對預處理后的色度圖像進行分割,由于從各個角度拍攝的圖像樣本,造成目標圖像大小不一致,考慮到自然牙中間1/3區(qū)域顏色最穩(wěn)定,可把這一區(qū)域顏色作為主體基調色[15],所以固定分割270?399的中心區(qū)域進行比對。具體思路如下:遍歷牙齒圖像各行各列的像素值,并分別統(tǒng)計記錄在矩陣marRow和marCol中。再對行投影的值(即矩陣marRow)進行升序排序,統(tǒng)計排序為前270的像素值,對其索引序號排列,得到其最前最后對應的索引序號xstartIndex和xendIndex;后對列投影的值(即矩陣marCol)進行相同操作,得到排序為前399對應的索引序號ystartIndex和yendIndex。最后根據(jù)所得的四個xy索引序號,使用imcrop()函數(shù)對HSV圖像進行分割,得到大小為270?399的牙齒中心圖像。
由于拍攝的多角度和光照影響,可能導致分類誤差,所以選擇對分割后的亮度圖像進行減少光照影響的處理。對分割后得到的270?399中心圖像取亮度分量圖像,參考劉志成[16]的光照不均勻圖像自適應校正算法,利用高斯函數(shù)提取出圖像場景中的光照分量,通過構造二維伽馬函數(shù)來均勻圖像中的亮度值,即實現(xiàn)降低光照過強區(qū)域圖像的亮度值和提高光照過暗區(qū)域圖像的亮度值,后將處理好的亮度分量與原來的HS分量重新合成HSV圖像。
1.2.3 構成特征向量
將處理好的HSV中心圖像分別轉換為RGB和Lab圖像,并提取出R、G、B、H、S、V、L、a、b九大分量,求平均后將得到的九個特征值存儲為行向量,作為該圖像的特征向量。根據(jù)以上處理方法,將樣本集和測試集的圖片分別依次處理后,存儲在樣本矩陣和測試矩陣中。
1.2.4 特征選擇及分類
每幅圖像均有九大特征值,不同特征進行組合可形成511個不同的特征組,所以需要進行特征選擇[17]來挑選出最優(yōu)分類特征組。根據(jù)Dash等人[18]給出的定義最優(yōu)特征組是選擇盡量小的特征子集,并滿足不顯著降低分類精度和不顯著改變類分布兩個條件。具體采取方差選擇法[19],即該特征能很好地區(qū)分某些類和另外的一些類,則認為該特征是可選擇的,從統(tǒng)計學的角度看就是它們的類間方差較大,該方法的通用性強,省去了分類器的訓練步驟,算法復雜性低,簡單易行。
由于K-近鄰法(K Nearest Neighborhood,KNN)算法實現(xiàn)簡單和其顯著的分類性能[20-21],所以采用K-近鄰法設計分類器,其中k取3,并采用最常見的歐氏距離進行度量,衡量的是多維空間中各個點之間的絕對距離,公式如下式(1)所示,最后計算分類準確率。
根據(jù)以上所述的方法步驟,建立牙齒圖像樣本集,采集的牙齒樣本處于RGB色彩模式,提取各分量及直方圖如圖3所示,并分別轉換至HSV色彩模式和Lab色彩模式下,所提取的各分量及直方圖如圖4、圖5所示,本文將基于這三個色彩模式對圖像進行處理。
圖3 RGB各分量及其直方圖
圖4 HSV各分量及其直方圖
圖5 Lab各分量及其直方圖
對牙齒圖像的色度圖像進行形態(tài)學預處理,包括閉操作和腐蝕操作,效果圖如圖6所示,可以發(fā)現(xiàn)圖像四周變光滑,但比色片右上角的缺失未能完全補齊,結合之后進行的分割操作,該角缺失并不會對牙齒圖像比色造成明顯影響。
圖6 色度圖像形態(tài)學預處理結果
隨后對預處理后的色度圖像通過投影法進行分割,為使分割效果明顯,取RGB完整圖像舉例,得到的原圖和分割圖對比如圖7所示,可由此方法得到270?399大小的牙齒中心區(qū)域。
圖7 投影法分割前后對比圖
對分割后所得原圖像直接嘗試不同特征組的比色分類,取出一部分相對準確率最高的特征組結果以及其分類平均準確率如表1所示,可以發(fā)現(xiàn)各個特征組準確率均不高。
表1 未進行減少光照影響算法時的準確率
所以進一步根據(jù)圖像均勻光照算法,對分割后的圖像減少光照影響,效果如圖8所示,可以發(fā)現(xiàn)提取出的光照分量分布不均勻,在經過均勻算法處理后,光照分量分布均勻,并拼合成HSV分量。
圖8 減少光照影響的效果圖
取之前未進行光照處理時相同的特征組,其對應的分類準確率和平均準確率如表2所示,可以發(fā)現(xiàn)經過光照均勻后整體準確率明顯提高,最高準確率能達到96.2%。
表2 進行減少光照影響算法后的準確率
取RGB、HSV、Lab三個色彩模式下的各分量作為特征值,一共可以形成511組不同的特征組,首先根據(jù)不同個數(shù)特征值所形成的最高準確率來確定最優(yōu)特征組個數(shù),如圖9所示,當特征值個數(shù)增加到一定程度時,準確率不增反減,可能由于某些特征值組合后反而干擾了比色分類,可以發(fā)現(xiàn),當特征值個數(shù)為3時,可以達到最高的準確率,所以之后就基于三個特征成組尋找最優(yōu)特征組。
圖9 不同特征值個數(shù)對應最高準確率結果
對于特征選擇時,使用方差選擇法,對各個特征計算類間方差,結果如表3所示,可以發(fā)現(xiàn)BHV三個特征在類間方差最大,即能夠更好地區(qū)分每一類。
表3 各特征值的類間方差
基于BHV組成的特征組,經由樣本集的分類器訓練后,對測試集進行比色分類,可達到96.2%的準確率,說明由該特征組實現(xiàn)牙齒比色分類的效果較佳。
本文以VITA Toothguide 3D-MASTER牙齒比色板為研究對象,將其置于均勻的紅色背景,在自然光下隨機平面拍攝各個比色片,共獲取130張樣本圖像。以MATLAB為平臺,采用光照自適應校正算法,有效減少了光照不均勻對圖像的影響,提高了分類的準確率;選取RGB、HSV、Lab三種色彩空間下的各分量為比色的特征向量,并且采取方差選擇特征法,得到分類最優(yōu)特征組為BHV特征組;通過KNN分類后驗證該特征組達到最高的分類準確率為96.2%,可為之后實現(xiàn)牙齒比色系統(tǒng)提供理論依據(jù)。