李 奕 吳小俊

?

基于監(jiān)督學(xué)習(xí)的Takagi Sugeno Kang模糊系統(tǒng)圖像融合方法研究

李 奕①②吳小俊*①

①(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院 無錫 214122)②(青島大學(xué)國際教育合作學(xué)院 青島 266071)

該文針對圖像融合領(lǐng)域內(nèi)難于對先驗知識加以利用的問題提出一種新的有監(jiān)督學(xué)習(xí)的Takagi Sugeno Kang (TSK)模糊系統(tǒng)圖像融合方法。該方法通過引入TSK模糊系統(tǒng)構(gòu)建標(biāo)準(zhǔn)圖像融合圖像庫進行學(xué)習(xí)，將學(xué)習(xí)準(zhǔn)則記錄下來形成融合模型，并指導(dǎo)新的圖像融合過程。不同于傳統(tǒng)方法，該方法可以有效地避免模型參數(shù)擇優(yōu)的難題，在融合圖像質(zhì)量和適用范圍方面表現(xiàn)出一定的優(yōu)勢。從單一類型圖像融合和多種類型圖像融合兩個角度進行了實驗研究，實驗結(jié)果說明該方法的有效性。

圖像融合；監(jiān)督學(xué)習(xí)；Takagi Sugeno Kang(TSK)模糊系統(tǒng)

1 引言

上述神經(jīng)網(wǎng)絡(luò)方面的圖像融合方法雖然在某種類型或某些類型的圖像融合中表現(xiàn)出一定的有效性，但采用的還均是無監(jiān)督學(xué)習(xí)技術(shù)，都依然面臨著不能充分利用成功融合的經(jīng)驗并用于指導(dǎo)新的圖像融合工作之問題。針對此問題，本文將機器學(xué)習(xí)領(lǐng)域著名的有監(jiān)督學(xué)習(xí)模型，即模糊系統(tǒng)引入圖像融合過程中，這樣通過對目前已成功融合的結(jié)果建立起圖像學(xué)習(xí)庫來進行模型學(xué)習(xí)，得到適宜于圖像融合的模糊系統(tǒng)模型，利用得到的模型對新圖像完成融合，從而達(dá)到可以提高新圖像融合效率和準(zhǔn)確性的目的。

2 TSK(Takagi Sugeno Kang)模糊系統(tǒng)

2.1 監(jiān)督學(xué)習(xí)智能建模方法

2.2 TSK模糊系統(tǒng)

模糊系統(tǒng)[16,17]作為智能計算領(lǐng)域內(nèi)一個重要的研究分支，其依靠自身獨特的可解釋性以及強大的學(xué)習(xí)能力，被廣泛地應(yīng)用于各個領(lǐng)域內(nèi)。由于TSK模型輸出的簡潔性，以及其所對應(yīng)的訓(xùn)練過程通?？赊D(zhuǎn)化為線性回歸問題或二次規(guī)劃問題來求解，這使得該模型較之于其它模型而言訓(xùn)練過程更為快速、有效。本文即針對TSK模型進行圖像融合的探討。

其中

3 TSK模糊系統(tǒng)圖像融合方法

3.1 方法框架

TSK模糊圖像融合方法分為圖像庫構(gòu)建、學(xué)習(xí)算法選擇和規(guī)則參數(shù)學(xué)習(xí)、融合模型生成與圖像融合實現(xiàn)幾部分。核心部分具體又可分為兩個模塊，即模型訓(xùn)練模塊和模型測試模塊，如圖1所示。訓(xùn)練部分主要通過采用不同的TSK模糊系統(tǒng)學(xué)習(xí)算法，基于融合圖像學(xué)習(xí)庫中圖像進行參數(shù)學(xué)習(xí)，并將得到的最終模糊規(guī)則記錄下來形成TSK模糊系統(tǒng)圖像融合模型。測試部分主要是采用該融合模型針對新的待融合圖像完成融合測試，并得到最終的融合結(jié)果。

3.2 實現(xiàn)過程

本節(jié)基于3.1節(jié)的TSK模糊系統(tǒng)圖像融合框架，研究具體的TSK模糊系統(tǒng)圖像融合算法實現(xiàn)，主要包含如下兩個部分：(1)融合圖像訓(xùn)練數(shù)據(jù)集的構(gòu)造；(2)基于融合圖像數(shù)據(jù)集和ANFIS學(xué)習(xí)方法的TSK模糊系統(tǒng)訓(xùn)練。

3.2.1訓(xùn)練數(shù)據(jù)集的構(gòu)造 根據(jù)不同的具體情況，本文在構(gòu)造訓(xùn)練圖像數(shù)據(jù)集時設(shè)計了特定類型訓(xùn)練集和不限定類型訓(xùn)練集兩種情況，分別進行討論。具體描述如下。

(1)特定類型圖像融合訓(xùn)練數(shù)據(jù)集的構(gòu)造。對于特定類型圖像，以醫(yī)學(xué)X射線斷層掃描(CT)，磁共振成像(MRI)為例，可以根據(jù)若干結(jié)構(gòu)相似度高于0.9的可用CT, MRI圖像及其對應(yīng)融合后所得圖像來構(gòu)造訓(xùn)練數(shù)據(jù)集。此類數(shù)據(jù)集訓(xùn)練模型對此類測試圖像的融合是非常有針對性的，可以期望得到很好的融合效果。但對于其它類型的測試圖像效果則不夠理想，即缺少通用性。

圖1 TSK模糊系統(tǒng)圖像融合模型的訓(xùn)練和測試模塊

(2)不限定類型圖像融合訓(xùn)練數(shù)據(jù)集的構(gòu)造。為了提高所訓(xùn)練模型的通用性，需要給模型提供一個多樣性的圖像訓(xùn)練數(shù)據(jù)集。該問題是有監(jiān)督學(xué)習(xí)圖像融合研究領(lǐng)域的難題，以往的研究中很少有涉及，本文進行了如下嘗試。選擇幾組結(jié)構(gòu)相似度高于0.8的多聚焦、少量醫(yī)學(xué)圖像等來構(gòu)造一個多樣性圖像訓(xùn)練數(shù)據(jù)集。此類數(shù)據(jù)集訓(xùn)練所得模型將有較好的通用性，但對于特定類型的圖像，其效果較之對應(yīng)的特定類型圖像數(shù)據(jù)集訓(xùn)練所得模型將會變差。這一點在實驗部分亦得到了驗證。

3.2.2 TSK訓(xùn)練算法 基于給定的圖像數(shù)據(jù)集，可采用不同的方法對TSK模糊系統(tǒng)學(xué)習(xí)得到最終用于圖像融合的模糊系統(tǒng)模型。目前的TSK模糊系統(tǒng)學(xué)習(xí)算法有如擴展TSK方法STSK(Scalable TSK)[16]等多種。根據(jù)本文的圖像數(shù)據(jù)集的特點，我們采用自適應(yīng)神經(jīng)模糊推理系統(tǒng)(Adaptive Neural Fuzzy Inference System, ANFIS)算法來訓(xùn)練所需的TSK模糊系統(tǒng)圖像融合模型。針對其它模糊學(xué)習(xí)方法應(yīng)用到圖像融合領(lǐng)域的研究將是我們繼續(xù)深入的問題。本部分對ANFIS學(xué)習(xí)訓(xùn)練過程做簡要介紹。ANFIS 學(xué)習(xí)過程分為前件學(xué)習(xí)過程和后件學(xué)習(xí)過程。先假設(shè)前件參數(shù)已知，通過前件輸出來確定后件學(xué)習(xí)中的參數(shù)；然后再以得到的后件學(xué)習(xí)參數(shù)以及相應(yīng)后件學(xué)習(xí)結(jié)果來計算前件參數(shù)，這樣交替反復(fù)進行，直到滿足迭代終止條件為止。具體學(xué)習(xí)過程如表1所示。

圖2訓(xùn)練集學(xué)習(xí)過程

表1 ANFIS學(xué)習(xí)過程

3.3 TSK模糊系統(tǒng)圖像融合算法及分析

根據(jù)前面分析，本節(jié)給出基于ANFIS的TSK模糊系統(tǒng)圖像融合模型的具體實現(xiàn)算法(簡稱ANFIS-Fusion)，算法描述如表2所示。

表2 ANFIS-Fusion算法步驟

本文提出的ANFIS模糊系統(tǒng)圖像融合方法，主要分為ANFIS模糊系統(tǒng)訓(xùn)練集構(gòu)造、學(xué)習(xí)階段及模型產(chǎn)生、圖像融合測試及反饋階段和融合圖像生成4部分工作。其核心ANFIS模糊系統(tǒng)學(xué)習(xí)階段根據(jù)學(xué)習(xí)圖像庫中的多組圖像進行學(xué)習(xí)，以標(biāo)準(zhǔn)圖像作為逼近目標(biāo)，并經(jīng)迭代學(xué)習(xí)得到最終模糊推理規(guī)則。第3個階段的工作是根據(jù)學(xué)習(xí)模型完成融合過程，得到融合圖像，并將該融合經(jīng)驗逐步補充訓(xùn)練過程，以增強ANFIS模糊系統(tǒng)學(xué)習(xí)能力。本文提出了一種有監(jiān)督圖像融合學(xué)習(xí)過程，可以較好地利用之前的融合經(jīng)驗指導(dǎo)新的圖像融合過程，避免融合過程單次化和融合經(jīng)驗的浪費，較好地提高了融合性能。

4 仿真實驗及分析

本節(jié)選擇在圖像融合領(lǐng)域廣泛存在的醫(yī)學(xué)圖像、多聚焦圖像上進行實驗研究，與經(jīng)典融合方法PCNN, Gradient, FSD, Laplacian, DWT, PCA進行比較，并對實驗結(jié)果、性能進行了深入分析，本節(jié)所采用的指標(biāo)見表3所示。

表3指標(biāo)計算方法

指 標(biāo)計算方法 Q0[18] QE[18] QW[18] QAB/F[18]

4.1 特定類型學(xué)習(xí)圖像融合實驗

特定類型學(xué)習(xí)圖像融合實驗旨在構(gòu)造單種類型圖像的學(xué)習(xí)圖像庫，通過學(xué)習(xí)過程形成融合模型來指導(dǎo)學(xué)習(xí)圖像庫中該類型圖像融合工作。實驗中選取圖像尺寸為256×256的兩幅醫(yī)學(xué)‘CT’圖像進行實驗，實驗結(jié)果見圖3和表4。

4.2 無限定類型學(xué)習(xí)圖像融合實驗

無限定類型學(xué)習(xí)圖像融合實驗旨在構(gòu)造不限定單種類型圖像的學(xué)習(xí)圖像庫，通過學(xué)習(xí)過程形成融合模型來指導(dǎo)學(xué)習(xí)圖像庫中某類型圖像融合工作。多聚焦圖像是圖像融合領(lǐng)域中具有代表性的幾大類型圖像之一，在該類型圖像上的實驗效果在一定程度上可以說明方法的有效性。本文嘗試通過構(gòu)造由經(jīng)典的多聚焦圖像、醫(yī)學(xué)圖像等多種類型圖像組成的學(xué)習(xí)圖像庫，并由形成的學(xué)習(xí)模型指導(dǎo)多聚焦圖像的融合。實驗中選取分別為左、右聚焦的兩幅‘Book’圖像，結(jié)果見圖4和表5。

表4 ‘CT’圖像實驗數(shù)據(jù)比較

表5 ‘Book’圖像實驗數(shù)據(jù)比較

圖3‘CT’圖像實驗結(jié)果

4.3 分析

本節(jié)從視覺清晰度和客觀評價指標(biāo)兩個角度對上述實驗結(jié)果進行比較和分析。

首先，從視覺清晰度的角度上進行分析，無論是特定類型圖像融合還是無限定類型圖像融合，采用本文方法融合得到的圖像均較之于其它方法更加清晰，能夠較好地反映圖像中主要因素的信息。

其次，從客觀評價上，在‘CT’圖像上：特定類型圖像融合實驗結(jié)果在Q0, QE, QW, QAB/F方面顯示出一定優(yōu)勢，說明本文方法具有一定的有效性。對于不限定圖像類型實驗結(jié)果，在Q0, QW, QAB/F方面表示突出，在QE方面接近于PCA。但在相同的實驗環(huán)境下采用特定類型融合模型得到的實驗結(jié)果比不限定類型融合模型得到的實驗結(jié)果在Q0, QE, QW, QAB/F幾方面均有所提高，這一點說明特定類型圖像融合模型在融合準(zhǔn)確性上可以達(dá)到相對更高的水平，這與我們的經(jīng)驗相一致。在無限定類型圖像學(xué)習(xí)融合實驗‘Book’圖像上，QW, QAB/F等方面表現(xiàn)較突出。但Q0, QE方面差于PCA。另外，本文方法融合的結(jié)果在圖像灰度的特征信息方面并不十分滿意，主要原因在于構(gòu)建融合模型時沒有突出此類重點信息，在該方面如何引入特征信息、區(qū)域信息等內(nèi)容來構(gòu)建訓(xùn)練數(shù)據(jù)集，較好地提高融合圖像的性能，將是我們擬進一步探討的問題。

無論是針對特定類型的醫(yī)學(xué)圖像融合實驗結(jié)果還是針對無限定類型圖像學(xué)習(xí)融合實驗結(jié)果，本文方法在QW, QAB/F等方面均表現(xiàn)突出，說明通過新方法融合得到的圖像能夠盡量多地包含原圖像中有價值的信息。從視覺上來看，融合結(jié)果清晰度較好，能夠較好地保持圖像中的關(guān)鍵信息。

5 結(jié)束語

針對圖像融合領(lǐng)域中先前融合經(jīng)驗不能積累用于指導(dǎo)新的融合過程之不足，本文提出了一種新的有監(jiān)督TSK模糊系統(tǒng)圖像融合方法。這種方法通過ANFIS模糊系統(tǒng)訓(xùn)練算法基于已有圖像學(xué)習(xí)庫中的圖像進行參數(shù)學(xué)習(xí)，建立TSK模糊系統(tǒng)圖像融合模型，以指導(dǎo)完成新的圖像融合過程。實驗結(jié)果表明本文方法具有以下特點：(1)采用有監(jiān)督的學(xué)習(xí)模式，可以充分利用之前成功的融合經(jīng)驗來指導(dǎo)新的融合過程，較好地提高融合性能；(2)可以對完整圖像集中的部分可公開的圖像進行學(xué)習(xí)，來指導(dǎo)其他圖像的融合過程，有效地保護不能公開的隱私圖像。另外，采用其它類型的模糊系統(tǒng)實現(xiàn)圖像融合也是值得探討的工作，未來的工作中我們將對上述問題做進一步深入研究。

圖4 ‘Book’圖像實驗結(jié)果

[1] McAlpin D and Meyer F J. Multi-sensor data fusion for remote sensing of post-eruptive deformation and depositional features at Redoubt Volcano[J]., 2013, 259: 414-423.

[2] Kong W W, Lei Y J, Lei Y,.. Image fusion technique based on non-subsampled contourlet transform and adaptive unit-fast-linking pulse-coupled neural network[J]., 2011, 5(2): 113-121.

[3] Geng P, Zheng X, Zhang Z G,.. Multifocus image fusion with PCNN in shearlet domain[J]., 2012, 4(15): 2283-2290.

[4] Lindblad T and Kinser J M. Image Processing Using Pulse-coupled Neural Networks[M]. New York: Springer Berlin Heidelberg, 2013: 1.

[5] Chai Y, Li H F, and Qu J F. Image fusion scheme using a novel dual-channel PCNN in lifting stationary wavelet domain[J]., 2010, 283(19): 3591-3602.

[6] Qu X B, Yan J W, Xiao H Z,.. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J]., 2008, 34(12): 1508-1514.

[7] Huang W and Jing Z L. Multi-focus image fusion using pulse coupled neural network[J]., 2007, 28(9): 1123-1132.

[8] Wang Z B, Ma Y D, and Gu J. Multi-focus image fusion using PCNN[J]., 2010, 43(6): 2003-2016.

[9] Luo X Q and Wu X J. Medical image fusion based on pulse coupled neural networks and multi-feature fuzzy clustering[J]., 2012, 5(12A): 878-883.

[10] Li Z F, Chai Y, and Zhong Y P. Multifocus image fusion scheme using features motivated a novel M-channel PCNN in lifting stationary wavelet domain[J]., 2012, 8(4): 1531-1543.

[11] Jiang H and Tian Y F. Fuzzy image fusion based on modified self-generating neural network[J]., 2011, 38(7): 8515-8523.

[12] Zhang Z L, Sun S H, and Zheng F C. Image fusion based on median filters and SOFM neural networks: a three-step scheme[J]., 2001, 81(6): 1325-1330.

[13] Zhang D G, Li C, Wang D,.. A new method of image data fusion based on FNN[C]. Natural Computation(ICNC), Yantai, China, 2010, 7: 3729-3733.

[14] 王士同. 神經(jīng)模糊系統(tǒng)及其應(yīng)用[M]. 北京: 北京航空航天大學(xué)出版社, 1998: 1-3.Wang S T. Neural Fuzzy System and Their Application[M]. Beijing: Publishing House of Beijing Aeronautical University, 1998: 1-3.

[15] 王士同. 模糊系統(tǒng), 模糊神經(jīng)網(wǎng)絡(luò)及應(yīng)用程序設(shè)計[M]. 上海:上?？茖W(xué)技術(shù)文獻(xiàn)出版社, 1998: 1-2.

Wang S T. Fuzzy System, Fuzzy Neural Networks and Their Programming[M]. Shanghai: Press of Shanghai Science and Technology, 1998: 1-2.

[16] Deng Z H, Choi K S, Chung F L,.. Scalable TSK fuzzy modeling for very large datasets using minimal-enclosing-ball approximation[J]., 2011, 19(2): 210-226.

[17] 蔣亦樟, 鄧趙紅, 王士同. 0階L2型TSK遷移學(xué)習(xí)模糊系統(tǒng)[J].電子學(xué)報, 2013, 41(5): 897-904.

Jiang Y Z, Deng Z H, and Wang S T. 0 Order L2 norm Takagi Sugeno Kang type transfer learning fuzzy system[J]., 2013, 41(5): 897-904.

[18] Yin H T, Li S T, and Fang L Y. Simultaneous image fusion and super-resolution using sparse representation[J]., 2013, 14(3): 229-240.

李 奕： 女，1979年生，博士生，講師，研究方向為圖像融合.

吳小俊： 男，1967年生，教授，博士生導(dǎo)師，主要從事模式識別、圖像處理等的研究.

A Novel Image Fusion Method Using the Takagi Sugeno Kang Fuzzy System Based on Supervised Learning

Li Yi①②Wu Xiao-jun①

①(,,214122,)②(,,266071,)

A novel image fusion method based on supervised intelligent learning is proposed in order to overcome the difficulty in the use of priori knowledge in image fusion. In this study, the images database for supervised learning is first constructed，then the model parameters trained with the available training datasets are used for the Takagi Sugeno Kang (TSK) fuzzy system model. Different from the classical method that needs to manage the different parameters setting manually, the proposed method can effectively preclude the problem in the optimal parameters setting. Meanwhile, some advantages are displayed in the fusion image quality and adaptation. The experimental studies on different types of images, both single and multi, also show the effectiveness of the method.

Image fusion; Supervised learning; Takagi Sugeno Kang (TSK) fuzzy system

TP391

A

1009-5896(2014)05-1126-07

10.3724/SP.J.1146.2013.00400

吳小俊 xiaojun--_wu-_jnu@163.com

2013-03-28收到，2014-01-23改回

國家自然科學(xué)基金(60973094, 61103128, 61373055)和教育部科技研究重大項目(311024)資助課題