婁聯(lián)堂，汪然然

（中南民族大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)學(xué)院，武漢 430074）

近10年來，深度學(xué)習(xí)被廣泛應(yīng)用于圖像分析和圖像識(shí)別，特別是在圖像分割及目標(biāo)識(shí)別方面效果甚至好于傳統(tǒng)的圖像處理與分析方法，然而，深度學(xué)習(xí)本質(zhì)上是一種數(shù)據(jù)驅(qū)動(dòng)方法，由深度學(xué)習(xí)獲得的結(jié)果無(wú)法從理論上得到較好的解釋，缺少嚴(yán)格的理論支撐.最近，BRONSTEIN M M等人提出了“幾何深度學(xué)習(xí)”的概念，嘗試從幾何學(xué)的角度將機(jī)器學(xué)習(xí)理論統(tǒng)一起來［1-2］.在最簡(jiǎn)單的情況下，有監(jiān)督的機(jī)器學(xué)習(xí)本質(zhì)上是一個(gè)函數(shù)估計(jì)問題，給定訓(xùn)練集某些未知函數(shù)的輸出，試圖從某個(gè)假設(shè)函數(shù)類別中找到一個(gè)適合訓(xùn)練的函數(shù)φ，使模型可以預(yù)測(cè)出與測(cè)試集的輸入對(duì)應(yīng)的輸出，機(jī)器學(xué)習(xí)模型可以表示為圖1的形式.

圖1 機(jī)器學(xué)習(xí)模型Fig.1 Machine learning model

本文利用數(shù)字圖像的連續(xù)表示［3］方法，研究圖像分析和圖像識(shí)別的深度學(xué)習(xí)問題，主要探索二維圖像分割的通用數(shù)學(xué)框架.試圖找到一個(gè)函數(shù)φ，使其能夠表示基于深度學(xué)習(xí)的圖像分割過程，然后將其應(yīng)用于復(fù)合絕緣子憎水性圖像的分割，最后將實(shí)驗(yàn)結(jié)果與標(biāo)簽進(jìn)行對(duì)比.

1 離散圖像及泛函的連續(xù)表示問題

深度學(xué)習(xí)可以看作一個(gè)黑箱系統(tǒng)白化的過程（見圖1），其中輸入可以是一維信號(hào)（如語(yǔ)音識(shí)別），也可以是二維圖像（如圖像分割及圖像識(shí)別），輸出可以是特征或識(shí)別標(biāo)簽.本文主要研究二維圖像的分割或目標(biāo)識(shí)別，現(xiàn)考慮用一個(gè)有限矩形區(qū)域I×J上的二元連續(xù)函數(shù)f（x，y）表示輸入圖像，同樣，輸出的標(biāo)簽圖像可以用I×J上的二元連續(xù)函數(shù)l（x，y）（深度學(xué)習(xí)過程中未二值化的標(biāo)簽）來表示，黑箱系統(tǒng)可以用函數(shù)空間C（I×J）上的連續(xù)泛函φ來表示.給定一組訓(xùn)練樣本：

其中S表示訓(xùn)練樣本的個(gè)數(shù)，則對(duì)于離散圖像的分割任務(wù)，訓(xùn)練樣本的優(yōu)化模型可表示為：

其中，w和h分別表示離散圖像的寬度和高度.

如果使用均方誤差，對(duì)于連續(xù)的圖像，深度學(xué)習(xí)本質(zhì)上可以看作求解下面的優(yōu)化問題：

本文研究的是連續(xù)泛函φ的表示形式，但若不對(duì)連續(xù)泛函φ的形式進(jìn)行限定，（2）式的優(yōu)化問題一般是很難解決的，同時(shí)，要將（2）式應(yīng)用于二維圖像分割或圖像識(shí)別中，需要解決離散圖像的連續(xù)表示及連續(xù)泛函φ的表示問題.本文主要研究（1）式中泛函φ的連續(xù)表示形式.

對(duì)于離散圖像f（x，y）（1≤x≤w，1≤y≤h），對(duì)其四周進(jìn)行擴(kuò)展，可令在x=0，x=w+1，y=0，y=h+1時(shí)，f（x，y）=0，為方便，擴(kuò)展后的數(shù)字圖像仍記為f（x，y）.另外考慮到離散數(shù)字圖像的帶寬有限，并且當(dāng)m，n較大時(shí)，高頻分量Fm，n較小，趨近于0，可忽略不計(jì)，假設(shè)m，n的最大值分別為M，N（1≤M≤w，1≤N≤h），則數(shù)字圖像f（x，y）可近似表示為：

其中：

x和y的取值范圍分別為：0≤x≤w+1，0≤y≤h+1，當(dāng)M和N足夠大時(shí)，這種數(shù)字圖像連續(xù)表示方式的誤差任意小.（3）和（4）式實(shí)現(xiàn)了離散圖像f（x，y）的連續(xù)表示和重建，由（4）式的數(shù)字圖像f（x，y）計(jì)算得到Fm，n后，通過（3）式重建圖像，得到數(shù)字圖像的連續(xù)表達(dá)式：

其中（x，y）∈[0，W+1]×[0，H+1]，W，H分別為重建后的圖像寬度和高度.

下面考慮（1）式中泛函φ的連續(xù)表示問題.由（5）式知，連續(xù)圖像f（x，y）由它的離散頻譜F1，1，…，F(xiàn)1，N，…，F(xiàn)M，N唯一確定，因此泛函φ（f）可以簡(jiǎn)化為RMN→RMN的一個(gè)映射φ（F1，1，…，F(xiàn)1，N，…，F(xiàn)M，N），簡(jiǎn)記為φ（F），其中F為離散圖像的頻譜.由（3）和（4）式可知，φ（f）（x，y）可表示為：

由矩陣乘積的性質(zhì)可知，公式（6）可表示為如下形式：

則優(yōu)化模型可表示為：

2 優(yōu)化模型的約束條件及求解

經(jīng)過以上處理，雖然將空域上的連續(xù)優(yōu)化模型轉(zhuǎn)化為頻域上的離散優(yōu)化模型，連續(xù)泛函φ（f）也表示成了函數(shù)的形式，但如果不對(duì)φ（F）進(jìn)行一些限制，上面的優(yōu)化問題仍然無(wú)定解.在對(duì)φ（F）進(jìn)行限制前，先取M=N，于是φ（F）是RMM→RMM上的一個(gè)映射，為了簡(jiǎn)化模型的求解，本文對(duì)φ（F）增加兩個(gè)約束條件：

（i）φ（F）是M×M維矩陣空間到M×M維矩陣空間的映射；

（ii）φ（·）是定義在有限區(qū)間[0，G]上的滿足狄利克雷邊界條件的連續(xù)函數(shù)（G為常數(shù)）.

即把φ（F）看作是一個(gè)矩陣函數(shù)，下面根據(jù)矩陣的性質(zhì)對(duì)φ（F）進(jìn)行簡(jiǎn)化.由條件（ii）知：

其中：

由此φ（F）形式上可以表示為：

利用正弦級(jí)數(shù)展開式及方陣F的特征多項(xiàng)式性質(zhì)，φ（F）可以表示為：

于是在約束條件（i）和（ii）下，優(yōu)化問題可簡(jiǎn)化為：

其中aT=（a0，…，aM-1），以上優(yōu)化問題等價(jià)于求解下面的超定線性方程組：

上述方程組簡(jiǎn)記為：

其中：

考慮到直接法和迭代法均不適用于求解方程個(gè)數(shù)太多的方程組［4-5］，本文通過構(gòu)建一個(gè)兩層BP神經(jīng)網(wǎng)絡(luò)模型（見圖2），將方程組求解的問題轉(zhuǎn)換成神經(jīng)網(wǎng)絡(luò)的參數(shù)優(yōu)化問題［6-7］，即通過誤差函數(shù)最小化來求解（17）式.

圖2 BP神經(jīng)網(wǎng)絡(luò)模型Fig.2 BP neural network model

記A=（Ai，j）Swh×M，Ai∈(A1，…，ASwh)∈R1×M，Ai是矩陣A的行向量，bi是（17）式中常數(shù)項(xiàng)矩陣b的第i個(gè)元素.在（17）式中，{（Ai，bi），i=1，…，Swh}可以看作神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本，訓(xùn)練樣本個(gè)數(shù)為（17）式中方程的個(gè)數(shù)，相應(yīng)的網(wǎng)絡(luò)權(quán)值為a=（a0，…，aM-1）T.具體訓(xùn)練步驟如下：

步驟1定義一個(gè)損失函數(shù)E來監(jiān)控（17）式的求解過程，本文選用均方誤差作為損失函數(shù)：

步驟2網(wǎng)絡(luò)初始化：給變量a賦一個(gè)初值，選取學(xué)習(xí)率α，設(shè)定迭代次數(shù)；

步驟3將矩陣系數(shù)A以及常數(shù)項(xiàng)矩陣b分別作為BP神經(jīng)網(wǎng)絡(luò)的輸入和期望輸出；

步驟4計(jì)算誤差梯度：為使損失函數(shù)收斂到0，運(yùn)用梯度下降［8］的思想，讓它沿著負(fù)梯度方向下降，對(duì)其求導(dǎo)得：

步驟5進(jìn)行網(wǎng)絡(luò)權(quán)值的更新：

步驟6迭代結(jié)束，輸出網(wǎng)絡(luò)權(quán)值，即方程組的解.

3 實(shí)驗(yàn)

3.1 復(fù)合絕緣子憎水性圖像分割

為驗(yàn)證本文方法的可行性，將模型用于復(fù)合絕緣子憎水性圖像分割.本文實(shí)驗(yàn)所用圖像由某電力公司提供，較為全面準(zhǔn)確，等級(jí)分為HC1～HC5，圖像的大小均為256×256.文中選取的樣本總數(shù)為135，其中訓(xùn)練樣本數(shù)為20×5（每個(gè)等級(jí)取20幅圖像），測(cè)試樣本數(shù)為7×5（每個(gè)等級(jí)取7幅圖像）.為避免因光照和水珠的透明性帶來的影響，采用直方圖均衡化［9］對(duì)憎水性圖像做增強(qiáng)處理，以突出圖像中的水珠（或水跡）區(qū)域，然后再將數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò).

將數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)之前，需要消除訓(xùn)練樣本間的數(shù)量級(jí)差異，以保證結(jié)果的可靠性.將（17）式中（k=0，…，M-1，s=1，…，S）的元素歸一化到[0，1]區(qū)間內(nèi)，采用的歸一化方法為：

其中，z為歸一化前的數(shù)值，是歸一化后的數(shù)值，zmin和zmax分別為矩陣β元素中的最小值和最大值.

此時(shí)，求解（17）式可轉(zhuǎn)化為求解方程組（22）：

本文方法選取的學(xué)習(xí)率為0.1，迭代1×105次，M為50，w和h為256，（5）式中重建后的圖像大小為256×256，初始的網(wǎng)絡(luò)權(quán)值是從服從正態(tài)分布的數(shù)值中選取的隨機(jī)數(shù).參數(shù)設(shè)定完成后，利用步驟1～步驟6訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到方程組（22）的解.

3.2 性能評(píng)估

為更加客觀地評(píng)價(jià)本文模型分割圖像的性能，選用Dice系數(shù)［10］評(píng)價(jià)本文方法.Dice系數(shù)是一種集合相似度度量指標(biāo)，用于計(jì)算兩個(gè)集合間的相似度，取值范圍為[0，1].分割效果最佳時(shí)取1，效果最差時(shí)取0.Dice系數(shù)的表達(dá)式為：

其中P表示模型的分割結(jié)果，R表示模型的真實(shí)標(biāo)簽.

3.3 實(shí)驗(yàn)結(jié)果

訓(xùn)練完成后，得到的模型均方誤差如圖3所示，實(shí)驗(yàn)結(jié)果如圖4所示.圖3給出了損失函數(shù)隨迭代次數(shù)變化的曲線，隨著迭代次數(shù)的增加，各等級(jí)的損失逐漸減少，迭代完成后，各等級(jí)的均方誤差分別為0.15035、0.15508、0.15572、0.13758、0.02829.圖4給出了部分測(cè)試樣本的實(shí)驗(yàn)結(jié)果，包含各等級(jí)的原始圖像、增強(qiáng)處理后的圖像、標(biāo)簽圖像、本文方法分割結(jié)果和Dice系數(shù).

圖3 損失隨迭代的變化Fig.3 Loss changes with iteration

從圖4可以看出，本文方法可以分割出各等級(jí)的水珠，其中HC1和HC2的分割效果最好，HC5的分割效果稍差.與標(biāo)簽圖像相比，本文方法分割出的水珠要多，特別是水珠形態(tài)較好的HC1和HC2這兩個(gè)等級(jí)，水珠形態(tài)比較完整，對(duì)于形態(tài)稍差的HC3和HC4等級(jí)，大顆粒水珠的分割效果較好，邊界水珠的分割效果較差，觀察圖像，發(fā)現(xiàn)HC3和HC4等級(jí)的圖像邊界部分的水珠小而且密集，這可能會(huì)影響模型的性能.

圖4 實(shí)驗(yàn)結(jié)果Fig.4 Experimental results

進(jìn)一步分析，發(fā)現(xiàn)無(wú)論是標(biāo)簽圖像還是本文方法的結(jié)果，HC5圖像的大片水珠區(qū)域都沒能很好地分割出來，這可能是因?yàn)樵讷@取數(shù)據(jù)的過程中，采用了統(tǒng)一的圖像增強(qiáng)方法，雖能有效減少水珠的反光和透明性帶來的影響，但不能明顯突出不同形態(tài)的水珠（或水跡）區(qū)域；另一方面，在實(shí)際的工程應(yīng)用中，對(duì)憎水性圖像分割的目的其實(shí)就是為了方便研究人員判斷憎水性的等級(jí)，研究人員主要根據(jù)水珠的形態(tài)來區(qū)分憎水性等級(jí)，只要分割出的水珠形態(tài)符合要求，就能滿足工程應(yīng)用的需要，從不同等級(jí)水珠的差異性來看，本文方法在某種程度上達(dá)到了分割目的.

4 結(jié)論

通過構(gòu)造基于數(shù)字圖像連續(xù)表示的圖像分割模型，給出了深度學(xué)習(xí)模型分割圖像的相關(guān)函數(shù)表達(dá)式，實(shí)現(xiàn)了圖像自動(dòng)分割.此外，分析了復(fù)合絕緣子憎水性圖像的分割效果，通過實(shí)驗(yàn)驗(yàn)證了本文方法與深度學(xué)習(xí)模型分割圖像的相似性.但還存在著函數(shù)φ的約束條件不夠充分的局限性，通過約束條件（i）和（ii）雖能有效限制φ的表現(xiàn)形式，使其能夠成功地?cái)M合基于深度學(xué)習(xí)的圖像分割過程，但函數(shù)φ的真正表現(xiàn)形式仍未知，將來還需進(jìn)一步探索其表示形式.