陳忠圣，朱梅玉，賀彥林，徐圓，朱群雄

（1 北京化工大學信息科學與技術學院，北京100029； 2 智能過程系統(tǒng)工程教育部工程研究中心，北京100029）

引 言

復雜噪聲環(huán)境下非線性過程建模一直是學術界和工業(yè)界的難點[1-3]。由于不需要深入了解過程的反應機理，以神經網絡為代表的數據驅動建模方法能夠學習和提煉過程累積的歷史數據，在過程工業(yè)中得到大規(guī)模的應用。然而，一方面，這些數據驅動的建模方法對數據的數量和質量依賴性強。另一方面，現(xiàn)代流程工業(yè)過程引進了先進的控制系統(tǒng)和生產管理系統(tǒng)，可以實現(xiàn)很好的系統(tǒng)穩(wěn)定控制，使得流程系統(tǒng)運行數據雖然海量但波動很小，某種程度上相當于數據重復采樣，數據覆蓋程度和代表性不佳。另外，由于數據獲取成本較高或發(fā)生概率較小等原因，致使面臨有用數據有限甚至稀缺。這些數據又存在強非線性、噪聲、缺失和不確定性等特點，主要體現(xiàn)在數據不平衡、不完備、不精確、不可靠等[4-5]。這就帶來了噪聲環(huán)境下樣本擴充問題，即如何借助人工智能數據預處理的方法生成克服噪聲干擾的平滑數據，且又要要求所產生的數據具有高的保真度。

統(tǒng)計學習理論率先建立了一套嚴格的理論，為有限樣本學習奠定了堅實理論基礎。在統(tǒng)計學理論下，支持向量機作為一種經典的有限樣本通用學習算法，通過間隔對數據分布進行結構化描述，雖然減少了對樣本量和樣本分布的要求，但難以克服由噪聲和異常值帶來的影響。隨后，科研人員嘗試使用灰色理論、核回歸、協(xié)同學習、遷移學習和貝葉斯規(guī)劃學習在不充分樣本集上執(zhí)行分類和回歸任務，但難以獲得令人滿意的效果。鑒于過往方法在表達和處理不精確、不確定、不完備有限數據時的局限性，研究人員從擴充樣本數據的角度出發(fā)，提出了虛擬樣本生成技術，從原始樣本中提取有用信息來擴大樣本數量。Bootstrap 是最簡單易行的樣本擴充方法，通過抽樣分布模擬真實分布，進而得到采樣數據點[6]。但Bootstrap 并未產生不同于原始樣本的新樣本，只是對原始樣本集的再分配。Monte Carlo 將虛擬樣本的生成過程構造為一個概率過程，適合產生高維樣本數據。SMOTE 通過反復沿著少數類樣本和其近鄰樣本之間的連線抽樣來合成新的樣本，用于解決小樣本不平衡分類問題。然而，這些常見的采樣方法都只適用于數值數據。為了兼容類別數據，Coqueret[7]提出了生成通用結構數據的抽樣策略。一些研究致力于拓展虛擬樣本的可行空間，如整體趨勢擴散[8]。文獻[9]通過基準函數實驗和正交實驗驗證了拓展虛擬樣本可行空間的有效性。隨著深度學習在計算機視覺、語音識別、自然語言處理和控制優(yōu)化等領域獲得了鼓舞人心的研究結果，以生成式對抗網絡（generative adversarial networks，GANs）[10]和變分自編器（variational autoencoders，VAEs）[11]為代表的深度產生式模型能夠通過深層的非線性網絡結構實現(xiàn)特征表達的學習過程，組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數據的分布式特征表示，吸引了學術界和工業(yè)界的廣泛關注。但是在實際應用中，GAN 的收斂性和生成數據的多樣性通常難以保證。雖然存在一些改進GAN的方法[12]，如特征匹配、批次判別、歷史平均，但GAN 仍然主要存在訓練過程不穩(wěn)定、生成器梯度消失、模式坍塌和樣本多樣性差的問題。為了解決GAN 模型存在的問題，國內外學者提出改進模型，如 CGAN[13]、 DCGAN[14]、 Wasserstein GAN[15]、cycleGAN[16]和Bidirectional GAN[17]。GANs 及 其 衍 生版本能夠自然地使用確定性深度生成模型產生具有明確定義的樣本，傾向于驅使生成模型分布塌縮到真實后驗分布的少數幾個高密度區(qū)域。相較于GANs，VAEs 的訓練過程更加穩(wěn)定。然而，由于VAEs 的結構并沒有明確學習產生真實樣本的目標，只是希望生成和真實樣本最接近的數據，傾向于驅使生成模型分布覆蓋真實后驗分布的所有區(qū)域，包括真實后驗分布的低密度區(qū)域，因此VAEs會產生“模糊”的樣本。

雖然這些無監(jiān)督深度生成模型通過學習真實數據的本質特征來發(fā)現(xiàn)并有效內化數據的本質，生成與訓練樣本相似的新數據，但它們幾乎僅僅適用于以圖像生成為代表的無監(jiān)督學習任務。目前，文獻中對回歸預測任務開發(fā)深度生成式模型的研究非常少。Rezagholiradeh 等[18]提出了一種半監(jiān)督生成模型Reg-GAN。他們修改標準GANs框架中的判別器，使得判別器不但判別真假樣本的概率，而且標記它們相應的輸出值。這些輸出值不再是離散的分類類別，而是連續(xù)的數值輸出。在該判別器中，起判別作用的輸出采用二進制交叉熵函數作為損失函數，起標記作用的輸出采用均方差損失函數。這種做法雖然為開發(fā)回歸預測任務深度生成式模型提供一種可行思路，但無疑加大了判別器的難度，因為在訓練過程中，判別器的兩個輸出分別在兩種誤差函數的作用下很難同時到達期望的精度。此外，由于沒有額外的輸出信號饋入生成器中，他們的方法是半監(jiān)督的。而CGAN中，饋入生成器中的輔助輸出信號恰好能夠滿足監(jiān)督框架的要求。受到CGAN 和Reg-GAN 的啟發(fā)，本文在標準CGAN 中的判別器之后額外引入一個回歸器，單獨負責標定樣本的連續(xù)輸出。同時，在回歸器中采用分位數回歸損失函數，驅動生成器產生落入一定置信間隔的新樣本，而不是完全精確的樣本，這樣就降低了判別器和生成器的訓練難度。同時，又可通過調整置信間隔來確保所產生樣本的質量。最后，通過基準函數數據和實際工業(yè)數據驗證所提出方法的有效性。

1 分位數回歸網絡

分位數回歸反映解釋變量X 和響應變量Y 的條件分位數QY(τ|X)之間的關系：QY(τ|X)= f(X)。由于不需對模型中的隨機擾動殘差項做任何分布的假定，與最小二乘法回歸等經典回歸分析方法相比，分位數回歸通常具有更好的穩(wěn)健性[19]。為了實現(xiàn)非線性分位數回歸分析，Taylor[20]提出了神經網絡分位數回歸模型(quantile regression neural network，QRNN)，利用神經網絡的任意非線性函數逼近能力，分析解釋變量X 對響應變量Y 的條件分位數之間復雜的非線性影響。

通常，QRNN 可通過三層感知器神經網絡來實現(xiàn)。令解釋變量作為輸入層，響應變量作為輸出層，中間隱含層上有K個神經元單元，則整個模型可表示為：

τ 表示分位點，w(o)表示輸出層的權重，b(o)表示輸出層的偏置。f(o)(·)表示輸出層神經元激活函數。gj(τ)表示隱含層神經元單元的輸出：

w(h)表示隱含層的權重，b(h)表示隱含層的偏置。f(h)(·)表示隱含層神經元激活函數。為了訓練模型，QRNN最小化下面的誤差函數：

N 表示樣本個數，ρτ(·)表示非對稱損失函數，可表達為如下形式：

QRNN 使用誤差反向傳播（back propagation，BP）等梯度下降算法對網絡參數進行更新。特別地，當隱含層神經元單元數K=1，輸出層神經元激活函數f(o)(·)和隱含層神經元激活函數f(h)(·)都為恒等激活函時，QRNN 模型退化為線性分位數回歸模型。本文分別取{0.025,0.5,0.975}三個分位點。

2 條件生成對抗網絡

GAN 是一種通過生成器G 和判別器D 的對抗訓練而構建的深度生成模型[10]。在該模型中，生成器G 負責從數據示例中學習真實樣本的分布，利用先驗噪聲分布采樣信號生成相似度逼近真實樣本的虛假樣本；而判別器D 負責判斷輸入的樣本是生成樣本還是真實樣本，輸出相應概率值。GAN 的訓練過程可以看作二元博弈問題：

式中，x 表示真實數據，z 表示生成器接受的噪聲信號，pdata(x)表示真實數據分布，pz(z)表示先驗噪聲分布，D(x)表示判別器認為輸入數據為真的概率，G(z)表示生成器將隨機噪聲映射后生成的虛假樣本。理論上，當且僅當生成器的分布pg=pdata時，上述極大極小二元博弈問題達到Nash平衡。

由于生成器幾乎沒有任何約束，GAN 中生成過程過于自由。CGAN 是通過在標準GAN 的生成器G 和判別器D 上同時引入條件信號y，改善了GAN 過于自由的問題，使網絡朝著既定的方向生成樣本[13]。因此，CGAN 將上述極大極小二元博弈問題修改為：

初始化判別器和生成器的參數后，整個模型采用交替訓練的策略，即：生成器生成樣本后固定生成器，更新判別器網絡參數，使得判別器盡可能地準確認出真實數據和生成數據。對判別器更新若干次后固定判別器，更新生成器網絡參數，使得生成器盡可能產生與真實數據相似的新數據。如此交替迭代，直至模型趨于穩(wěn)定。

3 QRCGAN虛擬樣本生成方法

所提出方法的主要思想是結合QRNN 和CGAN的優(yōu)勢。CGAN 通過引入條件信號y，允許無監(jiān)督GAN 模型拓展到監(jiān)督學習框架下。因此，所提出的QRCGAN 也保留了額外的輔助信號y。通過給定條件y，CGAN 雖然在一定程度上能夠操縱樣本生成，但更適合條件信號是離散類別數據的情形。當條件信號屬于連續(xù)數值數據的情形時，產生的新樣本x～ 和給定的條件信號y很難匹配和對應，這就加大了生成器和判別器的訓練難度。為了降低這個匹配難度，在CGAN 的框架中加入運用QRNN 實現(xiàn)的回歸器，專門負責建立產生的新樣本x～ 和給定的條件信號y 之間的映射關系。這里采用QRNN 的原因是，QRNN 不要求解釋變量X 和響應變量Y 完全對應，而是讓它們以一定的置信度對應起來，放松了對生成器和判別器的要求。

3.1 訓練過程

總的來說，本研究的QRCGAN 模型主要包含三個部分：生成器G、判別器D 和回歸器R，如圖1 所示。與在GAN 和CGAN 中扮演的角色相似，生成器G 的作用是在學習訓練示例中的真實數據分布來產生新樣本。判別器D主要負責判別輸入樣本的真實度。回歸器R負責在一定的置信度下給新產生的樣本標定合適的連續(xù)輸出。整個網絡的訓練過程可歸納為：

圖1 提出的QRCGAN示意圖Fig.1 Schematic diagram of the proposed QRCGAN

（1）初始化生成器G、判別器D 和回歸器R 的網絡參數。設置噪聲信號z 的維度z_dim，批大小batch_size，學習速率lr，判別器與生成器的更新次數比n_update，最大迭代次數max_it。

（2）在每次迭代過程中，從訓練示例中隨機選擇一批真實數據x,y～pdata(x, y)，同時對噪聲信號采樣，按其先驗分布抽取同等規(guī)模噪聲數據z～pz(z)。

（3）固定生成器和判別器后，饋入z 和y 到生成器獲得新樣本。新樣本被送入回歸器標定得到相應輸出值。然后，分別使用這一批真實數據和產生的虛擬數據訓練回歸器。

（4）固定生成器和回歸器，使用同一批真實數據和產生的虛擬數據訓練判別器。每訓練一次回歸器，接著就訓練判別器一次。

（5）重復步驟（2）～步驟（4），使得對判別器更新n_update次后，同時固定判別器和回歸器，更新生成器網絡參數。

（6）重復步驟（2）～步驟（5），直到網絡參數趨于收斂或達到預設設定的最大迭代次數max_it。

3.2 生成樣本的質量評價指標

KL散度是一種衡量兩個概率分布P(x)與Q(x)接近程度的非對稱度量，其取值恒大于等于零。如果兩個概率分布P(x)與Q(x)相差越大，KL散度越大；如果兩個概率分布P(x)與Q(x)相同，KL 散度為零。KL散度定義如下：

每當生成器網絡更新一次，使用KL評估生成器學習分布和真實分布的差異，從而間接評估所產生的樣本與真實樣本的差異。若KL散度越大，生成器性能越差，所產生的樣本質量越差；反之，若KL散度越小，生成器性能越好，所產生的樣本質量越好。

3.3 參數選擇

QRCGAN 的網絡參數需要細心選擇和耐心微調。所有參數的選擇和微調都在測試數據集上進行，以減小KL 散度評價指標為準則。通常，較大的網絡層數可能導致過擬合。因此，網絡層數應該與問題的復雜程度相匹配。神經單元個數可通過經驗選定特定范圍，通過試湊法最終確定最佳的神經單元個數。采用Adam 優(yōu)化器并用{10-2,10-3,10-4}調節(jié)學習速率。通過大量試驗，發(fā)現(xiàn)學習速率lr 取10-3時，網絡工作性穩(wěn)定。批大小batch_size 視問題而定，不宜太小。絕大多數情況下，噪聲信號z 維度z_dim取10，判別器與生成器的更新次數比n_update取5，最大迭代次數max_it取104，網絡工作良好。

4 算例分析

為了驗證所提出的QRCGAN 方法的合理性和有效性，通過在多個人工基準函數數據集上與CGAN 進行比較，測試生成樣本的能力；與QRNN 比較，測試回歸預測的能力。然后，再將其應用到實際工業(yè)過程精對苯二甲酸（purified terephthalic acid,PTA）軟測量建模中。為了更好地模擬實際工業(yè)中噪聲環(huán)境的影響，使用文獻[21]中的三個人工基準函數，所采用的人工基準函數都包含噪聲項，見表1。第一個標準函數是經典的含誤差項線性模型。第二個標準函數與第一個具有相同的形式，但是誤差項更復雜，是異方差性誤差項。第三個基準函數是線性趨勢、正弦振蕩和同方差性誤差項的混合。對于所有的基準函數，解釋變量x被認為是獨立變量，且定義在區(qū)間[0,1]上。

表1 基準函數及其定義Table 1 Benchmarking functions used and its definitions

在定義區(qū)間上，對于每一個基準函數，取2000個數據點作為訓練數據集用于訓練模型，取另外2000 個數據點作為測試數據集用于測試模型的性能。對于條件信號y，由于這三個基準函數在定義區(qū)間上的值域都覆蓋在[0, 1]附近，因此將y 取{0.1,0.4,0.7}以均勻覆蓋整個輸出空間的絕大部分。當給定一個條件信號y 時，使用生成器產生104個樣本，然后使用kernel 密度估計算法估計相應的條件概率密度，從而獲得生成器從數據中學習到的逼近分布。對于數據的真實分布，對基準函數采樣足夠大次數后，例如107次，再使用合適的分片統(tǒng)計落入片段內事件的個數，從而獲得真實概率密度。分片大小為y±0.0001。

圖2 基準函數LinHomo在給定不同的條件信號y下的條件密度估計Fig.2 Conditional density estimation for the benchmark function LinHomo when given different y

4.1 基準數據實驗結果及分析

對于基準函數實驗，QRCGAN 的生成器G 和判別器D 都是五層深度神經網絡，每一層都是全連接層，結構為2-256-256-256-1。生成器G 以z 和y 這兩個變量作為輸入，以一維虛假樣本作為輸出，而判別器D以x和y這兩個變量作為輸入，輸出一個標量概率值。除最后一層采用線性激活函數，生成器G 其他層均采用ReLU 激活函數。判別器D 的最后一層采用sigmoid 激活函數，其他層采用參數α 為0.2 的LeakyReLU 激活函數。QRCGAN 的回歸器R是四層深度神經網絡，每一層也都是全連接層?；貧w器R 以x 作為輸入，以y 的{0.025, 0.5, 0.975}三個條件分位點作為輸出。回歸器R 的結構為1-60-60-3。CGAN 的生成器G 和判別器D 與QRCGAN 中的保持相同。在所有基準數據實驗中，批大小batch_size取100。

在條件信號分別為y=0.1，y=0.4 與y=0.7 時，用提出的QRCGAN 的生成器從基準數據集中學習到的概率分布如圖2～圖4 所示。用紅色實線表示學習到的逼近概率分布，用綠色實線表示真實概率分布。在圖2 中，雖然第一個基準函數LinHomo 中包含高斯噪聲項，但由于基準函數形式是線性的，生成器快速捕獲數據分布，與真實的數據分布幾乎完全吻合。到了第二個基準函數LinHetero 中，增加了復雜形式的噪聲項，即隨著輸入變化的異方差性誤差項。即便在這種情況下，QRCGAN 的生成器也能從數據中學習到準確的概率分布。這表明QRCGAN 具有較強的抗干擾能力。在第三個標準函數SinOsc 中，保持與第一個基準函數LinHomo 相同的噪聲項，而增加輸入與輸出之間關系的復雜性。圖3 的結果表明，QRCGAN 能夠學習輸入與輸出之間復雜的非線性分布關系。

圖3 基準函數LinHetero在給定不同的條件信號y下的條件密度估計Fig.3 Conditional density estimation for the benchmark function LinHetero when given different y

由于第一個和第二個標準函數都只包含線性關系，所以對于一個給定y，有且僅有一個x 與之對應，也就是說只有一個單解，所以圖2 和圖3 中所有的概率密度分布都是單峰的。從圖中可以看到，當y=0.1，y=0.4 與y=0.7 時，概率分布圖中峰值對應的x分別對應x=0.1，x=0.4 與x=0.7。第三個標準函數SinOsc 中包含周期和振蕩趨勢，所以對于一個給定y，可能有多個x與之對應，存在多解。圖4中概率分布圖的多個峰態(tài)反映了多解的情況，除了在y=0.7情況下，位于x=0.9 附近的峰沒有正確逼近外，其他情況下，概率分布的峰值都能準確匹配。此外，圖2～圖4 顯示生成器學習到的分布隨著迭代次數的演化變化。當迭代次數少于500 次時，逼近分布與真實分布相差很大。隨著迭代次數的增加，逼近分布與真實分布相差越來越小，尤其當迭代次數超過8000 次時，兩者相差甚微。KL 散度隨著生成器的更新次數變化見圖5。在每一個基準函數實驗中，當生成器不斷更新，KL散度不斷減小，直到穩(wěn)定在某個很小的值附近。這表明生成器能夠產生高質量樣本。

圖4 基準函數SinOsc在給定不同的條件信號y下的條件密度估計Fig.4 Conditional density estimation for the benchmark function SinOsc when given different y

圖5 KL散度隨著生成器更新次數的變化Fig.5 KL divergence against the updates of generator

同時生成1000 個樣本點，以比較所提出的QRCGAN 與CGAN 兩者各自的生成器的差異，如圖6 所示?？梢钥闯?，對于基準函數LinHomo 和LinHetero，QRCGAN 與CGAN 均在線性趨勢上產生合理的樣本云點。這些云點被覆蓋在由0.025 分位點與0.975 分位點構成的95%置信區(qū)間內。但在基準函數SinOsc 情況下，所提出的QRCGAN 顯然優(yōu)于CGAN，尤其是當x 取值在0～0.8 之間，絕大部分QRCGAN 產生的云點落在95%置信區(qū)間內。當x取值在0.8 附近時，雖然有一部分云點跑出95%置信區(qū)間，但相比CGAN 來說，QRCGAN 跑出的云點更少。表2 表示用KL 散度評估所生成的虛擬樣本云點質量的結果。在基準函數LinHomo 和LinHetero簡單的線性關系下，所提出的QRCGAN 略微優(yōu)于CGAN。但在復雜的非線性基準函數SinOsc 中，QRCGAN 相對于CGAN 的優(yōu)勢十分明顯，相應的KL散度分別為3.028與8.328。

4.2 PTA數據實驗結果及分析

精對苯二甲酸（PTA）是一種生產聚酯產品的重要化工原料。在精對苯二甲酸生產過程中，降低醋酸消耗是企業(yè)實現(xiàn)節(jié)能減排的關鍵。醋酸消耗量可通過PTA 溶劑系統(tǒng)中共沸塔塔頂醋酸含量來反映。實際工業(yè)數據集收集了來自中國某石化企業(yè)生產PTA 的過程數據。經過濾波去噪、缺失值處理、離群點檢測等數據預處理剔除大量的噪聲數據、冗余數據、異常數據和不一致數據之后，一共獲得260 組有效樣本數據。文獻[22]從過程機理出發(fā)，分析了影響醋酸消耗的17 個因素，作為解釋變量。將測量誤差，以及由于機理過程理解不透徹引起對變量的主觀偏離視為噪聲。由于醋酸含量難以測量，采用共沸塔塔頂的電導率來間接反映醋酸含量的變化，作為響應變量。采用所提出的QRCGAN 構建軟測量模型，隨機從這260 組過程數據中選擇70%的樣本作為訓練集建立模型，剩下的30%用來測試模型性能。

表2 虛擬樣本云點質量評估Table 2 Quality evaluation for cloud points of virtual samples

圖6 虛擬樣本云點Fig.6 Cloud points of virtual samples

圖7 模型預測結果比較Fig.7 Comparison of predictions of models

對于PTA數據集，QRCGAN 的生成器G、判別器D 和回歸器R 的結構不變，三個隱含層上的神經元單元數分別增加到512、512、80個，輸入層和輸出層上的神經元單元數分別與該數據集的解釋變量和響應變量的個數匹配，分別為17 和1。與基準數據實驗中的設置類似，生成器G 最后一層采用線性激活函數，它的其他層采用ReLU激活函數。判別器D的最后一層采用sigmoid激活函數，其他層采用參數α 為0.2 的LeakyReLU 激活函數。為了公平比較，QRNN采用與QRCGAN的回歸器R相同的結構。批大小batch_size取35。

圖7 給出采用所提出的QRCGAN 的回歸器預測測試樣本的結果，并與具有相同結構和參數的QRNN 的比較結果。結果表明，在78 個測試樣本中，除了7 個測試樣本點外，由QRCGAN 預測的結果大致都落入95%的置信區(qū)間內。而QRNN 的預測結果遜色很多，有26 個樣本點跑出95%的置信區(qū)間。QRCGAN 所預測的置信區(qū)間的上下限未出現(xiàn)反轉，而QRNN 出現(xiàn)了22 次反轉的情況。這可能是由于數據中包含的噪聲過于復雜導致的。QRCGAN 的回歸器在訓練過程中使用了虛擬樣本，在真實樣本和虛擬樣本交替訓練下，獲得了更強大的預測泛化能力，因此更能抵抗噪聲。在QRNN 中沒有這種交替對抗的訓練過程，所以難以抵抗噪聲。

5 結 論

針對復雜噪聲環(huán)境下樣本擴充問題，通過引入回歸器，巧妙地將分位數回歸嵌入到條件生成式對抗網絡，提出一種新穎的深度學習樣本擴充方法QRCGAN。它不但具有傳統(tǒng)的深度生成模型的樣本生成能力，還具備回歸預測能力?；鶞屎瘮祵嶒灡砻?，在不同噪聲形式下，相較于CGAN，所提出的QRCGAN 具有更有效的樣本生成能力。實際數據實驗驗證了QRCGAN 模型作為回歸預測工具的抗干擾能力，優(yōu)于QRNN。在未來工作中，將結合強化學習來進一步提高產生樣本的質量。