侯旋

西北工業(yè)大學(xué)電子信息學(xué)院，西安 710071

量子門線路神經(jīng)網(wǎng)絡(luò)及其改進(jìn)學(xué)習(xí)算法研究

侯旋

西北工業(yè)大學(xué)電子信息學(xué)院，西安 710071

量子門線路神經(jīng)網(wǎng)絡(luò)（QGCNN）是一種直接利用量子理論設(shè)計神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)或訓(xùn)練算法的量子神經(jīng)網(wǎng)絡(luò)模型。動量更新是在神經(jīng)網(wǎng)絡(luò)的權(quán)值更新中加入動量，在改變權(quán)值向量的同時提供一個特定的慣量，從而避免權(quán)值向量在網(wǎng)絡(luò)訓(xùn)練過程中持續(xù)振蕩。在基本的量子門線路神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法中引入動量更新原理，提出了一種具有動量更新的量子門線路網(wǎng)絡(luò)算法（QGCMA）。研究表明，QGCMA保持了網(wǎng)絡(luò)100%的收斂率，同時，相對于基本算法，在具有相同學(xué)習(xí)速率的情況下，提高了網(wǎng)絡(luò)的收斂速度。

量子神經(jīng)網(wǎng)絡(luò)；量子計算；量子門；動量更新；學(xué)習(xí)算法；權(quán)值

1 引言

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network），也稱為神經(jīng)網(wǎng)絡(luò)（Neural Network，NN），或稱為連接模型（Connectionist Model），它是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系，從而達(dá)到處理信息的目的[1-3]。人工神經(jīng)網(wǎng)絡(luò)是通過直觀性思維方式模擬人的思維，是一種非線性動力學(xué)系統(tǒng)，將分布式存儲的信息綜合起來，在忽然間產(chǎn)生想法或解決問題的辦法。這種思維方式的根本之點在于信息是通過神經(jīng)元上的興奮模式分布在網(wǎng)絡(luò)上，并且通過神經(jīng)元之間同時相互作用的動態(tài)過程完成信息處理[4-7]。人工神經(jīng)網(wǎng)絡(luò)技術(shù)與量子計算相結(jié)合，是一個具有開拓性的嘗試。量子計算采用一種與傳統(tǒng)的計算方式截然不同的新型計算方法，量子并行處理極大地提高了量子計算的效率，使其達(dá)到常規(guī)計算技術(shù)不能達(dá)到的解題速度，還可以解決常規(guī)計算不能解決的某些計算復(fù)雜度很高的問題。量子計算與傳統(tǒng)意義上的計算存在質(zhì)的不同，量子計算源于對傳統(tǒng)計算進(jìn)行量子改造，而神經(jīng)計算是對生物行為以信息處理方式進(jìn)行模擬，若將神經(jīng)計算推廣到量子領(lǐng)域，就有可能利用到量子計算的強大能力[8-12]。同時，神經(jīng)網(wǎng)絡(luò)的動力學(xué)特征與量子系統(tǒng)之間存在著諸多類似之處，神經(jīng)網(wǎng)絡(luò)與量子理論相結(jié)合，從而構(gòu)建量子神經(jīng)計算（Quantum Neural Computation），以及一種全新的神經(jīng)計算模型，即量子神經(jīng)網(wǎng)絡(luò)（Quantum Neural Network，QNN），它是人工神經(jīng)網(wǎng)絡(luò)研究的重要前沿課題[10，12-17]，同時它也是未來人工智能發(fā)展的新熱點。

量子神經(jīng)網(wǎng)絡(luò)是由量子物理學(xué)與數(shù)學(xué)、計算機科學(xué)、信息科學(xué)、認(rèn)知科學(xué)、復(fù)雜性科學(xué)等多學(xué)科交叉形成的、全新的研究領(lǐng)域[18-20]。量子神經(jīng)網(wǎng)絡(luò)是經(jīng)典神經(jīng)網(wǎng)絡(luò)與量子計算結(jié)合而產(chǎn)生的一種新的計算范式，其研究原因有兩個，一方面大量研究表明人腦存在量子效應(yīng)，并且量子效應(yīng)在人腦中具有重要作用；另一方面由于量子理論是經(jīng)典物理發(fā)展到微觀層次的產(chǎn)物，因此它具有更普遍、更本質(zhì)的特征。對量子神經(jīng)網(wǎng)絡(luò)的研究，主要包括兩個方面[21-26]：一是在經(jīng)典神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)或訓(xùn)練過程中引入量子理論，提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和推廣能力；二是直接借用量子理論中的某些原理或概念，指導(dǎo)設(shè)計神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)或訓(xùn)練算法形成新的量子神經(jīng)網(wǎng)絡(luò)模型。

2 基本量子門

在量子力學(xué)中，量子門通過對量子位進(jìn)行一系列酉變換，以實現(xiàn)相應(yīng)的邏輯功能。由通用量子門可以組合成任意的量子門，而最基本的通用量子門是由一位相移門和兩位受控非門組成。

2.1 一位相移門

一位相移門的作用是完成相位移動，它可以定義為：

2.2 受控非門

2.2.1 量子非門

量子非門（即Pauli-X門）的作用是交換一個量子位的兩個概率幅，可以定義為：

2.2.2 兩位受控非門

在量子計算中，可由一位量子門構(gòu)成任意位量子門。由量子非門σX可構(gòu)成兩位受控非門C2qubit-NOT：

其中I為單位矩陣，O為零矩陣。C2qubit-NOT的作用是當(dāng)一個雙量子比特通過該量子門時，且第一個量子位處于態(tài)時，第二個量子位進(jìn)行翻轉(zhuǎn)。

2.2.3 n位受控非門

由量子非門σX可構(gòu)成n位受控非門Cnqubit-NOT：

其作用是當(dāng)一個n量子比特通過該量子門，且前n-1個量子位處于態(tài)時，第n個量子位進(jìn)行翻轉(zhuǎn)。

3 量子門線路網(wǎng)絡(luò)

3.1 網(wǎng)絡(luò)模型

量子門線路神經(jīng)網(wǎng)絡(luò)（QGCNN）分為三層，即輸入層、隱層、輸出層，如圖1所示，主要參數(shù)包括：

圖1 量子門線路神經(jīng)網(wǎng)絡(luò)模型

（10）目標(biāo)空間t=(t1t2…ts)。其中目標(biāo)向量ti=(ti1ti2…tim)T。

3.2 權(quán)值更新

QGCNN是直接基于量子門構(gòu)造的神經(jīng)網(wǎng)絡(luò)，它不直接存在經(jīng)典神經(jīng)網(wǎng)絡(luò)或基于經(jīng)典神經(jīng)元構(gòu)造的量子神經(jīng)網(wǎng)絡(luò)中的連接權(quán)值，這種經(jīng)典的連接矩陣在量子門線路網(wǎng)絡(luò)中可以被近似地認(rèn)為是兩個量子門矩陣U(ω)和U(γ)，因此權(quán)值更新可被認(rèn)為是更新這兩個矩陣中對應(yīng)的角度參數(shù)ω和γ。

通過網(wǎng)絡(luò)的目標(biāo)輸出ti和實際輸出ai定義誤差函數(shù)為：

利用梯度下降法計算角度梯度：

其中α為學(xué)習(xí)速率。

4 改進(jìn)的量子門線路學(xué)習(xí)算法

4.1 動量更新

在神經(jīng)網(wǎng)絡(luò)的權(quán)值更新中加入動量的目的在于改變權(quán)值向量的同時，提供一個特定的慣量（即動量），從而避免權(quán)值向量在網(wǎng)絡(luò)訓(xùn)練過程中持續(xù)振蕩，以提高網(wǎng)絡(luò)的收斂性能。加入動量的方法是在權(quán)值更新中添加一個動量項，權(quán)值向量w的動量項可以表示為當(dāng)前時刻的權(quán)值向量w(k)與前其一時刻w(k-1)的權(quán)值差異：

其中0＜η＜1為動量參數(shù)。

4.2 具有動量更新的量子門線路網(wǎng)絡(luò)學(xué)習(xí)算法

步驟1實值樣本的量子態(tài)描述

步驟2初始化

（1）初始化隱層量子門矩陣U(ω)：

其中ω=2π·random，random為[0，1]之間的隨機數(shù)。

（2）初始化輸出層量子門矩陣U(γ)：

其中γ=2π·random，random為[0，1]之間的隨機數(shù)。

（3）設(shè)置最大循環(huán)次數(shù)max、循環(huán)次數(shù)計數(shù)k=1、學(xué)習(xí)速率α、動量參數(shù)η。

步驟3若沒有達(dá)到指定的循環(huán)次數(shù)，或循環(huán)次數(shù)計數(shù)k小于所設(shè)定的最大循環(huán)次數(shù)max，即k＜max，則繼續(xù)執(zhí)行步驟4；若達(dá)到指定的循環(huán)次數(shù)，或循環(huán)次數(shù)計數(shù)k等于所設(shè)定的最大循環(huán)次數(shù)max，即k=max，則結(jié)束訓(xùn)練，退出。

步驟4計算隱層的量子輸出和實值輸出：

步驟5計算輸出層的量子輸出和實值輸出：

步驟6對隱層和輸出層進(jìn)行權(quán)值更新后返回步驟3：

5 性能比較

通過對模式識別問題的研究，對量子門線路網(wǎng)絡(luò)的基本算法和改進(jìn)算法進(jìn)行對比。利用Iris數(shù)據(jù)集建立一組二維訓(xùn)練樣本，將其分為三類，共150個數(shù)據(jù)，前120個數(shù)據(jù)作為訓(xùn)練樣本，如圖2所示，后30個數(shù)據(jù)作為測試樣本，如圖3所示。QGCNN輸入層神經(jīng)元個數(shù)為2，隱層量子門矩陣為2×10矩陣，輸出層量子門矩陣為10×3矩陣，循環(huán)計數(shù)初始值k=1。

圖2 Iris數(shù)據(jù)-訓(xùn)練樣本

圖3 Iris數(shù)據(jù)-測試樣本

（1）動量參數(shù)η與學(xué)習(xí)速率α變化對收斂率的影響：

設(shè)置兩種算法最大循環(huán)次數(shù)為max=20，學(xué)習(xí)速率α取值為0.1、0.2、…、0.9、1，QGCMA中的動量參數(shù)η取值為0.1、0.2、…、0.9、1，利用Iris數(shù)據(jù)集訓(xùn)練樣本，通過兩種算法分別對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，如圖4所示，基本算法具有100%的網(wǎng)絡(luò)收斂率；如圖5所示，QGCMA也保持了100%的網(wǎng)絡(luò)收斂率。

（2）學(xué)習(xí)速率α、動量參數(shù)η的變化對網(wǎng)絡(luò)訓(xùn)練循環(huán)次數(shù)k的影響：

圖4 基本算法學(xué)習(xí)速率α與收斂率的關(guān)系

圖5 QGCMA學(xué)習(xí)速率α、動量參數(shù)η與收斂率的關(guān)系

設(shè)置誤差精度為0.1，學(xué)習(xí)速率α取值為0.1、0.2、…、0.9、1，QGCMA中的動量參數(shù)η取值為0.1、0.2、…、0.9、1，利用Iris數(shù)據(jù)集訓(xùn)練樣本，通過兩種算法分別對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。由表1可知，在確定誤差精度的情況下，網(wǎng)絡(luò)訓(xùn)練次數(shù)k在η=0.5、α=0.9時達(dá)到最優(yōu)，k獲得最小值為3。如圖6所示，兩種算法在訓(xùn)練時，基本算法達(dá)到誤差精度所需訓(xùn)練的循環(huán)次數(shù)k最大值為8，最小值為5；QGCMA在η=0.5的情況下，達(dá)到誤差精度所需訓(xùn)練的循環(huán)次數(shù)k最大值為8，最小值為3。結(jié)果表明，QGCMA在η取值為0.3、0.4、0.5、0.6、0.7時性能優(yōu)于基本算法。

表1 QGCMA中α、η與k的關(guān)系

圖6 學(xué)習(xí)速率α與網(wǎng)絡(luò)訓(xùn)練循環(huán)次數(shù)k的關(guān)系(η=0.5)

6 結(jié)束語

量子門線路神經(jīng)網(wǎng)絡(luò)（QGCNN）是一種直接利用量子理論設(shè)計神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)或訓(xùn)練算法的量子神經(jīng)網(wǎng)絡(luò)模型。在基本的量子門線路神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法中引入動量更新原理，提出了一種具有動量更新的量子門線路網(wǎng)絡(luò)算法（QGCMA）。研究表明，QGCMA保持了100%的網(wǎng)絡(luò)收斂率，同時，相對于基本算法，在具有相同學(xué)習(xí)速率的情況下，提高了網(wǎng)絡(luò)的收斂速度。

[1]Rabunal J R，Dorado J.Artificial neural networks in reallife applications[M].[S.l.]：Idea Group Publishing，2005.

[2]Gupta S，Zia R K P.Quantum neural networks[J].Journal of Computer and System Science，2001，63：355-383.

[3]Narayanan A，Menneer T.Quantum artificial neural network architectures and components[J].Information Sciences，2000，128：231-255.

[4]Griffiths D J.量子力學(xué)概論[M].英文版，原書第2版.北京：機械工業(yè)出版社，2007.

[5]Dirac P A M.量子力學(xué)原理[M].英文版，第4版.北京：科學(xué)出版社，2008.

[6]Jain A K，Duin R P W，Mao Jianchang.Statistical pattern recognition：a review[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22：4-33.

[7]Ventura D.Quantum computing and neural information processing[J].Information Sciences，2000，128：147-148.

[8]Kak S.Quantum neural computing[J].Advances in Imaging and Electron Physics，1995，94：259-313.

[9]Ezhov A A，Ventur A D.Quantum nerual networks[M]// Kasabov N.Future Directions for Intellgent Systems and Information Sciences.Heidelberg：Springer-Verlag，2000.

[10]Kak S.On quantum neural computing[J].Information Sciences，1995，83：143-160.

[11]Gopathy P，Nicolaos B，Karayiannnis N B.Quantum neural network computes entanglement[J].IEEE Transactions on Neural Network，1997，8（3）：679-693.

[12]Duda R O，Hart P E.Pattern classification and scene analysis[M].New York：John Wiley&Sons，1973.

[13]Hughes G F.On the mean accuracy of statistical pattern recognizers[J].IEEE Trans on Information Theory，1968，14（1）.

[14]Amari S.Mathematical theory of neural learning[J].New Generation Computing，1991，8：281-294.

[15]李盼池，宋考平，楊二龍.基于受控旋轉(zhuǎn)門的量子神經(jīng)網(wǎng)絡(luò)模型算法及應(yīng)用[J].控制與決策，2011，26（6）：898-901.

[16]郭光燦.量子信息技術(shù)[J].重慶郵電大學(xué)學(xué)報：自然科學(xué)版，2010，22（5）：521-525.

[17]Hagan M T，Demuth H B，beale M H.神經(jīng)網(wǎng)絡(luò)設(shè)計[M].戴葵，譯.北京：機械工業(yè)出版社，2006.

[18]Ham F M，Kostanic I.神經(jīng)計算原理[M].葉世偉，王海娟，譯.北京：機械工業(yè)出版社，2007.

[19]周日貴.量子神經(jīng)網(wǎng)絡(luò)模型研究[D].南京：南京航空航天大學(xué)，2008.

[20]李士勇，李盼池.量子計算與量子優(yōu)化算法[M].哈爾濱：哈爾濱工業(yè)大學(xué)出版社，2009.

[21]張賢達(dá).矩陣分析與應(yīng)用[M].北京：清華大學(xué)出版社，2004.

[22]Leon S J.線性代數(shù)[M].張文博，張麗靜，譯.北京：機械工業(yè)出版社，2008.

[23]Nielsen M A，Chuang I L.量子計算和量子信息（一）——量子計算部分[M].趙千川，譯.北京：清華大學(xué)出版社，2004.

[24]Nielsen M A，Chuang I L.量子計算和量子信息（二）——量子信息部分[M].鄭大鐘，趙千川，譯.北京：清華大學(xué)出版社，2004.

[25]鐘艷花，余永權(quán)，余曉敏.量子神經(jīng)動力學(xué)分析[J].量子電子學(xué)報，2005，22（2）：192-195.

[26]周樹德，王巖，孫增圻，等.量子神經(jīng)網(wǎng)絡(luò)[C]//2003中國智能自動化會議論文集（上），北京，2003：163-168.

HOU Xuan

School of Electronics and Information,Northwestern Polytechnical University,Xi’an 710071,China

Quantum Gate Circuit Neural Network（QGCNN）is a kind of quantum neural network model,which directly uses quantum theory to design the neural network topology or training algorithms.In the neural network,Momentum update is adding momentum parameter in weight renew and provides a specific inertia while renewing weight vector.It avoids sustained oscillation of weight vector in network training.It introduces the principle of momentum update in the basic learning algorithm of Quantum Gate Circuit Neural Network,proposes Quantum Gate Circuit neural network Momentum update Algorithm（QGCMA）.The research shows that QGCMA has 100%convergence rate and enhances convergence speed compared to the basic algorithm with the same learning rate.

Quantum Neural Network（QNN）;quantum computation;quantum gate;momentum update;learning algorithm;weight

A

TP391.4

10.3778/j.issn.1002-8331.1205-0249

HOU Xuan.Research on quantum gate circuit neural network and improved learning algorithm.Computer Engineering and Applications,2014,50（6）：213-218.

侯旋（1979—），男，博士，研究方向：智能信息處理、量子信息處理。

2012-05-24

2012-07-30

1002-8331（2014）06-0213-06

CNKI網(wǎng)絡(luò)優(yōu)先出版：2012-08-20，http://www.cnki.net/kcms/detail/11.2127.TP.20120820.1518.002.html