亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于稀疏正則化的卷積神經(jīng)網(wǎng)絡(luò)模型剪枝方法

        2021-10-15 10:07:56陳世超朱鳳華
        計(jì)算機(jī)工程 2021年10期
        關(guān)鍵詞:模型

        韋 越,陳世超,朱鳳華,熊 剛

        (1.中國科學(xué)院大學(xué)人工智能學(xué)院,北京 100049;2.中國科學(xué)院自動化研究所復(fù)雜系統(tǒng)管理與控制國家重點(diǎn)實(shí)驗(yàn)室,北京 100190;3.澳門科技大學(xué) 資訊科技學(xué)院,澳門 999078)

        0 概述

        隨著深度神經(jīng)網(wǎng)絡(luò)性能的提升,網(wǎng)絡(luò)模型參數(shù)量和計(jì)算量也日益增長,AlexNet[1]、VGGNet[2]、GoogleNet[3]、ResNet[4]等經(jīng)典神經(jīng)網(wǎng)絡(luò)模型深度不斷增加,逐漸超過100 層。深層大型模型的部署對計(jì)算量和存儲資源提出了很高要求,使其難以應(yīng)用到資源受限的移動和可穿戴設(shè)備上,應(yīng)用受到了很大限制。同時(shí),神經(jīng)網(wǎng)絡(luò)中存在很多冗余參數(shù),文獻(xiàn)[5]研究表明:神經(jīng)網(wǎng)絡(luò)模型中可能只要用5%的網(wǎng)絡(luò)參數(shù)就能預(yù)測剩余的參數(shù),甚至只要訓(xùn)練小部分參數(shù)就能達(dá)到和原網(wǎng)絡(luò)相近的性能,這證明了神經(jīng)網(wǎng)絡(luò)的過度參數(shù)化。為降低計(jì)算成本,同時(shí)保證神經(jīng)網(wǎng)絡(luò)模型性能,研究人員提出模型剪枝方法,通過剪除網(wǎng)絡(luò)模型中不重要的參數(shù),壓縮模型的體積和計(jì)算量,從而使得神經(jīng)網(wǎng)絡(luò)變得輕量化。模型剪枝的核心是對模型參數(shù)的重要性進(jìn)行評價(jià)[6-7]?,F(xiàn)有的模型剪枝方法多數(shù)依據(jù)參數(shù)自身的信息進(jìn)行判別,忽略了其他網(wǎng)絡(luò)層的信息。模型稀疏化是一種有效的模型壓縮方法,通過在模型訓(xùn)練過程中對參數(shù)的優(yōu)化過程增加限制條件,使模型的參數(shù)稀疏化以獲得結(jié)構(gòu)稀疏的網(wǎng)絡(luò)模型,并且將模型剪枝和模型稀疏化相結(jié)合,可以進(jìn)一步提升模型剪枝準(zhǔn)確率和運(yùn)算效率。

        本文受此啟發(fā),提出一種基于稀疏正則化的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)模型剪枝方法,利用L1 正則化在模型訓(xùn)練中的稀疏化作用,對模型卷積層和BN 層參數(shù)進(jìn)行稀疏正則化訓(xùn)練,獲得權(quán)值稀疏的神經(jīng)網(wǎng)絡(luò)模型,再根據(jù)濾波器的稀疏性和BN 層的特征縮放系數(shù)對兩者的重要性進(jìn)行評估,最終利用結(jié)構(gòu)化剪枝方法剪除稀疏濾波器及對應(yīng)的連接。

        1 相關(guān)工作

        模型剪枝是一種主流的模型壓縮方法,通過對不重要的神經(jīng)元、濾波器或者通道進(jìn)行剪枝,能有效壓縮模型的參數(shù)量和計(jì)算量。文獻(xiàn)[8]通過對網(wǎng)絡(luò)中神經(jīng)元不斷的迭代剪枝得到一個(gè)精簡的網(wǎng)絡(luò)模型。文獻(xiàn)[9]提出由模型剪枝、參數(shù)量化和哈夫曼編碼組成的一套完整模型壓縮流程,極大減小了模型的體積,且對模型的準(zhǔn)確率沒造成太大損失。對于神經(jīng)元的剪枝是非結(jié)構(gòu)化剪枝,需要特殊的硬件設(shè)備和工具加以輔助才能有效部署,而針對濾波器與通道的結(jié)構(gòu)化剪枝沒有這方面的局限性,剪枝后的模型能直接部署到現(xiàn)有的硬件設(shè)備和深度學(xué)習(xí)架構(gòu)中,但非結(jié)構(gòu)化剪枝和結(jié)構(gòu)化剪枝都需要對參數(shù)重要性進(jìn)行評價(jià)。文獻(xiàn)[6]根據(jù)模型參數(shù)的權(quán)重大小確定重要性,將低于設(shè)定閾值的參數(shù)剪除。文獻(xiàn)[7]通過計(jì)算各濾波器的幾何中位數(shù),將數(shù)值相近的濾波器剪除。以上研究根據(jù)參數(shù)自身信息進(jìn)行重要性判別,可能會造成偏差。

        模型稀疏化是一種提升模型剪枝效果的有效方法。本文使用的稀疏性是指模型參數(shù)的部分子集的值為0這一屬性,稀疏度是指稀疏參數(shù)占模型總參數(shù)的比例,較高的稀疏度意味著較低的存儲要求。文獻(xiàn)[10]通過對濾波器進(jìn)行稀疏約束,得到權(quán)值稀疏的濾波器,加快了模型收斂速度。文獻(xiàn)[11]提出一種結(jié)構(gòu)化稀疏學(xué)習(xí)方法,對深度神經(jīng)網(wǎng)絡(luò)的濾波器、通道、濾波器形狀和深度結(jié)構(gòu)進(jìn)行正則化處理,強(qiáng)制深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)更加緊湊的結(jié)構(gòu),但不會降低準(zhǔn)確率。文獻(xiàn)[12]在深度神經(jīng)網(wǎng)絡(luò)中通過高稀疏性降低存儲與推理成本,且能在資源受限的環(huán)境中部署模型。

        研究人員還提出許多解決方案來稀疏化神經(jīng)網(wǎng)絡(luò)并保持原始網(wǎng)絡(luò)準(zhǔn)確率,例如在訓(xùn)練過程中使用稀疏表示[13-14]、稀疏性代價(jià)函數(shù)[15-16]和稀疏正則化[11,17]。文獻(xiàn)[18-20]利用貝葉斯統(tǒng)計(jì)和信息論對模型參數(shù)的Fisher信息進(jìn)行估計(jì),得到比已有研究成果更高的壓縮率。從計(jì)算角度看,由于越來越多的神經(jīng)網(wǎng)絡(luò)模型采用ReLU激活函數(shù),而函數(shù)在輸入為0 處的值同為0,值為0 的權(quán)重在模型運(yùn)算推理過程中反饋的信息量小,因此被認(rèn)為重要性低于非0 權(quán)重,可以將其剪除,文獻(xiàn)[21]將神經(jīng)元的激活值為0 的平均比例作為評價(jià)神經(jīng)元重要性的標(biāo)準(zhǔn),可以精準(zhǔn)地剪除冗余的神經(jīng)元。在稀疏神經(jīng)網(wǎng)絡(luò)中包含大量權(quán)重為0 的神經(jīng)元,將稀疏神經(jīng)網(wǎng)絡(luò)與模型剪枝相結(jié)合可以很好地發(fā)揮兩者的優(yōu)勢?;跈?quán)重幅度的剪枝方法具有較高的壓縮率且準(zhǔn)確率損失很小,而稀疏化的引入可使剪枝方法的準(zhǔn)確率得到進(jìn)一步提升,計(jì)算復(fù)雜度也大幅降低。

        2 基于稀疏正則化的卷積神經(jīng)網(wǎng)絡(luò)模型剪枝

        針對深度神經(jīng)網(wǎng)絡(luò)壓縮和過度參數(shù)化造成的過擬合問題,本文根據(jù)卷積層和BN 層的權(quán)重參數(shù),提出基于稀疏正則化的卷積神經(jīng)網(wǎng)絡(luò)模型剪枝方法。

        2.1 稀疏正則化訓(xùn)練

        本文首先通過對模型進(jìn)行稀疏正則化訓(xùn)練,使得網(wǎng)絡(luò)部分參數(shù)在訓(xùn)練中趨向于0 或者等于0,進(jìn)而獲得權(quán)重較為稀疏的深度神經(jīng)網(wǎng)絡(luò)模型;接著對模型進(jìn)行剪枝,剪除稀疏的濾波器和通道;最后對模型進(jìn)行微調(diào),恢復(fù)模型準(zhǔn)確率。

        在神經(jīng)網(wǎng)絡(luò)中,卷積層和BN 層被廣泛使用。在卷積層中,減少濾波器數(shù)量能有效降低網(wǎng)絡(luò)參數(shù)量和計(jì)算量,同時(shí)加速模型的推理速度。在BN 層中,每個(gè)BN層的特征縮放系數(shù)對應(yīng)每個(gè)通道,代表其對應(yīng)通道的激活程度[22]。BN 層的運(yùn)算公式如式(1)所示:

        其中:Zin為輸入;Zout為輸出;μc和σc分別為輸入激活值的均值和方差;α和β分別為對應(yīng)激活通道的縮放系數(shù)和偏移系數(shù)。

        L1 正則化對神經(jīng)網(wǎng)絡(luò)的稀疏作用已被證明并得到廣泛使用[23-24]。本文在損失函數(shù)中添加懲罰因子,對卷積層的權(quán)重與BN 層的縮放系數(shù)進(jìn)行約束,并將模型稀疏化,正則化系數(shù)λ越大,約束力度越大。正則項(xiàng)δ如式(2)所示:

        其中:R(?)表示正則化范數(shù),本文選用L1 正則化,即L1 范數(shù);W表示卷積核的權(quán)重或BN 層的縮放系數(shù)。對于卷積核的權(quán)重W={w1,w2,…,wm},R(W)=;對于縮放系數(shù)α,R(α)=|α|。

        損失函數(shù)如式(3)所示:

        其中:L為原損失函數(shù);λ控制權(quán)重的稀疏約束程度。

        在訓(xùn)練過程中,求R(W)對W的偏導(dǎo):

        其中:sign(?)是符號函數(shù),對W的符號進(jìn)行判斷,在W<0、W=0、W>0 時(shí)分別取?1、0、1。

        通過式(5)對權(quán)重W對應(yīng)的梯度gW進(jìn)行更新:

        目標(biāo)函數(shù)L'對W求偏導(dǎo):

        本文對卷積神經(jīng)網(wǎng)絡(luò)的濾波器和BN 層進(jìn)行稀疏正則化訓(xùn)練,并對稀疏通道和稀疏濾波器進(jìn)行剪枝操作,這些通道和濾波器因?yàn)楸旧淼南∈栊远粫δP驼w造成較大的損失,所以可以安全剪除。

        2.2 剪枝和微調(diào)

        通過稀疏正則化訓(xùn)練后得到含有較多稀疏權(quán)重的模型,其中許多權(quán)重都接近于0,利用式(7)求濾波器權(quán)重絕對值的和,獲得濾波器的整體權(quán)值信息,權(quán)值大小是體現(xiàn)重要性的一部分。

        其中:Ex表示濾波器x的權(quán)重絕對值的和;k表示濾波器x中的卷積核數(shù)目;Wj表示濾波器x中的第j個(gè)卷積核;R(Wj)表示求卷積核Wj的L1 范數(shù)。

        結(jié)合縮放系數(shù)α和濾波器權(quán)重絕對值的和Ex,利用卷積層和BN 層的權(quán)重信息,對濾波器的重要性進(jìn)行綜合判斷,得到重要性評分函數(shù)mi:

        其中:mi為第i個(gè)濾波器的重要性評分;αi為第i個(gè)濾波器對應(yīng)的BN 層的縮放系數(shù);Ei為通過式(7)求得的第i個(gè)濾波器權(quán)重絕對值的和。

        通過式(8)獲得網(wǎng)絡(luò)整體的濾波器評分集M={m1,m2,…,mn}后,根據(jù)預(yù)設(shè)剪枝率P和式(9)對每層的濾波器進(jìn)行篩選得到剪枝閾值θ:

        其中:θ為剪枝閾值;sortP(?)表示將對象按升序排序,并取P位置的數(shù)輸出。

        剪枝率P根據(jù)剪枝的模型不同進(jìn)行選擇,例如VGG-16模型設(shè)定的剪枝率為70%,通過式(9)獲得評分在M集中70%處的值作為剪枝閾值θ,將所有評分低于剪枝閾值θ的70%的濾波器進(jìn)行剪除,保留剩下30%的濾波器。如圖1所示,將符合剪枝要求的濾波器及對應(yīng)縮放系數(shù)進(jìn)行剪除,得到剩下的濾波器E′和縮放系數(shù)α′,特征圖也會相應(yīng)減少,最終得到更加緊湊的網(wǎng)絡(luò)模型。在進(jìn)行較大幅度的剪枝后,模型準(zhǔn)確率有可能會下降,因此通過對剪枝后的模型進(jìn)行微調(diào),恢復(fù)損失的準(zhǔn)確率。

        圖1 基于稀疏正則化的卷積神經(jīng)網(wǎng)絡(luò)模型剪枝流程Fig.1 Pruning procedure of convolutional neural network model based on sparse regularization

        3 實(shí)驗(yàn)結(jié)果與分析

        為驗(yàn)證模型剪枝方法的效果,基于Pytorch 框架,在VGGNet[2]、ResNet[25]和DenseNet[26]模型上進(jìn)行實(shí)驗(yàn)驗(yàn)證。

        3.1 實(shí)驗(yàn)設(shè)定

        本文采用隨機(jī)梯度下降(Stochastic Gradient Descent,SGD)方法進(jìn)行模型訓(xùn)練,設(shè)置訓(xùn)練100 個(gè)回合,學(xué)習(xí)率為0.1,并在進(jìn)行到1/2 至3/4 的回合時(shí)學(xué)習(xí)率衰減為原來的1/10。在進(jìn)行稀疏正則化訓(xùn)練時(shí),正則化系數(shù)λ設(shè)置為0.000 1。

        稀疏化訓(xùn)練完成后對模型進(jìn)行剪枝,分別根據(jù)式(7)和式(8)對模型的濾波器和BN 層的權(quán)重進(jìn)行綜合判別,通過式(9)按預(yù)定的剪枝率將不重要的部分剪除,因?yàn)榧糁Φ氖悄P拖∈璧牟糠郑詫δP偷男阅軟]有較大影響,且可以通過微調(diào)恢復(fù)模型的準(zhǔn)確率,微調(diào)的步數(shù)為40 或80 步,微調(diào)的學(xué)習(xí)率為0.001。

        3.2 不同數(shù)據(jù)集上的對比結(jié)果

        為對比模型剪枝前后的性能變化,本文在數(shù)據(jù)集上選用標(biāo)準(zhǔn)的CIFAR-10、CIFAR-100數(shù)據(jù)集和SVHN數(shù)據(jù)集。CIFAR-10 是深度學(xué)習(xí)領(lǐng)域常用的圖片數(shù)據(jù)集,該數(shù)據(jù)集分為10 個(gè)類別,每個(gè)類別6 000 張圖像,共有60 000 張彩色圖像,圖像大小為32×32,訓(xùn)練集包含50 000 張圖像,測試集包含10 000 張圖像。CIFAR-100 是CIFAR-10 數(shù)據(jù)集的一個(gè)衍生數(shù)據(jù)集,區(qū)別是CIFAR-100 數(shù)據(jù)集包含100 個(gè)類別,每個(gè)類別有600 張圖像,因此CIFAR-100 數(shù)據(jù)集比CIFAR-10數(shù)據(jù)集對模型的分類性能要求更加嚴(yán)格。SVHN 是街景門牌號數(shù)據(jù)集,由圖像大小為32×32 的彩色圖片組成,每張圖片包含一組阿拉伯?dāng)?shù)字,訓(xùn)練集包含73 257 個(gè)數(shù)字,測試集包含26 032 個(gè)數(shù)字。

        在3 個(gè)數(shù)據(jù)集上的測試結(jié)果如表1~表3 所示,其中:準(zhǔn)確率為Top-5 準(zhǔn)確率,表示模型輸出的排名前5 個(gè)種類中包含正確結(jié)果的準(zhǔn)確率;FLOPs 為浮點(diǎn)運(yùn)算量,用來衡量模型的計(jì)算復(fù)雜度,F(xiàn)LOPs 越低說明模型實(shí)際運(yùn)算所需的計(jì)算量越少,模型加速效果越好;參數(shù)量是神經(jīng)網(wǎng)絡(luò)占用的內(nèi)存大小量,參數(shù)量的變化可以直接體現(xiàn)模型壓縮的效果。

        表1 在數(shù)據(jù)集CIFAR-10 上的Top5 準(zhǔn)確率測試結(jié)果Table 1 The test results of Top5 accuracy on CIFAR-10 dataset

        表2 在數(shù)據(jù)集CIFAR-100 上的Top5 準(zhǔn)確率測試結(jié)果Table 2 The test results of Top5 accuracy on CIFAR-100 dataset

        表3 在數(shù)據(jù)集SVHN 上的Top5 準(zhǔn)確率測試結(jié)果Table 3 The test results of Top5 accuracy on SVHN dataset

        實(shí)驗(yàn)對VGG-16 采用50%或70%的剪枝率,對ResNet-56、ResNet-110 與DenseNet-40 采用40%或60%的剪枝率,可以看出經(jīng)過本文剪枝方法,網(wǎng)絡(luò)的參數(shù)量和FLOPs 都得到了壓縮,但網(wǎng)絡(luò)性能卻沒有受到影響。在進(jìn)行大比率剪枝后,在SVHN 數(shù)據(jù)集上,VGG-16 和DenseNet-40 的參數(shù)量分別壓縮了97.3%和55.7%,而模型準(zhǔn)確率沒有大幅下降,進(jìn)一步證明原有模型的過度參數(shù)化,并且驗(yàn)證了本文剪枝方法的有效性。

        3.3 不同正則化系數(shù)對模型訓(xùn)練的影響

        在模型訓(xùn)練過程中,正則化系數(shù)λ會影響參數(shù)約束力度,有可能會對模型訓(xùn)練過程帶來不同程度的影響。為考察其影響程度,本節(jié)將在不同正則化系數(shù)下進(jìn)行模型訓(xùn)練。

        在不同正則化系數(shù)下,研究VGG-16 網(wǎng)絡(luò)準(zhǔn)確率變化,設(shè)置的正則化系數(shù)分別為0、0.001、0.000 1、0.000 01,對模型的Loss 值和準(zhǔn)確率的變化情況進(jìn)行統(tǒng)計(jì),每個(gè)模型訓(xùn)練100 個(gè)回合,學(xué)習(xí)率為0.1,并在進(jìn)行到1/2 至3/4 的回合時(shí),學(xué)習(xí)率下降為原來的1/10。Loss 值是損失函數(shù)的輸出值,Loss 值越低,模型擬合情況越好。準(zhǔn)確率是模型在數(shù)據(jù)集上的準(zhǔn)確率,準(zhǔn)確率越高,模型性能越好。實(shí)驗(yàn)結(jié)果如圖2 所示,當(dāng)正則化系數(shù)λ為0.001 時(shí),模型的Loss 值和準(zhǔn)確率波動巨大,模型準(zhǔn)確率也比非正則化訓(xùn)練低了5 個(gè)百分點(diǎn),而Loss 值相比低了0.1,說明正則化系數(shù)過高會對模型性能造成較大影響。在正則化系數(shù)λ設(shè)置在0.000 1 和0.000 01 時(shí),模型準(zhǔn)確率與非正則化訓(xùn)練的模型性能相比基本持平,在λ=0.000 01 時(shí)高出1 個(gè)百分點(diǎn),說明在該數(shù)量級的正則化系數(shù)下訓(xùn)練的模型稀疏性能提高模型性能,且不影響模型的收斂速度。

        圖2 不同正則化系數(shù)對模型訓(xùn)練效果的影響Fig.2 The influence of different regularization coefficients on model training effect

        3.4 不同卷積層的剪枝效果

        在CIFAR-10數(shù)據(jù)集上訓(xùn)練的VGG-16在剪枝前(準(zhǔn)確率93.13%)和剪枝后(準(zhǔn)確率92.93%)的各卷積層通道數(shù)對比如圖3 所示,可以看出剪枝操作主要發(fā)生在網(wǎng)絡(luò)的開始和最后幾層,而中間層的參數(shù)在剪枝后會有所保留,模型參數(shù)量壓縮了84.3%,而準(zhǔn)確率僅降低了0.2 個(gè)百分點(diǎn),結(jié)果表明,模型大部分的冗余參數(shù)集中在深層網(wǎng)絡(luò)中。通過圖3 還可以看出,在模型剪枝后,模型結(jié)構(gòu)呈現(xiàn)中間寬、兩端窄的特點(diǎn),表明依靠中間層的參數(shù)就能達(dá)到與剪枝前的模型相同的性能,同時(shí)可將本文剪枝方法看作網(wǎng)絡(luò)結(jié)構(gòu)搜索方法,通過去除冗余參數(shù),發(fā)現(xiàn)有效的網(wǎng)絡(luò)結(jié)構(gòu),這與文獻(xiàn)[27]中提出的結(jié)論一致,并且能與其他網(wǎng)絡(luò)結(jié)構(gòu)搜索方法相結(jié)合,獲得更有效的網(wǎng)絡(luò)結(jié)構(gòu)。

        圖3 VGG-16 在剪枝前后的卷積層通道數(shù)對比Fig.3 Comparison of the number of channels in the convolutional layer of VGG-16 before and after pruning

        4 結(jié)束語

        本文提出一種基于稀疏正則化的卷積神經(jīng)網(wǎng)絡(luò)模型剪枝方法,通過在訓(xùn)練過程中對卷積層和BN 層的權(quán)重進(jìn)行正則化約束,使得權(quán)重變得稀疏,再結(jié)合雙層的稀疏信息對濾波器的重要性進(jìn)行評估,選取冗余的濾波器進(jìn)行剪枝。實(shí)驗(yàn)結(jié)果表明,該剪枝方法可有效壓縮模型參數(shù),且壓縮后的網(wǎng)絡(luò)模型仍能保持良好性能,尤其在SVHN 數(shù)據(jù)集上,ResNet 和DenseNet 網(wǎng)絡(luò)模型性能幾乎沒有影響,VGG網(wǎng)絡(luò)模型參數(shù)量在壓縮了97.3%的情況下,圖像分類準(zhǔn)確率僅降低0.57 個(gè)百分點(diǎn)。同時(shí),本文剪枝方法訓(xùn)練成本較小,無需特殊的硬件輔助即可完成模型部署。后續(xù)可將模型剪枝方法與網(wǎng)絡(luò)結(jié)構(gòu)量化、搜索等模型壓縮方法相結(jié)合,進(jìn)一步壓縮和加速神經(jīng)網(wǎng)絡(luò)模型。

        猜你喜歡
        模型
        一半模型
        一種去中心化的域名服務(wù)本地化模型
        適用于BDS-3 PPP的隨機(jī)模型
        提煉模型 突破難點(diǎn)
        函數(shù)模型及應(yīng)用
        p150Glued在帕金森病模型中的表達(dá)及分布
        函數(shù)模型及應(yīng)用
        重要模型『一線三等角』
        重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
        3D打印中的模型分割與打包
        日本av第一区第二区| 区二区欧美性插b在线视频网站 | 亚洲欧美日韩中文字幕一区二区三区| 久久发布国产伦子伦精品| 亚洲男人堂色偷偷一区| 国产一区二区三区在线av| 久久久久亚洲精品男人的天堂 | 亚洲av成人一区二区三区av | 四虎影永久在线观看精品| 日本肥老熟妇在线观看| 国产一区二区三区啊啊| 亚洲国产精品国自产拍av| 日韩欧美亚洲综合久久影院d3| 亚洲av综合色区在线观看| 成人国产精品三上悠亚久久| 蜜臀av午夜一区二区三区| 91麻豆国产香蕉久久精品| 女优av福利在线观看| 最好看的亚洲中文字幕| 亚洲人成人网站在线观看| 久久精品无码一区二区三区不| 少妇高潮太爽了免费网站| 亚洲精品无码不卡| 亚洲五月天综合| 欧美亚洲另类自拍偷在线拍| 最新69国产精品视频| 亚洲一区二区三区四区五区六| 免费的毛片视频| 在线观看日韩精品视频网站| 精品国产亚洲亚洲国产 | 青青草亚洲视频社区在线播放观看| 久久久g0g0午夜无码精品| 精品少妇大屁股白浆无码| 国产成人一区二区三区| 精品国产偷窥一区二区| 天天做天天爱天天综合网| av东京热一区二区三区| 美女露出自己的性感大胸一尤内衣| 白又丰满大屁股bbbbb| 亚洲欧洲日产国码久在线| 国产亚洲午夜精品久久久|