亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        應(yīng)用統(tǒng)計(jì)學(xué)在大數(shù)據(jù)背景下的應(yīng)用與創(chuàng)新

        2022-01-01 16:26:55中國(guó)人民大學(xué)孫乙丹
        區(qū)域治理 2021年17期
        關(guān)鍵詞:概率論貝葉斯概率

        中國(guó)人民大學(xué) 孫乙丹

        最初的統(tǒng)計(jì)學(xué)知識(shí)對(duì)各類數(shù)據(jù)按照信息需求者的要求整合并描述,統(tǒng)計(jì)學(xué)經(jīng)過(guò)發(fā)展,已經(jīng)融合了相關(guān)數(shù)理理論,逐步成為具備一定理論價(jià)值和獨(dú)特研究方法的統(tǒng)計(jì)學(xué)科。統(tǒng)計(jì)學(xué)距今已經(jīng)有三百多年歷史,邏輯框架極為嚴(yán)謹(jǐn)。隨著近年來(lái)計(jì)算機(jī)和互聯(lián)網(wǎng)的普及,給統(tǒng)計(jì)學(xué)帶來(lái)了顛覆性進(jìn)展,各種統(tǒng)計(jì)推斷模型和方法以及數(shù)理統(tǒng)計(jì)等對(duì)統(tǒng)計(jì)學(xué)發(fā)展具有推動(dòng)作用,統(tǒng)計(jì)學(xué)隨著大數(shù)據(jù)的發(fā)展,逐步滲透到各領(lǐng)域。

        一、不同階段統(tǒng)計(jì)方法發(fā)展概述

        (一)統(tǒng)計(jì)學(xué)方法的萌芽

        在之前的統(tǒng)計(jì)實(shí)踐中,僅僅局限于實(shí)物階段,對(duì)事物簡(jiǎn)單記錄和統(tǒng)計(jì)。統(tǒng)計(jì)學(xué)研究的內(nèi)容上分為政治算數(shù)和國(guó)術(shù)兩個(gè)學(xué)派。這兩大統(tǒng)計(jì)學(xué)派的誕生,促使統(tǒng)計(jì)學(xué)除了計(jì)數(shù)功能外,增加了更多的實(shí)用功能。同時(shí)它們還對(duì)統(tǒng)計(jì)學(xué)理論有了更深一層的概括,將不同的統(tǒng)計(jì)實(shí)踐概括成了比較成熟的理論??梢哉f(shuō),這兩大學(xué)派使得統(tǒng)計(jì)知識(shí)更加系統(tǒng)和完備。在這之后的很長(zhǎng)一段時(shí)間,兩大學(xué)派互相爭(zhēng)論,兩大理論互相碰撞,也是傳統(tǒng)統(tǒng)計(jì)學(xué)的雛形。

        (二)統(tǒng)計(jì)學(xué)方法的關(guān)鍵發(fā)展

        1.概率論—統(tǒng)計(jì)學(xué)的基石

        (1)初期概率論

        上文提到的在政治算術(shù)學(xué)派和國(guó)勢(shì)學(xué)派的爭(zhēng)論時(shí)期,有的數(shù)學(xué)家通過(guò)博彩業(yè)中出現(xiàn)的大量問(wèn)題,提出概率論。隨著時(shí)代的發(fā)展,逐步衍生了組合、遞推、條件概率等,這些公式、理念的提出促使概率計(jì)算從最原始的技術(shù)進(jìn)入較為高精的階段。概率論最初與統(tǒng)計(jì)學(xué)關(guān)聯(lián)度并不高,隨著數(shù)學(xué)分析等數(shù)學(xué)理論融合概率論,概率論具備了數(shù)學(xué)的嚴(yán)謹(jǐn)性,提高了適用性,進(jìn)一步擴(kuò)大了與統(tǒng)計(jì)學(xué)的關(guān)聯(lián)程度,也擴(kuò)大了應(yīng)用范圍。

        (2)大數(shù)定律

        英國(guó)數(shù)學(xué)家將賭博中的現(xiàn)象理論化并提出伯努利定理,也是大數(shù)定律的最初模型,初期的統(tǒng)計(jì)學(xué)方法和理論都是建立在該理論基礎(chǔ)上而形成的。

        (3)中心極限理論

        中心極限定理于17世紀(jì)30年代被提出,歷經(jīng)了200年,于上世紀(jì)30年代才完成,論證了獨(dú)立變量和中心極限理論。概率論中的中心極限定理在樣本量為N→∞時(shí),極限分布呈現(xiàn)正態(tài)方式,也是數(shù)理統(tǒng)計(jì)學(xué)中的大樣本方法基礎(chǔ)。

        (4)隨機(jī)過(guò)程

        概率論從最初的靜態(tài)變量發(fā)展為隨機(jī)變量時(shí)間序列,在發(fā)展到隨機(jī)變量過(guò)程中還不斷深入研究概率論的應(yīng)用范圍,隨機(jī)變量實(shí)現(xiàn)了靜態(tài)到動(dòng)態(tài)的重大研究發(fā)現(xiàn)。隨機(jī)變量描述了時(shí)間推進(jìn)過(guò)程中變量運(yùn)動(dòng)情況,并對(duì)結(jié)果進(jìn)行判斷和決策,促進(jìn)了數(shù)學(xué)和非數(shù)學(xué)領(lǐng)域得以延展,具有一定的突破性和實(shí)用性。

        2.數(shù)理統(tǒng)計(jì)的提出與發(fā)展

        “逆概率”是二項(xiàng)分布概率P的新問(wèn)題,也是大數(shù)據(jù)定律和中心極限定理衍生出的數(shù)理統(tǒng)計(jì),統(tǒng)計(jì)推斷包括頻率和貝葉斯兩個(gè)學(xué)派。頻率學(xué)派是將所推斷的參數(shù)θ假設(shè)為固定的未知常數(shù),樣本χ屬于隨機(jī)任意數(shù),重心放在樣本空間。貝葉斯學(xué)派則將θ假設(shè)為隨機(jī)變量,樣本χ為固定常數(shù),重心放在參數(shù)空間。貝葉斯學(xué)派是貝式統(tǒng)計(jì)理論發(fā)展而來(lái)的,以概率為基礎(chǔ)研究“逆概率”理論。在樣本量較少,參數(shù)模型不多的前提下,貝葉斯較頻率方法更加便捷,因?yàn)榭墒∪コ闃臃植脊ぷ鞑襟E。如果先驗(yàn)分布設(shè)定存在困難,在沒(méi)有參數(shù)模型的前提下,則頻率方法更加便捷。統(tǒng)計(jì)學(xué)中的概率理論和實(shí)踐過(guò)程中的各類數(shù)據(jù)在數(shù)理統(tǒng)計(jì)作用下可以結(jié)合,可反向推導(dǎo)統(tǒng)計(jì)參數(shù),為統(tǒng)計(jì)學(xué)樣本的概率作出預(yù)測(cè)、控制和分析而夯實(shí)基礎(chǔ)。

        (三)統(tǒng)計(jì)學(xué)方法在大數(shù)據(jù)時(shí)代的應(yīng)用

        傳統(tǒng)統(tǒng)計(jì)方法需要人工收集數(shù)據(jù)并按照數(shù)據(jù)要求進(jìn)行整合,數(shù)據(jù)主要來(lái)源于實(shí)地調(diào)查或者其他渠道獲得,數(shù)據(jù)獲取難度較大,統(tǒng)計(jì)過(guò)程中多以抽樣為主,且統(tǒng)計(jì)分析方法基于因果關(guān)系,是通過(guò)部分?jǐn)?shù)據(jù)推測(cè)整體的事物分布的統(tǒng)計(jì)學(xué)科。隨著大數(shù)據(jù)的發(fā)展和計(jì)算機(jī)互聯(lián)網(wǎng)的普及,數(shù)據(jù)獲取、儲(chǔ)存更加便捷,統(tǒng)計(jì)數(shù)據(jù)實(shí)現(xiàn)云計(jì)算,實(shí)現(xiàn)大數(shù)據(jù)智能分析。統(tǒng)計(jì)學(xué)仍以數(shù)據(jù)為基礎(chǔ),大數(shù)據(jù)提高了統(tǒng)計(jì)學(xué)的統(tǒng)計(jì)效率。大數(shù)據(jù)為背景的數(shù)據(jù)具有高效性、大量性和多樣性特點(diǎn),彌補(bǔ)了傳統(tǒng)統(tǒng)計(jì)的高成本和高誤差的不足。但大數(shù)據(jù)的一些聚類、搜索以及分類離不開(kāi)統(tǒng)計(jì)學(xué)的理論方法。大數(shù)據(jù)背景下統(tǒng)計(jì)學(xué)可以實(shí)現(xiàn)機(jī)器學(xué)習(xí),也是計(jì)算機(jī)和統(tǒng)計(jì)方法的融合,彰顯人工智能對(duì)數(shù)據(jù)的處理能力。機(jī)器學(xué)習(xí)是基于統(tǒng)計(jì)學(xué)概念和理論的,拓展了統(tǒng)計(jì)學(xué)范圍,提高了統(tǒng)計(jì)學(xué)的應(yīng)用價(jià)值。

        1.概率論方法的應(yīng)用

        統(tǒng)計(jì)學(xué)在人工智能發(fā)展中主要應(yīng)用自然語(yǔ)言處理,使機(jī)器具備人的思維能力,來(lái)完成自然語(yǔ)言處理,統(tǒng)計(jì)學(xué)運(yùn)用于自然語(yǔ)言處理打破了傳統(tǒng)思想禁錮。隨著大數(shù)據(jù)的應(yīng)用,數(shù)據(jù)量加大,計(jì)算能力有所提高,統(tǒng)計(jì)學(xué)中的語(yǔ)言模型已經(jīng)演變?yōu)樽匀徽Z(yǔ)言處理,一些語(yǔ)音識(shí)別、手寫(xiě)體識(shí)別、漢字輸入等技術(shù)被廣泛應(yīng)用。統(tǒng)計(jì)學(xué)中的語(yǔ)言模型是根據(jù)語(yǔ)料庫(kù)對(duì)單詞出現(xiàn)概率進(jìn)行估計(jì),系統(tǒng)會(huì)自動(dòng)選取出現(xiàn)的概率大的當(dāng)做輸出對(duì)象。因此,統(tǒng)計(jì)語(yǔ)言模型是自然語(yǔ)言處理方法中最有效的一種。

        2.貝葉斯統(tǒng)計(jì)理論方法的應(yīng)用

        貝葉斯統(tǒng)計(jì)理論衍生了樸素貝葉斯分類器,可以對(duì)條件概率分布作出獨(dú)立性假設(shè)。樸素貝葉斯法進(jìn)一步對(duì)自變量、因變量進(jìn)行估計(jì),貝葉斯公式對(duì)給定的輸入χ,對(duì)條件概率分布和先驗(yàn)概率模型作出后驗(yàn)概率分布,假設(shè)后驗(yàn)概率確定為χ類,通過(guò)貝葉斯定理可以得出模型的估計(jì)。樸素貝葉斯模型在分類問(wèn)題中對(duì)結(jié)果概率評(píng)估具有一定優(yōu)勢(shì),隨著貝葉斯統(tǒng)計(jì)理論的發(fā)展,其分類模型以及衍生的領(lǐng)域在醫(yī)療診斷和文本分類領(lǐng)域應(yīng)用廣泛。

        3.回歸分析方法的應(yīng)用

        首先是線性模型法,是對(duì)變量之間存在的線性關(guān)系進(jìn)行預(yù)測(cè),?(χ)=w1χ1+w2χ2+……+wdxd+b,模型在小二乘法w1,w2……wd,b后證實(shí)確定?;貧w分析模型中,線性模型是機(jī)器學(xué)習(xí)所有回歸問(wèn)題的基礎(chǔ),具有易于掌握的特點(diǎn),因此,w的分量大小在預(yù)測(cè)中突出了屬性的影響力。機(jī)器學(xué)習(xí)中,變量間的關(guān)系用線性無(wú)法表達(dá)時(shí),可選用核函數(shù)變量補(bǔ)充處理,回歸問(wèn)題中線性模型是應(yīng)用中最廣泛的一種方式?;貧w問(wèn)題中還能對(duì)線性判別模型進(jìn)行分析,運(yùn)用降維方法在監(jiān)督學(xué)習(xí)中運(yùn)用。

        其次,邏輯斯蒂回歸模型回歸問(wèn)題中,線性回歸模型可以在分類過(guò)程中將分類作出標(biāo)記,運(yùn)用可導(dǎo)函數(shù)γ與預(yù)測(cè)出的回歸模型相聯(lián)系,促使回歸模型轉(zhuǎn)化為分類模型。邏輯斯蒂函數(shù)y=1/1+е-Χ作為替代函數(shù),并用預(yù)測(cè)結(jié)果估計(jì)對(duì)數(shù)概率。同時(shí)可以實(shí)現(xiàn)預(yù)測(cè)類別,對(duì)近似概率實(shí)現(xiàn)預(yù)測(cè),在輔助決策的事物中可以應(yīng)用近似概率。

        4.多元統(tǒng)計(jì)分析方法的應(yīng)用

        主成分分析在多元統(tǒng)計(jì)分析中最為常見(jiàn),是機(jī)器學(xué)習(xí)中一種比較常見(jiàn)的降維方法。在一些超大量數(shù)據(jù)處理的場(chǎng)景中,太多變量出現(xiàn)容易影響和擾亂模型運(yùn)行效率和準(zhǔn)確率。這種情況需要減少變量個(gè)數(shù),在此基礎(chǔ)上得到最全面的信息,這是主成分分析領(lǐng)域的基礎(chǔ)思想。因此通常根據(jù)最大方差思想來(lái)處理變量中最關(guān)鍵、最重要的信息。一般情況,在面對(duì)海量數(shù)據(jù)時(shí),尤其這些數(shù)據(jù)還呈現(xiàn)出比較典型的特征時(shí),這種思想能起到化繁為簡(jiǎn)的重要作用,同時(shí)也會(huì)降低模型后期的運(yùn)算消耗。

        多元統(tǒng)計(jì)分析衍生出的聚類分析處于初期階段,該分析方法主要是根據(jù)一種分類方法把沒(méi)有分類的變量根據(jù)一定規(guī)律使其相似部分歸為一類。具體包括系統(tǒng)、圖論、有序樣品、模糊等方法,根據(jù)度量法劃分為多個(gè)類別數(shù)據(jù)集,在多元統(tǒng)計(jì)分析中,具有一定相似性的數(shù)據(jù)歸為一個(gè)類別,而類別之間的數(shù)據(jù)具有存異性特點(diǎn),在數(shù)據(jù)處理和提取中有一定分析優(yōu)勢(shì),也是多元統(tǒng)計(jì)的一大特點(diǎn)。

        二、國(guó)內(nèi)外對(duì)于統(tǒng)計(jì)方法的研究趨勢(shì)

        (一)國(guó)內(nèi)外統(tǒng)計(jì)學(xué)方法及相關(guān)領(lǐng)域的動(dòng)態(tài)分析

        根據(jù)CIKI數(shù)據(jù)庫(kù)有關(guān)機(jī)器學(xué)習(xí)、統(tǒng)計(jì)方法、大數(shù)據(jù)領(lǐng)域等文獻(xiàn)發(fā)表,可以證實(shí),10年前有關(guān)機(jī)器學(xué)習(xí)領(lǐng)域的論文不多見(jiàn),2016年,統(tǒng)計(jì)方法領(lǐng)域的論文數(shù)量攀升至最高點(diǎn)。大數(shù)據(jù)領(lǐng)域的相關(guān)文獻(xiàn)數(shù)量增長(zhǎng),并且增長(zhǎng)速度一直居高不下。從文獻(xiàn)內(nèi)容上可以看出當(dāng)前我國(guó)大數(shù)據(jù)發(fā)展勢(shì)態(tài),更為明顯的是,增長(zhǎng)速度已經(jīng)超越了傳統(tǒng)統(tǒng)計(jì)方法,進(jìn)入了全新時(shí)期。

        從WOS核心分析機(jī)器學(xué)習(xí)、大數(shù)據(jù)以及統(tǒng)計(jì)方法研究相關(guān)文獻(xiàn)數(shù)量來(lái)看,2012年以來(lái)相關(guān)文獻(xiàn)發(fā)表較多。值得注意的是,機(jī)器學(xué)習(xí)領(lǐng)域論文數(shù)量從2016年開(kāi)始超出統(tǒng)計(jì)方法數(shù)量,這兩個(gè)領(lǐng)域的論文數(shù)量一直高于大數(shù)據(jù)領(lǐng)域。在我國(guó),這兩個(gè)領(lǐng)域的論文相關(guān)觀點(diǎn)和理論闡述與國(guó)際先進(jìn)水平相比仍有上升空間,表明我國(guó)該領(lǐng)域還需不斷創(chuàng)新研發(fā),提高各項(xiàng)技術(shù)水平。

        (二)國(guó)內(nèi)外統(tǒng)計(jì)學(xué)方法及相關(guān)領(lǐng)域的研究方向分析

        為了進(jìn)一步證實(shí)統(tǒng)計(jì)學(xué)方法以及大數(shù)據(jù)領(lǐng)域發(fā)展防線,通過(guò)CNKI數(shù)據(jù)庫(kù)搜索引擎對(duì)該領(lǐng)域有關(guān)的關(guān)鍵詞進(jìn)行查找分析,運(yùn)用專用圖譜軟件,結(jié)果顯示,統(tǒng)計(jì)方法領(lǐng)域“統(tǒng)計(jì)分析”“主成分分析”等詞匯出現(xiàn)頻率較高,而大數(shù)據(jù)領(lǐng)域“數(shù)據(jù)時(shí)代”“云計(jì)算”等關(guān)鍵詞匯出現(xiàn)頻率較高。通過(guò)上述關(guān)鍵詞中不難發(fā)現(xiàn)當(dāng)前國(guó)內(nèi)統(tǒng)計(jì)和大數(shù)據(jù)領(lǐng)域的研究特點(diǎn),可以判斷出兩種統(tǒng)計(jì)方向有部分重合的區(qū)域,大數(shù)據(jù)需要統(tǒng)計(jì)學(xué)方法作輔助,統(tǒng)計(jì)學(xué)方法需要大數(shù)據(jù)作為數(shù)據(jù)支撐。

        三、統(tǒng)計(jì)方法發(fā)展展望

        可以說(shuō),世界上有數(shù)據(jù)的地方就有統(tǒng)計(jì)學(xué)的存在。統(tǒng)計(jì)學(xué)從17世紀(jì)發(fā)展到今天,經(jīng)歷了諸多變革,內(nèi)容和理論也在不斷更新完善,應(yīng)用的領(lǐng)域也在不斷擴(kuò)大。大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨,大數(shù)據(jù)和統(tǒng)計(jì)學(xué)具有互補(bǔ)性,大數(shù)據(jù)背景下統(tǒng)計(jì)學(xué)應(yīng)具備智能化特點(diǎn),借助當(dāng)前信息發(fā)展不斷創(chuàng)新統(tǒng)計(jì)學(xué)方法。我國(guó)統(tǒng)計(jì)學(xué)和大數(shù)據(jù)技術(shù)與國(guó)際相關(guān)領(lǐng)域?qū)Ρ?,都傾向于數(shù)據(jù)分析和發(fā)掘方向。因此,應(yīng)鼓勵(lì)統(tǒng)計(jì)方法與新技術(shù)進(jìn)行融合,促進(jìn)統(tǒng)計(jì)方法在大數(shù)據(jù)背景下發(fā)揮作用。

        猜你喜歡
        概率論貝葉斯概率
        第6講 “統(tǒng)計(jì)與概率”復(fù)習(xí)精講
        第6講 “統(tǒng)計(jì)與概率”復(fù)習(xí)精講
        概率與統(tǒng)計(jì)(一)
        概率與統(tǒng)計(jì)(二)
        淺談《概率論與數(shù)理統(tǒng)計(jì)》課程的教學(xué)改革
        貝葉斯公式及其應(yīng)用
        基于貝葉斯估計(jì)的軌道占用識(shí)別方法
        一種基于貝葉斯壓縮感知的說(shuō)話人識(shí)別方法
        電子器件(2015年5期)2015-12-29 08:43:15
        論《概率論與數(shù)理統(tǒng)計(jì)》教學(xué)改革與學(xué)生應(yīng)用能力的培養(yǎng)
        IIRCT下負(fù)二項(xiàng)分布參數(shù)多變點(diǎn)的貝葉斯估計(jì)
        国产精品办公室沙发| 少妇久久高潮不断免费视频| 久久想要爱蜜臀av一区二区三区| 婷婷四虎东京热无码群交双飞视频| 无码人妻一区二区三区在线视频| 91天堂素人精品系列全集亚洲 | 美女黄频视频免费国产大全| 蜜桃国产精品视频网站| 久久精品国产亚洲av果冻传媒| 国产性生交xxxxx免费| 久久免费观看国产精品| 久久久免费精品国产色夜| 国产乱码人妻一区二区三区| 8av国产精品爽爽ⅴa在线观看| av无码精品一区二区乱子| 99国语激情对白在线观看 | 国产高跟黑色丝袜在线| 久久久精品免费观看国产| 精品日本韩国一区二区三区| 精品少妇一区二区三区免费| 人人妻人人爽人人澡欧美一区| 久久国产自偷自免费一区100| 久久久亚洲日本精品一区 | av天堂在线免费播放| 青春草免费在线观看视频| 一二三四在线观看免费视频| 国产清品夜色一区二区三区不卡| 午夜视频手机在线免费观看| 在线观看人成视频免费| 亚洲五月天综合| 亚洲AV永久无码精品一区二国| 中文字幕亚洲精品专区| 亚洲色成人网站www永久| 伊人99re| 一区二区亚洲精美视频| 色综合天天综合欧美综合| 1000部夫妻午夜免费| 91精品国产高清久久久久| 中文字幕日韩有码国产| 风韵多水的老熟妇| 自拍 另类 综合 欧美小说|