趙小艷， 李繼成， 段啟宏

(西安交通大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，西安 710049)

1 引 言

生活、工程、科學(xué)技術(shù)中碰到的很多量都是隨機(jī)的，概率論與數(shù)理統(tǒng)計(jì)是高校各專業(yè)學(xué)生必修的一門基礎(chǔ)課程.當(dāng)前中學(xué)數(shù)學(xué)教材中包含了概率及運(yùn)算、正態(tài)分布、統(tǒng)計(jì)圖表、一元線性回歸等一些概率統(tǒng)計(jì)課程內(nèi)容，學(xué)生會(huì)計(jì)算相關(guān)的概率.然而，中學(xué)的應(yīng)試教育使得學(xué)生對(duì)概率統(tǒng)計(jì)課程的思想方法掌握的不夠，對(duì)運(yùn)用概率知識(shí)解決實(shí)際問(wèn)題了解的不夠深入.

在互聯(lián)網(wǎng)飛速發(fā)展的今天，大量數(shù)據(jù)的涌現(xiàn)使得概率統(tǒng)計(jì)的思想與方法成為各行業(yè)人員不可缺少的知識(shí)素養(yǎng).因此，大學(xué)的概率統(tǒng)計(jì)課程應(yīng)根據(jù)授課學(xué)生的情況重新設(shè)計(jì)教學(xué)內(nèi)容，加強(qiáng)學(xué)生掌握概率統(tǒng)計(jì)的思想與方法，強(qiáng)化課程的應(yīng)用.

概率統(tǒng)計(jì)的知識(shí)點(diǎn)比較多，學(xué)生不容易記憶并掌握.教師在講各種方法時(shí)，一方面可以挖掘這些方法的產(chǎn)生過(guò)程、前后因果關(guān)系等，比如原來(lái)的方法在一類實(shí)際應(yīng)用中不能滿足需求，因此出現(xiàn)了另一種統(tǒng)計(jì)方法等；另一方面加強(qiáng)課程應(yīng)用，將課本內(nèi)容與當(dāng)前的工程技術(shù)、科學(xué)技術(shù)相結(jié)合，設(shè)計(jì)應(yīng)用案例，給教學(xué)不斷注入新的血液，激發(fā)學(xué)生的學(xué)習(xí)熱情.

概率統(tǒng)計(jì)中的最大似然估計(jì)法是參數(shù)估計(jì)的一種重要方法[1-4]，參考文獻(xiàn)[1-2]分別給出了最大似然估計(jì)的教學(xué)設(shè)計(jì)，通過(guò)引例給出最大似然估計(jì)法，說(shuō)明該方法在實(shí)際生活中的應(yīng)用等.然而以上這些教學(xué)設(shè)計(jì)中缺少該方法的產(chǎn)生過(guò)程、在科學(xué)技術(shù)中的具體應(yīng)用等.

本文挖掘最大似然估計(jì)的產(chǎn)生過(guò)程、在機(jī)器學(xué)習(xí)中的應(yīng)用等，重新設(shè)計(jì)最大似然估計(jì)的教學(xué)內(nèi)容，目的是加強(qiáng)學(xué)生理解并掌握最大似然估計(jì)法的思想與方法，同時(shí)拓展學(xué)生知識(shí)視野，培養(yǎng)學(xué)生創(chuàng)新思維能力，深刻體會(huì)概率統(tǒng)計(jì)課程“源于生活，用于生活”的特點(diǎn)，學(xué)會(huì)用概率統(tǒng)計(jì)思想與方法指導(dǎo)學(xué)習(xí)與生活.

2 最大似然估計(jì)法的教學(xué)設(shè)計(jì)

本教學(xué)設(shè)計(jì)通過(guò)介紹現(xiàn)實(shí)生活中的例子，最大似然估計(jì)思想的產(chǎn)生過(guò)程，最大似然估計(jì)在機(jī)器學(xué)習(xí)中的應(yīng)用，以及一代代數(shù)學(xué)家對(duì)最大似然估計(jì)概念內(nèi)涵的不斷深入挖掘的完整過(guò)程等，幫助學(xué)生體會(huì)最大似然估計(jì)理論的不斷深化、應(yīng)用場(chǎng)景的不斷增多等事實(shí)，加強(qiáng)學(xué)生對(duì)最大似然估計(jì)思想與方法的理解與應(yīng)用.

2.1 引例

頻率學(xué)派認(rèn)為，如果一次試驗(yàn)中隨機(jī)事件A發(fā)生，則A發(fā)生的概率取大值比取小值合理.對(duì)一次隨機(jī)抽到的樣本值，要由此樣本值估計(jì)未知參數(shù)，那么參數(shù)的取值應(yīng)使得該樣本出現(xiàn)的概率最大，這就是最大似然估計(jì)法的思想.

上面的描述學(xué)生不易理解，教師可以舉一些生活中的例子，生動(dòng)形象地來(lái)解釋這一思想.

例1[3]一個(gè)老獵手和徒弟去打獵，看到一只兔子，每人打一槍，結(jié)果兔子被打中.后來(lái)發(fā)現(xiàn)兔子中了一槍，試問(wèn)這一槍是誰(shuí)打中的比較合理？

該例是經(jīng)典案例，生活中經(jīng)常使用這種方法思考并解決問(wèn)題.在數(shù)學(xué)上，該方法有一個(gè)專業(yè)名稱：最大似然估計(jì)法或極大似然估計(jì)法.

由于不同的參數(shù)對(duì)應(yīng)不同的總體，最大似然估計(jì)法也可以看成是推斷所得樣本來(lái)自哪個(gè)總體或者總體分布.下面構(gòu)造例2來(lái)說(shuō)明這點(diǎn).

2.2 最大似然估計(jì)

若離散型總體X的分布律為P{X=x}=p(x;θ1,θ2，…，θl)，或連續(xù)型總體X的概率密度為f(x;θ1,θ2，…，θl)(對(duì)其他總體X，記其分布函數(shù)為F(x;θ1,θ2，…，θl))，其中θ1,θ2，…，θl是未知參數(shù).

要估計(jì)總體中的未知參數(shù)θ1,θ2，…，θl，需要從總體X中抽取簡(jiǎn)單隨機(jī)樣本(X1,X2，…，Xn)，且θ1,θ2，…，θl的取值應(yīng)使得樣本(X1,X2，…，Xn)出現(xiàn)的概率最大，為此，需計(jì)算樣本(X1,X2，…，Xn)出現(xiàn)的概率.

對(duì)離散型總體X， (X1,X2，…，Xn)出現(xiàn)的概率是其分布律

(1)

對(duì)連續(xù)型總體X，要樣本(X1,X2，…，Xn)出現(xiàn)的概率最大即要(X1,X2，…，Xn)的概率密度最大.(X1,X2，…，Xn)的概率密度為

(2)

固定(x1,x2，…，xn)，將L(x1,x2，…，xn;θ1,θ2，…，θl)看成是參數(shù)θ1,θ2，…，θl的函數(shù)，稱為θ1,θ2，…，θl的似然函數(shù)，簡(jiǎn)記為L(zhǎng)(θ1,θ2，…，θl).

(3)

為求解(3)，可以利用微積分的知識(shí)，對(duì)似然函數(shù)L(θ1,θ2，…，θl)求導(dǎo)并令其等于零，求得未知參數(shù)的表達(dá)式，并判斷其是否是似然函數(shù)的最大值點(diǎn)，進(jìn)而求得參數(shù)的最大似然估計(jì).

然而，似然函數(shù)是樣本的分布律或概率密度，是用連乘形式表示的，為了求解方便，數(shù)學(xué)上通常對(duì)似然函數(shù)L(θ1,θ2，…，θl)取對(duì)數(shù)得到lnL(θ1,θ2，…，θl)，將乘積形式轉(zhuǎn)化成求和形式，稱lnL(θ1,θ2，…，θl)為對(duì)數(shù)似然函數(shù).由于對(duì)數(shù)似然函數(shù)和似然函數(shù)具有相同的最大值點(diǎn)，因此對(duì)對(duì)數(shù)似然函數(shù)求導(dǎo)并令其等于零，解得參數(shù)θi的最大似然估計(jì).

需要注意的是，求導(dǎo)數(shù)的方法并不總是奏效的，這時(shí)需要回到問(wèn)題(3)，運(yùn)用其他方法求參數(shù)的估計(jì)值使得似然函數(shù)L(θ1,θ2，…，θl)取值最大.

2.3 最大似然估計(jì)法的產(chǎn)生過(guò)程

18世紀(jì)之前，天文學(xué)是運(yùn)用數(shù)學(xué)最多的領(lǐng)域之一，天文學(xué)家依據(jù)天文數(shù)據(jù)建立模型，進(jìn)行數(shù)據(jù)擬合等，解決了很多天文學(xué)問(wèn)題.到18世紀(jì)，如何處理數(shù)據(jù)中的觀測(cè)誤差成為一個(gè)很棘手的問(wèn)題.人們?cè)跀?shù)據(jù)處理中經(jīng)常對(duì)數(shù)據(jù)取平均，經(jīng)驗(yàn)表明算術(shù)平均值能夠消除誤差，提高精度.這樣就產(chǎn)生下列問(wèn)題：

(i) 測(cè)量中的誤差應(yīng)該服從什么概率分布？

(ii) 算術(shù)平均的優(yōu)良性和誤差分布有怎樣的密切聯(lián)系？

很多天文學(xué)家和數(shù)學(xué)家開(kāi)始尋找誤差分布曲線，伽利略、辛普森、拉普拉斯等先后討論了隨機(jī)誤差的分布問(wèn)題，得到了一些結(jié)論，然而這些結(jié)論都不能完美回答以上問(wèn)題.

為了計(jì)算1801年1月天文學(xué)界出現(xiàn)的一顆從未見(jiàn)過(guò)的星(現(xiàn)在被稱為谷神星)的軌跡，德國(guó)數(shù)學(xué)家高斯也研究了誤差分布問(wèn)題.高斯在1809年的著作《繞日天體運(yùn)動(dòng)的理論》的末尾一節(jié)“數(shù)據(jù)結(jié)合”中，用開(kāi)創(chuàng)性的方法給出誤差服從正態(tài)分布這一重要結(jié)論[5-6].那么高斯是如何推導(dǎo)出誤差分布的呢？

為了確定參數(shù)θ的真值，對(duì)θ進(jìn)行n次獨(dú)立重復(fù)觀測(cè)，測(cè)量值記為(x1,x2，…，xn)，測(cè)量的誤差記為ei=xi-θ,i=1,2，…，n.假設(shè)誤差ei,i=1,2，…，n的概率密度為f(x)，則測(cè)量θ得到觀測(cè)值x的概率與f(x-θ)成比例，因此觀測(cè)值(x1,x2，…，xn)出現(xiàn)的概率與f(x1-θ)f(x2-θ)…f(xn-θ)成比例.故可以取(x1,x2，…，xn)的概率分布為

L(θ)=f(x1-θ)f(x2-θ)…f(xn-θ) .

(4)

為了得到誤差的概率密度，高斯提出以下兩個(gè)開(kāi)創(chuàng)性的方法：

高斯第一個(gè)開(kāi)創(chuàng)性的方法就是最大似然估計(jì)的思想，第二個(gè)方法是把問(wèn)題反過(guò)來(lái)思考：既然算術(shù)平均是一個(gè)好的估計(jì)，那么由第一個(gè)方法解出的參數(shù)估計(jì)值就應(yīng)該是算術(shù)平均值.這兩個(gè)創(chuàng)造性的想法充分展現(xiàn)了高斯的數(shù)學(xué)天才，最終高斯通過(guò)嚴(yán)謹(jǐn)?shù)睦碚撏茖?dǎo)得出誤差服從正態(tài)分布，又通過(guò)此分布的概率密度對(duì)處理數(shù)據(jù)的最小二乘法給了一個(gè)漂亮的解釋[5-6].

雖然最小二乘法隨后成為科學(xué)界處理數(shù)據(jù)的重要方法之一，可惜高斯提出的第一個(gè)方法在當(dāng)時(shí)并沒(méi)有引起數(shù)學(xué)界的重視.一直到1912年，英國(guó)統(tǒng)計(jì)學(xué)家Fisher在文章《關(guān)于擬合曲線的一個(gè)絕對(duì)準(zhǔn)則》中再次提出了該方法，并命名為最大似然法.1922年Fisher又發(fā)表文章《理論統(tǒng)計(jì)學(xué)的數(shù)學(xué)基礎(chǔ)》，證明了最大似然估計(jì)的一些性質(zhì).現(xiàn)在一般將最大似然估計(jì)法的發(fā)現(xiàn)歸功于Fisher.

2.4 最大似然估計(jì)法在機(jī)器學(xué)習(xí)中的應(yīng)用

在用機(jī)器學(xué)習(xí)[7]解決具體問(wèn)題時(shí)，所包含的數(shù)據(jù)往往是無(wú)限的，不可能獲取所有數(shù)據(jù)，因此也無(wú)法確切知道具體的數(shù)據(jù)分布.通常的做法是抽取訓(xùn)練數(shù)據(jù)集x=(x1,x2，…，xn)，用訓(xùn)練數(shù)據(jù)的分析結(jié)果推測(cè)真實(shí)數(shù)據(jù)的性質(zhì).

為了對(duì)新的數(shù)據(jù)進(jìn)行分析預(yù)測(cè)，需要基于訓(xùn)練數(shù)據(jù)集和對(duì)問(wèn)題的元知識(shí)建立模型pmodel(x;θ).所建模型pmodel(x;θ)中含有未知參數(shù)θ，因此需要對(duì)θ進(jìn)行估計(jì).由于最大似然估計(jì)法能充分利用總體分布類型的信息，因此機(jī)器學(xué)習(xí)中經(jīng)常計(jì)算θ的最大似然估計(jì)

(5)

或

(6)

關(guān)于機(jī)器學(xué)習(xí)中建立模型的方法論和高效求解最大似然估計(jì)的各種當(dāng)代算法，請(qǐng)見(jiàn)參考文獻(xiàn)[8]的詳細(xì)介紹.

在最大似然估計(jì)教學(xué)中教師可以根據(jù)自己的思路，補(bǔ)充以上內(nèi)容，加深學(xué)生對(duì)最大似然估計(jì)的思想與方法的理解與掌握.最大似然估計(jì)法在其他工程領(lǐng)域中也有很多應(yīng)用，教師可以鼓勵(lì)學(xué)生去發(fā)現(xiàn)和發(fā)掘.

3 教學(xué)實(shí)踐與總結(jié)

作者于2020-2021學(xué)年在本校的電子、電氣等專業(yè)教學(xué)大班進(jìn)行此教學(xué)設(shè)計(jì)的實(shí)踐，學(xué)生反映很好.從平常作業(yè)與期末考試試卷可以看出，90%的同學(xué)對(duì)最大似然估計(jì)法掌握的比較好.部分學(xué)生在教務(wù)處評(píng)教系統(tǒng)中留言：“課外補(bǔ)充形象”“特別善于舉例”“舉例仔細(xì)恰當(dāng)”“開(kāi)闊思路”等.也有學(xué)生留言，希望老師多講一些概率統(tǒng)計(jì)方法的發(fā)展過(guò)程與實(shí)際應(yīng)用.

在本節(jié)課后，部分同學(xué)和教師私下交流心得體會(huì)，感嘆數(shù)學(xué)王子高斯的天才想法，創(chuàng)新的不易，甚至討論如果沒(méi)有高斯，是否也有其他學(xué)者提出該方法等.教師趁機(jī)鼓勵(lì)學(xué)生，在學(xué)習(xí)和工作中要敢于質(zhì)疑，有意識(shí)地培養(yǎng)學(xué)生的創(chuàng)新思維能力和大膽猜測(cè)小心求證的探索精神.

在講解最大似然估計(jì)法、貝葉斯公式等在機(jī)器學(xué)習(xí)、通信技術(shù)等中的應(yīng)用時(shí)，教室當(dāng)時(shí)唏噓一片，學(xué)生感覺(jué)有點(diǎn)不可思議.這個(gè)應(yīng)用實(shí)例讓學(xué)生深刻感受數(shù)學(xué)的重要性，教師趁機(jī)解釋“數(shù)學(xué)無(wú)處不在，概率統(tǒng)計(jì)無(wú)處不在”，一些“高大上”的技術(shù)背后都是數(shù)學(xué)，要想解決“卡脖子”技術(shù)，提高我國(guó)科學(xué)技術(shù)水平，必須學(xué)好數(shù)學(xué)，用好數(shù)學(xué)，鼓勵(lì)學(xué)生樹(shù)立遠(yuǎn)大目標(biāo).

概率統(tǒng)計(jì)課程教學(xué)內(nèi)容在科學(xué)技術(shù)和生活中都有很多應(yīng)用，概率統(tǒng)計(jì)的思想與方法可以有效幫助我們做出合理的決策.教學(xué)中教師應(yīng)將知識(shí)傳授、課程應(yīng)用與價(jià)值引領(lǐng)深度融合，充分挖掘課程的內(nèi)涵，創(chuàng)新教學(xué)內(nèi)容，加強(qiáng)課程應(yīng)用，提高課程質(zhì)量.

致謝非常感謝審稿人提出的建設(shè)性意見(jiàn)，感謝相關(guān)文獻(xiàn)對(duì)本文的啟發(fā).