人們進行決策時往往依賴的是基于這些信息的對客觀世界的一種主觀信念。當其獲得客觀知識的增加時，理性的當事人會基于這些新增的信息對以往的主觀信念做出修改。這樣人們在面對不確定性時，其決策可以歸結(jié)為以下的問題，即在不確定條件下人們的最優(yōu)決策是什么，是否應該收集信息以及收集多少等。下面將對分別對這些問題進行討論。

信息是個很抽象的概念。我們常常說信息很多，或者信息較少，但卻很難說清楚信息到底有多少。直到1948年，Shannon等人提出了“信息熵”的概念，才解決了對信息的量化度量問題。在Shannon信息熵的基礎上，連續(xù)型隨機變量的熵是沒有意義的(為無窮大)，在信息熵的基礎上，應用熵極大化準則對離散狀態(tài)空間的分布估計作了一定研究，提出了新的算法， 但是均未涉及連續(xù)型狀態(tài)變量的討論.但Kull back在信息變差的基礎上證明了連續(xù)分布隨機變量的熵的存在性，并定義連續(xù)型隨機變量的熵。而連續(xù)隨機變量的熵用離散隨機變量的熵來逼近。

一條信息的信息量大小和它的不確定性有直接的關系。比如說，我們要搞清楚一件非常不確定的事，或是我們一無所知的事情，就需要了解大量的信息。相反，如果我們對某件事已經(jīng)有了較多的了解，我們不需要太多的信息就能把它搞清楚。所以，從這個角度，我們可以認為，信息量的度量就等于不確定性的多少。

下面將給出熵的定義及其證明，假設樣本空間X有n的基本事件，其基本事件wi的概率為pi，i=1，2，…，n。我們記之為（X；p1， p2... pn）。并且有

概率反映了事件發(fā)生不確定性的大小，而信息是可以改變不確定性的。消息中所含有用“信息”的量（信息量）是不同的，“信息量”是可以數(shù)量化的。在定量地描述“信息量”之前必須對事件的不確定性給出確切的量度。

信息論量度信息的基本出發(fā)點，是把獲得的信息看作用以消除不確定性的東西，因此信息數(shù)量的大小，可以用被消除的不確定性的多少來表示。設隨機事件A在獲得信