盧侃

(哈爾濱工程大學信息與通信工程學院，黑龍江哈爾濱150001)

Shannon信息論主要是通信的信息理論.但所提出的＂信息就是不確定性的消除＂這一基本論點，不僅適用于描述通信的過程，也適用于描述認知的過程.因為，人類每次認知的結果，都是對于外界事物信息的不確定性的減少或完全消除.透沏地說，通信也屬于一種間接的認知，即將一些人的認知傳給另一些人使之認知而已.

Shannon信息論的精髓在于將通信的內容抽象為信息，賦予信息以數(shù)學的形式，將通信過程中的信息加工變?yōu)閲栏竦臄?shù)學運算.如果一個信源的實際信息熵小于其占用的編碼空間，那么，就可以對信源參數(shù)做一種編碼壓縮的數(shù)學變換，使新編碼所占用的空間可以壓縮到接近甚至等于原始信源的信息熵.這樣，就可以用較少的信道容量完成通信而不丟失信息.如信道中有干擾，則增加相應的監(jiān)督碼量來糾錯而保證信息的無損傳輸.最后在接收端，還要做一種譯碼的數(shù)學反變換以完整地恢復原始信號.這就是Shannon的信源編碼和信道編碼的基本數(shù)學原理［1-2］.

人類認知活動其實也是一種信息加工的活動.原則上說，也是可以用嚴格的數(shù)學運算來加以描述.即類似于Shannon的＂通信的數(shù)學理論＂，應該也有一種＂認知的數(shù)學理論＂.一旦這個理論建立，認知信息的活動就有了嚴格的數(shù)學模型.將這個模型實用化以后，一個可以做復雜運算的電子計算機就可以實現(xiàn)認知的運算，從而出現(xiàn)真正的模擬人類認知的電子大腦［3］.

1 認知信息加工的原材料、產(chǎn)品和加工的數(shù)學實質

1.1 認知信息加工的原材料

人在感知外界時，感覺器官要輸入大量的物理或化學刺激(通常稱為信號).這些信號因不同感官而有質的不同;而相同感官輸入的同質信號又因空間和時間的離散采樣而有序位的不同，它們組成有標的數(shù)據(jù)集合.數(shù)據(jù)集合的標號提供感官的性質、感知的位置和時間、感知的方向等信息;數(shù)據(jù)集合中的序號則提供對同質信號所做的離散空間和離散時間的采樣序位等信息;數(shù)據(jù)的取值為在一定的感覺精度之下的信號量化值.如果把一個人出生以來輸入大腦的所有感知信號數(shù)據(jù)集合存為數(shù)據(jù)庫，那就構成一個龐大的數(shù)據(jù)集團.這個數(shù)據(jù)集團就是該個人得以認知世界的全部的素材基礎［4］.

1.2 認知信息加工的產(chǎn)品

這是一個外部客觀世界反映在認知者腦海中的信息世界.由于世界所包含的信息量是如此龐大，一個人腦不可能全部容納世界的所有信息［5］.因此，人腦中的世界信息是將外部世界加以簡易化以后的信息.生物進化到人類，已經(jīng)選擇了一種極為優(yōu)化的簡易化的認知模式.將這種模式闡述如下:

1)大腦將世界的信息結構分為2部分:一部分是世界中實際情況的信息，另一部分則是世界中各種規(guī)律的信息.這2部分信息共同儲存于大腦之中，構成大腦的全部知識——實況性知識和規(guī)律性知識.

2)大腦將世界的實況性信息分解為一個一個實物對象來加以認知.這是因為:一方面，實物是認知者在生活中所必須直接打交道的對象;另一方面，世界上實物的數(shù)量雖然無窮，但任何人只要選取其中與自己有關的一小部分(頂多上萬個)去做認知也就夠了，使認知對象大為簡約;更為重要的一個方面，就是每個實物都具有一系列涵屬于其自身的信息，認知一個實物就同時認知到其大量的有關信息，能起到“聞一知十”的認知效果.

3)每個實物的信息包括該實物是否存在，有什么屬性，在各個時間點有什么狀態(tài)(包括在何處，取何姿態(tài)，在做什么)等等，為認知者所關注的可以逐一列述的項目.其中，屬性信息是基本不隨時間變化的信息(至少是在一段時間中不變化的信息)，而狀態(tài)信息則是隨時間作變化的信息.

4)無論是屬性信息還是狀態(tài)信息，都有相應的標量或矢量的量化取值，這些取值的精度一般達到“認知適用”的要求即可.(有時，“認知適用”的取值只取在幾種以至兩種模式之中——這就是多元或二元信息，后者如動物生育屬性只有胎生、卵生這兩種模式取值，等等.)

1.3 實況性信息由不確定到清晰的加工

實際上實物的性態(tài)參數(shù)都是客觀的存在，它們在某一時間點上的取值也應該是唯一的.但在準確認知以前，認知者對其取值常常不能確定，一般可以用在取值集上的概率分布函數(shù)來加以描述.

設某性態(tài)參數(shù)ρ，其“認知適用”的取值集為V，

在未準確認知時，ρ在V集合中可能取值的概率分布為

此時，對ρ值認知的不定度U為

定義清晰度C:

可見，不定度U越大，清晰度C越低.

如已經(jīng)獲得事物某個性態(tài)方面的準確取值的信息，即消除了該信息的全部不確定性，此時該項信息的不定度U為零，或清晰度C為1(百分之百).

當一個實物全部需要認知的性態(tài)信息清晰度都為1時，就認為在“認知適用”意義上對該實物已完全了解.

1.4 加工后的世界實況性信息表現(xiàn)為數(shù)據(jù)文件集團

世界中“認知適用”的諸實物信息可以在腦中編列為一個一個的數(shù)據(jù)文件.其文件中應包含有該物的形象屬性信息，還有若干用抽象概念和參數(shù)來表述的屬性信息和狀態(tài)經(jīng)歷信息.(就如一個人物的檔案，應有他的照片——形象信息，還有若干條用取值來表述的他的主要屬性和主要經(jīng)歷的概念性信息.)

當大腦調用一個實物的形象信息數(shù)據(jù)時，它可以將此數(shù)據(jù)用想象的心理機制產(chǎn)生出一個該實物的形象來;而且，還可以將此形象還原到它在外界的(與自己相對的)原有位置之上.

如果把世界中的諸實物的形象信息按照實物所在位置排列起來，加上在腦中已有的場景形象信息作為背景，人腦就可以把世界的總體形象想象出來(同時還能把各實物的概念信息聯(lián)想到各實物之上).于是，在他腦中，就產(chǎn)生一個分布著諸實物的整體性的世界，一個他可以能動地在其中做應對行動以謀求生存的世界.

除了單個的實物而外，人腦還把若干實物組成集體(其中也包括實物系統(tǒng))來加以認知.此外，還有“事”和“事件”，通常也和實物一樣，被當做認知的對象.它們的信息同樣也是實況性信息，也會在腦中被編列為一個一個的數(shù)據(jù)文件.

1.5 加工后的世界規(guī)律性信息也同樣表現(xiàn)為數(shù)據(jù)文件集團

至于世界的規(guī)律性信息，它雖然不屬于單個的實物(或實物集體)，但它反映若干實物(或實物集體)性態(tài)間互相制約的關系，它可以使大腦從一些已知的實況信息推測到另一些未知的實況信息，將腦中的信息世界極大地豐富起來.

規(guī)律性信息通常用概念性語句來表述，也可以用數(shù)學(或邏輯)的關系式來表述.這些表述可以是確定性的，也可以是概然性的.無論是語句還是公式本身都要用符號來進行編制，而符號必然會以相應的數(shù)據(jù)編碼形式在腦中存在.因而，每個可以用符號來編程的反映規(guī)律的文件，其本身仍然是一個數(shù)據(jù)文件.調用此數(shù)據(jù)文件也就是應用此項規(guī)律.

1.6 認知的數(shù)學實質

人腦對于世界的全局性的認知，其實質就是將他有生以來感知信號的數(shù)據(jù)集團加工成他對世界認知的實況性信息和規(guī)律性信息的數(shù)據(jù)集團，是一種從數(shù)據(jù)集團到數(shù)據(jù)集團的龐大而復雜的數(shù)學變換.

這里所指的數(shù)學變換是廣義的，不僅是數(shù)學解析式的(線性、非線性，等式、非等式)變換，也包括邏輯變換和程序轉移指令等變換.當然，這種變換會比通信中所做的編碼、譯碼變換復雜很多，這也就是大腦為什么有極其復雜的神經(jīng)結構的原因.

2 認知信息變換的基本數(shù)學規(guī)律

然而，細細推究起來，從感知信號數(shù)據(jù)集團到世界信息數(shù)據(jù)集團之間的數(shù)學變換，仍然存在一種基本的數(shù)學規(guī)律，這個規(guī)律主宰認知活動的全過程.以下就來討論這個基本的規(guī)律.

2.1 從感知信號中加工出“象”信息為一種減熵變換

世界信息中，無論是實物(實事)信息還是規(guī)律信息，都體現(xiàn)為一種數(shù)據(jù)約束 .如大部分實物都有一個基本不變的外部形狀，這是由事物自身結構性的約束所造成.這個形狀被認知者的眼睛看到，于是在其視覺信號中，就出現(xiàn)一個基本不變的圖像，圖像中的信號數(shù)據(jù)也會保持一種相對約束的關系.信息理論指出，在信號集合中所出現(xiàn)的任何數(shù)據(jù)約束，都在數(shù)學上體現(xiàn)為一種“減熵”(decrease in entropy，dH表示)，即信號不定度的減少.也就是說，客觀事物的存在反映在感知信號集合之中會以一種“減熵”的形式表現(xiàn)出來.或者說，一旦認知者在所感知信號中檢測到“減熵”，就意味著他觀察到有事物存在以及該事物有何性態(tài)的信息.

如果在信號空間中的某個域上，檢測到一個固定的互相約束的信號數(shù)據(jù)集合，且這個數(shù)據(jù)集合出現(xiàn)的概率遠大于其在無序條件下可能出現(xiàn)的概率，則在信號空間中，認知者就觀察到一個“象”.這個“象”可以是靜態(tài)的圖像，也可以是動態(tài)的圖像;對于聲音信號，則可能是一個雷聲或人類語音;連續(xù)的運動、溫度、壓觸等感覺信號也會產(chǎn)生出相應的“象”來.

在信號空間中出現(xiàn)“象”以后，可以賦予這個“象”以一個編碼符號.顯然，用“象”參與編碼的信號數(shù)據(jù)集合的碼量肯定有所壓縮，因為“象”的出現(xiàn)就意味著“減熵”的出現(xiàn).

設在Ω域上出現(xiàn)的象為“象A”，經(jīng)計算，出現(xiàn)“象A”造成的減熵dHΩ為

式中:HΩ為未出現(xiàn)“象A”以前在Ω域上的無序信號的熵值，HΩ'為出現(xiàn)“象A”以后在Ω域上的熵值，PA為在Ω域上“象A”出現(xiàn)的概率，Hb(PA)為“象A”呈概率PA出現(xiàn)時所造成的不定度，函數(shù)Hb(P)為雙碼元的熵，當雙碼元的概率分別為P和1-P時，有

式中:各量單位為bit.

2.2 從諸多“象”信息中加工出“物”信息又是減熵變換

同一實物在長期被某認知者感知過程中，會多次以不同的“象”映射入其腦中的信號數(shù)據(jù)集團之內，大腦就會把這些“象”加以歸納整理，使之歸屬于同一個“物”，并賦予這個“物”以一個編碼符號，這就是這個“實物”的名.還有，同一實物會有特定的聲音(或體溫等)時，大腦也會把這個聲音(或體溫等)的“象”賦予該實物.于是，把大量“象”(包括同質的和不同質的)看為同一實物的映象，從中處理出一個具有各種屬性的實物的存在信息.這又是一次“減熵”的處理過程.

設象A1和象A2都是同一個物的映象(如面容中的眼睛和鼻子)，且均同時為認知者所觀察到.因此，2個象的出現(xiàn)概率基本相同，設為共同的PA;

經(jīng)計算，象A1的減熵為

象A2的減熵為

由于象A1和象A2均為同一物的映象，在同時出現(xiàn)，計算此種情況的減熵dH12為

代入計算后:

即同屬一物的兩象的聯(lián)合減熵值大于兩象分別出現(xiàn)時的減熵值之和.

由此可見，當大腦把同一個物的所有各象賦予該物時，就會一次次地體現(xiàn)減熵.或者說，如大腦發(fā)現(xiàn)若干象信息在同時以特定的相對位置關系聯(lián)合出現(xiàn)，并從而有明顯的減熵時，大腦就認知到一個“物”.

從信號到“象”的減熵再從“象”到“物”(“事”)的減熵，這就是從信號數(shù)據(jù)集團中處理出關于世界事物(實況)信息數(shù)據(jù)集團的基本數(shù)學規(guī)律.

2.3 規(guī)律性知識的加工仍然是信息的減熵變換

至于規(guī)律性知識信息更是客觀事物存在相互約束的反映.產(chǎn)生規(guī)律性信息也都是信息的減熵變換的結果.

2.3.1 事物分類規(guī)律

事物分類就表現(xiàn)為一種約束.有很大外延范圍的同類物具有相同的本征屬性，如“狗”類各物——即豬狗，都有四條腿、無角、有毛、嗅覺靈敏、行動快捷、為人類所豢養(yǎng)、忠于主人等等屬性.這些同類物所具有相同的本征屬性集合即在邏輯學中所稱的內涵，就可以用同一個“概念”的編碼符號來表示.在思維和語言中使用這種概念符號(語言或文字)就使編碼量大為壓縮.這當然也是＂減熵＂的結果.下面討論一下這種減熵的計算.

將同類物O的本征屬性作一個集合S，當S中各元素呈無序狀態(tài)時有熵值HS;設同類物O在所有物中出現(xiàn)的概率為PO，則因同類物出現(xiàn)而使S中所呈現(xiàn)的熵值變?yōu)镠S'，此時造成的減熵dHs應為

比較單個物和同類物，同類物內涵減少使HS減小，但外延加大又使PO加大，故減熵dHS是很顯著的.

2.3.2 事物關聯(lián)規(guī)律

事物關聯(lián)也表現(xiàn)為一種約束.如有事件X和Y，在檢測到2個事件聯(lián)合出現(xiàn)的熵小于2個事件單獨出現(xiàn)的熵值之和時，即有

這樣的減熵表達式時，就發(fā)現(xiàn)2個事件存在關聯(lián)，這就成為事物間概然性的或必然性的關聯(lián)規(guī)律.

若發(fā)現(xiàn)

就說明2個事件是完全必然的關聯(lián).

此時，熵減量dH為

2.3.3 事物相似規(guī)律

事物性態(tài)相似也同樣表現(xiàn)為約束［7］.很多物在靜態(tài)的結構或很多事在動態(tài)的過程中存在相似性.這種相似性可以用一種減維變換來做運算而觀察到.

在認知中，若廣泛存在有眾多不同類的物Om(m=1，2，…，M)，它們各具有相應的信息數(shù)據(jù)集合Dm，如果能找到一種減維數(shù)學變換J=T(D)(J為矢量，其維數(shù)遠小于D的維數(shù)，但又必須大于零)，使

則稱諸物(或諸事)之間存在相似性，J則為它們的相似中項.

認知到相似顯然也是信息減熵.

2.3.4 科技理論

反映科學技術規(guī)律的現(xiàn)代科技理論，更是用嚴格的數(shù)學關系揭示了本學科參數(shù)之間的約束.一個式子就給出一種約束，排除了不符合該式子的一切可能.將科技規(guī)律作用于實物世界的信息集團之中，也必然使其熵(不定度)含量大為減少.

通常，科技工作者通過大量的觀察實驗，首先得到經(jīng)驗性的規(guī)律知識，再將若干經(jīng)驗性規(guī)律再做抽象性的歸納總結，就可以形成理論性的規(guī)律知識，理論知識甚至可以做成層疊的構架.

2.4 用減熵加工出的世界信息被極大地壓縮了碼量

把信號數(shù)據(jù)集團中的各個“象”檢測出來，賦予它們以“象編碼符號”;再將相關的“象”歸納為相應的“物”，賦予它們以“物編碼符號”;然后，再尋找各物性態(tài)之間的聯(lián)系，歸納為規(guī)律，賦予規(guī)律以“規(guī)律名符號”;從而最終建立起以這些概念符號即語言和文字為編碼的整個世界事物信息檔案即數(shù)據(jù)集團.可以肯定，凡是以代表大約束量的“象符號”、“物符號”、“規(guī)律名符號”等概念符號作為編碼組成的信息數(shù)據(jù)集團，具有強大壓縮編碼量的效果.從而，在腦中“認知適用”的世界信息所占的碼量也會盡可能地少.

這其實也就是為什么人類認知要使用“象”、“事物”及性態(tài)、“規(guī)律”等為詞語即概念符號的語言體系的原因.

盡管各民族的語言不同，但從形象到概念的“簡易化”的認知進化過程是基本相同的.所以只要經(jīng)過詞語的對譯，不同語言的人們就可以迅速互相理解.進而言之，一個電腦機器人如果植入同樣的簡易化的認知軟件，在其實踐活動中，也就可以有仿人的智慧并能和人類進行概念性的思想交流.

雖然理論上說來，簡易化認知所占的腦容量應該是最少，但大腦并不用Shannon最少碼量原理來編碼，而是用約束集合即＂概念＂為碼元來編碼.這是因為，用概念編碼時，每個碼元都具有一定的含義，大腦很快就對之理解，認知過程非常簡捷清晰;而用最少碼量原理來編碼時，每個碼元并無意義，必須連接一批碼元到龐大的碼本中去查譯，這并不利于思維的活動.

3 Shannon信息理論和認知信息理論的對比

現(xiàn)在對比Shannon通信信息理論和認知信息理論在數(shù)學處理方面的不同之處:

1)通信理論在信源輸入數(shù)據(jù)中尋找“約束”(即減熵)，為的是消除這些約束帶來的冗余碼量，因而在信源編碼的數(shù)學變換中要消去這些約束;

而認知理論在感知輸入數(shù)據(jù)中尋找“約束”，為的是發(fā)掘這些約束，使之成為事物信息的源泉，從而構建認知世界的信息體系.

2)通信理論研究的內容是:在信道容量有限的條件下，如何能保證有效地傳輸盡可能多的信源信息;

而認知理論研究的內容則是:在腦容量有限的條件下，如何有效地保證腦中的“認知適用”的信息世界具有最大的清晰度.

3)通信理論追求最小碼量編碼方法;

而認知理論中則使用“概念”來壓縮編碼，盡管已實現(xiàn)了很大的編碼壓縮，但并不是最小碼量的編碼.

4 從約束的變異中加工狀態(tài)信息

那么，是不是在輸入數(shù)據(jù)中只有“約束”才是認知所關注的內容呢?其實并不完全如此.前已提到，對世界信息的認知，除了事物的“存在與否”及其“屬性如何”為重要的內容而外，事物的隨時間變化的“狀態(tài)如何”也是重要的內容.甚至在某種情況下，事物對象的當前狀態(tài)對認知者具有生命攸關的重要意義.而狀態(tài)信息的隨時變化性質則表現(xiàn)為一種“變異”.但這種變異是聯(lián)系于某個確定事物的變異;因事物體現(xiàn)約束，故狀態(tài)變異是在約束基礎上的一種變異.一般在大腦適時輸入感知信號、檢測約束即檢測事物存在及其屬性的同時，對事物參量的變異做出檢測，確定此時的狀態(tài)信息.

下面討論從事物“象”信息的變異中加工出狀態(tài)信息的數(shù)學原理.

假設某事物在大腦中已存儲有一個象A，而在當前適時觀察到的同一事物的象則為A';如存在有一種數(shù)學變換定式T(A，ρ)，其中ρ為一個標量或低維矢量(其維數(shù)遠低于A的維數(shù))，且有A=T(A，0).

當發(fā)現(xiàn)有

而ρ≠0時，則把ρ值看成為事物狀態(tài)變化的參數(shù)值.

如果事物狀態(tài)變化存在規(guī)律，ρ值常常是可以根據(jù)已經(jīng)發(fā)生的實況信息和已知有關規(guī)律的運算加以預測.有時能準確地預測到，多數(shù)情況為預測值在很大程度上接近于實際觀察之值.

如有某狀態(tài)信息參數(shù)ρ，其“認知適用”的取值集為V，如式(1)所示.

而在預測后，ρ在V集合中可能取值的概率分布變?yōu)?/p>

根據(jù)式(2)分別計算預測前和預測后的不定度之值為U和UP.

對于符合科學認知的預測，必有

即在預測時，將腦中的規(guī)律性知識作用于已知的實況性知識上，獲得

的信息量.而在實際觀察后，能準確測定ρ的取值時，認知者又進一步消除了UP所包含的全部不定度，使該信息的清晰度為1，即完全實現(xiàn)對該狀態(tài)信息的認知.

預測方法在各種信號處理技術中都有應用.如線性預測編碼——linear prediction coding在現(xiàn)代語音編碼技術中就被廣泛采用，即將出現(xiàn)的信號在預測后的平均不定度UP比起預測前的平均不定度U要明顯減小.

實際認知中，大腦并非在所有信號數(shù)據(jù)全部取得以后再做加工，而是在每當有感知信號輸入時，就立即在知覺的層級上進行快速而適時的分析計算，將有關的象信息和物信息提取出來，并根據(jù)需要指揮自身的行動;同時也會將重要的信息存入記憶;其余雜散的無序信號和無用信息則被基本清除，以節(jié)省大腦的存儲空間［8］.然后，大腦再在思維的層級上，用歸納和演繹方法進行知識的推理活動，建立和豐富理論知識，用理論知識去指導自己的實踐，并從實踐的檢驗中不斷修正和完善已有的知識體系.其間，大腦還要不斷向他人、導師和書籍學習，這是大腦豐富其實況性知識和規(guī)律性知識的重要源泉.

5 結束語

認知信息論采用Shannon信息論中信息熵的數(shù)學概念，從輸入信號數(shù)據(jù)集團中檢測“減熵”以確定“象”信息;再聯(lián)合諸個“象”信息用“減熵”法確定“物”(事)是否存在以及有什么樣的屬性的信息;同時，從所有事物性態(tài)的類比和關聯(lián)中再尋找“減熵”以建立“規(guī)律”的知識信息;利用已知實況信息和規(guī)律知識去推測其他未知的實況信息，以及預測即將發(fā)生的事物狀態(tài);并在適時觀察中，檢測“象”的變異來確定事物當前的狀態(tài)信息.這就是貫穿于“認知信息論”中的基本數(shù)學原理.

［1］SHANNON C E.A mathematical theory of communication［J］.The Bell System Technical Journal，1948，27:379-423，623-656.

［2］WIENER N.Cybernetics［M］.2nd ed.Cambridge:MIT Press，1961.

［3］HAKEN H.大腦工作原理［M］.上海:上?？萍冀逃霭嫔?，2000.

［4］LINDSAY P H，NORMAN D A.人的信息加工［M］.北京:科學出版社，1987.

［5］黃秉憲.腦的高級功能與神經(jīng)網(wǎng)絡［M］.北京:科學出版社，2000.

［6］ASHBY W R.An introduction to cybernetics［M］.London:Chapman＆ Hall Ltd，1956.

［7］錢學森.關于思維科學［M］.上海:上海人民出版社，1986.

［8］SOLSO R L，KIMBERLY MACLIN M，MACLIN O.Cognitive Psychology［M］.Beijing:Beijing University Press，2004.