差評君

在30歲出頭的時(shí)候，他僅用兩篇論文解決了許多懸而未決的問題，闡明了通信的基本問題，給出了通信系統(tǒng)模型，提出了信息量數(shù)學(xué)表達(dá)式、解決了信道容量、信源統(tǒng)計(jì)特性、信源編碼、信道編碼等一系列基本技術(shù)問題。他提出的信息論向各個(gè)學(xué)科發(fā)起了沖擊，最終的研究規(guī)模像雪球一樣越滾越大，幾乎觸及了一切領(lǐng)域，他，就是人稱信息學(xué)創(chuàng)世神的克勞德·艾爾伍德·香農(nóng)。

我們現(xiàn)在能用滴滴打車、能刷手機(jī)聽歌追劇，都欠香農(nóng)一聲感謝。作為信息學(xué)開創(chuàng)者，這個(gè)信息時(shí)代的一切科技——近到電腦、手機(jī)，遠(yuǎn)到5G、AI、大數(shù)據(jù)都通通離不開他的理論。有人這樣形容香農(nóng)，作為信息學(xué)的創(chuàng)世神，在創(chuàng)世之日就宣布了這個(gè)學(xué)科的終點(diǎn)。后來者的努力，無異于在他的前沿理論上做腳注，并一遍遍地證明他說得沒錯(cuò)。

緣起于專業(yè)的“雙修”

1916年4月30日香農(nóng)出生在美國密歇根州的小城蓋洛德。比起傳奇的后半生，他的童年略顯平凡，除了愛鼓搗機(jī)械之外平平無奇。他的父親沉迷社交，一天下來都沒有什么時(shí)間照顧他，所以小香農(nóng)就和小伙伴們自由地搜羅大人們不要的機(jī)械器材。小香農(nóng)就靠著這些撿來的零件，在鄰居家的谷倉搭了一臺升降機(jī)。照這樣下去，小香農(nóng)本該成為一個(gè)草根發(fā)明家，但好在他還有個(gè)姐姐。她姐姐有事沒事就愛找小香農(nóng)解數(shù)學(xué)題，小香農(nóng)自然就對數(shù)學(xué)產(chǎn)生了濃厚的興趣。等香農(nóng)上了大學(xué)，再也沒有人能阻止他對機(jī)械的向往了。他踏上了同時(shí)攻讀數(shù)學(xué)和工程學(xué)兩個(gè)專業(yè)的旅程，當(dāng)時(shí)的專業(yè)劃分沒現(xiàn)在這么細(xì)，工程學(xué)和數(shù)學(xué)更像是針尖對麥芒：數(shù)學(xué)以抽象為美，工程學(xué)則是以應(yīng)用為前提，因此兩邊誰也看不慣誰。這讓香農(nóng)在年僅20歲時(shí)就成了另類的“雙修選手”，并前往麻省理工學(xué)院師從范內(nèi)瓦·布什攻讀電子工程學(xué)碩士。

正是在布什的引導(dǎo)下，香農(nóng)逐漸成為“一人開創(chuàng)一學(xué)科”的天才。而布什這位老師比香農(nóng)還狠，僅學(xué)位就有6個(gè)。參加過一戰(zhàn)的布什，當(dāng)時(shí)正奉命研發(fā)更先進(jìn)的計(jì)算機(jī)，用于美軍轟炸機(jī)瞄準(zhǔn)和火力控制系統(tǒng)。相比現(xiàn)代計(jì)算機(jī)而言，當(dāng)時(shí)的計(jì)算機(jī)不僅算得慢，而且只能計(jì)算特定的問題。布什發(fā)明的這臺微積分分析機(jī)已經(jīng)算得上當(dāng)時(shí)性能最棒的，但這臺重達(dá)100多噸的大家伙，算個(gè)微積分方程也依然要嘎吱嘎吱跑上好幾天。這臺機(jī)械版分析機(jī)要靠電力驅(qū)動(dòng)齒輪、軸承這類的機(jī)械轉(zhuǎn)動(dòng)部件，最終指針指哪，哪就是運(yùn)算的結(jié)果。不僅用起來很麻煩，平時(shí)還得把機(jī)器伺候好，給齒輪上油、做保養(yǎng)，再按圖紙精確組裝到位。建個(gè)方程組就要耗上好幾天，哪里還有力氣改變世界？于是這擔(dān)子自然就落到了資歷最淺的香農(nóng)肩上，雖說能摸到當(dāng)時(shí)地表最強(qiáng)的計(jì)算裝置固然不錯(cuò)，但天天上油打蠟也不是個(gè)正經(jīng)活兒。于是香農(nóng)就開始琢磨，到底要怎么解放自己？他很快就發(fā)現(xiàn)，分析計(jì)算都是機(jī)械裝置在拖后腿，如果全交給電路來計(jì)算的話，不用上油不說，速度還可以翻上幾倍。盡管電路的電平變化可以實(shí)現(xiàn)邏輯運(yùn)算的理論如今很多人都知道，但是當(dāng)時(shí)根本沒有人會(huì)想到去給電路賦能，更沒想過用它去解數(shù)學(xué)題。

因?yàn)楫?dāng)時(shí)工程師不會(huì)把數(shù)學(xué)研究很深，數(shù)學(xué)家更不會(huì)去鉆研不優(yōu)雅的機(jī)械，這事就成了死結(jié)。這對工數(shù)雙修才21歲的香農(nóng)根本不是個(gè)事兒，他掏出大學(xué)學(xué)過的布爾代數(shù)，用電路的開與關(guān)來表示二進(jìn)制的0和1，一款不用拆卸保養(yǎng)的電路數(shù)字計(jì)算機(jī)的雛形就這樣問世了。香農(nóng)在1937年把想法完善成了論文《繼電器和開關(guān)電路的符號分析》。至此電氣工程師們第一次有公式可循，他的論文也成了有史以來最重要的碩士論文。布什也注意到了香農(nóng)的才華，開始有意識地鍛煉香農(nóng)，為了讓香農(nóng)的數(shù)學(xué)繼續(xù)進(jìn)步，他曾去求隔壁數(shù)學(xué)系讓香農(nóng)攻讀博士學(xué)位。甚至在香農(nóng)決定博士論文要研究遺傳學(xué)方向之后，布什也沒有反對，還托關(guān)系讓香農(nóng)接觸國家機(jī)密級的相關(guān)資料。香農(nóng)也不負(fù)眾望，他的博士論文做出了領(lǐng)先當(dāng)時(shí)10年的成果，要知道遺傳學(xué)專業(yè)并非他主攻的領(lǐng)域。

“信息論”的蛻變

香農(nóng)橫飛的才華也讓他幾經(jīng)輾轉(zhuǎn)來到了科學(xué)圣地——美國的貝爾實(shí)驗(yàn)室，電話、晶體管、C語言、Unix系統(tǒng)等一系列技術(shù)都是從這個(gè)實(shí)驗(yàn)室走出來的?？删退阍谶@個(gè)神仙打架的地方，香農(nóng)也依然是特立獨(dú)行的。同事很多時(shí)候都跟不上他的思路，香農(nóng)只好一個(gè)人做研究，而他的研究結(jié)果太超前，在歷史上最重要的碩士論文發(fā)表的10年之后，1947年香農(nóng)發(fā)表了論文《通信的數(shù)學(xué)理論（A Mathematics Theory of Communication）》，一舉開創(chuàng)了信息學(xué)。這篇文章厲害到什么程度呢？它發(fā)表后直接啟發(fā)了兩個(gè)領(lǐng)域的發(fā)展方向，同時(shí)也是人類歷史上被引用次數(shù)最多的論文。信息論雖難，但說白了就是兩件事情：什么是信息，以及怎么傳輸信息。之前大家都認(rèn)為信息的核心是內(nèi)容，而香農(nóng)卻說信息就是不確定性的減少?！斑^去可知卻不可控，未來可控卻不可知”這句話就出自他口。

范內(nèi)瓦·布什從1930年開始著手設(shè)計(jì)能夠求解微分方程的“微分分析機(jī)”的工作，造出世界上首臺模擬電子計(jì)算機(jī)。這一開創(chuàng)性工作為二戰(zhàn)后數(shù)字計(jì)算機(jī)的誕生掃清了道路。40年代早期，范內(nèi)瓦·布什作為羅斯?？偨y(tǒng)的科學(xué)顧問，組織和領(lǐng)導(dǎo)了制造第一顆原子彈的著名的“曼哈頓計(jì)劃”。

這是香農(nóng)為他的機(jī)械老鼠設(shè)計(jì)的迷宮箱，箱子表面是機(jī)械老鼠和迷宮，而箱體內(nèi)是用早期電路開關(guān)設(shè)計(jì)的邏輯通路。

當(dāng)然如果要用數(shù)學(xué)去考量信息，就得先把信息量化。于是香農(nóng)定義了一個(gè)概念——信息熵。信息熵越大，信息的不確定性就越高。通過度量不確定的程度，三下五除二就從側(cè)面把信息量化了。用語言來舉例，信息熵越低，產(chǎn)生歧義的可能性就越小。香農(nóng)自己算了一下，每個(gè)英語單詞的信息熵只有2.62，遠(yuǎn)低于漢字的9.6。這也是為什么英語交流的不確定性會(huì)比中文要小得多。作為漢語使用者，我們需要把重要的事情重復(fù)三遍，因?yàn)榭倱?dān)心別人會(huì)誤解自己的意思，以至于大家覺得信息根本沒辦法做到無損傳輸。

而香農(nóng)用這個(gè)公式證明了在一定條件下，不僅信息能夠無損傳輸，還能在不損失信息量的前提下，變法子壓縮傳輸，他連壓縮的效率都直接給定好了。香農(nóng)甚至還用它教人們該如何定義通信技術(shù)，今天我們用的寬帶、手機(jī)信號也是基于他的理論，早在70多年前就已經(jīng)把5G的下載速度給定好了。而這篇文章在第二年就被直接改了名，從《通信的數(shù)學(xué)理論》改為“信息論”，寥寥數(shù)字之差就是學(xué)者到宗師的蛻變。在香農(nóng)功成名就之后，他做了只機(jī)械老鼠，讓這只老鼠通過不斷自主學(xué)習(xí)，最終走出迷宮。他還做了一臺下棋機(jī)器人，天天抓同事給機(jī)器人當(dāng)陪練。因?yàn)閷@兩個(gè)小機(jī)器的思考，他成了達(dá)特茅斯會(huì)議的發(fā)起人，催生了人工智能革命。

愛因斯坦提前100年預(yù)言了引力波，帶我們了解這個(gè)物質(zhì)世界，而香農(nóng)則是教我們?nèi)绾卧谖镔|(zhì)世界中再造一個(gè)數(shù)字世界。愛因斯坦闡述了世界，香農(nóng)重新定義了世界，解決無數(shù)難題后的香農(nóng)在2001年因阿爾茨海默癥去世。此時(shí)的人們以為吃透了信息論，逐漸讓“字節(jié)”的概念進(jìn)入了普通人的生活，可是數(shù)字世界越完善，我們才越發(fā)察覺這些年信息領(lǐng)域中出現(xiàn)的所有進(jìn)步，其實(shí)早就在1947年就被香農(nóng)一板一眼地寫進(jìn)了“信息論”。

（責(zé)編：南名俊岳）

信息熵

舉個(gè)例子，一副52張的撲克牌，取一張做底牌，最多猜51次就能猜到正確答案，每猜錯(cuò)一次，沒被猜過的牌就變少了，這就是香農(nóng)所說的“不確定性在減少”。當(dāng)然，如果直接猜對了，不確定性就直接歸零。這個(gè)過程中每次猜牌的對和錯(cuò)都是信息，對與錯(cuò)、是與非都是二選一，這和他碩士論文里解決0和1問題相同，每個(gè)0和1都代表了一個(gè)確定信息，稱為“一字節(jié)（1bit）”。把一個(gè)問題分成無數(shù)個(gè)是非題，那文字、圖片、聲音等就能用開關(guān)狀態(tài)進(jìn)行表達(dá)。