亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        信息論之父克勞德·香農(nóng):刷新你對(duì)信息的想象

        2018-03-01 09:04:16編譯費(fèi)文緒
        世界科學(xué) 2018年2期
        關(guān)鍵詞:香農(nóng)信息熵傳記

        編譯 費(fèi)文緒

        一部新傳記向讀者介紹了克勞德·香農(nóng):樂此不疲的創(chuàng)新者,古靈精怪的雜耍家和獨(dú)輪車愛好者,被譽(yù)為信息論奠基者的數(shù)學(xué)家。

        《游戲之心:克勞德·香農(nóng)如何開創(chuàng)信息時(shí)代》(A Mind at Play: How Claude Shannon Invented the Information Age)是吉米·索尼(Jimmy Soni)和羅布·古德曼(Rob Goodman)所著的克勞德·香農(nóng)的新傳記,這位數(shù)學(xué)家被奉為“信息論之父”。

        該傳記以一則趣聞?shì)W事向我們介紹了主人公香農(nóng):香農(nóng)在20世紀(jì)60年代淡出公眾的視線后,在1985年出人意料地在英國(guó)布賴頓的國(guó)際信息理論研討會(huì)上露面。這位白發(fā)蒼蒼的羞澀名人最終被人認(rèn)出來,尋求簽名的粉絲們很快就把他團(tuán)團(tuán)圍住。在研討會(huì)主席的盛情邀請(qǐng)下,香農(nóng)不情愿地在晚宴上登臺(tái),忍受著自己被隆重介紹為“我們這個(gè)時(shí)代最偉大的科學(xué)巨匠之一”。當(dāng)與會(huì)者的歡呼和掌聲最終平息,香農(nóng)只能說,“這真是——太可笑了!”他把手伸到衣服口袋里,變戲法一樣掏出3個(gè)球,竟然當(dāng)場(chǎng)玩起了雜耍。

        香農(nóng)是一個(gè)狂熱的獨(dú)輪車愛好者,他喜歡設(shè)計(jì)和制造各種稀奇古怪的獨(dú)輪車。比如,他設(shè)計(jì)了一種輪轂偏離中心的獨(dú)輪車,會(huì)導(dǎo)致騎行者在踩踏板時(shí)上下彈跳。不管香農(nóng)是否重新設(shè)計(jì)了數(shù)據(jù)傳輸或獨(dú)輪車,該傳記的作者都指出,香農(nóng)的工作表現(xiàn)出了“對(duì)建模的精通:他善于從大問題中提煉出核心實(shí)質(zhì)”。

        研討會(huì)主席后來這樣描述這個(gè)不同尋常的場(chǎng)景:“香農(nóng)出現(xiàn)在信息理論研討會(huì)上,那情形簡(jiǎn)直就像是牛頓出現(xiàn)在物理學(xué)學(xué)術(shù)會(huì)議上,太轟動(dòng)了!”盡管這樣類比有夸大其辭之嫌(據(jù)我們所知,牛頓并不會(huì)變戲法),研討會(huì)主席的這句總結(jié)表達(dá)出人們對(duì)香農(nóng)的景仰,而且這種景仰隨著歲月流逝只會(huì)與日俱增,在2016年香農(nóng)百年誕辰之際更是達(dá)到了前所未有的巔峰。全世界各地都在舉辦紀(jì)念大會(huì)。谷歌涂鴉紀(jì)念了香農(nóng)的生日——1916年4月30日,這一天,克勞德·香農(nóng)出生于美國(guó)密歇根州佩托斯基。不知道生前低調(diào)的香農(nóng)對(duì)身后所有這些大張旗鼓的紀(jì)念活動(dòng)會(huì)怎么想。

        不過,世人對(duì)香農(nóng)的景仰也是情有可原的:香農(nóng)那些具有里程碑意義的創(chuàng)新——尤其是通過確定數(shù)字電路可以如何設(shè)計(jì)——奠定了信息傳輸編碼的理論基礎(chǔ),使他與當(dāng)今的信息時(shí)代結(jié)下了不解之緣。在香農(nóng)的百年誕辰之后,新聞?dòng)浾咚髂岷妥骷?、政治學(xué)家古德曼為好奇的讀者獻(xiàn)上了關(guān)于這位最謙遜的數(shù)學(xué)家香農(nóng)的更多故事。

        香農(nóng)最多產(chǎn)的時(shí)期是1940至1955年前后,期間他在曼哈頓的貝爾實(shí)驗(yàn)室(后來搬到了新澤西的默里山)。第二次世界大戰(zhàn)期間,他開展各種涉及電子學(xué)和密碼學(xué)的研究項(xiàng)目。不過,香農(nóng)經(jīng)久不衰的聲譽(yù)主要是建立在他那篇?jiǎng)潟r(shí)代的論文《通信的數(shù)學(xué)理論》(A Mathematical Theory of Communication),1948年發(fā)表于《貝爾系統(tǒng)技術(shù)雜志》(Bell System Technical Journal),1963年由伊利諾伊大學(xué)出版社再版。

        在這篇短小精悍的論文中,香農(nóng)思考了沿著有噪聲的信道傳輸數(shù)字?jǐn)?shù)據(jù)(也就是0和1組成的數(shù)列)的問題。那時(shí),很多人都認(rèn)為要增加信息傳輸速率,只需增加信源的功率。在貝爾實(shí)驗(yàn)室兩位同事哈里·奈奎斯特(Harry Nyquist)和拉爾夫·哈特利(Ralph Hartley)前期工作的基礎(chǔ)上,香農(nóng)表明,實(shí)際上任何信道的信息傳輸速率都存在一個(gè)最大值。假設(shè)信道干擾是由白噪聲造成的,香農(nóng)給出了一個(gè)由帶寬和信噪比計(jì)算出最大信息傳輸速率的簡(jiǎn)便公式。用這個(gè)公式計(jì)算出來的信息傳輸速率是一個(gè)銳利的極值,意味著我們可以無限逼近這個(gè)極值,卻永遠(yuǎn)無法超越這個(gè)極值。

        任何數(shù)據(jù)傳輸都難免出錯(cuò)——隨機(jī)地把0接收成了1,或是反之。香農(nóng)表明,如果信息傳輸速率小于最大值,那么就存在發(fā)送數(shù)據(jù)(通過對(duì)傳輸進(jìn)行編碼)的方法,能讓出錯(cuò)的概率任意小。不過,找到這種代碼的工作則留給那些接過這一挑戰(zhàn)的人。如今,從錄制音樂到探測(cè)器向地球傳回火星照片,很多數(shù)字任務(wù)都使用了建立在香農(nóng)定理基礎(chǔ)上的數(shù)據(jù)壓縮算法。

        雖然“信息”一詞語(yǔ)義學(xué)上的詞義時(shí)過境遷,但是對(duì)“信息”的抽象闡釋才是香農(nóng)信息論的核心。滿足某個(gè)特定規(guī)則(比如,0不能緊跟在0后面)的任何0和1組成的字符串都是可以接受的。于是,英語(yǔ)單詞可以通過這種方式進(jìn)行通信——把不同的0和1組成的字符串分配給每個(gè)字母(包括把空格作為一個(gè)額外的字母)。

        誠(chéng)如香農(nóng)觀察到的,我們的語(yǔ)言中存在一定量的冗余。比如,你可以讀懂這個(gè)句子,但是,正如索尼和古德曼在傳記中所傳達(dá)的,香農(nóng)也觀察到大多數(shù)人讀懂這個(gè)簡(jiǎn)寫的句子“MST PPL HV LTTL DFFCLTY N RDNG THS SNTNC”幾乎都沒有困難——這是任何人發(fā)送文本信息時(shí)都熟悉的情況。香農(nóng)給出了一則信息中所傳輸?shù)男畔⒘康亩x。然后,他定義了信息中排除冗余后的平均信息量,他稱之為“信息熵”。比如,如果我們限定自己所知的均是由0和1組成的信息,那么,一個(gè)信源如果只能產(chǎn)生1,則信息熵為0;如果一個(gè)信源以擲硬幣的方式產(chǎn)生0和1(即0和1出現(xiàn)的概率分別是0.5),則具有可能的最大信息熵。

        索尼和古德曼講述了關(guān)于香農(nóng)選擇“信息熵”一詞的著名故事。數(shù)學(xué)家馮·諾依曼指出,香農(nóng)的“熵”概念與數(shù)十年來熱力學(xué)中一直使用的“熵”概念有著不可思議的相似性?!澳銘?yīng)該把你的概念稱為‘熵’,有兩個(gè)原因,”馮·諾依曼向香農(nóng)建議,“首先,你的不確定性函數(shù)已經(jīng)以那個(gè)名字用在了統(tǒng)計(jì)力學(xué)中,所以它已經(jīng)有一個(gè)名字了。其次,而且更為重要的是,沒有人知道‘信息熵’究竟是什么,所以,你將總是在爭(zhēng)論中占上風(fēng)?!?/p>

        “幾乎可以肯定,這樣的對(duì)話以前從未發(fā)生過。”兩位傳記作者堅(jiān)稱,盡管有質(zhì)疑的聲音在別處回響。不過,在1971年與工程師邁倫·特里布斯(Myron Tribus)的會(huì)談中,香農(nóng)本人對(duì)這個(gè)故事的敘述與傳記作者如出一轍。姑且不論這個(gè)故事真實(shí)與否,香農(nóng)對(duì)熱力學(xué)術(shù)語(yǔ)“熵”的借用,激起了學(xué)術(shù)界關(guān)于信息論和熱力學(xué)之間深層關(guān)聯(lián)的富有成效的討論。從事概率論和動(dòng)力系統(tǒng)領(lǐng)域研究的數(shù)學(xué)家后來聽說了香農(nóng)對(duì)“信息熵”的定義,發(fā)現(xiàn)他們可以對(duì)“熵”這個(gè)概念進(jìn)行拓展,然后有效地運(yùn)用到自己的研究工作中。不難想象,馮·諾依曼這位20世紀(jì)最偉大的數(shù)學(xué)大師之一,在向香農(nóng)提建議時(shí),早已預(yù)見到了“信息熵”這一概念后來的一些發(fā)展了。

        人們總是難以抗拒誘惑,去回顧天才的早年生活,從中搜尋那些預(yù)示著天才將來之偉大的吉光片羽。不過,在香農(nóng)的例子中,我們鮮有發(fā)現(xiàn)天才的早年指征。我們?cè)趥饔浿凶x到,香農(nóng)贏得了3年級(jí)感恩節(jié)故事寫作比賽并且在學(xué)校的音樂劇中吹奏中音號(hào)。他喜歡造東西、修東西,像很多20世紀(jì)20年代的少年一樣,尤其喜歡搗鼓收音機(jī)。他覺得數(shù)學(xué)很容易,喜歡數(shù)學(xué)具有競(jìng)爭(zhēng)性的方面,但是沒有證據(jù)表明香農(nóng)具有超常的數(shù)學(xué)能力。

        同樣,香農(nóng)的大學(xué)經(jīng)歷也鮮有跡象預(yù)示他的卓越才能。他就讀于密歇根大學(xué),獲得了數(shù)學(xué)和電氣工程雙學(xué)士學(xué)位,當(dāng)選榮譽(yù)組織Phi Kappa Phi和Sigma Xi的會(huì)員。對(duì)于《美國(guó)數(shù)學(xué)月刊》(American Mathematical Monthly)上刊登的數(shù)學(xué)問題,他發(fā)表了兩個(gè)解法,該期刊是同時(shí)面向?qū)W生和教師的闡述性期刊。香農(nóng)的這些才能值得稱贊,可無疑并非罕見的才能。可惜,我們不知道香農(nóng)的老師是誰(shuí),也不知道他在密歇根大學(xué)上過哪些數(shù)學(xué)和科學(xué)課程。這些信息本來可以幫助我們預(yù)測(cè)香農(nóng)之天才的第一道閃光——他于1937年完成的碩士學(xué)位論文。

        運(yùn)氣可以說是名人履歷中的一個(gè)標(biāo)準(zhǔn)要素,對(duì)于香農(nóng)來說,運(yùn)氣的降臨是在他讀碩士研究生期間。1936年春天,他注意到公告板上粘貼的一張打印的廣告——麻省理工學(xué)院(MIT)招募一個(gè)研究生助教,職責(zé)是運(yùn)行一臺(tái)微分分析器,這種機(jī)械計(jì)算機(jī)是用來解微積分方程的。1876年,這種模擬計(jì)算機(jī)就已經(jīng)誕生了,不過MIT的這臺(tái)微分分析器同時(shí)還有一些數(shù)字部件,是第一臺(tái)能用于一般應(yīng)用的模擬計(jì)算機(jī)。最終,它能解有18個(gè)獨(dú)立變量的微分方程。它的發(fā)明者是哈羅德·黑曾(Harold Hazen)和萬(wàn)尼瓦爾·布什(Vannevar Bush)?!拔液芘Φ貭?zhēng)取這份工作,最終得到了它,”香農(nóng)回憶,“那是我一生中遇到的最幸運(yùn)的事情之一。”

        萬(wàn)尼瓦爾·布什是美國(guó)科學(xué)史上的一位偉人。他于1919年加盟MIT的電氣工程系,3年后創(chuàng)立了一家軍用物資供應(yīng)企業(yè),現(xiàn)名為雷神公司。1941年,布什幫助說服羅斯??偨y(tǒng)開始制造原子彈,并在原子彈研制中發(fā)揮領(lǐng)導(dǎo)作用。在MIT,布什賞識(shí)香農(nóng)的才華,認(rèn)真為香農(nóng)的職業(yè)生涯考慮,指導(dǎo)香農(nóng)直到研究生畢業(yè),而后進(jìn)入貝爾實(shí)驗(yàn)室工作。

        香農(nóng)的碩士學(xué)位論文《繼電器與開關(guān)電路的符號(hào)分析》(A Symbolic Analysis of Relay and Switching Circuits)被認(rèn)為是有史以來最重要的碩士論文。這篇論文完成于1937年,運(yùn)用英國(guó)邏輯學(xué)家喬治·布爾(George Boole)100年前提出的概念來簡(jiǎn)化構(gòu)成電路網(wǎng)絡(luò)的繼電器排列。香農(nóng)的符號(hào)系統(tǒng)優(yōu)美又實(shí)用,為現(xiàn)代數(shù)字電路設(shè)計(jì)奠定了基礎(chǔ)。大多數(shù)數(shù)學(xué)家在離散數(shù)學(xué)課上教授布爾代數(shù)在電路中的應(yīng)用時(shí),并沒有意識(shí)到他們傳授的其實(shí)是香農(nóng)論文中的思想。50多年后,香農(nóng)淡化了他的發(fā)現(xiàn)的意義?!爸徊贿^是碰巧當(dāng)時(shí)沒有其他人同時(shí)熟悉這兩個(gè)領(lǐng)域,”他告訴一位采訪者,并補(bǔ)充說,“而我一直很喜歡‘布爾’這個(gè)詞?!?/p>

        布什不但善于判斷人的才智,而且對(duì)人的性情有著精明的觀察。他本來可能為自己的新門生擔(dān)心,因?yàn)橄戕r(nóng)在大學(xué)2年級(jí)時(shí)失去了父親,而且之后不久由于某種原因與母親不再講話。于是,布什鼓勵(lì)香農(nóng)在冷泉港實(shí)驗(yàn)室研習(xí),把布爾代數(shù)應(yīng)用到孟德爾遺傳學(xué)中。在那里,香農(nóng)由富有同情心的心理學(xué)家芭芭拉·伯克斯(Barbara Stoddard Burks)監(jiān)管,伯克斯對(duì)天才的遺傳學(xué)感興趣,尤其熱衷研究遺傳和環(huán)境的問題。冷泉港實(shí)驗(yàn)室的遺傳學(xué)記錄辦公室有超過25年的數(shù)據(jù)供香農(nóng)深思細(xì)想。不到一年時(shí)間,香農(nóng)就已經(jīng)學(xué)會(huì)了足夠多的遺傳學(xué)知識(shí),來完成他的博士學(xué)位論文《理論遺傳學(xué)的代數(shù)學(xué)》(An Algebra for Theoretical Genetics),這是一篇精妙的卻過于理論化的論文,對(duì)遺傳學(xué)家來說借鑒意義不大。香農(nóng)的這段經(jīng)歷證實(shí)了布什和伯克斯的一致看法:香農(nóng)是一個(gè)天才,他能快速掌握一個(gè)新學(xué)科的知識(shí),并從中創(chuàng)造出有意義的數(shù)學(xué)。不過,香農(nóng)對(duì)自己的這項(xiàng)研究工作卻不太看重。他逃離了遺傳學(xué)這個(gè)領(lǐng)域,并且從未想過要出版自己的這篇博士學(xué)位論文。若干年后,他自黑地評(píng)論道,“有幾年,我曾愉快地充當(dāng)一位遺傳學(xué)家。”

        獲得博士學(xué)位后,香農(nóng)在貝爾實(shí)驗(yàn)室度過了一個(gè)暑假,在普林斯頓高等研究院工作了一年,最終回到貝爾實(shí)驗(yàn)室找到了全職工作。

        香農(nóng)很幸運(yùn)地正值美國(guó)大力資助研發(fā)事業(yè)的時(shí)期在貝爾實(shí)驗(yàn)室工作。他的才華使他有資格享受今天看起來似乎不可能的科研自由,現(xiàn)在國(guó)際競(jìng)爭(zhēng)激烈,股東要求快速盈利,科研人員很難享有完全的科研自由。以他特有的謙虛,香農(nóng)有一次向貝爾實(shí)驗(yàn)室的一位管理者承認(rèn),“我總感覺,我在實(shí)驗(yàn)室享有的自由似乎是實(shí)驗(yàn)室對(duì)我的一種特別的厚愛。”

        受到變換工作環(huán)境和學(xué)術(shù)生涯相對(duì)安穩(wěn)的誘惑,香農(nóng)于1958年接受MIT提供的職位,于1978年退休。伴隨香農(nóng)這么久的好運(yùn)氣終于在20世紀(jì)80年代離他而去,那時(shí)香農(nóng)開始表現(xiàn)出患上阿爾茨海默氏癥的跡象。2001年,香農(nóng)因病去世。

        《游戲之心》是一本由香農(nóng)的兩位崇拜者娓娓道來的有愛的傳記,尤其擅長(zhǎng)講述為其主人公增添魅力的很多故事。香農(nóng)是一位富有創(chuàng)造力的“修理匠”,具有獨(dú)一無二的幽默感,他發(fā)明了很多稀奇古怪而且有趣的設(shè)備,在傳記中都得到了描述,包括電動(dòng)彈簧單高蹺、火箭動(dòng)力飛盤、雜耍機(jī)、用羅馬數(shù)字運(yùn)算的計(jì)算機(jī),以及繼電器控制的機(jī)器鼠,它會(huì)闖迷宮并記住自己走過的路線。香農(nóng)發(fā)明的所謂“終極機(jī)器”吸引了到訪貝爾實(shí)驗(yàn)室的科幻作家阿瑟·C·克拉克。在其1958年的作品《越洋之聲》(Voice across the Sea)中,克拉克有一段關(guān)于該機(jī)器操作的描述:當(dāng)你打開開關(guān),會(huì)聽到憤怒的意味深長(zhǎng)的蜂鳴聲,蓋子緩緩打開,從里面伸出一只手,向下摸索關(guān)掉開關(guān),然后退回到盒子中。盒子最終合上后,蓋子砰地關(guān)上,蜂鳴聲停止,一切重歸寂靜。

        當(dāng)提到數(shù)學(xué)時(shí),《游戲之心》有點(diǎn)不太成功。例如,關(guān)于香農(nóng)的“色彩編碼定理”和哈特利的信息公式的結(jié)論都敘述有誤。作者用拋硬幣的比方來描述香農(nóng)的信息熵,令人欽佩,但是他們就此打住,并沒有進(jìn)一步解釋更普遍的信息源的信息熵問題。讀者倘若希望了解香農(nóng)的研究工作的細(xì)節(jié),最好去讀香農(nóng)的論文,這些論文寫得很好,而且在網(wǎng)上可以免費(fèi)獲取。

        比技術(shù)方面的小失誤更令人苦惱的是作者關(guān)于《通信的數(shù)學(xué)理論》一文發(fā)表后所受非難的討論。在引用概率學(xué)家約瑟夫·杜布(Joseph Doob)在一次采訪中的尖銳評(píng)論后,作者想象了純數(shù)學(xué)家結(jié)成陰謀來責(zé)備香農(nóng)的應(yīng)用研究。當(dāng)然,香農(nóng)給出的定義和證明并非總是完整的、正確的。例如,前文談到的,香農(nóng)關(guān)于通過編碼最優(yōu)化利用有噪聲信道的定理,最終被埃米爾·范斯坦(Amiel Feinstein)于1954年證明,所以如今被稱為香農(nóng)-范斯坦定理。從過去到現(xiàn)在,數(shù)學(xué)界仍然持續(xù)運(yùn)用和推崇香農(nóng)的研究成果。發(fā)表了杜布對(duì)香農(nóng)可笑評(píng)論的《數(shù)學(xué)評(píng)論》(Mathematical Reviews)就收錄了2 000多篇提到香農(nóng)的信息熵的評(píng)論文章。

        香農(nóng)所做的不僅僅是開辟了信息論的嶄新領(lǐng)域,還示范了把充滿熱情的探究和對(duì)玩世不恭的喜愛結(jié)合起來會(huì)取得何種成就?!队螒蛑摹肥且槐玖钊擞淇斓膫饔?,把我們和克勞德·香農(nóng)獨(dú)一無二的心靈聯(lián)結(jié)在一起。

        猜你喜歡
        香農(nóng)信息熵傳記
        基于信息熵可信度的測(cè)試點(diǎn)選擇方法研究
        大衛(wèi),不可以
        從后現(xiàn)代主義傳記戲劇到元傳記:重讀《戲謔》與《歇斯底里》中的荒誕性
        傳記必須回歸史學(xué)
        傳記書坊
        基于信息熵的實(shí)驗(yàn)教學(xué)量化研究
        校園恩仇錄:小混混和易拉罐女王的故事
        An analysis on the translation of the name of a Missionaries’newspaper
        一種基于信息熵的雷達(dá)動(dòng)態(tài)自適應(yīng)選擇跟蹤方法
        艾米麗的呼嚕
        亚洲成av人综合在线观看| 国产杨幂AV在线播放| 乱子真实露脸刺激对白| 亚洲国产成人精品激情| 少妇一级aa一区二区三区片| 亚洲综合av一区在线| 伊人久久大香线蕉av最新午夜| 国产精品videossex久久发布| 亚洲国产成人片在线观看| 区二区欧美性插b在线视频网站| 色窝窝手在线视频| 丰满又紧又爽又丰满视频| 美女露内裤扒开腿让男人桶无遮挡| 卡一卡二卡三无人区| 欧美精品免费观看二区| AV中文码一区二区三区| 人妖在线一区二区三区| 中文字幕亚洲精品一区二区三区| 好吊妞无缓冲视频观看| 狠狠爱无码一区二区三区| 狠狠色狠狠色综合网老熟女| 亚洲精品国产av一区二区| 人妻少妇69久久中文字幕| 米奇7777狠狠狠狠视频影院| 国产伦精品一区二区三区视| 黄页国产精品一区二区免费| 国产午夜在线视频观看| 国产suv精品一区二区883 | 亚洲一区二区三区色偷偷| 亚洲综合网站久久久| 国产成人无码免费视频在线| 人妻无码一区二区在线影院| 午夜视频福利一区二区三区| 国产免费在线观看不卡| 含紧一点h边做边走动免费视频| 精品无码久久久久成人漫画| 久久精品国产6699国产精| 亚洲av网一区二区三区成人| 黑人巨茎大战俄罗斯美女| 国产亚洲精品aaaaaaa片 | 熟妇激情内射com|