?

香農(nóng)在萬尼瓦爾·布什的建議下，將他的理論應(yīng)用于遺傳學(xué)。當(dāng)時(shí)沃森和克里克還沒有弄清楚DNA的結(jié)構(gòu)，但是既然遺傳物質(zhì)必然包含信息，概率一類的東西，為什么不嘗試一下呢？在讀了所有他能找到的有關(guān)遺傳學(xué)的書后，香農(nóng)撰寫了《理論遺傳學(xué)的代數(shù)》（An Algebra for Theoretical Genetics），用線性代數(shù)描述不同遺傳性狀在遺傳中的可能性。因此，就能用線性代數(shù)來預(yù)測性狀是如何代代相傳的。不過，這種理論并沒有被生物學(xué)家大規(guī)模使用。但至少，1940年香農(nóng)以此得到了麻省理工學(xué)院的博士學(xué)位，和在普林斯頓高等研究院的工作。而在那里，他可以接觸到那個(gè)時(shí)代最閃耀的一批人——阿爾伯特·愛因斯坦、庫爾特·哥德爾、馮·諾依曼……

?

物理學(xué)圣地，普林斯頓高等研究院（圖片來源：Hanno Rein，Wikipedia）

?

在這批人的光芒的掩蓋之下，即使是當(dāng)時(shí)的香農(nóng)，也不過是一個(gè)初出茅廬的毛頭小子。按照香農(nóng)的說法：“我見過這些人，可是他們沒有見過我。”那時(shí)信息論已經(jīng)在他頭腦中醞釀。但他失望地發(fā)現(xiàn)，在普林斯頓高等研究院中，所有人關(guān)心的都是一些量子力學(xué)、廣義相對(duì)論的本質(zhì)之類的問題，他那些更實(shí)用一些的數(shù)學(xué)問題并沒有人關(guān)心。

?

無人關(guān)心，再加上二戰(zhàn)的爆發(fā)，他只在高等研究院待了兩個(gè)月，就加入了貝爾實(shí)驗(yàn)室，在軍方的直接領(lǐng)導(dǎo)下研究火控系統(tǒng)和密碼學(xué)。根據(jù)《香農(nóng)傳》（The Bit Player）中，對(duì)香農(nóng)前妻、前女友和妻子三人的采訪，可以知道香農(nóng)是一個(gè)帥氣且有情調(diào)的人。而正是在軍方領(lǐng)導(dǎo)的貝爾實(shí)驗(yàn)室工作時(shí)，他甚至無法維持和第一任妻子的婚姻，可見這段經(jīng)歷讓他有多消沉。

?

不過在貝爾實(shí)驗(yàn)室的工作也不是全是壞事，至少他接觸到了艾倫·圖靈（Alan Turing），并得知了他的“圖靈機(jī)”。他對(duì)此很感興趣，并經(jīng)常約在下午茶時(shí)間見面，香農(nóng)還為圖靈機(jī)補(bǔ)充了一些自己的見解。

?

按照香農(nóng)的說法，在貝爾實(shí)驗(yàn)室密碼學(xué)方向的工作，只是為自己提供一個(gè)職位，讓自己能研究自己真正關(guān)心的，有關(guān)信息的數(shù)學(xué)。其實(shí)，1945年二戰(zhàn)末期，他在貝爾實(shí)驗(yàn)室內(nèi)部密碼學(xué)相關(guān)的備忘錄中，就已經(jīng)有了信息論的雛形。至于為何要等到1948年才整理出完整的論文，他的回答只有一個(gè)字：“懶?！?/p>

?

一篇論文建立一個(gè)學(xué)科

?

1905年，26歲的愛因斯坦發(fā)了四篇論文，建立了三個(gè)學(xué)科——量子論、統(tǒng)計(jì)力學(xué)和狹義相對(duì)論。43年后的1948年，當(dāng)年面對(duì)愛因斯坦插不上話的香農(nóng)，在32歲時(shí)終于也完成了一篇論文建立一個(gè)學(xué)科的壯舉——A Mathematical Theory of Communication（一種通訊的數(shù)學(xué)理論）橫空出世，其完整性甚至到今天還能作信息論教材使用。一年后，用這篇論文再加上瓦倫·韋弗（Warren Weaver）的科普文章，把A改成The，兩人出版了The Mathematical Theory of Communication（通訊的數(shù)學(xué)理論）。信息論就此誕生。

?

信息的數(shù)量與其內(nèi)容好壞無關(guān)，畢竟所有信息編碼轉(zhuǎn)換成信號(hào)后，發(fā)送時(shí)的數(shù)量只與其長度有關(guān)，而這個(gè)長度可以用對(duì)數(shù)很方便地表示。受約翰·圖基（John Tukey，快速傅里葉變化發(fā)明者）的啟發(fā)，香農(nóng)用信息轉(zhuǎn)換成二進(jìn)制數(shù)字后的二進(jìn)制數(shù)位（binary digit）作為信息的單位，或者將其簡稱為比特（bit）。這是比特這一詞首次公開出現(xiàn)，這個(gè)詞在接下來大半個(gè)世紀(jì)的時(shí)間里，深刻地改變了整個(gè)世界。（以下出現(xiàn)的對(duì)數(shù)log均以2為底）

?

但僅僅找到信息的單位還遠(yuǎn)遠(yuǎn)不能讓香農(nóng)滿足，他想要更深刻的解釋。

?

用一種不太嚴(yán)謹(jǐn)?shù)恼f法，在他看來，能從隨機(jī)過程結(jié)果的不確定性結(jié)果中，讓人確定唯一結(jié)果的東西才是信息。

?

比如說，拋出一枚硬幣，落地時(shí)數(shù)字面和花面朝上概率相等。那么在不知道結(jié)果前，都不能十足地把握說硬幣哪面朝上。但如果知道了硬幣數(shù)字面朝上的信息，那么就可以確定拋硬幣的結(jié)果是數(shù)字面朝上。如果拋出一枚兩邊都是數(shù)字面的硬幣，那么就算不知道結(jié)果的信息，也可以確定硬幣的數(shù)字面朝上。兩種拋硬幣的問題，前者在確定答案需要信息，而后者不需要。

?

再加上一些數(shù)學(xué)概率上的考慮，香農(nóng)發(fā)現(xiàn)玻爾茲曼曾經(jīng)研究過的物理學(xué)概念——熵，很適合用來描述這些。

?

其中pi是可能發(fā)生某種結(jié)果的概率，H就是信息學(xué)中的熵，或稱香農(nóng)熵（Shannon entropy），單位為比特。它和玻爾茲曼總結(jié)的熱力學(xué)中物理上的熵只差了一個(gè)常系數(shù)kB·ln2，kB是玻爾茲曼常數(shù)，ln2而是因?yàn)樾畔⒄摵臀锢韺W(xué)中對(duì)對(duì)數(shù)底數(shù)選擇的不同導(dǎo)致的。

?

信息熵就是信息數(shù)量的度量，我們由此可以計(jì)算一個(gè)符號(hào)中包含的信息量了。

?

對(duì)于拋一枚硬幣的問題，兩面概率都是1/2，則其信息熵為H=-（0.5×log（0.5）+0.5×log（0.5））bit=1 bit。對(duì)于兩面相同的硬幣，則是H=-1×log（1） bit=0 bit。如果不考慮大小寫區(qū)別，那么如果26個(gè)英文字母再加上空格，27個(gè)符號(hào)，發(fā)送信息時(shí)，如果每個(gè)符號(hào)出現(xiàn)的概率相等，并且相互獨(dú)立，那么每個(gè)符號(hào)包含的信息將會(huì)是H=-log（1/27）bit≈4.75bit。

?

在這種情況下，再加上大寫、標(biāo)點(diǎn)、其他語言的符號(hào)，零零散散的其他符號(hào)湊到一起，可以將8比特定義為1個(gè)字節(jié)（Byte），不過那已經(jīng)是后話了。

?

實(shí)際情況中，這27個(gè)符號(hào)出現(xiàn)的概率并不相等，并且符號(hào)之間也存在關(guān)系，即使不考慮大范圍（8個(gè)英語符號(hào)以上）上字母、單詞之間的聯(lián)系，單個(gè)英文符號(hào)中的信息熵其實(shí)也不過是4.75bit的一半。剩下的50%，就是英文的冗余度。換句話說，在大多數(shù)情況下，即使英文中去掉了50%的字母，其實(shí)并不影響英語的理解。就像在速記時(shí)，經(jīng)常省略元音字母，卻不影響對(duì)英語的理解。

?

解釋完信息，香農(nóng)可以開始認(rèn)真講述他關(guān)于信息的傳遞，也就是通信的看法。

?

圖片來源：C. E. SHANNON，A Mathematical Theory of Communication

?

香農(nóng)論文中第一幅圖就將所有通訊系統(tǒng)模型化，可以用抽象的數(shù)學(xué)去描述所有通信系統(tǒng)。通訊的過程，就是將信源處的消息（文字、圖片、聲音等）經(jīng)過發(fā)送器的處理（模擬調(diào)制、數(shù)字編碼等）形成信號(hào)，信號(hào)在傳輸過程中受到噪聲源的干擾后，變成接收器處接收到的信號(hào)，經(jīng)過接收器的處理（解調(diào)、解碼等），消息終于到達(dá)目的地信宿（人、手機(jī)、電腦等）。

?

香農(nóng)提出的觀點(diǎn)，就好像當(dāng)年愛因斯坦給物體運(yùn)動(dòng)速度劃定了光速的上限，他指出，信息傳遞的速率也是存在極限的，對(duì)于特定的信道，被稱為信道容量C。如果信息源單位時(shí)間產(chǎn)生的熵H≤C，那么存在一個(gè)編碼系統(tǒng)，使信息能完整傳遞；如果H＞C，那就不能保證傳輸結(jié)果的完整性。這個(gè)定理被稱為有噪信道編碼定理，或香農(nóng)定理。

?

對(duì)于大多數(shù)情況下能用到的信道中，可以用一個(gè)公式計(jì)算信道的容量C。

?

W為帶寬，S/N為信噪比。如果用常見的對(duì)話來類比，W就好比說話的速度，而S/N就是說話聲音和環(huán)境噪音的比值。就像在嘈雜環(huán)境中小聲對(duì)話效率很低，而在安靜環(huán)境中大聲說話能讓對(duì)方辨別你聲帶的每一絲震動(dòng)。最終對(duì)話的效率C就由這兩者決定。

?

大航海時(shí)代

?

漢明碼（hamming code）是一種具有自我糾錯(cuò)能力的編碼方式，在這篇論文之前就已經(jīng)被發(fā)明了。香農(nóng)在論文“高效編碼舉例”這一部分列舉了這種編碼方式，并用信息論簡潔明快卻深刻的解釋了它的原理。不過，顯然這并不是最高效的編碼方式。

?

橫空出世的論文吸引了所有人的目光，而香農(nóng)定理中H≤C那個(gè)小于等于號(hào)實(shí)在是令人想入非非，香農(nóng)只是說明存在這樣的編碼方式，卻沒有說如何實(shí)現(xiàn)它。就好像《海賊王》中羅杰的最后一句話：“想要我的財(cái)寶嗎，我把它都放在那了，想要就去那吧！”香農(nóng)定理中那個(gè)可能存在的等號(hào)，給足了人們信心。而這篇論文中開創(chuàng)性的分析方法就像他10年前的那篇論文，將給編碼方式的尋找提供了一些數(shù)學(xué)依據(jù)。自此，信息學(xué)尋找高效編碼方式的“大航海時(shí)代”開始了。

?

而正是在這個(gè)過程中，從繼電器到真空管，從晶體管到集成電路，計(jì)算機(jī)制造水平的飛速發(fā)展，讓數(shù)學(xué)這個(gè)本來看上去離生活最遙遠(yuǎn)的學(xué)科，最深刻地改變了我們的現(xiàn)代生活。

?

今天我們使用的二維碼，就算有部分損壞也不影響內(nèi)容讀取，這就是因?yàn)槠渚幋a方式具有冗余，可以讓信息不易丟失。而其中編碼方式，就是在 “大航海時(shí)代”中發(fā)明的里德-所羅門碼（RS碼）。這種1960年發(fā)明的編碼方式，除了二維碼，還應(yīng)用在光盤、磁盤陣列RAID 6等場景下。

?

由于RS碼的容錯(cuò)機(jī)制，二維碼具有一定容錯(cuò)能力

?

雖然有不少具有糾錯(cuò)功能的編碼方式被發(fā)現(xiàn)，我們也能根據(jù)信息論用編碼效率給它們論資排輩，但當(dāng)初香農(nóng)向大眾許諾的“財(cái)寶”——接近，甚至達(dá)到香農(nóng)極限的編碼方式——始終沒有出現(xiàn)。直到1991年法國教授克勞德·貝魯（Claude Berrou）提出了turbo碼。Turbo碼是第一個(gè)接近香農(nóng)極限的編碼方案，并且作為數(shù)學(xué)理論，在信息時(shí)代的加成下，以前所未有的速度轉(zhuǎn)進(jìn)了實(shí)踐應(yīng)用。在僅僅十余年后的3G，4G中，turbo碼就已經(jīng)飛入了尋常百姓家。

?

2008年，極化碼橫空出世，這是首個(gè)能達(dá)到香農(nóng)極限的編碼方式。工程師埃爾達(dá)爾·阿里坎（Erdal Arikan）教授提出的極化碼理論，幾乎立即被工業(yè)界接受。2016年，在激烈辯論后，以華為為首的極化碼陣營將極化碼編碼標(biāo)準(zhǔn)確定為5G信令信道編碼方案。到今天，如果你的手機(jī)夠新，那么已經(jīng)能享受到5G帶來的高速體驗(yàn)了。

?

從提出理論到進(jìn)入實(shí)用，進(jìn)入尋常百姓家，不過十年，科學(xué)成果到工業(yè)成果的轉(zhuǎn)化從沒有如此之快。不論是太陽系外探測器向我們傳遞信息時(shí)，還是深埋地下的實(shí)驗(yàn)裝置探索基本粒子時(shí)，甚至只是我們隨手翻翻手機(jī)時(shí)，都離不開信息論的支持。信息論的“大航海時(shí)代”快速且深刻地改變了我們生活的方方面面。如此看來，當(dāng)年在普林斯頓高等研究所時(shí)，香農(nóng)研究的純數(shù)學(xué)問題，的確是要比愛因斯坦研究的物理問題要更實(shí)用一些。

?

不老頑童

?

不過香農(nóng)本人并沒有很多參與這個(gè)“大航海時(shí)代”。在提出信息論前后，他在密碼學(xué)上還證明了一次性密鑰是無法破譯的，（這也是近期潘建偉團(tuán)隊(duì)量子密鑰分發(fā)加密通信網(wǎng)絡(luò)的數(shù)學(xué)理論基礎(chǔ)）但是信息論的成就還是太過耀眼。MIT邀請(qǐng)他去做教授，期待他能帶領(lǐng)MIT在信息論中實(shí)現(xiàn)更大突破。他的確在信息論上做了一些基礎(chǔ)性工作。但給人印象更多的，是他終于回歸到自己真正的樣子——愛玩的老男孩。

?

想象一下，在教學(xué)樓里撞到某個(gè)教授踩著獨(dú)輪車雜耍的場景，你就知道香農(nóng)有多愛玩了。這個(gè)老男孩也曾像小時(shí)候一樣，敲敲打打做了很多有趣的小玩意兒。直到老年時(shí)，他的工作室里還擺滿了各種各樣小玩具，有能噴火的小號(hào)，能在將其打開時(shí)自動(dòng)關(guān)上的箱子，能雜耍的機(jī)器玩偶……他還有一個(gè)兩面一樣的硬幣，這樣，他拋硬幣時(shí)總能猜對(duì)結(jié)果了。畢竟，這個(gè)問題對(duì)于他來說信息熵為0。

?

紀(jì)錄片《香農(nóng)傳》中還原的香農(nóng)的“終極機(jī)器”，是一個(gè)帶按鈕的木盒子，撥動(dòng)搖桿打開盒子后會(huì)有一個(gè)小手伸出來將搖桿撥下去，關(guān)上盒子（圖片來源：《香農(nóng)傳》）

?

“有用是最不重要的事情?！?/strong>香農(nóng)這樣評(píng)論他工作室中的各種小玩意兒。

?

他是騙人的，他的確嘗試了一些非?！坝杏谩钡臇|西。他發(fā)現(xiàn)俄羅斯輪盤放置時(shí)不可避免有一定傾斜，導(dǎo)致其偏向某個(gè)方向的概率更大，但為了分析這個(gè)概率需要一定量的計(jì)算。為此，他還和愛德華·索普（Edward Thorp）一起設(shè)計(jì)了歷史上第一臺(tái)可穿戴計(jì)算機(jī)，并一起到拉斯維加斯賭場檢驗(yàn)他們的理論。他們將計(jì)算機(jī)隱藏在衣物之下，但由于計(jì)算機(jī)設(shè)計(jì)有些簡陋，他們還不得不時(shí)刻忍受輕微的電擊。當(dāng)附帶的耳機(jī)從耳朵里掉落出來時(shí)，旁邊的賭客還都被他嚇了一跳。不過至于他們有沒有以此賺到錢，筆者并沒有查證。

?

他還做過一個(gè)能自動(dòng)尋路的機(jī)械小鼠，名為特修斯（Theseus）。小鼠位于一個(gè)定制平臺(tái)的迷宮里，通過平臺(tái)下方的繼電器電路可以控制小鼠的移動(dòng)，其目標(biāo)是在迷宮中找到一個(gè)“奶酪”目標(biāo)。小鼠會(huì)探索迷宮，并在找到目標(biāo)之后，記住目標(biāo)的位置，之后可以更快地找到目標(biāo)?；蛘咴诿詫m形態(tài)、目標(biāo)位置改變后重新學(xué)習(xí)，規(guī)劃新的路線。這個(gè)小玩具可能是第一個(gè)此類人工智能設(shè)備。

?

香農(nóng)和特修斯平臺(tái)（圖片來源：麻省理工學(xué)院博物館）

?

他為了玩游戲甚至發(fā)過論文。他在1950年發(fā)表的一篇論文里描述了如何讓計(jì)算機(jī)下國際象棋。他給出了國際象棋的復(fù)雜度，大約是1012?量級(jí)，這樣的量級(jí)不可能暴力破解，不過通過他在論文中給出的較為明智的算法，可以大幅簡化計(jì)算——1997年，由這篇論文演化出來的算法，在“深藍(lán)”中運(yùn)行，成功擊敗了卡斯帕羅夫（Каспаров）。

?

被問及有沒有想過要把他這些“小玩意兒”商業(yè)化時(shí)，香農(nóng)直截了當(dāng)?shù)幕卮饹]有。按他自己的說法，自己是一個(gè)沒什么好勝心的人，要去商業(yè)化的話，一定會(huì)虧錢。

?

信息時(shí)代的功勞肯定不能全歸功于香農(nóng)一人，但他在其中肯定占有舉足輕重的位置。在被繁雜信息浪花包圍的我們中，這名天才的知名度并不高。不過，帶入他的性格，可能他也并不在意。畢竟作為一個(gè)老頑童，在自己各種小玩意兒的包圍下，親眼見證了建立在自己理論上的信息時(shí)代如何改變?nèi)藗兊纳?，?duì)于一個(gè)數(shù)學(xué)家、工程師來說，這可能是能想象到的最幸福的事了。

?

（撰文：王昱 審校：吳非）



關(guān)注【深圳科普】微信公眾號(hào)，在對(duì)話框：
回復(fù)【最新活動(dòng)】，了解近期科普活動(dòng)
回復(fù)【科普行】，了解最新深圳科普行活動(dòng)
回復(fù)【研學(xué)營】，了解最新科普研學(xué)營
回復(fù)【科普課堂】，了解最新科普課堂
回復(fù)【科普書籍】，了解最新科普書籍
回復(fù)【團(tuán)體定制】，了解最新團(tuán)體定制活動(dòng)
回復(fù)【科普基地】，了解深圳科普基地詳情
回復(fù)【觀鳥知識(shí)】，學(xué)習(xí)觀鳥相關(guān)科普知識(shí)