> 葡京娱乐主页 > 软件知识 >

香农:技能树点得很歪的信息论之父谨以此文纪

发布时间:2019-02-27 02:22

  1985 年,他俄然在英格兰布莱顿举行的国际消息理论研讨会上露面。大会原来完美安静地进行着,这时有个动静激起了波纹。这个动静传遍了各个大厅和集会室,本来阿谁银白头发,含羞地笑着,在各个集会上随便地进进出出的白叟不是别人,就是克劳德·香农自己。

  (编译者注:「Ta-Ra-Ra-Boom-De-Aye」是一首最早出此刻 19 世纪末,在杂耍演出和音乐厅中利用的音乐,后常被借用。为了让感乐趣的读者赏识到原汁原味的香农高文,特把英文原作中的一节摘录于此,以馈读者。)

  香农测验测验着历来访者展现他的机械版 W.C. Fields 的拿手绝活,可是没有顺利。「我喜好制造机器,不外维护起来挺贫苦」,他有点沮丧地说着。

  香农注释道:「当我仍是个孩子的时候,就对暗码之类的工具出格感乐趣。」他最喜好的故事之一就是埃德加·爱伦·坡的推理小说《金甲虫》。这个故事有个很是令人愉悦的 happy ending:通过破译一幅奥秘舆图,仆人公找到了埋藏的宝藏。

  虽然香农自己也对付本人理论的某些用处暗示思疑,但在本人的学术钻研中,他彻底采纳了开放自在的立场。20 世纪 50 年代,他和身为贝尔尝试室计较机科学家的老婆贝蒂,另有另一对佳耦——同样是贝尔科学家的 Bernard Oliver(也是 IEEE 的前主席)及其夫人一路,就言语的冗余问题进行了一系列的客堂中的尝试。尝试的方式是此中的一小我说出一个单词的开首几个字母或者一个句子中开首几个单词,然后剩下的三小我试着猜出后面将会呈现的内容。香农还指点了贝尔尝试室的别的一个尝试:在这个尝试中,事情职员被要求盘点计数,数出在一个书面文本中分歧的字母呈现的次数和呈现的挨次。

  这是绝对典范的香农性格——为根究下棋机械运作的奇妙,他竟然能花良多事情时的工夫来下国际象棋。他的一位前同事形容过其时的情况:「这让咱们的一位主管或多或少有点担忧。」

  学历:1936 年学士,密歇根大学;1940 年硕士、博士,美国麻省理工学院

  这个机械原来是能够顿时落下棋子的,可是为了表示出它彷佛是在思索推敲下一步,香农在电路中加了个延时开关。 Andrew Gleason ——一位绝顶伶俐的哈佛大学数学家,对机械倡议了应战,传播鼓吹任何机械都不克不迭战胜他。最初, Gleason 受到下棋机械的狠狠冲击。当 Gleason 要求再来一局时,香农才揭开了藏在机械背后的把戏。

  有些宝物——好比会措辞的下棋机械,有一百个刀片的折叠刀,装了策动机的弹簧高跷杖,另有有数的乐器——这些都是香农多年来的珍藏品。其他一些则是他本人制造的:上面有三个玩杂耍的小丑的迷你舞台、主动穿梭迷宫的机器老鼠、正在耍杂技的笑剧演员 W.C. Fields 的机器模子,另有一个用罗马数字进行计较的叫做 Throbac 的计较机(全称是简约的罗马数字反向计较机)。

  香农有一种可以大概避开「最不成为之地」的先天才能。麻省理工学院的学生 Elwyn Berlekamp 与香农合写过几篇论文,他将香农的举动形容为:「有些事能够做成可是没什么价值,有些事意思严重可是做不可。香农有崇高高尚的直觉和威利巴握可行而且意思深远的难题。」

  这个房间里的香农就是神一样的具有。他的事情功效被 AT&T 贝尔尝试室钻研施行总监 Robert W. Lucky 推许为手艺思惟史上最伟大的孝敬。IBM 院士 Rolf W. Landauer 已经评价香农开辟性的洞察力能够和爱因斯坦相得益彰。早在 1948 年,当香农仍是贝尔尝试室的一名年轻工程师时,就对消息理论做出了明白界说。他在贝尔体系手艺期刊(Bell System Technical Journal)上颁发了一篇才调横溢的论文,成立了电子数据无效打包和传输的智识框架。这篇名为《通讯的数学理论》的论文,在通讯时代走到昨天,仍然职位地方超然耸立不倒。它对数字通讯的奠定感化等同于《自在大宪章》对付英国甚至世界宪政的深远意思。

  1977 年,IEEE《科技纵览》的编纂在读者中倡议一场应战赛:竞赛项目是制造一只「电子鼠」——这只老鼠要求具有独立的「大脑」,能够在不竭测验测验和失败中进修如何走出迷宫,然后鄙人一次进出神宫时能避免错误成功走出来。一个香农以前的同事于是把德律风打到了《科技纵览》,对峙夸大说,早在 20 年前,香农就曾经造出你们杂志说的这种电子鼠了。

  简直,香农在消息论方面的钻研和他对付机器的猎奇心引领了他对付智能机械的超乎平辈同时代的沉沦。还记得 AlphaGo 吗,香农是最早提出计较机是可以大概和人类进行国际象棋棋战的科学家之一。1950 年他曾为《科学美国人》撰写过一篇文章,在文中他论述了实现人机棋战的方式。

  克劳德·香稼穑实是什么样子的呢?当观光者步入这座名为熵宅(Entropy House)的宽敞大屋子,走进分歧的房间可能会得出分歧的结论。

  香农的前同事,加利福尼亚州斯坦福大学荣誉传授的 John R. Pierce 把这种「大范畴滥用」消息论的征象和其他两个蒙受过同样运气的严重科学理论做过类比——海森堡的不确定性道理和爱因斯坦的相对论。

  香农的这篇论文被以为可能是 20 世纪最主要的一篇硕士论文。但他自己对此勉力连结低调:「这仅仅是由于没有其他人同时对这两个范畴都相熟罢了。」

  那一段时间,香农也不再加入他所制造的这个钻研范畴的学术集会。Berlekamp 给出了一个比力正当的注释。据他记忆,1973 年,他说服香农承诺在国际消息理论研讨会上作首届年度讲座,可是香农险些在最初时辰要打退堂鼓。Berlekamp 讲述说:「我素来没看到一个家伙这么怯场。在这个圈子里,他被当作是天主一样的人物,我想他担忧的是本人不克不迭做到众叛亲离。」

  香农的技术点以至点到了诗歌。香农有很多诗作,此中一首是特地向鲁比克方块(20 世纪 70 年代后期很是风行的智力玩具,此刻更多被叫作魔方)致敬的。这首诗名为「魔方的礼节」,采用了「Ta-Ra-Ra-Boom-De-Aye」的调子。

  物理学家起头诲人不倦地证实消息理论中的熵在数学意思上等同于热动力学中的熵。贝尔尝试室的资深成员,香农以前的同事,在消息编码范畴也同样有主要影响力的 David Slepian 就以为,这些学者的勤奋尽管最初证了然最后的设法确实为真,可是并没有什么主要的意思。Slepian 注释说:「良多工程师也凑热闹跳上[消息论]这列彩车追逐潮水,但实在良多人并没有真正理解消息理论。」

  好像罗密欧只要要用三言两语的几个字符「i lv u」就能够传送出他全数的浓情深情,一组好的编码,起首该做到的,是能把消息压缩精简到最无效的情势。

  直到 20 世纪 70 年代初,跟着高速集成电路的到来,工程师们才起头片面开辟操纵消息论。现在,香农的远见曾经奠基构成了当今数字消息从存储,处置到传输的险些所有体系——无论是从光盘到超等计较机,仍是从传真机到像「旅行者号」一样的外层空间探测器。所有的事,都用上了香农的远见高见。

  值得一提的是,消息论在初期阶段捕捉了多量热切的眼光,远远凌驾它理应有的预期。言语学,生理学,经济学,生物学以至是音乐艺术界的各种人士纷纷表示出极大的乐趣,试图将消息理论融入他们各自的学科范畴。

  香农从小就表示出了对付笼统数学和小型机器的乐趣。他出生在 1916 年,在离出生地不远的密歇根州的 Gaylord 长大。他的父亲是位遗言认证法官,香农喜好鼓捣父亲送给他的收音机元器件和拼装玩具组合。别的,香农还热衷于解答姐姐凯瑟琳交给他的数学题(后者长大后成为一名数学传授)。

  那时,香农年仅 22 岁,而他撰写的论文曾经意思如斯严重:经由他的钻研电路的设想就能够通过数学方式进行测试,而不再必要反频频复冗长乏味的实物线路查验和试错。此刻布尔代数曾经是工程师们设想计较机硬件和软件,德律风收集以及其他庞大要系的通例东西。

  这一房子的玩意儿揭开了别的一个香农——这个调皮版的香农着独轮车手上同时抛着四个球穿过贝尔尝试室的大厅;他发了然用火箭驱动的飞碟,还设想制造了「读心」机。

  1941 年,香农来到贝尔事情室,并在那里事情了 15 年时间。二战时期,他作为小构成员之一,参与研发数字加密体系,此中还包罗了丘吉尔和罗斯福进行越洋集会时的加密事情。

  香农确定了消息的根基单元,他利用了贝尔尝试室的 John Tukey 提出的术语,把它称为一个二进制单元(厥后称为一个比特)。一个比特所代表的消息量就是两种形态中的此中一种。如斯一来,大量的消息就能够被编码为相对简略的二进制数,这就雷同于在阿谁陈旧典范的游戏「二十个问」里一样,通过拙劣的提问你能够倏地锁定准确谜底。

  1940 年,在麻省理工学院得到博士学位后(他的博士论文则是关于基因传送的数学钻研),香农在新泽西州的普利斯顿高级钻研所事情了一年时间。说到这时,香农猛然压低了声音。他告诉咱们有一次在做演讲时,崇高的爱因斯坦大人俄然从后面的一个门走了进来。爱因斯坦看了看香农,和别的一个科学家悄声说了些什么,然后就分开了。香农无奈抑止本人的冲动表情,在报达成预先,他当即冲已往问这个科学家爱因斯坦本尊说了什么。后者一脸庄重严肃,慢条斯理地盯着香农回覆说,那位伟大的物理学家,「想晓得茶在哪里」。

  香农在 1948 年的论文中顺利计较出了香农极限,可是没有处理有限迫近这个极限的方式问题。香农和其他科学家就这一问题继续勤奋。首要一步就是解除消息的冗余。

  编者注:本年四月是美国数学家和电气工程师克劳德·香农的百年诞辰留念,他开创先河的钻研功效奠基了当代数字通讯的理论根本。为了怀想这位伟人,咱们编译原载于美国电气和电子工程师协会(IEEE)旗舰杂志《科技纵览》(Spectrum)1992 年四月号上的香农留念传略。这篇传略由《科技纵览》原编纂 John Horgan 执笔撰写,Horgan 曾在香农位于马萨诸塞州温彻斯特的居处拜候过这位科学家自己。这篇小传从多个视角展现了香农的奇特人格魅力:除了家喻户晓的消息理论的奠定者,香农仍是一个发现家、精良的工匠、难题处理专家和开玩笑达人。这次发文不只收录了于 1992 年随原文登载过的一张由波士顿区拍照师 Stanley Rowin 所拍摄的香农肖像,还出格供给了《科技纵览》上没有登载过的一些照片,这些照片也同样是由 Rowin 拍摄。香农在履历了与阿尔茨海默氏病的持久斗争后,于 2001 年逝世,享年 84 岁。他被众人赞美为有史以来最伟大的电气工程学风云人物之一。

  香农说着,迸发出一阵大笑。几十年已往,这位伟大的科学家依然具有无邪的笑容。

  1956 年,香农分开了贝尔尝试室的一生职位(他在这个位置上事情了跨越十年时间),转而做了麻省理工学院的一名通讯科学传授。比来几年,他最大的乐趣投入到对杂耍的钻研中。他制造了好几个玩杂耍的机械,而且构想出了关于玩杂耍的同一的场理论:设 B 代表球的个数,H 代表手的只数,D 代表每个球在一只手上的时间,F 代表每个球在空中的时间,E 代表每一只手空闲出来的时间,那么就有如下的关系式:

  1950 年,香农制造了一只机器老鼠。它彷佛能够在没有协助的环境下,主动地在迷宫中找到出路,然后奔向一大块黄铜奶酪。香农给这只鼠起名叫做「忒休斯」,名字出自阿谁在古希腊神话中杀死人身牛头怪后,从恐怖的迷宫中走出来的豪杰。实在,这只机器鼠的「大脑」就是藏在迷宫地板下面的一大堆电子管电路,这些电路通过节制一个磁铁的活动来完成操控老鼠的使命。

  香农的理论促成了 1956 年 IEEE 消息理论协会的建立,很快,专一于经济,生物和其他使用范畴的各类部属小组也纷纷成立。在 20 世纪 70 年代晚期,《IEEE 消息理论学报》(IEEE Transactions on Information Theory)以至特地颁发了一篇名为《消息理论,光合感化和宗教》的社论,用来悲叹香农理论被过分消费的情况。

  现实上,香农的理念险些能够说是过于前瞻的,所以它没有带来即刻性的影响。Edgar Gilbert 在 1948 年来到贝尔尝试室,部门时间就是和香农在一路事情。他曾如斯提起那段光阴:「尝试室良多适用派人物以为香农的理论很风趣但并不怎样能派用场。」

  香农此时曾经 75 岁,但这位具有令人惊讶的如雪鹤发的父老脸上却还挂着如精灵般狡黠的笑颜。而当香农向访客展现他的奖项时,却稍微有些狭隘——顷刻的不安之后,他当即带咱们冲进了隔邻的房间。这个房间里也同样排列着形形色色的镶框证书,此中包罗一张证书鲜明证实香农是一位「杂耍学博士」。别的另有成排的桌子,上面堆着形形色色的小玩意小器械。

  虽然编纂晓得 20 世纪 50 年代的手艺程度不成能到达这个要求,但他仍是致电香农想问问是不是有这么回事。香农大笑,回覆说当初他带着他的那只「伶俐」的老鼠骗遍了天下。他还咯咯笑着走漏了窍门:桌子上垂下来用来把电子管藏起来的桌布和丝杠机器是整个开玩笑最主要的一关。

  基于如许的数学根本,香农随后证了然,在任何一个给定的通讯信道上都具有一个可以大概靠得住的传输消息的容量最大值。现实是,虽然能够通过崇高高尚的编码手艺有限靠近这个最大值,可是却无奈到达这个值。这个最大值,厥后就被定名为香农极限。

  社会职位地方:会员资历和荣誉:IEEE(美国电气和电子工程师协会) 院士;美国国度科学院院士;美国艺术和科学学院院士;1966 年 IEEE 荣誉奖章;1966 年美国国度科学奖章;1972 年哈维奖;1985 年京都奖

  香农本科就读于密歇根大学安娜堡校区,主修数学和电气工程学。他在这两个范畴打下的坚实根本促成了改日后钻研生时期的第一个严重顺利:他写下了那篇将数学与电工完满连系的论文。这篇硕士论文在位于美国马萨诸塞州剑桥市的麻省理工学院完成,经由香农和贝尔尝试室复合德律风互换电路范畴的出名专家 Amos Joel 的深切切磋。论文把 19 世纪中叶英国数学家乔治·布尔的布尔代数和电子电路中开关和继电器的事情道理独创性地对应连系。

  当 1979 年,《科技纵览》盛大肆行「奇异迷宫电脑鼠竞赛」的颁奖典礼时,香农把他的「忒休斯」从阁楼上请下来,放在本人的旅行车里,然后拉到现场,放在参赛的电脑鼠们的行列阁下进行了展现。

  在 1948 年的论文中,香农对消息所做的界说是他的通讯理论环节性的部门(论文回避了相关消息寄义的问题,香农夸大说,他的理论「不成能也不筹算涉及」于此)。香农用这篇论文证实,消息能够被量化和计量,一条给定的动静的消息量是由一个概率决定的——即在所有能够被发送的动静中,这个给定的动静被取舍呈现的概率。

  在国际象棋棋战之外,香农还制造了一台用来玩赌分币游戏的「读心」机械,这个机械能够猜出加入游戏的人将会选硬币的反面仍是背面。最后的样机是贝尔尝试室的同事 David W. Hagelbarger 制造的,这台机械能够通过度析记实敌手过往的取舍环境,从而寻找出纪律用来预测下一次的取舍。人们的取舍险些老是没有破例埠落入这些纪律模式中,所以机械的「猜心」精确率高达 50% 以上。香农厥后做了一台本人版本的机械向 Hagelbarger 倡议应战,两边的对决成了此刻传播的一段传奇美谈。

  香农还成立了各类数学模子用来预测股价表示,而且据他所说,曾经在他小我的投资组合中顺利地完成了测试。

  对此香农并未暗示出什么歉意,反倒有些欢欣鼓励:「我每每跟着本人的乐趣干事,不太垂青它们最初发生的价值,更不在乎这事儿对付世界的价值。我花了良多时间在纯粹没什么用的工具上。」

  在这座位于波士顿郊野的灰泥墙宅邸中,香农和他的夫人贝蒂曾经栖身了30 多年。此中一个房间,划一有序地陈列着各类奖牌徽章,庄重彰光明显显香农所取得的有数荣誉:包罗于 1966 年授予他的美国国度科学奖章、京都奖(有日本诺贝尔奖之称)和美国电气和电子工程师协会荣誉奖章等通盘在列。

  不只如斯,香农还提议把消息理论使用到生物体系中。至多,这听起来仿佛没那么牵强。他说道:「神经体系是个庞大的通信系统,它处置消息的体例及其繁杂。」当被问及他能否定为机械能够思虑时,他的回覆是:「当然。我就是一台机械,你也是一台机械,咱们都在思虑,不是吗?」

  「香农的影响力无论如何描述都不会过度」,IEEE(美国电气和电子工程师协会)消息理论协会的前主席,南加州大学洛杉矶分校的电气工程师 Solomon W. Golomb 如许评价。用他的话进一步注释,就是:

  香农提出了「消息熵」的观点,把它界说为消息系统的总体不确定性。「熵」这个观点最后是被一位物理学家引入热力学顶用来暗示系统的随机性,或者说紊乱水平。(这个得名来历很风趣。伟大的数学家和计较机理论家 John von Neumann 说服香农利用了「熵」这个术语。 Neumann 的来由是:归正没人晓得「熵」事实是个什么,基于这个现实,这个名字将会为香农就消息论进行辩说时添加劣势。)

  在被问及对付人工智能前景的见地时,香农暗示目前的电脑虽然具有了很是壮大的功效,但就原始消息处置方面,迄今为止还远没有到达人类的程度。在机械中复制人类的想象,依然长短常艰难的使命。但他也同时暗示:「几十年后机械将超越人类,在我看来简直是有可能的。」

  香农最初仍是做出了很是拥有开导性的报告,就天然的反馈和自我指涉的遍及性提出了预感性的设法。

  香农以为,恰是这项事情开导了他对通讯理论的深切思虑。他认识到,既然数字编码能够庇护消息免于密查,同样它也能够防护消息使其不遭到静电或者其他情势滋扰的粉碎。编码手艺更能够用于对消息进行更无效的打包,如许在一个给定的信道上就能够运载更多的消息量。

  对此香农暗示否定。他说整个 20 世纪 60 年代,他都不断在就消息论的分歧问题继续钻研,也颁发过几篇论文。虽然他也不以为阿谁时候他的大部门学术钻研足够值得颁发。他诙谐地讥讽本人:「大部门伟大的数学家都是在年轻的时候做出了他们最精采的事情。」

  Gilbert 注释了缘由:真空电子管电路明显不克不迭胜任处置靠近香农极限所必要的庞大编码。伊利诺伊大学香槟分校的出名数学家 J. L. Doob 以至对香农的论文作出了负面的评价。汗青学家 William Aspray 也指出其时的观点架构系统无论若何还没有成长到消息理论能够获得现实使用的水平。

  (倒霉的是,这个理论没能协助香农一次抛耍的球跨越 4 个。香农的注释是他的手太小了。)

  香农说道:「我最后的起点——关于消息理论——是思量如安在一个有噪声的信道上最高效率地提高消息传输的品质,这实在是电报或者德律风体系中的一个具体的问题。可是当你起头深切思虑下去时,脑海中就起头浮现出所有这些更普遍的通用的工具。」

  当被问及能否已经有过雷同于阿基米德的灵光显现的一刻时(编译者注:阿基米德在沐浴时突然融会到了浮力道理,欢快得忘了穿衣服,冲到大街上大呼「Eureka!」),香农诙谐地岔开了这个话题:「若是能喊得出来也许会吧,但我不晓得怎样拼这个单词。」

  在晚宴上,集会的主办方想法说服香农向大师致辞。他说了几分钟,看着乌压压的人群,然后,由于畏惧听众会感应无聊,竟然从口袋里掏出三个球起头杂耍……观众喝彩了起来,排着队要求署名。研讨会的主席,加州理工学院电气工程学传授 Robert J. McEliece 参与了那次集会,他记忆说:「那景象……几乎就像是牛顿他白叟家出此刻了一次物理学集会上。」

  所谓的纠错编码能够处理这个问题。纠错码通过插手正好足够的冗余度,包管了被精简过的消息不会被信道上的噪声滋扰得恍惚不清。举个例子:用纠错码处置一串数字时能够引入一个多项式方程,前提是这串数字正好全数落在这个方程的曲线上。如许领受真个解码器就能够纠错,从头辨识出任安在传输历程中产生变迁而偏离了曲线的数字。

  可是,20 世纪 50 年代早期当前,香农并没有在消息论范畴颁发过几多钻研建树。一些畴前贝尔的同事们以为香农在去了麻省理工学院的时候曾经精疲力竭,而且对本人开创的这个范畴感应厌倦。

  然而,香农仍是再次远离了人们的视线。可是比来几年,在老婆的激励下,他起头非正式的参与一些小型的集会,而且走访一些基于他的理论进行钻研的尝试室。

  他还造了一台在「Hex」(六角棋)游戏中能战胜任何人的机械。「Hex」是一种棋般游戏,几十年前在数学快乐喜爱者中很风行。在现实环境中,香稼穑后革新了棋盘,使得人类棋手这一边比机械敌手一边的六角形格子要多,机械若是要取胜就必需在棋盘两头的六角形格子里落子,然后对应着敌手的打法走下去。