您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识

香农三大定理(香农三大定理的物理意义)

香农,信道,信息香农三大定理(香农三大定理的物理意义)

发布时间：2016-12-08加入收藏来源：互联网点击：

很多朋友想了解关于香农三大定理的一些资料信息，下面是小编整理的与香农三大定理相关的内容分享给大家，一起来看看吧。

众所周知，瓦特改良蒸汽机，使人类进入了“蒸汽时代；而麦克斯韦提出的电磁理论，则让人类从蒸汽时代跨越到了电气时代。而第三次信息革命，则是香农提出的香农定律吹响了变革的号角。

从 1948 年，香农定律的提出，标准着信息论的建立，美国之所以能够对全球经济具有话语权，除了是因为强大的军事能力之外，还仰赖于香农定律构建的全球技术标准，让美国成为新帝国的垄断者。

从 1G 到 4G 时代，美国都是主导者，但到了 5G 时代，以华为为代表的中国企业异军突起，争夺 5G 的全球领导权，这也是美国恼羞成怒的原因。

但不管怎么样，从技术的角度来看，主宰者从来只有一个，那就是我们刚刚提到的香农公式，它才是5G幕后真正的大BOSS。香农定律诞生 70 年，是时候搞懂它了。

1850 年克劳修斯从热机的效率出发，认识到正转变（功转变成热量）可以自发进行，而负转变（热量转变成功）作为正转变的逆过程却不能自发进行。负转变的发生需要同时有一个正转变伴随发生，并且正转变的能量要大于负转变，这实际是意味着自然界中的正转变是无法复原的。

所以克劳修斯在论文中提出了一条基本定律：“没有某种动力的消耗或其他变化，不可能使热从低温转移到高温。“这个定律被称为热力学第二定律。

克劳修斯在 1854 年的随笔《关于热的力学理论的第二基础定理的一个修正形式》提出了新的物理量来解释这种现象,1865 年正式命名为熵,以符号S表示。

由此克劳修斯提出了热力学第二定律的又一个表述方式，也被称为熵增原理，那就是：不可逆热力过程中熵的微增量总是大于零。在自然过程中，一个孤立系统的总混乱度（即“熵”）不会减小。

简而言之就是孤立系统的熵永不自动减少，熵在可逆过程中不变，在不可逆过程中增加，可以说非常鲜明地指出了不可逆过程的进行方向。

熵增原理是热力学第二定律的另外一种表述形式，却又拥有更加深刻的含义，它创造了“熵”这个概念。

1865年，热力学奠基人之一克劳修斯把熵增原理（熵增原理是热力学第二定律的又一种表述）应用于无限宇宙中而提出“热寂说”，熵增原理就是孤立热力学系统的熵不减少，总是增大或者不变。用来给出一个孤立系统的演化方向。说明一个孤立系统不可能朝低熵的状态发展即不会变得有序。（孤立体系是指：系统与环境之间既无物质交换，又无能量交换，故称为孤立体系）

热寂说将熵增原理扩大到整个宇宙，将整个宇宙当成一个孤立系统，认为宇宙的熵会趋向极大，最终达到热平衡状态，即宇宙每个地方的温度都相等。

麦克斯韦在听到热寂说之后，立即脑洞大开，首先从概率统计的角度认真思考这个假说，意识到对于宇宙这种“开放系统”来说，一定存在某种机制，使得在某种条件下，会存在貌似“违反了”热力学第二定律的情况。

1871年，他在《热理论》一书的末章《热力学第二定律的限制》中，设计了一个假想的存在物，即著名的“麦克斯韦妖” （Maxwell's demon）。

在麦克斯韦构想中，麦克斯韦妖有极高的智能，可以追踪每个分子的行踪，并能辨别出它们各自的速度。这个理想实验如下：

“我们知道，在一个温度均匀的充满空气的容器里的分子，其运动速度决不均匀，然而任意选取的任何大量分子的平均速度几乎是完全均匀的。现在让我们假定把这样一个容器分为两部分，A和B，在分界上有一个小孔，在设想一个能见到单个分子的存在物，打开或关闭那个小孔，使得只有快分子从A跑向B，而慢分子从B跑向A。这样，它就在不消耗功的情况下，B的温度提高，A的温度降低，从而与热力学第二定律发生了矛盾"。

而这个存在物就是“麦克斯韦妖”，小妖精掌握和控制着高温系统和低温系统之间的分子通道。它利用了分子运动速度的统计分布质。因为根据麦克斯韦分布，即使是低温区，也有不少高速分子，高温的系统中也有低速度的分子，通过这样一个能够控制分子运动的小妖精，在两系统的中间设置一个门，只允许快分子从低温往高温运动，慢分子则从高温往低温运动，在“小妖”的这种管理方式下，两边的温差会逐渐加大，高温区的温度会越来越高，低温区的温度越来越低。

麦克斯韦认为，只有当我们能够处理的只是大块的物体而无法看出或处理借以构成物体分离的分子时，热力学第二定律才是正确的，并由此提出应当对热力学第二定律的应用范围加以限制。

1929 年匈牙利物理学家利奥·希拉德在研究麦克斯韦妖的时候，将麦克斯韦的设计方案简化，构建了一个单分子版的实验模型。

希拉德首次将信息的概念引入到热力学循环中。小妖精进行测量的目的是为了获得信息，从而知道分子是处于左边还说右边，而在这个获取信息的过程中会消耗能量，从而导致整体的熵的增加。如果把这个效果包含到热力学循环中来，热力学第二定律就不会被违反，那么麦克斯韦妖就被斩杀了！

希拉德第一次认识到信息的物理本质，将信息与能量消耗联系起来。可以说为后来的消息论奠定了基础。

我们知道，自人类诞生之初，信息就已经产生，比如古代猿人通过声音告诉同伴捕猎成功，这也是信息。但是千百年来从未有科学家对信息展开系统研究。人通过获得、识别自然界和社会的不同信息来区别不同事物，得以认识和改造世界。在一切通讯和控制系统中，信息是一种普遍联系的形式。

飞鸽传书

而香农对信息的认知可以说开人类之先河，彻底颠覆了人类的认知。香农是一个天才，从小对数学就极为痴迷，香农十分热衷于解答姐姐凯瑟琳交给他的数学题。

而到了 22 岁的时候，他发表的硕士论文《A Symbolic Analysis of Relay and Switching Circuits》（继电器与开关电路的符号分析）就已经惊震世界。当时他已经注意到电话交换电路与 布尔代数 之间的类似，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。 如果说德布罗意的博士论文是世界上最伟大的博士论文，那香农的这篇就是世界上最伟大的硕士论文。

不过，香农的确是一个非常有趣的人，他曾因为获得杂耍学博士而欣喜不已，到了晚年，依然热衷于像人们展示自己鼓捣的各式各样的小玩意小器械。

玩杂耍的香农

香农在贝尔实验室为美国情报部门工作工作多年，在英文里情报和信息的英文都是“information”。这让他对于信息产生了独特的理解。

当时香农在研究探讨信息的本质和通信的理论极限问题，比如什么是信息，怎样从数学上定义衡量信息，数据压缩和数据传输可达到的极限在哪里。

香农认为信息是能够用来消除不确定的东西，举一个不是很恰当的例子，我不知道我这次考试的分数是多少，但是老师给我发了一个信息告知了我，我立马做出决定不告诉我妈这次的成绩，这其实就是一个获取新信息、消除不确定的过程，这个过程可以看做是信息论原理的一个具象呈现。

 1/2    1 2 下一页 尾页