您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识
香农三大定理(香农三大定理的物理意义)
香农,信道,信息香农三大定理(香农三大定理的物理意义)
发布时间:2016-12-08加入收藏来源:互联网点击:
香农本来打算直接用“不确定”(uncertainty)来表达这个概念,但是这个概念太过于模糊,不确定究竟指的是什么东西,它的意义是什么,就很难说明白。
当他和冯·诺伊曼讨论这个问题时,冯·诺伊曼对香农建议说:“你应该把它称之为‘熵’。”并给出两个理由,一是“不确定”这个概念已被用于统计力学,二是没有人知道“熵”到底是什么,不致引发争论。
所以香农熵由此诞生,香农指出信息熵是消除不确定所需信息量的度量,即未知事件可能含有的信息量。通俗的讲信息熵是用来衡量信息量的大小。
若不确定越大,则信息量越大,熵越大。若不确定越小,则信息量越小,熵越小。在之前,克劳修斯提出的“熵”,最初是用来描述“能量退化”的物质状态参数之一,仅仅是一个可以通过热量改变来测定的物理量,但是在香农的手里,熵则开启了信息时代的大门,所以才有了那句经典的“香农说,要有熵,信息时代由此开启”。
信息熵的公式
香农在希拉德的基础上提出,信息就是负熵,麦克斯韦妖将负熵输给系统,即是降低了熵,增加了有序。信息的获取是需要消耗能量的。物体之间的相互作用在系统之内并不降低系统的不确定度,所以没有信息作用。信息是对系统的观测,是外界对原来系统的作用。信息的本质就是“意义'的载体。
1948年10月香农在《贝尔系统技术学报》发表了论文《A Mathematical Theory of Communication》(通信的数学理论),这是现代信息论研究的开端, 文章系统论述了信息的定义,怎样数量化信息,怎样更好地对信息进行编码。在这些研究中,概率理论是香农使用的重要工具,并且正式提出了信息熵的概念,用于衡量消息的不确定,从而解决了电报、电话、无线电等如何计量信号信息量的问题。
除此之外香农还自创用“比特”来测量信息的单位,现已跻身于公尺、千克、分钟之列,成为了日常生活中最常见的量纲之一,是计算机最小的数据单位。
例如“小编实在太厉害”这七个汉字一共是112bits,一个汉字两个字节,一个字节8bits,总共就是7*2*8bits。
香农的厉害之处就在于,有的理论的创始人是带我们到了一个新的起点,而香农创立信息论时,直接定义了它的终点。只要你还在经典信息论框架内,你就逃不出三大定理的范围,我们拼尽全力往技术的山顶走,而香农就在山顶等我们,哪怕是现在认为非常先进的5G技术,其实也并没有突破香农理论的极限。
我们真的,香农信息论是以概率论、随机过程为基本研究工具,研究广义通信系统的整个过程,而不是整个环节,并以编、译码器为重点,其关心的是最优系统的能及如何达到该能。
虽然香农熵解决了电报、电话、无线电等如何计量信号信息量的问题。但怎么在远距离通信中进一步提高信道容量?也就是信息传送速率上限,即“香农极限”。
因为在信息论里,有噪信道编码定理指出,尽管噪声会干扰通信信道,但还是有可能在信息传输速率小于信道容量的前提下,以任意低的错误概率传送数据信息。
而通信信道的信道容量也就是香农限制是指在指定的噪音标准下,信道理论上的最大传输率。
由此,在这篇论文中,香农提出了信息论的基础,也是关于信道容量计算的一个经典定律——香农定律。这使得至今几乎所有的现代通信理论都是基于这个公式展开。
它是指在高斯白噪声背景下的连续信道的容量
=
(b/s)。
其中:B为信道带宽(Hz);S为信号功率(W);n0为噪声功率谱密度(W/Hz);N为噪声功率(W)。
香农定理给出了信道信息传送速率的上限(比特每秒)和信道信噪比及带宽的关系。可以解释现代各种无线制式由于带宽不同,所支持的单载波最大吞吐量的不同。
C是单信道的信道容量,是能在此信道中信息传输速率的最大值,。我们建立了一个单点输入、单点输出的通信通道(我们称为信道)后,这条通道每秒最多可以传送多少bit的信息量,如果信息速率超过信道容量,那信息是不可能被传输。
B是信道的带宽,可以简单理解为分配给一个信道可用的频率范围的一半;S是传送信号的平均功率,而N则是噪声或者干扰信号的平均功率。
从香农公式可知,对于单信道而言,要增加信道容量C,无非三种方式:或增加带宽B,或增加信号功率S,或减少噪声或干扰信号的功率N。
我们可以简单地把信息通道看作是城市道路,那么在这条道路上的单位时间内的车流量就受到道路宽度和车辆速度等因素的制约,在这些特定制约条件下,单位时间内最大车流量就被称为极限值。
而根据香农定理,由于受到一些固有规律的制约,任何信道都不能无限增加信息传送的速率。
从香农公式中我们可以看出,想要提高信息的传送速率关键在于提高信噪比和带宽。
香农定律为信息时代指明了道路,二十世纪六十年代由美国贝尔实验室等单位提出蜂窝系统的概念和理论,但是受到硬件的限制,七十年才在正式向产业化发展。移动通信的变革在北美、欧洲、和日本几乎同时进行。1978年,美国贝尔实验室研制成功全球首个移动蜂窝电话系统AMPS,标志着 1G 时代的到来,全球正式进入了信息时代,信息技术革命以美国为核心逐渐扩散到其他国家。
香农定律告诉我们:牺牲单个信道的功率,虽然单个信道的容量有所降低,但是这个降低却能换来信道数目的增长。因此,有的时候,牺牲一定的带宽、提高一点噪声或是降低一点信号功率,如果能使输入或输出信号之间的区分度增加,也是可以提高信道总容量的。这正是5G的另一类重要技术,非正交复用技术(Non-Orthogonal Multiple Access,NOMA)的原理基础。
而从 1G 到 5G 的过程,就是逼近香农极限的过程。香农公式是整个信息时代规则的制定者,它是至高无上的神,也是美国得以制衡全球的终极法器。然而随着时代的发展,我们也获悉了香农定律中的无上奥秘。从而在 5G 世界走在了全球的前列。
或许这新帝国的垄断者也该易位了!
本文到此结束,希望对大家有所帮助呢。
上一篇:炒房是什么意思(抄方是什么意思)
下一篇:返回列表
相关链接 |
||
网友回复(共有 0 条回复) |