香农信息论的基本思想
信息以某种非同一般的方式运作。
一般来说，当它被有选择地分享时，它的价值就增加。
它不会因为使用而贬值，尽管它可以过时。
最为奇特的是，你可以在不放弃信息的情况下将其分发。
因此，它与货币或其他形式的能源，或物质在本质上截然不同。
香农的信息概念建立在热力学熵的等式的基础上，并将信息的测度单位定为比特。
比特的一个重要优点是：它能够为范围极其广泛的“物质-能量”所使用。
信息论的创始人香农提出了信息传播中“噪音”的概念，即是指由于技术故障或技术不完善造成的干扰，并使得发出信号与接受信号之间出现信息失真，造成传播的障碍。
“信息”在信息论奠基之一香农里的意思是什么
香农 克劳德·香农(Claude Elwood Shannon，1916-2001)1916年4月30日诞生于美国密西根州的Petoskey。
在Gaylord小镇长大，当时镇里只有三千居民。
父亲是该镇的法官，他们父子的姓名完全相同，都是Claude Elwood Shannon。
母亲是镇里的中学校长，姓名是Mabel Wolf Shannon。
他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。
香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。
此外，香农的家庭与大发明家爱迪生(Thomas Alva Edison，1847-1931)还有远亲关系。
香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。
在“功成名就”后，香农与玛丽(Mary Elizabeth Moore)1949年3月27日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。
他们共有四个孩子：三个儿子Robert、James、Andrew Moore和一个女儿Margarita Catherine。
后来身边还有两个可爱的孙女。
2001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。
贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基之父。
1936年香农在密西根大学获得数学与电气工程学士学位，然后进入MIT念研究生。
1938年香农在MIT获得电气工程硕士学位，硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析)。
当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。
于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基?9
香农如何创立信息论
香农创立了信息论克劳德·香农（Claude Elwood Shannon，1916-2001）于1916年4月30日出生在美国密西根州的伽娄德（Gaylord）小镇，当时镇里只有三千居民。
香农的父亲是该镇的法官，母亲是镇里的中学校长。
他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。
香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。
此外，香农的家庭与大发明家爱迪生(Thomas Alva Edison，1847-1931)还有远亲关系。
香农的两大贡献：一是信息理论、信息熵的概念；另一是符号逻辑和开关理论。
香农的信息论为明确什么是信息量概念作出决定性的贡献。
1936年香农在密西根大学获得数学与电气工程学士学位，然后进入MIT念研究生。
1938年香农在MIT获得电气工程硕士学位，硕士论文题目是《继电器与开关电路的符号分析》。
当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。
于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。
哈佛大学的Howard Gardner教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。
1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是《理论遗传学的代数学》。
说明香农的兴趣十分广泛，后来他在不同的学科方面发表过许多有影响的文章。
在读学位的同时，他还用部分时间跟温尼法·布什教授进行微分分析器的研究。
这种分析器是早期的机械模拟计算机，用于获得常微分方程的数值解。
1941年香农发表了《微分分析器的数学理论》，他写道：“大多数结果通过证明的定理形式给出。
最重要的是处理了一些条件，有些条件可以生成一个或多个变量的函数，有些条件可使常微分方程得到解。
还给出了一些注意事项，给出求函数的近似值、求调整率的近似值以及自动控制速率的方法。
”1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室工作到1972年，从24岁到55岁，整整31年。
香农与John Riordan一起工作，1942年发表了一篇关于串并联网络的双终端数的论文。
这篇论文扩展了麦克马洪1892年在Electrician上发表的论文理论。
1948年香农在发表了《通讯的数学理论 》，创立了信息论。
在二次世界大战时，香农博士也是一位著名的密码破译者（这使人联想到比他大4岁的图灵博士）。
他在贝尔的破译团队主要是追踪德国飞机和火箭，尤其是在德国火箭对英国进行闪电战时起了很大作用。
1949年香农发表了另外一篇重要论文《保密系统的通信理论》，正是基于这种工作实践，它的意义是使保密通信由艺术变成科学。
熵的概念 香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。
熵曾经是波尔兹曼在热力学第二定律引入的概念，我们可以把它理解为分子运动的混乱度。
信息熵也有类似意义，例如在中文信息处理时，汉字的静态平均信息熵比较大，中文是9.65比特，英文是4.03比特。
这表明中文的复杂程度高于英文，反映了中文词义丰富、行文简练，但处理难度也大。
信息熵大，意味着不确定性也大。
因此我们应该深入研究，以寻求中文信息处理的深层突破。
不能盲目认为汉字是世界上最优美的文字，从而引申出汉字最容易处理的错误结论。
众所周知，质量、能量和信息量是三个非常重要的量。
人们很早就知道用秤或者天平计量物质的质量，而热量和功的关系则是到了19世纪中叶，随着热功当量的明确和能量守恒定律的建立才逐渐清楚。
能量一词就是它们的总称，而能量的计量则通过“卡、焦耳”等新单位的出现而得到解决。
然而，关于文字、数字、图画、声音的知识已有几千年历史了。
但是它们的总称是什么，它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如何去解决了。
20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被隐约地提上日程。
1928年哈特利(R.V. H. Harley)考虑到从D个彼此不同的符号中取出N个符号并且组成一个“词”的问题。
如果各个符号出现的概率相同，而且是完全随机选取的，就可以得到DN个不同的词。
从这些词里取了特定的一个就对应一个信息量I。
哈特利建议用N log D这个量表示信息量，即I=N log D 。
这里的log表示以10为底的对数。
后来，1949年控制论的创始人维纳也研究了度量信息的问题，还把它引向热力学第二定律。
但是就信息传输给出基本数学模型的核心人物是香农。
1948年香农长达数十页的论文《通信的数学理论》成了信息论正式诞生的里程碑。
在他的通信数学模型中，清楚地提出信息的度量问题，他把哈特利的公式扩大到概率pi不同的情况，得到了著名的计算信息熵H的公式： H=∑-pi log pi 如果计算中的对数log是以2为底的，那么计算出来的信息熵就以比特（bit）为单位。
今天在计算机和通信中广泛使用的字节(Byte)、KB、MB、GB等词都是从比特演化而来。
“比特”的出现标志着人类知道了如何计量信息量。
香农最初的动机是把电话中的噪音除掉，他给出通信速率的上限，这个结论首先用在电话上，后来用到光纤，现在又用在无线通信上。
我们今天能够清晰地打越洋电话或卫星电话，都与通信信道质量的改善密切相关。
香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。
人们描述香农的生活，白天他总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。
他的同事D. Slepian说：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德很少过来。
他总是关起门来工作。
但是，如果你要找他，他会非常耐心地帮助你。
他能立刻抓住问题的本质。
他真是一位天才，在我认识的人中，我只对他一人使用这个词。
” 克劳德·香农在公众中并不特别知名，但他是使我们的世界能进行即时通信的少数科学家之一。
他是美国科学院院士、美国工程院院士、英国皇家学会会员、美国哲学学会会员。
他获得过许多荣誉和奖励。
例如1949年Morris奖、1955年Ballantine奖、1962年Kelly奖、1966年的国家科学奖章、IEEE的荣誉奖章、1978年Jaquard奖、1983年Fritz奖、1985年基础科学京都奖。
他获得的荣誉学位不胜枚举。
贝尔实验室和MIT都尊崇香农为信息论及数字通信时代的奠基人。
是他将布尔代数的“真”与“假” 电路的“开”与“关”对应起来，并用1和0表示。
这是从理论转换到实际产品设计的一个重要的环节。
香农信息论的名称由来
香农三大定理是信息论的基础理论。
香农三大定理是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。
香农第一定理是可变长无失真信源编码定理。
香农第二定理是有噪信道编码定理。
香农第三定理是保失真度准则下的有失真信源编码定理。
一般说的香农定理,指香农定理给出了信道信息传送速率的上限（比特每秒）和信道信噪比及带宽的关系。
香农定理可以解释现代各种无线制式由于带宽不同，所支持的单载波最大吞吐量的不同。
在有随机热噪声的信道上传输数据信号时，信道容量Rmax与信道带宽W，信噪比S\\\/N关系为： Rmax=W*log2(1+S\\\/N)。
注意这里的log2是以2为底的对数。
更多详情请度娘吧,贴得到了又犯规了...
信息论的创始人香农对信息的解释是:
“的基本问题就是在一点重新准确地或地再现另一点所的消息”。
这学家香农（claudee.shanon）在他的惊世之著《通信的数学理论》中的一句铭言。
正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。
——香农，1816年生于美国密执安州的加洛德。
在大学中他就表现出了对数理问题的高度敏感。
他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。
后来，他就职于贝尔电话研究所。
在这个世界上最大的通信公司（美国电话电报公司）的研究基地里，他受着前辈的工作的启示，其中最具代表性的是《贝尔系统技术杂志》上所披露的奈奎斯特的《影响电报速率的一些因素》和哈特莱的《信息的传输》。
正是他们最早研究了通信系统的信息传输能力，第一次提出了信息量的概念，并试图用教学公式予以描述。
而香衣则创造性地继承了他们的事业，在信息论的领域中钻研了8年之久，终于在1948年也在《贝尔系统技术杂志》上发表了244页的长篇论著，这就是上面提到的那篇《通信的数学理论》。
次年，他又在同一杂志上发表了另一篇名著《噪声下的通信》。
在这两篇文章中，他解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。
两篇文章成了现在信息论的寞基著作。
而香农，也一鸣惊人，成了这门新兴学科的寞基人。
那时，他才不过刚刚三十出头。
——他的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研究规模象浪雪球一样越来越大。
不仅在电子学的其他领域，如计算机、自动控制等方面大显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学……等学科。
它已远远地突破了香衣本人所研究和意料的范畴，即从香农的所谓“狭义盾息论”发展到了“广义信息论”。
——进入80年代以来，当人们在议论未来的时候，人们的注意力又异口同声的集中到信息领域。
按照国际一种流行的说法，未来将是一个高度信息化的社会。
信息工业将发展成头号工业，社会上大多数的人将是在从事后息的生产、加工和流通。
这时，人们才能更正确地估价香农工作的全部含义。
信息论这个曾经只在专家们中间流传的学说，将来到更广大的人群之中。
香农这个名字也飞出了专家的书斋和实验室，为更多的人所熟悉和了解。
为什么说香农信息论是通信技术的理论基础
为信息定义了度量单位
