在信息论中，信息是由一个所谓信息源输出的，设某信息源输出n个相互独立的信息Xi，Xi出现的几率为Pi，可以用信息源发出的全部信息的平均信息量来表示信息源的整体特性，这个整体特性是信息源的不确定程度。信息熵大，说明信息源发出的平均信息量大，而信息量大表示信息源发出信息的几率小，即源的不确定程度大。
容易看到，在获得信息都是等几率的情况下I-＝-∑iPilog2Pi＝-log2P＝Ii。
为了简化讨论，可以把第i个信息的信息量看作是平均信息量或信息熵，在这种意义上，信息量即信息熵。
1927年，匈牙利一个叫西拉德的人指出：麦妖要识别快、慢分子，必须使用“电筒”或“灯光”探测。当光被分子散射后，麦妖接收此散射光，才能知道该分子是快分子还是慢分子，并依据此决定是否开启小门。西拉德的这一判断过程，会使“电筒”或“灯”在发光时产生熵增加，因为电和光都导致发热。根据西拉德的计算，这一熵增加将超过麦妖控制小门所获得的熵减小，故最后总熵仍是增大的。西拉德的设想使得信息与熵之间第一次建立了联系，减小熵是以获得信息为前提的。
3.信息熵与热熵
信息增加，则熵减小，反之则熵增加。因此，可以把热熵和信息熵或信息量I的关系写成S+I＝常数。S是无序程度的量度，I则是有序程度的量度。布里渊曾说：“熵是关于体系精确状态所缺乏的那些信息的量度。”比如，要确定体系的状态时，若可供选择的方式数愈少，则愈容易确定。当可供选择的方式数仅为1时，则体系状态完全被确定。
熵是与可供选择的方式数目成正比的，如果把可供选择的方式数看成统计学中的热力学几率P，那么由玻尔兹曼公式S＝klnP可知，当P＝1时，S＝0。按布里渊的解释，信息量应为熵的减少I＝S0-S或S+I＝S0。当体系完全确定（S＝0）时，则I取最大值Imax，所以有S＝Imax-I，这是布里渊定义熵的一种数学表述。
熵是对于体系精确状态所缺乏的那些信息（Imax-I）的量度。对式S+I＝S0进行微分，得dS＝-dI若ds≥0，则dI≤0，这是信息论的结论，系统总是朝信息量减少的方向演化。
4.信息熵与统计熵
设一理想气体从体积V0等温压缩到体积V1，从统计观点来看ΔS＝klnPiP0，其中Pi为系统热力学几率。在均匀分布的条件下，一个分子在容积V中分配的微观方式数与v成正比，N个分子在V中的分配方式数与VN成正比。热力学几率就是和均匀分布的宏观态相对应的微观态数目，P∝VN，于是ΔS＝kln（V1V0）N＝NklnViV0争。另一方面，在减少体积时，也减少了达到该状态的方式数。压缩前，每一个分子都在V0。内，可能占据的位置数目是V0／ΔV，其中ΔV是某个任意小的体积。压缩后，每个分子可能的位置数减少为V0／ΔV。由此，信息量增大时，每一个分子的信息量增量为ΔI＝-klnlnΔVV0+klnΔVV1，N个分子的信息量增量为ΔI＝-NklnV1V0。显然，因压缩而增加的信息量应等于相应的统计熵的减少ΔS＝-ΔI。由此可见，人们把信息熵称为负熵是有道理的。因为对于熵增加原理，对应有信息量减少原理，故称信息量为负熵更为合适，否则熵既满足增加原理，又满足减少原理就会造成混乱。
四、熵与生命
1.生命是什么
1945年，量子力学的创始人之一薛定谔发表了他的杰作《生命是什么？——活细胞的物理学观》。书中提出，对生命现象进行普遍的物理解释是可能的，他把生命现象归结为少数几个基本物理问题。薛定谔讨论的第一个问题是：生物体如何维持自身的非平衡态？他的回答是：非平衡态是通过熵从生物体流向周围环境来维持的。薛定谔讨论的第二个问题是：生命体为什么一定要由大量的原子组成？回答是由少量几个原子所构成的系统不可能是有序的，即便有序，也会被热运动的起伏破坏。生命的许多基本问题与熵有着密切的联系。
比薛定谔更早，用热学来讨论生命的人是保尔·爱德蒙德，他指出：生命是开放的非平衡系统中所发生的一连串过程。
19世纪有两个光辉的演化理论，一个是达尔文的生物进化论，即生物由单细胞向多细胞进化，这是一个朝着有序化方向进行的演化；另一个是孤立系的热力学系统演化论，即熵增加原理，孤立系始终朝着无序化的方向演化。这两个演化论并无矛盾，因为生物系是一个开放系。
2.开放系的熵
生物是一个开放系统，开放系的熵决定于系统内产生的熵、外部流入的熵及系统流向外部的熵的数量。比如，宇航员是一个开放系，其熵的改变由两部分之和决定，一是机体内产生的熵diS，二是流入的熵deS。于是总熵变化为dS＝diS+deS。因为diS>；0，而deS取决于环境。当开放系统处在非平衡的稳态时，dS＝0，故有-deS＝diS，这表示机体内产生的熵正好全部流出机体。一个发育完全的健康的年轻人，在较长一段时间内保持稳定的体重，就是处在这种非平衡的稳态。发育中的儿童及更年期后的成年人的机体则不再处于这种稳态。
生物机体与外界交换物质时，生物体排泄的熵往往大于生物体吃进的营养物质的熵。因此，总熵仍是增大的，这并不违反热力学第二定律。关于生物体与外界的交换，薛定谔有旬名言日：生物体以负熵为食。
3.生物的生序过程
我们来做一个游戏：在一只箱子中放有7个颜色不同的球，红、橙、黄、绿、蓝、靛、紫。另外有一只袋子，内装有充分多的各种颜色的球。现在，从箱中取一个球让它“死亡”——扔掉，不再放回箱子；然后，再从箱中取第二个球，同时从袋中取一个与其颜色相同的球，并将这两个同色球一起放回箱中。第二次从箱中取出的球得到“再生”。依次重复上面的“死亡”与“再生”游戏，最后，箱中的球会变成单一的颜色。这里让我们看到了有序由无序中产生的过程，在生物体中就有这种生序的过程。当然，生物体中的生序过程比游戏要复杂得多。
1958年，贝洛索夫第一次在均质的氧化一还原系统中，看到了一种周期性的化学反应，其中有铈离子从3价到4价之间的周期性振荡，即Ce+4+eCe+3。由于Ce+4与Ce+3颜色不同，故反应时容器内的液体先由蓝色变成粉红色，后又恢复蓝色，依次交替变化，可维持几千个周期。这种振荡的化学过程也可以作为生物过程的简化模型，它是一种远离平衡的无衰减振荡，人体心脏的跳动就是远离平衡的无衰减振荡。著名的比利时学者普利高津创立的非平衡统计耗散结构理论及哈肯的协同学、自组织作用理论都是旨在从混沌中找到生序的机制。研究生命起源的理论中，最基本的问题也是如何形成有序信息大分子，如何在生命体随机混合中形成遗传短文。
