熵详解
1948 年,贝尔实验室的工程师克劳德·香农提出了一个从未有人精确表述过的问题:一条消息包含多少信息?他的答案是一个以比特计量的数字,它不取决于消息的含义,而取决于消息有多出人意料。这个数字就是熵,它为每一个压缩程序、每一条网络链路和每一种存储设备设定了极限,也解释了为什么有些文本能缩小到原来的一小部分,而另一些却完全压缩不了。
信息就是意外
香农的洞见是用消息有多出人意料来度量信息,而不是看它的含义。如果你早已知道答案,听到它不会告诉你任何东西;如果它可能是一千种情况中的任何一种,它就告诉了你很多。从两种同样可能的情况中确定一种的消息携带 1 比特。从四种中确定一种需要 2 比特,从八种中需要 3 比特,一般地,从 N 种同样可能的情况中确定一种需要 log₂ N 比特。因此,以概率 p 出现的符号携带 −log₂ p 比特:它越罕见,告诉你的就越多。
香农公式
熵是每个符号的平均信息量:H = −Σ p log₂ p,对每个符号及其概率 p 求和。公平硬币的 H 为 1 比特。对于 90% 的时间正面朝上的硬币,它只有 0.47 比特,因为结果通常并不意外。当所有符号同样可能时熵最大,n 个符号时为 log₂ n 比特;当某个符号必然出现时熵为零。香农听从约翰·冯·诺依曼的建议选用了这个名称,因为同样的公式也出现在物理学中,在那里熵度量的是无序程度。
压缩的极限
香农的信源编码定理指出,任何无损编码平均每个符号使用的比特数都不能少于信源的熵,而编码可以任意接近这个值。霍夫曼编码由戴维·霍夫曼在 1952 年还是学生时发明,它给常见符号短码、给罕见符号长码,与熵的差距在每符号 1 比特以内;算术编码还能更接近。因此,熵不仅是一种描述,更是一道硬性极限:一个由随机字节组成、每字节有 8 比特熵的文件根本无法压缩。
上下文与冗余
文本中的字母并不相互独立。以英语为例,Q 后面跟着 U,句号后面是大写字母,一个以 INFORMA 开头的词几乎肯定接着是 TION。把前面的符号考虑进来,就得到条件熵,它低于逐个计算的符号的熵。两者之差就是冗余:消息中本可以预测出来的部分。ZIP 等压缩程序使用 deflate 方法,找出重复的字符串并用简短的引用替换它们;现代压缩器则根据上下文来预测每个符号。
英语里有多少信息?
按英语的字母频率逐个计算,一个字母约携带 4.1 比特,而随机选取的字母为 4.7 比特。1951 年,香农更进一步:他给人们看一段文本的开头,让他们猜下一个字母,并统计他们需要猜几次。根据他们的回答,他估计英语每个字母只携带约 0.6 到 1.3 比特。换句话说,书面英语大约四分之三是冗余,这就是为什么缺了字母的英文通常仍然读得懂。
随机性与密码
熵也度量不可预测性,而安全正依赖于此。从 N 种可能中均匀选取的密钥或密码具有 log₂ N 比特的熵,攻击者平均要尝试大约一半。由 26 个小写字母组成的 12 位随机密码约有 56 比特;一个常见的单词则少得多,无论它有多长。检验随机数生成器的方法是看其输出是否具有随机源的全部熵,操作系统则从时序噪声中收集熵来为它们提供种子。
熵出现在哪里
熵决定了一次通话、一张照片或一路视频流需要多少比特,也决定了调制解调器或 Wi-Fi 链路能多接近其信道容量。生物学家用它来度量 DNA 中的信息,四种碱基每个最多携带 2 比特,也用它来度量生态系统的多样性。在机器学习中,决策树选择能最大程度降低熵的问题,而交叉熵损失训练着大多数神经网络。语言学家用每字符和每词的熵来比较不同的语言。
动手探索
打开熵计算器,按字符、词或字节测量任意文本。把一段文字与随机字母、比特、数字和 DNA 进行比较,查看每个符号的自信息、文本所含信息量与其存储大小的对比,以及随着已知上下文的增多每符号比特数如何下降,并与 ZIP 的实际效果对照。
常见问题
为什么熵以比特为单位?
因为香农使用以 2 为底的对数,这样在两个同等选项之间做一次是非选择就算作一个单位。使用自然对数时单位是奈特,约 1.44 比特;以 10 为底时单位是哈特莱,约 3.32 比特;物理学家和一些统计学家使用这些单位。
文本的熵能超过其字母表大小的 log₂ 吗?
不能。有 n 个不同符号时,熵最多为每符号 log₂ n 比特,只有当所有符号同样常见时才能达到。任何不均衡,以及来自上下文的任何可预测性,都会降低熵。
信息论中的熵与物理学中的熵是一回事吗?
两者的公式形式相同:玻尔兹曼和吉布斯把物理熵写成对系统各微观状态概率的求和。含义也相关,因为两者度量的都是你有多少不知道的东西;物理学家后来还证明,擦除 1 比特信息必然释放少量热量。
为什么再次压缩已压缩的文件没有用?
好的压缩器会去掉大部分冗余,所以它的输出接近随机,每字节有将近 8 比特的熵。已经没有什么可去掉的了,再压缩一次通常还会因为压缩器自身的开销而让文件略微变大。
准备好尝试了吗?
在浏览器中打开 PictorX — 无需安装,无需信用卡即可启动。
打开熵计算器