- 已知前面的符号
- ZIP(deflate)
- 每符号比特数与已知的前面符号个数
| 字符 | 次数 | 概率 | 自信息(比特) | 占熵的比例 |
|---|
熵计算器
一段文本里有多少信息?克劳德·香农给出的答案是熵,它以比特来计量信息:难以预测的符号告诉你很多,能猜到的符号告诉你很少。粘贴任意文本或选择一个示例,查看它每字符、每词或每字节的熵,它离纯随机有多近,以及它能被压缩多少。然后观察当前面的符号被考虑进来时,每个符号的信息量如何下降,这正是所有压缩程序都在使用的技巧。 输入或粘贴一段文本,或选择一个示例。应用会统计每个符号出现的频率,并计算香农熵:每个符号平均携带的信息比特数。可以按字符、词或字节计数。表格列出每个符号的自信息(以比特计);第二张图显示在已知前面的符号时,每个符号携带的信息会减少多少,并与 ZIP 压缩的实际效果对比。
它是如何运作的
- 输入或粘贴一段文本,或选择一个示例:一段文字、随机字母、比特、数字或 DNA,或者一个重复的模式。
- 选择按字符、词还是字节计数,以及是否把大写和小写算作相同。
- 在磁贴中读取熵、随机度和信息量,在表格中查看每个符号的自信息,在第二张图中查看上下文和 ZIP 压缩如何降低每符号比特数。
熵度量的是什么
以概率 p 出现的符号携带 −log₂ p 比特信息:公平地抛一次硬币得到 1 比特,概率为八分之一的符号得到 3 比特。熵是这种自信息在文本所有符号上的平均值,H = −Σ p log₂ p。当每个符号同样常见时熵最大,n 个不同符号时为 log₂ n 比特;当文本只重复一个符号时熵为零。熵乘以文本长度,就是逐个独立编码每个符号的编码最少需要的比特数,这就是熵为压缩设定极限的原因。
为什么上下文会降低熵
逐个计算时,英语字母每个约携带 4 比特。但读者常常能猜出下一个字母:在英语中,Q 后面跟着 U,TH 后面常常是 E。条件熵,即已知前面符号时下一个符号所含的信息,会随着使用的上下文增多而下降;香农估计,熟练的读者能把英语降到每个字母约 1 比特。ZIP 等压缩程序利用的正是这种冗余。随机文本没有冗余:无论使用多少上下文,它的熵都保持在 log₂ n,也无法被压缩。
常见问题
什么是 1 比特信息?
就是从一个是非问题的答案中得到的信息,而且两种答案的可能性相同,比如公平地抛一次硬币。两个这样的问题给出 2 比特和四种可能,三个给出 3 比特和八种可能:n 比特能从 2ⁿ 个同样可能的选项中确定一个。
为什么真实文本的随机度永远达不到 100%?
因为语言中的符号并不同样常见。随机度磁贴把熵除以它可能的最大值,即不同符号个数的 log₂,只有当每个符号出现得同样频繁时才能达到。随机字母接近 100%;普通英语文本中 E 很多、Z 很少,逐个字母计算时通常为 80% 到 90%。
为什么短文本中较长的上下文看起来如此可预测?
在短文本中,几个符号的大多数组合只出现一次,所以跟在后面的内容看起来是确定的。这时的估计值就会低得多。图表把这部分曲线画成虚线;粘贴一段更长的文本,几千个字符,才能得到公正的结果。
这和密码熵是一回事吗?
相关但不相同。密码强度计算的是生成器可能产生的所有可能性,即长度 × 字母表大小的 log₂,这就是攻击者必须搜索的范围。这个计算器测量的是某一段给定文本的统计特性。像 aaaaaa 这样的密码在这里熵很低,无论按哪种方式衡量,它都很弱。
我的文本会被发送到任何地方吗?
不会。所有计算,包括 ZIP 对比,都在你的浏览器中完成,你的文本保存在此浏览器的本地存储中。
准备好尝试了吗?
在浏览器中打开 PictorX — 无需安装,无需信用卡即可启动。
前往编辑器