- 直前の記号が既知
- ZIP(deflate)
- 1記号あたりのビット数と、既知の直前の記号の数
| 文字 | 回数 | 確率 | 自己情報量(ビット) | エントロピーに占める割合 |
|---|
エントロピー計算機
テキストにはどれだけの情報があるのでしょうか。クロード・シャノンの答えであるエントロピーは、それをビットで数えます。予測しにくい記号は多くを伝え、予想できた記号はほとんど何も伝えません。好きなテキストを貼り付けるか例を選んで、1文字・1単語・1バイトあたりのエントロピー、完全なランダムにどれだけ近いか、どれだけ圧縮できるかを見てみましょう。さらに、直前の記号を考慮に入れると1記号あたりの情報量が下がっていく様子も観察できます。これはあらゆる圧縮プログラムが使っている仕組みです。 テキストを入力または貼り付けるか、例を選んでください。アプリは各記号の出現頻度を数え、シャノンエントロピー、つまり1記号あたりの平均情報量をビットで計算します。文字、単語、バイトのどれで数えるかを選べます。表には各記号の自己情報量がビット単位で示され、2つ目のグラフでは、直前の記号がわかっているときに各記号の情報量がどれだけ減るかを、ZIP 圧縮の実際の結果と並べて表示します。
使い方
- テキストを入力または貼り付けるか、例を選びます。段落、ランダムな文字・ビット・数字・DNA、繰り返しパターンがあります。
- 文字、単語、バイトのどれで数えるか、また大文字と小文字を同じものとして数えるかを選びます。
- タイルでエントロピー、ランダム度、情報量を、表で各記号の自己情報量を読み取り、2つ目のグラフで文脈と ZIP 圧縮が1記号あたりのビット数をどう下げるかを確かめます。
エントロピーは何を測るのか
確率 p で現れる記号は −log₂ p ビットの情報を持ちます。公平なコイン投げは1ビット、8分の1の確率の記号は3ビットです。エントロピーは、この自己情報量をテキストのすべての記号について平均したもので、H = −Σ p log₂ p です。すべての記号が同じ頻度のとき最大となり、異なる記号が n 個なら log₂ n ビットです。テキストが1つの記号の繰り返しならゼロになります。これにテキストの長さを掛けると、各記号を単独で符号化する符号が使えるビット数の最小値になります。だからエントロピーは圧縮の限界を決めるのです。
文脈でエントロピーが下がる理由
1文字ずつ数えると、英語の文字は1つあたり約4ビットを持ちます。しかし読み手は次の文字を当てられることがよくあります。英語では Q の次には U が来て、TH の次にはよく E が来ます。条件付きエントロピー、つまり直前の記号がわかっているときに次の記号が持つ情報量は、使う文脈が増えるほど下がります。シャノンは、英語に慣れた読み手なら1文字あたり約1ビットまで下がると見積もりました。ZIP のような圧縮プログラムも、この冗長性を利用しています。ランダムなテキストには冗長性がありません。どれだけ文脈を使ってもエントロピーは log₂ n のままで、圧縮することはできません。
よくある質問
1ビットの情報とは何ですか?
2つの答えが同じくらいありそうな「はい」か「いいえ」の質問、たとえば公平なコイン投げの答えから得られる情報です。そのような質問2つで2ビット、4通りの可能性になり、3つで3ビット、8通りになります。n ビットで、同じくらいありそうな2ⁿ通りの選択肢から1つを特定できます。
実際のテキストでランダム度が100%にならないのはなぜですか?
言語の記号は同じ頻度では現れないからです。ランダム度のタイルは、エントロピーをその最大値、つまり異なる記号の数の log₂ で割ったもので、最大値に届くのはすべての記号が同じ回数ずつ現れるときだけです。ランダムな文字は100%近くになります。E が多く Z が少ない普通の英語の文章は、1文字ずつ数えると一般に80〜90%です。
短いテキストで長い文脈がやけに予測しやすく見えるのはなぜですか?
短いテキストでは、数個の記号の組み合わせのほとんどが1回しか現れないので、その後に続くものが確実に見えてしまいます。そのため推定値は低すぎる値になります。グラフではその部分の曲線を破線で表示しています。正しい姿を見るには、数千文字ほどの長いテキストを貼り付けてください。
パスワードのエントロピーと同じものですか?
関係はありますが、同じではありません。パスワードの強度は、生成器が作り出しえた可能性の数、つまり長さ × 文字の種類数の log₂ を数えるもので、攻撃者が探索しなければならない範囲を表します。この計算機は、与えられた1つのテキストの統計を測ります。aaaaaa のようなパスワードはここではエントロピーが低くなり、どちらの見方をしても弱いパスワードです。
テキストはどこかに送信されますか?
いいえ。ZIP との比較も含めてすべてお使いのブラウザー内で計算され、テキストはこのブラウザーのローカルストレージに保存されます。
試してみますか?
ブラウザで PictorX を開きます。インストール不要、始めるのにクレジットカードも不要です。
エディターへ