Энтропия
Случайность
Количество информации
Разных символов
  • При известных предыдущих символах
  • ZIP (deflate)
  • Бит на символ в зависимости от числа известных предыдущих символов

Символ Количество Вероятность Неожиданность (бит) Доля энтропии
Что считать

Подробнее об энтропии

Калькулятор энтропии

Сколько информации содержит текст? Ответ Клода Шеннона — энтропия — измеряет её в битах: символ, который трудно предсказать, сообщает многое, а тот, что можно было угадать, — мало. Вставьте любой текст или выберите пример и посмотрите его энтропию на символ, слово или байт, насколько он близок к чистой случайности и насколько его можно сжать. А затем понаблюдайте, как количество информации на символ падает, когда учитываются предшествующие символы, — этим приёмом пользуется любая программа сжатия. Введите или вставьте текст либо выберите пример. Приложение подсчитывает, как часто встречается каждый символ, и вычисляет энтропию Шеннона — среднее количество битов информации на символ. Считайте символы, слова или байты. В таблице указана неожиданность каждого символа в битах, а второй график показывает, насколько меньше информации несёт каждый символ, когда известны предшествующие ему, в сравнении с тем, чего достигает сжатие ZIP.

Как это работает

  1. Введите или вставьте текст либо выберите пример: абзац, случайные буквы, биты, цифры или ДНК либо повторяющийся шаблон.
  2. Выберите, что считать — символы, слова или байты, — и считать ли заглавные и строчные буквы одинаковыми.
  3. Смотрите энтропию, случайность и количество информации на плашках, неожиданность каждого символа в таблице, а на втором графике — как контекст и сжатие ZIP уменьшают число бит на символ.

Что измеряет энтропия

Символ, встречающийся с вероятностью p, несёт −log₂ p бит информации: подбрасывание честной монеты даёт 1 бит, символ с шансом 1 из 8 — 3 бита. Энтропия — это среднее значение этой неожиданности по всем символам текста, H = −Σ p log₂ p. Она максимальна, когда все символы встречаются одинаково часто, — log₂ n бит для n различных символов — и равна нулю, когда текст повторяет один символ. Умноженная на длину текста, она даёт наименьшее число битов, которое мог бы использовать код, кодирующий каждый символ по отдельности, — поэтому энтропия и задаёт предел сжатия.

Почему контекст её снижает

Если считать по одной, буквы английского текста несут примерно по 4 бита. Но читатель часто может угадать следующую букву: в английском после Q идёт U, после TH часто E. Условная энтропия — информация в следующем символе при известных предыдущих — падает по мере того, как используется больше контекста, и Шеннон оценил, что читатель, свободно владеющий языком, снижает английский примерно до 1 бита на букву. Программы сжатия, такие как ZIP, используют ту же избыточность. У случайного текста её нет: его энтропия остаётся равной log₂ n, сколько бы контекста ни использовалось, и сжать его нельзя.

Часто задаваемые вопросы

Что такое бит информации?

Это информация, которую даёт ответ на вопрос «да или нет», если оба ответа были равновероятны, как при подбрасывании честной монеты. Два таких вопроса дают 2 бита и четыре возможности, три — 3 бита и восемь возможностей: n бит выделяют один из 2ⁿ равновероятных вариантов.

Почему для настоящего текста случайность никогда не достигает 100%?

Потому что символы языка встречаются неодинаково часто. Плашка случайности делит энтропию на её наибольшее возможное значение — log₂ числа различных символов, — которое достигается, только если каждый символ встречается одинаково часто. Случайные буквы подходят близко к 100%; обычный английский текст, с его многочисленными E и редкими Z, при побуквенном подсчёте обычно достигает 80–90%.

Почему для короткого текста длинные контексты выглядят такими предсказуемыми?

В коротком тексте большинство сочетаний из нескольких символов встречается лишь один раз, поэтому то, что за ними следует, выглядит несомненным. Оценка тогда сильно занижена. На графике эта часть кривой показана пунктиром; чтобы получить честную картину, вставьте текст подлиннее — в тысячи символов.

Это то же самое, что энтропия пароля?

Связано, но не то же самое. Стойкость пароля оценивают по числу вариантов, которые мог бы выдать генератор, — длина × log₂ размера алфавита, — то есть по тому, что придётся перебрать атакующему. Этот калькулятор измеряет статистику одного конкретного текста. У пароля вроде aaaaaa здесь низкая энтропия, и он слаб в любом случае.

Отправляется ли мой текст куда-нибудь?

Нет. Всё, включая сравнение с ZIP, вычисляется в вашем браузере, а ваш текст остаётся в локальном хранилище этого браузера.

Готовы попробовать?

Откройте PictorX в своем браузере — установка не требуется, для запуска не требуется кредитная карта.

Перейти в редактор