Entropia
Losowość
Ilość informacji
Różne symbole
  • Przy znanych poprzednich symbolach
  • ZIP (deflate)
  • Bity na symbol w zależności od liczby znanych poprzednich symboli

Znak Wystąpienia Prawdopodobieństwo Zaskoczenie (bity) Udział w entropii
Licz według

Więcej informacji o entropii

Kalkulator entropii

Ile informacji zawiera tekst? Odpowiedź Claude’a Shannona, entropia, mierzy ją w bitach: symbol trudny do przewidzenia mówi wiele, a taki, który dało się odgadnąć, mówi niewiele. Wklej dowolny tekst lub wybierz przykład i zobacz jego entropię na znak, słowo lub bajt, jak blisko mu do czystej losowości i jak bardzo dałoby się go skompresować. Potem obserwuj, jak ilość informacji na symbol spada, gdy uwzględnia się poprzedzające go symbole – to sztuczka, z której korzysta każdy program do kompresji. Wpisz lub wklej tekst albo wybierz przykład. Aplikacja liczy, jak często występuje każdy symbol, i oblicza entropię Shannona: średnią liczbę bitów informacji na symbol. Licz znaki, słowa lub bajty. Tabela podaje zaskoczenie każdego symbolu w bitach, a drugi wykres pokazuje, o ile mniej informacji niesie każdy symbol, gdy znane są symbole poprzedzające, obok tego, co osiąga kompresja ZIP.

Jak to działa

  1. Wpisz lub wklej tekst albo wybierz przykład: akapit, losowe litery, bity, cyfry lub DNA albo powtarzający się wzór.
  2. Wybierz, czy liczyć znaki, słowa czy bajty, oraz czy wielkie i małe litery mają być traktowane jednakowo.
  3. Odczytaj z kafelków entropię, losowość i ilość informacji, z tabeli zaskoczenie każdego symbolu, a z drugiego wykresu to, jak kontekst i kompresja ZIP obniżają liczbę bitów na symbol.

Co mierzy entropia

Symbol występujący z prawdopodobieństwem p niesie −log₂ p bitów informacji: rzut uczciwą monetą daje 1 bit, symbol o szansie 1 na 8 daje 3 bity. Entropia to średnia tego zaskoczenia po wszystkich symbolach tekstu, H = −Σ p log₂ p. Jest największa, gdy wszystkie symbole są równie częste – log₂ n bitów dla n różnych symboli – i równa zeru, gdy tekst powtarza jeden symbol. Pomnożona przez długość tekstu daje najmniejszą liczbę bitów, jakiej mógłby użyć kod kodujący każdy symbol osobno, i dlatego entropia wyznacza granicę kompresji.

Dlaczego kontekst ją obniża

Liczone pojedynczo litery tekstu angielskiego niosą po około 4 bity. Ale czytelnik często potrafi odgadnąć następną literę: w angielskim po Q przychodzi U, a po TH często E. Entropia warunkowa, czyli informacja w następnym symbolu przy znanych poprzednich, spada w miarę wykorzystywania dłuższego kontekstu, a Shannon oszacował, że biegły czytelnik sprowadza angielski do około 1 bitu na literę. Programy kompresujące, takie jak ZIP, wykorzystują tę samą nadmiarowość. Losowy tekst jej nie ma: jego entropia pozostaje równa log₂ n bez względu na to, ile kontekstu się użyje, i nie da się go skompresować.

Często zadawane pytania

Czym jest bit informacji?

To informacja, którą daje odpowiedź na pytanie typu tak/nie, gdy obie odpowiedzi były jednakowo prawdopodobne, jak przy rzucie uczciwą monetą. Dwa takie pytania dają 2 bity i cztery możliwości, trzy dają 3 bity i osiem możliwości: n bitów wskazuje jedną z 2ⁿ jednakowo prawdopodobnych opcji.

Dlaczego losowość prawdziwego tekstu nigdy nie sięga pełnych 100%?

Bo symbole języka nie są jednakowo częste. Kafelek losowości dzieli entropię przez jej największą możliwą wartość, log₂ liczby różnych symboli, którą osiąga się tylko wtedy, gdy każdy symbol występuje równie często. Losowe litery zbliżają się do 100%; zwykły tekst angielski, z mnóstwem liter E i nielicznymi Z, przy liczeniu litera po literze osiąga zwykle 80–90%.

Dlaczego przy krótkim tekście dłuższe konteksty wydają się tak przewidywalne?

W krótkim tekście większość kombinacji kilku symboli występuje tylko raz, więc to, co po nich następuje, wygląda na pewne. Oszacowanie jest wtedy o wiele za niskie. Wykres rysuje tę część krzywej linią przerywaną; aby uzyskać rzetelny obraz, wklej dłuższy tekst, liczący tysiące znaków.

Czy to to samo co entropia hasła?

Pokrewne, ale nie to samo. Siła hasła liczy możliwości, które mógł wytworzyć generator – długość × log₂ rozmiaru alfabetu – czyli to, co musi przeszukać atakujący. Ten kalkulator mierzy statystykę jednego konkretnego tekstu. Hasło takie jak aaaaaa ma tu niską entropię i tak czy inaczej jest słabe.

Czy mój tekst jest gdzieś wysyłany?

Nie. Wszystko, łącznie z porównaniem z ZIP, jest obliczane w twojej przeglądarce, a twój tekst zostaje w lokalnej pamięci tej przeglądarki.

Chcesz wypróbować?

Otwórz PictorX w swojej przeglądarce — do uruchomienia nie jest wymagana żadna instalacja ani karta kredytowa.

Przejdź do edytora