- Przy znanych poprzednich symbolach
- ZIP (deflate)
- Bity na symbol w zależności od liczby znanych poprzednich symboli
| Znak | Wystąpienia | Prawdopodobieństwo | Zaskoczenie (bity) | Udział w entropii |
|---|
Kalkulator entropii
Ile informacji zawiera tekst? Odpowiedź Claude’a Shannona, entropia, mierzy ją w bitach: symbol trudny do przewidzenia mówi wiele, a taki, który dało się odgadnąć, mówi niewiele. Wklej dowolny tekst lub wybierz przykład i zobacz jego entropię na znak, słowo lub bajt, jak blisko mu do czystej losowości i jak bardzo dałoby się go skompresować. Potem obserwuj, jak ilość informacji na symbol spada, gdy uwzględnia się poprzedzające go symbole – to sztuczka, z której korzysta każdy program do kompresji. Wpisz lub wklej tekst albo wybierz przykład. Aplikacja liczy, jak często występuje każdy symbol, i oblicza entropię Shannona: średnią liczbę bitów informacji na symbol. Licz znaki, słowa lub bajty. Tabela podaje zaskoczenie każdego symbolu w bitach, a drugi wykres pokazuje, o ile mniej informacji niesie każdy symbol, gdy znane są symbole poprzedzające, obok tego, co osiąga kompresja ZIP.
Jak to działa
- Wpisz lub wklej tekst albo wybierz przykład: akapit, losowe litery, bity, cyfry lub DNA albo powtarzający się wzór.
- Wybierz, czy liczyć znaki, słowa czy bajty, oraz czy wielkie i małe litery mają być traktowane jednakowo.
- Odczytaj z kafelków entropię, losowość i ilość informacji, z tabeli zaskoczenie każdego symbolu, a z drugiego wykresu to, jak kontekst i kompresja ZIP obniżają liczbę bitów na symbol.
Co mierzy entropia
Symbol występujący z prawdopodobieństwem p niesie −log₂ p bitów informacji: rzut uczciwą monetą daje 1 bit, symbol o szansie 1 na 8 daje 3 bity. Entropia to średnia tego zaskoczenia po wszystkich symbolach tekstu, H = −Σ p log₂ p. Jest największa, gdy wszystkie symbole są równie częste – log₂ n bitów dla n różnych symboli – i równa zeru, gdy tekst powtarza jeden symbol. Pomnożona przez długość tekstu daje najmniejszą liczbę bitów, jakiej mógłby użyć kod kodujący każdy symbol osobno, i dlatego entropia wyznacza granicę kompresji.
Dlaczego kontekst ją obniża
Liczone pojedynczo litery tekstu angielskiego niosą po około 4 bity. Ale czytelnik często potrafi odgadnąć następną literę: w angielskim po Q przychodzi U, a po TH często E. Entropia warunkowa, czyli informacja w następnym symbolu przy znanych poprzednich, spada w miarę wykorzystywania dłuższego kontekstu, a Shannon oszacował, że biegły czytelnik sprowadza angielski do około 1 bitu na literę. Programy kompresujące, takie jak ZIP, wykorzystują tę samą nadmiarowość. Losowy tekst jej nie ma: jego entropia pozostaje równa log₂ n bez względu na to, ile kontekstu się użyje, i nie da się go skompresować.
Często zadawane pytania
Czym jest bit informacji?
To informacja, którą daje odpowiedź na pytanie typu tak/nie, gdy obie odpowiedzi były jednakowo prawdopodobne, jak przy rzucie uczciwą monetą. Dwa takie pytania dają 2 bity i cztery możliwości, trzy dają 3 bity i osiem możliwości: n bitów wskazuje jedną z 2ⁿ jednakowo prawdopodobnych opcji.
Dlaczego losowość prawdziwego tekstu nigdy nie sięga pełnych 100%?
Bo symbole języka nie są jednakowo częste. Kafelek losowości dzieli entropię przez jej największą możliwą wartość, log₂ liczby różnych symboli, którą osiąga się tylko wtedy, gdy każdy symbol występuje równie często. Losowe litery zbliżają się do 100%; zwykły tekst angielski, z mnóstwem liter E i nielicznymi Z, przy liczeniu litera po literze osiąga zwykle 80–90%.
Dlaczego przy krótkim tekście dłuższe konteksty wydają się tak przewidywalne?
W krótkim tekście większość kombinacji kilku symboli występuje tylko raz, więc to, co po nich następuje, wygląda na pewne. Oszacowanie jest wtedy o wiele za niskie. Wykres rysuje tę część krzywej linią przerywaną; aby uzyskać rzetelny obraz, wklej dłuższy tekst, liczący tysiące znaków.
Czy to to samo co entropia hasła?
Pokrewne, ale nie to samo. Siła hasła liczy możliwości, które mógł wytworzyć generator – długość × log₂ rozmiaru alfabetu – czyli to, co musi przeszukać atakujący. Ten kalkulator mierzy statystykę jednego konkretnego tekstu. Hasło takie jak aaaaaa ma tu niską entropię i tak czy inaczej jest słabe.
Czy mój tekst jest gdzieś wysyłany?
Nie. Wszystko, łącznie z porównaniem z ZIP, jest obliczane w twojej przeglądarce, a twój tekst zostaje w lokalnej pamięci tej przeglądarki.
Chcesz wypróbować?
Otwórz PictorX w swojej przeglądarce — do uruchomienia nie jest wymagana żadna instalacja ani karta kredytowa.
Przejdź do edytora