Entropie
Aleatorism
Conținut informațional
Simboluri diferite
  • Cu simbolurile anterioare cunoscute
  • ZIP (deflate)
  • Biți pe simbol, în funcție de numărul de simboluri anterioare cunoscute

Caracter Apariții Probabilitate Surpriză (biți) Cota din entropie
Numărare după

Mai multe informații despre entropie

Calculator de entropie

Câtă informație conține un text? Răspunsul lui Claude Shannon, entropia, o numără în biți: un simbol greu de prezis vă spune mult, unul pe care l-ați fi putut ghici vă spune puțin. Lipiți orice text sau alegeți un exemplu și vedeți entropia lui pe caracter, cuvânt sau octet, cât de aproape ajunge de aleatoriul pur și cât de mult ar putea fi comprimat. Apoi urmăriți cum scade informația pe simbol pe măsură ce se ține seama de simbolurile dinaintea lui, trucul pe care îl folosește orice program de compresie. Scrieți sau lipiți un text ori alegeți un exemplu. Aplicația numără de câte ori apare fiecare simbol și calculează entropia Shannon: numărul mediu de biți de informație pe simbol. Numărați caractere, cuvinte sau octeți. Tabelul dă surpriza fiecărui simbol în biți, iar al doilea grafic arată cu cât mai puțină informație poartă fiecare simbol atunci când simbolurile dinaintea lui sunt cunoscute, alături de ce obține compresia ZIP.

Cum funcționează

  1. Scrieți sau lipiți un text ori alegeți un exemplu: un paragraf, litere, biți, cifre sau ADN aleatorii ori un tipar care se repetă.
  2. Alegeți dacă numărați caractere, cuvinte sau octeți și dacă majusculele și minusculele contează ca fiind la fel.
  3. Citiți entropia, aleatorismul și conținutul informațional în casete, surpriza fiecărui simbol în tabel și, în al doilea grafic, cum reduc contextul și compresia ZIP numărul de biți pe simbol.

Ce măsoară entropia

Un simbol care apare cu probabilitatea p poartă −log₂ p biți de informație: aruncarea unei monede corecte dă 1 bit, un simbol cu o șansă din 8 dă 3 biți. Entropia este media acestei surprize peste toate simbolurile textului, H = −Σ p log₂ p. Ea este maximă când toate simbolurile sunt la fel de frecvente, log₂ n biți pentru n simboluri diferite, și zero când textul repetă un singur simbol. Înmulțită cu lungimea textului, dă cel mai mic număr de biți pe care l-ar putea folosi un cod care codează fiecare simbol separat, motiv pentru care entropia stabilește limita compresiei.

De ce o reduce contextul

Numărate una câte una, literele limbii engleze poartă circa 4 biți fiecare. Dar un cititor poate ghici adesea litera următoare: în engleză, după Q vine U, iar după TH vine adesea E. Entropia condiționată, informația din simbolul următor când cele anterioare sunt cunoscute, scade pe măsură ce se folosește mai mult context, iar Shannon a estimat că un cititor fluent coboară engleza la circa 1 bit pe literă. Programele de compresie precum ZIP exploatează aceeași redundanță. Un text aleatoriu nu are deloc: entropia lui rămâne la log₂ n oricât context ați folosi și nu poate fi comprimat.

Întrebări frecvente

Ce este un bit de informație?

Informația pe care o obțineți din răspunsul la o întrebare cu da sau nu ale cărei două răspunsuri erau la fel de probabile, cum ar fi aruncarea unei monede corecte. Două astfel de întrebări dau 2 biți și patru posibilități, trei dau 3 biți și opt posibilități: n biți aleg una dintre 2ⁿ variante la fel de probabile.

De ce aleatorismul nu ajunge niciodată chiar la 100% pentru un text real?

Pentru că simbolurile unei limbi nu sunt la fel de frecvente. Caseta Aleatorism împarte entropia la valoarea ei maximă posibilă, log₂ din numărul de simboluri diferite, care este atinsă doar când toate simbolurile apar la fel de des. Literele aleatorii se apropie de 100%; un text obișnuit în engleză, cu numeroșii lui E și puținii Z, ajunge de regulă la 80–90% numărat literă cu literă.

De ce par contextele mai lungi atât de previzibile pentru un text scurt?

Într-un text scurt, majoritatea combinațiilor de câteva simboluri apar o singură dată, așa că orice le urmează pare sigur. Estimarea este atunci mult prea mică. Graficul desenează acea parte a curbei cu linie întreruptă; lipiți un text mai lung, de mii de caractere, pentru o imagine corectă.

Este același lucru cu entropia unei parole?

Înrudit, dar nu același lucru. Puterea unei parole numără posibilitățile pe care le-ar fi putut produce un generator, lungimea × log₂ din mărimea alfabetului, adică ce trebuie să caute un atacator. Acest calculator măsoară statistica unui singur text dat. O parolă ca aaaaaa are aici o entropie mică și este slabă oricum.

Este textul meu trimis undeva?

Nu. Totul, inclusiv comparația cu ZIP, este calculat în browserul dumneavoastră, iar textul rămâne în stocarea locală a acestui browser.

Ești gata să încerci?

Deschide PictorX în browser – fără instalare și fără card de credit.

Mergi la editor