- Gegeven de vorige symbolen
- ZIP (deflate)
- Bits per symbool, tegen het aantal bekende vorige symbolen
| Teken | Aantal | Waarschijnlijkheid | Verrassing (bits) | Aandeel in de entropie |
|---|
Entropiecalculator
Hoeveel informatie zit er in een tekst? Het antwoord van Claude Shannon, entropie, telt die in bits: een symbool dat moeilijk te voorspellen is, vertelt je veel, een symbool dat je had kunnen raden weinig. Plak een willekeurige tekst of kies een voorbeeld en zie de entropie per teken, woord of byte, hoe dicht die bij pure willekeur komt en hoeveel de tekst gecomprimeerd zou kunnen worden. Zie daarna de informatie per symbool dalen zodra de symbolen ervoor worden meegerekend: de truc die elk compressieprogramma gebruikt. Typ of plak een tekst, of kies een voorbeeld. De app telt hoe vaak elk symbool voorkomt en berekent de Shannon-entropie: het gemiddelde aantal bits informatie per symbool. Tel tekens, woorden of bytes. De tabel geeft de verrassing van elk symbool in bits, en de tweede grafiek laat zien hoeveel minder informatie elk symbool draagt als de symbolen ervoor bekend zijn, naast wat ZIP-compressie bereikt.
Hoe het werkt
- Typ of plak een tekst, of kies een voorbeeld: een alinea, willekeurige letters, bits, cijfers of DNA, of een zich herhalend patroon.
- Kies of je tekens, woorden of bytes telt, en of hoofdletters en kleine letters als hetzelfde gelden.
- Lees de entropie, willekeurigheid en informatie-inhoud af in de tegels, de verrassing van elk symbool in de tabel, en in de tweede grafiek hoe context en ZIP-compressie het aantal bits per symbool verlagen.
Wat entropie meet
Een symbool dat voorkomt met waarschijnlijkheid p draagt −log₂ p bits informatie: een eerlijke muntworp geeft 1 bit, een symbool met een kans van 1 op 8 geeft 3 bits. Entropie is het gemiddelde van die verrassing over alle symbolen van de tekst, H = −Σ p log₂ p. Ze is het grootst als elk symbool even vaak voorkomt, log₂ n bits voor n verschillende symbolen, en nul als de tekst één symbool herhaalt. Vermenigvuldigd met de lengte van de tekst geeft ze het kleinste aantal bits dat een code nodig zou hebben die elk symbool afzonderlijk codeert. Daarom bepaalt entropie de grens van compressie.
Waarom context haar verlaagt
Eén voor één geteld dragen de letters van het Engels elk ongeveer 4 bits. Maar een lezer kan de volgende letter vaak raden: in het Engels komt na Q een U, na TH vaak een E. De voorwaardelijke entropie, de informatie in het volgende symbool als de vorige bekend zijn, daalt naarmate je meer context gebruikt, en Shannon schatte dat een vlotte lezer het Engels terugbrengt tot ongeveer 1 bit per letter. Compressieprogramma's zoals ZIP benutten dezelfde redundantie. Willekeurige tekst heeft die niet: de entropie blijft op log₂ n, hoeveel context je ook gebruikt, en de tekst is niet te comprimeren.
Veelgestelde vragen
Wat is een bit informatie?
De informatie die je krijgt uit het antwoord op een ja-neevraag waarvan beide antwoorden even waarschijnlijk waren, zoals bij een eerlijke muntworp. Twee zulke vragen geven 2 bits en vier mogelijkheden, drie geven 3 bits en acht mogelijkheden: n bits wijzen één van 2ⁿ even waarschijnlijke opties aan.
Waarom is de willekeurigheid bij echte tekst nooit helemaal 100%?
Omdat de symbolen van een taal niet even vaak voorkomen. De tegel Willekeurigheid deelt de entropie door haar grootst mogelijke waarde, log₂ van het aantal verschillende symbolen, die alleen bereikt wordt als elk symbool even vaak voorkomt. Willekeurige letters komen dicht bij 100%; gewone Engelse tekst, met zijn vele E's en weinige Z's, haalt letter voor letter geteld meestal 80 tot 90%.
Waarom lijken de langere contexten bij een korte tekst zo voorspelbaar?
In een korte tekst komen de meeste combinaties van een paar symbolen maar één keer voor, dus wat erop volgt lijkt zeker. De schatting is dan veel te laag. De grafiek tekent dat deel van de curve gestippeld; plak voor een eerlijk beeld een langere tekst van duizenden tekens.
Is dit hetzelfde als de entropie van een wachtwoord?
Verwant, maar niet hetzelfde. Wachtwoordsterkte telt de mogelijkheden die een generator had kunnen maken, lengte × log₂ van het alfabet: dat is wat een aanvaller moet doorzoeken. Deze calculator meet de statistiek van één gegeven tekst. Een wachtwoord als aaaaaa heeft hier een lage entropie, en het is hoe dan ook zwak.
Wordt mijn tekst ergens naartoe gestuurd?
Nee. Alles, ook de vergelijking met ZIP, wordt in je browser berekend, en je tekst blijft in de lokale opslag van deze browser.
Klaar om het te proberen?
Open PictorX in je browser - geen installatie, geen creditcard nodig om te starten.
Ga naar Editor