- Givet de foregående symboler
- ZIP (deflate)
- Bit pr. symbol over for antallet af kendte foregående symboler
| Tegn | Antal | Sandsynlighed | Overraskelse (bit) | Andel af entropien |
|---|
Entropiberegner
Hvor meget information er der i en tekst? Claude Shannons svar, entropi, tæller den i bit: et symbol, der er svært at forudsige, fortæller dig meget, et, du kunne have gættet, fortæller dig lidt. Indsæt en hvilken som helst tekst, eller vælg et eksempel, og se dens entropi pr. tegn, ord eller byte, hvor tæt den kommer på ren tilfældighed, og hvor meget den kunne komprimeres. Se så informationen pr. symbol falde, når symbolerne før det tages med i betragtning, det trick, som alle komprimeringsprogrammer bruger. Skriv eller indsæt en tekst, eller vælg et eksempel. Appen tæller, hvor ofte hvert symbol forekommer, og beregner Shannon-entropien: det gennemsnitlige antal bit information pr. symbol. Tæl tegn, ord eller byte. Tabellen viser hvert symbols overraskelse i bit, og den anden graf viser, hvor meget mindre information hvert symbol bærer, når symbolerne før det er kendt, ved siden af hvad ZIP-komprimering opnår.
Sådan virker det
- Skriv eller indsæt en tekst, eller vælg et eksempel: et afsnit, tilfældige bogstaver, bit, cifre eller DNA, eller et gentaget mønster.
- Vælg, om der skal tælles tegn, ord eller byte, og om store og små bogstaver tæller som det samme.
- Aflæs entropi, tilfældighed og informationsindhold i felterne, hvert symbols overraskelse i tabellen, og i den anden graf, hvordan kontekst og ZIP-komprimering sænker antallet af bit pr. symbol.
Hvad entropi måler
Et symbol, der forekommer med sandsynligheden p, bærer −log₂ p bit information: et retfærdigt møntkast giver 1 bit, et symbol med en chance på 1 ud af 8 giver 3 bit. Entropi er gennemsnittet af den overraskelse over alle tekstens symboler, H = −Σ p log₂ p. Den er størst, når alle symboler er lige hyppige, log₂ n bit for n forskellige symboler, og nul, når teksten gentager ét symbol. Ganget med tekstens længde giver den det færreste antal bit, en kode kunne bruge, hvis den kodede hvert symbol for sig, og derfor sætter entropien grænsen for komprimering.
Hvorfor kontekst sænker den
Talt ét ad gangen bærer bogstaverne i engelsk omkring 4 bit hver. Men en læser kan ofte gætte det næste bogstav: på engelsk kommer U efter Q, og efter TH ofte E. Den betingede entropi, informationen i det næste symbol, når de foregående er kendt, falder, jo mere kontekst der bruges, og Shannon anslog, at en øvet læser bringer engelsk ned på omkring 1 bit pr. bogstav. Komprimeringsprogrammer som ZIP udnytter den samme redundans. Tilfældig tekst har ingen: dens entropi forbliver på log₂ n, uanset hvor meget kontekst man bruger, og den kan ikke komprimeres.
Ofte stillede spørgsmål
Hvad er en bit information?
Den information, man får fra svaret på et ja-nej-spørgsmål, hvis to svar var lige sandsynlige, som ved et retfærdigt møntkast. To sådanne spørgsmål giver 2 bit og fire muligheder, tre giver 3 bit og otte muligheder: n bit udpeger én af 2ⁿ lige sandsynlige muligheder.
Hvorfor når tilfældigheden aldrig helt 100 % for rigtig tekst?
Fordi et sprogs symboler ikke er lige hyppige. Feltet Tilfældighed dividerer entropien med dens størst mulige værdi, log₂ af antallet af forskellige symboler, som kun nås, når hvert symbol forekommer lige ofte. Tilfældige bogstaver kommer tæt på 100 %; almindelig engelsk tekst med sine mange E's og få Z's når typisk 80 til 90 %, talt bogstav for bogstav.
Hvorfor ser de længere kontekster så forudsigelige ud for en kort tekst?
I en kort tekst forekommer de fleste kombinationer af nogle få symboler kun én gang, så det, der følger efter dem, ser sikkert ud. Skønnet bliver da alt for lavt. Grafen viser den del af kurven stiplet; indsæt en længere tekst på tusinder af tegn for et retvisende billede.
Er det det samme som entropien af en adgangskode?
Beslægtet, men ikke det samme. En adgangskodes styrke tæller de muligheder, en generator kunne have frembragt, længde × log₂ af alfabetet, og det er det, en angriber skal gennemsøge. Denne beregner måler statistikken for én given tekst. En adgangskode som aaaaaa har lav entropi her, og den er svag uanset hvad.
Bliver min tekst sendt nogen steder hen?
Nej. Alt, også sammenligningen med ZIP, beregnes i din browser, og din tekst bliver i denne browsers lokale lager.
Er du klar til at prøve?
Åbn PictorX i din browser – ingen installation og intet kreditkort for at komme i gang.
Gå til Editor