- Givet de föregående symbolerna
- ZIP (deflate)
- Bitar per symbol, mot antalet kända föregående symboler
| Tecken | Antal | Sannolikhet | Överraskning (bitar) | Andel av entropin |
|---|
Entropikalkylator
Hur mycket information finns det i en text? Claude Shannons svar, entropin, räknar den i bitar: en symbol som är svår att förutsäga säger mycket, en som du kunde ha gissat säger lite. Klistra in valfri text eller välj ett exempel och se dess entropi per tecken, ord eller byte, hur nära ren slump den kommer och hur mycket den skulle kunna komprimeras. Se sedan informationen per symbol sjunka när symbolerna före den räknas in, tricket som alla komprimeringsprogram använder. Skriv eller klistra in en text, eller välj ett exempel. Appen räknar hur ofta varje symbol förekommer och beräknar Shannonentropin: det genomsnittliga antalet bitar information per symbol. Räkna tecken, ord eller byte. Tabellen visar varje symbols överraskning i bitar, och det andra diagrammet visar hur mycket mindre information varje symbol bär när symbolerna före den är kända, bredvid vad ZIP-komprimering åstadkommer.
Hur det fungerar
- Skriv eller klistra in en text, eller välj ett exempel: ett stycke, slumpmässiga bokstäver, bitar, siffror eller DNA, eller ett upprepat mönster.
- Välj om du vill räkna tecken, ord eller byte, och om stora och små bokstäver ska räknas som samma.
- Läs av entropin, slumpmässigheten och informationsmängden i rutorna, varje symbols överraskning i tabellen och, i det andra diagrammet, hur kontext och ZIP-komprimering sänker antalet bitar per symbol.
Vad entropi mäter
En symbol som förekommer med sannolikheten p bär −log₂ p bitar information: ett kast med ett rättvist mynt ger 1 bit, en symbol med chansen 1 på 8 ger 3 bitar. Entropin är medelvärdet av den överraskningen över alla symboler i texten, H = −Σ p log₂ p. Den är som störst när alla symboler är lika vanliga, log₂ n bitar för n olika symboler, och noll när texten upprepar en enda symbol. Multiplicerad med textens längd ger den det minsta antal bitar som en kod skulle kunna använda om den kodade varje symbol för sig, och därför sätter entropin gränsen för komprimering.
Varför kontext sänker den
Räknade en och en bär bokstäverna i engelska ungefär 4 bitar var. Men en läsare kan ofta gissa nästa bokstav: på engelska kommer U efter Q, och efter TH ofta E. Den betingade entropin, informationen i nästa symbol när de föregående är kända, sjunker ju mer kontext som används, och Shannon uppskattade att en van läsare får ner engelska till ungefär 1 bit per bokstav. Komprimeringsprogram som ZIP utnyttjar samma redundans. Slumpmässig text har ingen: dess entropi ligger kvar på log₂ n hur mycket kontext du än använder, och den går inte att komprimera.
Ofta ställda frågor
Vad är en bit information?
Den information du får av svaret på en ja-eller-nej-fråga där de två svaren var lika sannolika, som ett kast med ett rättvist mynt. Två sådana frågor ger 2 bitar och fyra möjligheter, tre ger 3 bitar och åtta möjligheter: n bitar pekar ut ett av 2ⁿ lika sannolika alternativ.
Varför når slumpmässigheten aldrig riktigt 100 % för verklig text?
Därför att symbolerna i ett språk inte är lika vanliga. Rutan Slumpmässighet delar entropin med dess största möjliga värde, log₂ av antalet olika symboler, som bara nås när alla symboler förekommer lika ofta. Slumpmässiga bokstäver kommer nära 100 %; vanlig engelsk text, med sina många E och få Z, når typiskt 80 till 90 % räknat bokstav för bokstav.
Varför ser de längre kontexterna så förutsägbara ut för en kort text?
I en kort text förekommer de flesta kombinationer av några få symboler bara en gång, så det som följer efter dem ser säkert ut. Uppskattningen blir då alldeles för låg. Diagrammet streckar den delen av kurvan; klistra in en längre text, tusentals tecken, för att få en rättvisande bild.
Är det samma sak som lösenordsentropi?
Besläktat men inte samma sak. Lösenordsstyrka räknar de möjligheter som en generator kunde ha skapat, längd × log₂ av alfabetets storlek, vilket är vad en angripare måste söka igenom. Den här kalkylatorn mäter statistiken i en given text. Ett lösenord som aaaaaa har låg entropi här, och det är svagt hur man än räknar.
Skickas min text någonstans?
Nej. Allt, även jämförelsen med ZIP, beräknas i din webbläsare, och din text sparas i den här webbläsarens lokala lagring.
Redo att prova det?
Öppna PictorX i din webbläsare - ingen installation, inget kreditkort krävs för att starta.
Gå till Editor