- Bei bekannten vorherigen Symbolen
- ZIP (deflate)
- Bit pro Symbol, über der Anzahl bekannter vorheriger Symbole
| Zeichen | Anzahl | Wahrscheinlichkeit | Überraschung (Bit) | Anteil an der Entropie |
|---|
Entropie-Rechner
Wie viel Information steckt in einem Text? Claude Shannons Antwort, die Entropie, misst sie in Bit: Ein Symbol, das schwer vorherzusagen ist, verrät viel, eines, das man hätte erraten können, wenig. Fügen Sie einen beliebigen Text ein oder wählen Sie ein Beispiel und sehen Sie seine Entropie pro Zeichen, Wort oder Byte, wie nahe er reinem Zufall kommt und wie stark er sich komprimieren ließe. Beobachten Sie dann, wie die Information pro Symbol sinkt, wenn die Symbole davor berücksichtigt werden – der Trick, den jedes Kompressionsprogramm nutzt. Geben Sie einen Text ein, fügen Sie ihn ein oder wählen Sie ein Beispiel. Die App zählt, wie oft jedes Symbol vorkommt, und berechnet die Shannon-Entropie: die durchschnittliche Anzahl Bit an Information pro Symbol. Zählen Sie Zeichen, Wörter oder Bytes. Die Tabelle zeigt die Überraschung jedes Symbols in Bit, und das zweite Diagramm zeigt, wie viel weniger Information jedes Symbol trägt, wenn die Symbole davor bekannt sind, neben dem, was ZIP-Kompression erreicht.
Wie es funktioniert
- Geben Sie einen Text ein, fügen Sie ihn ein oder wählen Sie ein Beispiel: einen Absatz, zufällige Buchstaben, Bits, Ziffern oder DNA oder ein sich wiederholendes Muster.
- Wählen Sie, ob Zeichen, Wörter oder Bytes gezählt werden und ob Groß- und Kleinbuchstaben als gleich gelten.
- Lesen Sie Entropie, Zufälligkeit und Informationsgehalt in den Kacheln ab, die Überraschung jedes Symbols in der Tabelle und im zweiten Diagramm, wie Kontext und ZIP-Kompression die Bit pro Symbol senken.
Was Entropie misst
Ein Symbol, das mit der Wahrscheinlichkeit p auftritt, trägt −log₂ p Bit an Information: Ein fairer Münzwurf ergibt 1 Bit, ein Symbol mit einer Chance von 1 zu 8 ergibt 3 Bit. Die Entropie ist der Mittelwert dieser Überraschung über alle Symbole des Textes, H = −Σ p log₂ p. Sie ist am größten, wenn alle Symbole gleich häufig sind, nämlich log₂ n Bit bei n verschiedenen Symbolen, und null, wenn der Text ein einziges Symbol wiederholt. Mit der Länge des Textes multipliziert ergibt sie die kleinste Anzahl Bit, die ein Code bräuchte, der jedes Symbol für sich codiert – deshalb setzt die Entropie die Grenze für Kompression.
Warum Kontext sie senkt
Einzeln gezählt tragen die Buchstaben des Englischen jeweils etwa 4 Bit. Doch ein Leser kann den nächsten Buchstaben oft erraten: Im Englischen folgt auf Q ein U, auf TH oft ein E. Die bedingte Entropie, also die Information im nächsten Symbol, wenn die vorherigen bekannt sind, sinkt, je mehr Kontext man nutzt, und Shannon schätzte, dass ein geübter Leser das Englische auf etwa 1 Bit pro Buchstabe drückt. Kompressionsprogramme wie ZIP nutzen dieselbe Redundanz. Zufälliger Text hat keine: Seine Entropie bleibt bei log₂ n, egal wie viel Kontext man nutzt, und er lässt sich nicht komprimieren.
Häufig gestellte Fragen
Was ist ein Bit an Information?
Die Information, die man aus der Antwort auf eine Ja-Nein-Frage erhält, deren beide Antworten gleich wahrscheinlich waren, etwa bei einem fairen Münzwurf. Zwei solche Fragen ergeben 2 Bit und vier Möglichkeiten, drei ergeben 3 Bit und acht Möglichkeiten: n Bit wählen eine von 2ⁿ gleich wahrscheinlichen Möglichkeiten aus.
Warum erreicht die Zufälligkeit bei echtem Text nie ganz 100 %?
Weil die Symbole einer Sprache nicht gleich häufig sind. Die Kachel Zufälligkeit teilt die Entropie durch ihren größtmöglichen Wert, log₂ der Anzahl verschiedener Symbole, der nur erreicht wird, wenn jedes Symbol gleich oft vorkommt. Zufällige Buchstaben kommen nahe an 100 %; gewöhnlicher englischer Text mit seinen vielen E's und wenigen Z's erreicht Buchstabe für Buchstabe gezählt typischerweise 80 bis 90 %.
Warum wirken die längeren Kontexte bei einem kurzen Text so vorhersagbar?
In einem kurzen Text kommen die meisten Kombinationen aus wenigen Symbolen nur einmal vor, sodass das, was ihnen folgt, sicher erscheint. Die Schätzung ist dann viel zu niedrig. Das Diagramm zeichnet diesen Teil der Kurve gestrichelt; fügen Sie für ein faires Bild einen längeren Text mit Tausenden von Zeichen ein.
Ist das dasselbe wie die Entropie eines Passworts?
Verwandt, aber nicht dasselbe. Die Passwortstärke zählt die Möglichkeiten, die ein Generator hätte erzeugen können, Länge × log₂ des Alphabets – das ist es, was ein Angreifer durchsuchen muss. Dieser Rechner misst die Statistik eines bestimmten Textes. Ein Passwort wie aaaaaa hat hier eine niedrige Entropie, und schwach ist es so oder so.
Wird mein Text irgendwohin gesendet?
Nein. Alles, auch der ZIP-Vergleich, wird in Ihrem Browser berechnet, und Ihr Text bleibt im lokalen Speicher dieses Browsers.
Bereit, es auszuprobieren?
Öffnen Sie PictorX in Ihrem Browser – keine Installation, zum Starten ist keine Kreditkarte erforderlich.
Zum Editor