Entropia
Casualità
Contenuto informativo
Simboli diversi
  • Dati i simboli precedenti
  • ZIP (deflate)
  • Bit per simbolo, in funzione del numero di simboli precedenti noti

Carattere Occorrenze Probabilità Sorpresa (bit) Quota dell'entropia
Conta per

Maggiori informazioni sull'entropia

Calcolatore di entropia

Quanta informazione c'è in un testo? La risposta di Claude Shannon, l'entropia, la conta in bit: un simbolo difficile da prevedere ti dice molto, uno che avresti potuto indovinare ti dice poco. Incolla un testo qualsiasi o scegli un esempio e guarda la sua entropia per carattere, parola o byte, quanto si avvicina alla pura casualità e quanto potrebbe essere compresso. Poi osserva l'informazione per simbolo calare man mano che si tiene conto dei simboli che lo precedono, il trucco che usa ogni programma di compressione. Scrivi o incolla un testo, oppure scegli un esempio. L'app conta quante volte compare ogni simbolo e calcola l'entropia di Shannon: il numero medio di bit di informazione per simbolo. Conta caratteri, parole o byte. La tabella indica la sorpresa di ogni simbolo in bit, e il secondo grafico mostra quanta informazione in meno porta ogni simbolo quando si conoscono i simboli che lo precedono, accanto a ciò che ottiene la compressione ZIP.

Come funziona

  1. Scrivi o incolla un testo, oppure scegli un esempio: un paragrafo, lettere, bit, cifre o DNA casuali, o uno schema ripetuto.
  2. Scegli se contare caratteri, parole o byte, e se maiuscole e minuscole valgono come uguali.
  3. Leggi l'entropia, la casualità e il contenuto informativo nei riquadri, la sorpresa di ogni simbolo nella tabella, e nel secondo grafico come il contesto e la compressione ZIP riducono i bit per simbolo.

Che cosa misura l'entropia

Un simbolo che compare con probabilità p porta −log₂ p bit di informazione: il lancio di una moneta equa dà 1 bit, un simbolo con una probabilità su 8 dà 3 bit. L'entropia è la media di questa sorpresa su tutti i simboli del testo, H = −Σ p log₂ p. È massima quando tutti i simboli sono ugualmente frequenti, log₂ n bit per n simboli diversi, e nulla quando il testo ripete un solo simbolo. Moltiplicata per la lunghezza del testo, dà il minimo numero di bit che un codice potrebbe usare codificando ogni simbolo separatamente, ed è per questo che l'entropia fissa il limite della compressione.

Perché il contesto la abbassa

Contate una per una, le lettere dell'inglese portano circa 4 bit ciascuna. Ma un lettore spesso riesce a indovinare la lettera successiva: in inglese dopo Q viene U, dopo TH spesso E. L'entropia condizionata, cioè l'informazione del simbolo successivo quando si conoscono i precedenti, scende man mano che si usa più contesto, e Shannon stimò che un lettore che padroneggia la lingua porta l'inglese a circa 1 bit per lettera. I programmi di compressione come ZIP sfruttano la stessa ridondanza. Un testo casuale non ne ha: la sua entropia resta a log₂ n per quanto contesto si usi, e non può essere compresso.

Domande frequenti

Che cos'è un bit di informazione?

L'informazione che si ottiene dalla risposta a una domanda sì o no le cui due risposte erano ugualmente probabili, come il lancio di una moneta equa. Due domande del genere danno 2 bit e quattro possibilità, tre danno 3 bit e otto possibilità: n bit individuano una tra 2ⁿ opzioni ugualmente probabili.

Perché la casualità non arriva mai proprio al 100% in un testo reale?

Perché i simboli di una lingua non sono ugualmente frequenti. Il riquadro Casualità divide l'entropia per il suo valore massimo possibile, il log₂ del numero di simboli diversi, che si raggiunge solo quando ogni simbolo compare con la stessa frequenza. Le lettere casuali si avvicinano al 100%; un normale testo inglese, con le sue molte E e le poche Z, arriva di solito all'80-90% contando lettera per lettera.

Perché i contesti lunghi sembrano così prevedibili in un testo breve?

In un testo breve la maggior parte delle combinazioni di pochi simboli compare una volta sola, quindi ciò che le segue sembra certo. La stima risulta allora decisamente troppo bassa. Il grafico traccia quella parte della curva tratteggiata; incolla un testo più lungo, di migliaia di caratteri, per avere un quadro attendibile.

È la stessa cosa dell'entropia di una password?

È collegata, ma non è la stessa cosa. La robustezza di una password conta le possibilità che un generatore avrebbe potuto produrre, lunghezza × log₂ dell'alfabeto, cioè ciò che un attaccante deve esplorare. Questo calcolatore misura le statistiche di un testo dato. Una password come aaaaaa qui ha un'entropia bassa, ed è debole in ogni caso.

Il mio testo viene inviato da qualche parte?

No. Tutto, compreso il confronto con ZIP, viene calcolato nel tuo browser, e il tuo testo resta nella memoria locale di questo browser.

Pronto a provarlo?

Apri PictorX nel tuo browser: nessuna installazione, nessuna carta di credito richiesta per iniziare.

Vai all'editor