Entropie
Caractère aléatoire
Quantité d'information
Symboles différents
  • Sachant les symboles précédents
  • ZIP (deflate)
  • Bits par symbole, selon le nombre de symboles précédents connus

Caractère Occurrences Probabilité Surprise (bits) Part de l'entropie
Compter par

Plus d'informations sur l'entropie

Calculateur d'entropie

Combien d'information contient un texte ? La réponse de Claude Shannon, l'entropie, la compte en bits : un symbole difficile à prévoir vous en apprend beaucoup, un symbole que vous auriez pu deviner vous en apprend peu. Collez n'importe quel texte ou choisissez un exemple et voyez son entropie par caractère, par mot ou par octet, à quel point il s'approche du pur hasard et de combien il pourrait être compressé. Regardez ensuite l'information par symbole diminuer à mesure que l'on tient compte des symboles qui le précèdent, l'astuce qu'utilisent tous les programmes de compression. Tapez ou collez un texte, ou choisissez un exemple. L'application compte la fréquence de chaque symbole et calcule l'entropie de Shannon : le nombre moyen de bits d'information par symbole. Comptez les caractères, les mots ou les octets. Le tableau donne la surprise de chaque symbole en bits, et le second graphique montre combien d'information en moins porte chaque symbole lorsque les symboles qui le précèdent sont connus, à côté de ce qu'obtient la compression ZIP.

Comment ça marche

  1. Tapez ou collez un texte, ou choisissez un exemple : un paragraphe, des lettres, des bits, des chiffres ou de l'ADN aléatoires, ou un motif répété.
  2. Choisissez de compter les caractères, les mots ou les octets, et si majuscules et minuscules comptent comme identiques.
  3. Lisez l'entropie, le caractère aléatoire et la quantité d'information dans les tuiles, la surprise de chaque symbole dans le tableau, et dans le second graphique comment le contexte et la compression ZIP réduisent le nombre de bits par symbole.

Ce que mesure l'entropie

Un symbole de probabilité p porte −log₂ p bits d'information : un lancer de pièce équilibrée donne 1 bit, un symbole qui a 1 chance sur 8 donne 3 bits. L'entropie est la moyenne de cette surprise sur tous les symboles du texte, H = −Σ p log₂ p. Elle est maximale quand tous les symboles sont également fréquents, soit log₂ n bits pour n symboles différents, et nulle quand le texte répète un seul symbole. Multipliée par la longueur du texte, elle donne le plus petit nombre de bits qu'un code pourrait utiliser s'il codait chaque symbole séparément, et c'est pourquoi l'entropie fixe la limite de la compression.

Pourquoi le contexte la réduit

Comptées une par une, les lettres de l'anglais portent environ 4 bits chacune. Mais un lecteur peut souvent deviner la lettre suivante : en anglais, après Q vient U, après TH souvent E. L'entropie conditionnelle, c'est-à-dire l'information du symbole suivant quand les précédents sont connus, diminue à mesure que l'on utilise plus de contexte, et Shannon a estimé qu'un lecteur qui maîtrise la langue ramène l'anglais à environ 1 bit par lettre. Les programmes de compression comme ZIP exploitent la même redondance. Un texte aléatoire n'en a aucune : son entropie reste à log₂ n quel que soit le contexte utilisé, et il ne peut pas être compressé.

Questions fréquemment posées

Qu'est-ce qu'un bit d'information ?

L'information apportée par la réponse à une question fermée, par oui ou par non, dont les deux réponses étaient également probables, comme un lancer de pièce équilibrée. Deux questions de ce type donnent 2 bits et quatre possibilités, trois donnent 3 bits et huit possibilités : n bits désignent une option parmi 2ⁿ options également probables.

Pourquoi le caractère aléatoire n'atteint-il jamais tout à fait 100 % pour un vrai texte ?

Parce que les symboles d'une langue ne sont pas également fréquents. La tuile Caractère aléatoire divise l'entropie par sa valeur maximale possible, le log₂ du nombre de symboles différents, qui n'est atteinte que si chaque symbole apparaît aussi souvent que les autres. Des lettres aléatoires approchent les 100 % ; un texte anglais ordinaire, avec ses nombreux E et ses rares Z, atteint en général 80 à 90 % compté lettre par lettre.

Pourquoi les contextes longs semblent-ils si prévisibles pour un texte court ?

Dans un texte court, la plupart des combinaisons de quelques symboles n'apparaissent qu'une fois, si bien que ce qui les suit paraît certain. L'estimation est alors bien trop basse. Le graphique trace cette partie de la courbe en pointillés ; collez un texte plus long, de plusieurs milliers de caractères, pour obtenir une image fidèle.

Est-ce la même chose que l'entropie d'un mot de passe ?

C'est lié, mais ce n'est pas la même chose. La robustesse d'un mot de passe compte les possibilités qu'un générateur aurait pu produire, longueur × log₂ de l'alphabet, c'est-à-dire ce qu'un attaquant doit explorer. Ce calculateur mesure les statistiques d'un texte donné. Un mot de passe comme aaaaaa a ici une faible entropie, et il est faible dans les deux cas.

Mon texte est-il envoyé quelque part ?

Non. Tout, y compris la comparaison avec ZIP, est calculé dans votre navigateur, et votre texte reste dans le stockage local de ce navigateur.

Prêt à l'essayer ?

Ouvrez PictorX dans votre navigateur – aucune installation, aucune carte de crédit requise pour démarrer.

Aller à l'éditeur