Entropía
Aleatoriedad
Contenido de información
Símbolos distintos
  • Dados los símbolos anteriores
  • ZIP (deflate)
  • Bits por símbolo, según el número de símbolos anteriores conocidos

Carácter Apariciones Probabilidad Sorpresa (bits) Parte de la entropía
Contar por

Más información sobre la entropía

Calculadora de entropía

¿Cuánta información hay en un texto? La respuesta de Claude Shannon, la entropía, la cuenta en bits: un símbolo difícil de predecir te dice mucho; uno que podrías haber adivinado, poco. Pega cualquier texto o elige un ejemplo y mira su entropía por carácter, palabra o byte, cuánto se acerca al azar puro y cuánto se podría comprimir. Después observa cómo baja la información por símbolo a medida que se tienen en cuenta los símbolos anteriores, el truco que usan todos los programas de compresión. Escribe o pega un texto, o elige un ejemplo. La app cuenta cuántas veces aparece cada símbolo y calcula la entropía de Shannon: el número medio de bits de información por símbolo. Cuenta caracteres, palabras o bytes. La tabla da la sorpresa de cada símbolo en bits, y el segundo gráfico muestra cuánta menos información lleva cada símbolo cuando se conocen los símbolos anteriores, junto a lo que consigue la compresión ZIP.

Cómo funciona

  1. Escribe o pega un texto, o elige un ejemplo: un párrafo, letras, bits, dígitos o ADN aleatorios, o un patrón repetido.
  2. Elige si quieres contar caracteres, palabras o bytes, y si las mayúsculas y las minúsculas cuentan como iguales.
  3. Lee la entropía, la aleatoriedad y el contenido de información en los recuadros, la sorpresa de cada símbolo en la tabla, y en el segundo gráfico cómo el contexto y la compresión ZIP reducen los bits por símbolo.

Qué mide la entropía

Un símbolo que aparece con probabilidad p lleva −log₂ p bits de información: lanzar una moneda equilibrada da 1 bit, y un símbolo con una probabilidad de 1 entre 8 da 3 bits. La entropía es la media de esa sorpresa sobre todos los símbolos del texto, H = −Σ p log₂ p. Es máxima cuando todos los símbolos son igual de frecuentes, log₂ n bits para n símbolos distintos, y nula cuando el texto repite un solo símbolo. Multiplicada por la longitud del texto, da el menor número de bits que podría usar un código que codificara cada símbolo por separado, y por eso la entropía marca el límite de la compresión.

Por qué el contexto la reduce

Contadas una a una, las letras del inglés llevan unos 4 bits cada una. Pero un lector a menudo puede adivinar la letra siguiente: en inglés, después de Q viene U, y después de TH, a menudo E. La entropía condicional, es decir, la información del siguiente símbolo cuando se conocen los anteriores, baja a medida que se usa más contexto, y Shannon estimó que un lector que domina el idioma reduce el inglés a cerca de 1 bit por letra. Los programas de compresión como ZIP aprovechan la misma redundancia. Un texto aleatorio no tiene ninguna: su entropía se queda en log₂ n por mucho contexto que se use, y no se puede comprimir.

Preguntas frecuentes

¿Qué es un bit de información?

La información que se obtiene de la respuesta a una pregunta de sí o no cuyas dos respuestas eran igual de probables, como al lanzar una moneda equilibrada. Dos preguntas así dan 2 bits y cuatro posibilidades, tres dan 3 bits y ocho posibilidades: n bits señalan una opción entre 2ⁿ igual de probables.

¿Por qué la aleatoriedad nunca llega del todo al 100 % en un texto real?

Porque los símbolos de un idioma no son igual de frecuentes. El recuadro de aleatoriedad divide la entropía entre su valor máximo posible, el log₂ del número de símbolos distintos, que solo se alcanza cuando todos los símbolos aparecen con la misma frecuencia. Las letras aleatorias se acercan al 100 %; un texto inglés corriente, con sus muchas E y sus pocas Z, suele llegar al 80 o 90 % contando letra por letra.

¿Por qué los contextos largos parecen tan predecibles en un texto corto?

En un texto corto, la mayoría de las combinaciones de unos pocos símbolos aparecen una sola vez, así que lo que las sigue parece seguro. La estimación queda entonces muy por debajo de la real. El gráfico dibuja esa parte de la curva con trazo discontinuo; pega un texto más largo, de miles de caracteres, para obtener una imagen fiable.

¿Es lo mismo que la entropía de una contraseña?

Están relacionadas, pero no son lo mismo. La fortaleza de una contraseña cuenta las posibilidades que un generador podría haber producido, longitud × log₂ del alfabeto, que es lo que un atacante tiene que recorrer. Esta calculadora mide las estadísticas de un texto concreto. Una contraseña como aaaaaa tiene aquí una entropía baja, y es débil en cualquier caso.

¿Se envía mi texto a algún sitio?

No. Todo, incluida la comparación con ZIP, se calcula en tu navegador, y tu texto se queda en el almacenamiento local de este navegador.

¿Listo para probarlo?

Abre PictorX en tu navegador: sin instalación ni tarjeta de crédito para empezar.

Ir al editor