Entropia
Aleatoriedade
Quantidade de informação
Símbolos diferentes
  • Dados os símbolos anteriores
  • ZIP (deflate)
  • Bits por símbolo, em função do número de símbolos anteriores conhecidos

Carácter Ocorrências Probabilidade Surpresa (bits) Parte da entropia
Contar por

Mais informações sobre a entropia

Calculadora de entropia

Quanta informação há num texto? A resposta de Claude Shannon, a entropia, conta-a em bits: um símbolo difícil de prever diz muito, um que se podia ter adivinhado diz pouco. Cole qualquer texto ou escolha um exemplo e veja a sua entropia por carácter, palavra ou byte, quão perto fica da aleatoriedade pura e quanto poderia ser comprimido. Depois veja a informação por símbolo descer à medida que se têm em conta os símbolos anteriores, o truque que todos os programas de compressão usam. Escreva ou cole um texto, ou escolha um exemplo. A aplicação conta quantas vezes ocorre cada símbolo e calcula a entropia de Shannon: o número médio de bits de informação por símbolo. Conte caracteres, palavras ou bytes. A tabela dá a surpresa de cada símbolo em bits, e o segundo gráfico mostra quanto menos informação cada símbolo transporta quando se conhecem os símbolos anteriores, ao lado do que consegue a compressão ZIP.

Como funciona

  1. Escreva ou cole um texto, ou escolha um exemplo: um parágrafo, letras, bits, algarismos ou ADN aleatórios, ou um padrão repetido.
  2. Escolha se quer contar caracteres, palavras ou bytes, e se as maiúsculas e as minúsculas contam como iguais.
  3. Leia a entropia, a aleatoriedade e a quantidade de informação nos painéis, a surpresa de cada símbolo na tabela e, no segundo gráfico, como o contexto e a compressão ZIP reduzem os bits por símbolo.

O que a entropia mede

Um símbolo que ocorre com probabilidade p transporta −log₂ p bits de informação: o lançamento de uma moeda equilibrada dá 1 bit, um símbolo com uma hipótese em 8 dá 3 bits. A entropia é a média dessa surpresa sobre todos os símbolos do texto, H = −Σ p log₂ p. É máxima quando todos os símbolos são igualmente comuns, log₂ n bits para n símbolos diferentes, e nula quando o texto repete um único símbolo. Multiplicada pelo comprimento do texto, dá o menor número de bits que um código poderia usar se codificasse cada símbolo isoladamente, e é por isso que a entropia fixa o limite da compressão.

Porque é que o contexto a reduz

Contadas uma a uma, as letras do inglês transportam cerca de 4 bits cada. Mas um leitor consegue muitas vezes adivinhar a letra seguinte: em inglês, depois de Q vem U, e depois de TH vem muitas vezes E. A entropia condicional, a informação do símbolo seguinte quando os anteriores são conhecidos, desce à medida que se usa mais contexto, e Shannon estimou que um leitor fluente reduz o inglês a cerca de 1 bit por letra. Programas de compressão como o ZIP exploram a mesma redundância. Um texto aleatório não tem nenhuma: a sua entropia fica em log₂ n por mais contexto que se use, e não pode ser comprimido.

Perguntas frequentes

O que é um bit de informação?

A informação que se obtém com a resposta a uma pergunta de sim ou não cujas duas respostas eram igualmente prováveis, como o lançamento de uma moeda equilibrada. Duas perguntas dessas dão 2 bits e quatro possibilidades, três dão 3 bits e oito possibilidades: n bits identificam uma de 2ⁿ opções igualmente prováveis.

Porque é que a aleatoriedade nunca chega bem aos 100% num texto real?

Porque os símbolos de uma língua não são igualmente comuns. O painel da aleatoriedade divide a entropia pelo seu maior valor possível, o log₂ do número de símbolos diferentes, que só é atingido quando todos os símbolos ocorrem com a mesma frequência. Letras aleatórias aproximam-se dos 100%; um texto inglês comum, com os seus muitos E e poucos Z, chega tipicamente a 80 a 90% contando letra a letra.

Porque é que os contextos mais longos parecem tão previsíveis num texto curto?

Num texto curto, a maioria das combinações de alguns símbolos ocorre uma única vez, por isso o que se lhes segue parece certo. A estimativa fica então muito abaixo do real. O gráfico desenha essa parte da curva a tracejado; cole um texto mais longo, de milhares de caracteres, para ter uma imagem fiel.

É o mesmo que a entropia de uma palavra-passe?

Está relacionado, mas não é o mesmo. A robustez de uma palavra-passe conta as possibilidades que um gerador poderia ter produzido, comprimento × log₂ do alfabeto, que é o que um atacante tem de pesquisar. Esta calculadora mede a estatística de um texto concreto. Uma palavra-passe como aaaaaa tem aqui uma entropia baixa, e é fraca de qualquer maneira.

O meu texto é enviado para algum lado?

Não. Tudo, incluindo a comparação com o ZIP, é calculado no seu navegador, e o seu texto fica no armazenamento local deste navegador.

Pronto para experimentar?

Abra o PictorX no seu navegador – sem instalação, sem necessidade de cartão de crédito para começar.

Ir para o editor