- Dados os símbolos anteriores
- ZIP (deflate)
- Bits por símbolo, em função do número de símbolos anteriores conhecidos
| Carácter | Ocorrências | Probabilidade | Surpresa (bits) | Parte da entropia |
|---|
Calculadora de entropia
Quanta informação há num texto? A resposta de Claude Shannon, a entropia, conta-a em bits: um símbolo difícil de prever diz muito, um que se podia ter adivinhado diz pouco. Cole qualquer texto ou escolha um exemplo e veja a sua entropia por carácter, palavra ou byte, quão perto fica da aleatoriedade pura e quanto poderia ser comprimido. Depois veja a informação por símbolo descer à medida que se têm em conta os símbolos anteriores, o truque que todos os programas de compressão usam. Escreva ou cole um texto, ou escolha um exemplo. A aplicação conta quantas vezes ocorre cada símbolo e calcula a entropia de Shannon: o número médio de bits de informação por símbolo. Conte caracteres, palavras ou bytes. A tabela dá a surpresa de cada símbolo em bits, e o segundo gráfico mostra quanto menos informação cada símbolo transporta quando se conhecem os símbolos anteriores, ao lado do que consegue a compressão ZIP.
Como funciona
- Escreva ou cole um texto, ou escolha um exemplo: um parágrafo, letras, bits, algarismos ou ADN aleatórios, ou um padrão repetido.
- Escolha se quer contar caracteres, palavras ou bytes, e se as maiúsculas e as minúsculas contam como iguais.
- Leia a entropia, a aleatoriedade e a quantidade de informação nos painéis, a surpresa de cada símbolo na tabela e, no segundo gráfico, como o contexto e a compressão ZIP reduzem os bits por símbolo.
O que a entropia mede
Um símbolo que ocorre com probabilidade p transporta −log₂ p bits de informação: o lançamento de uma moeda equilibrada dá 1 bit, um símbolo com uma hipótese em 8 dá 3 bits. A entropia é a média dessa surpresa sobre todos os símbolos do texto, H = −Σ p log₂ p. É máxima quando todos os símbolos são igualmente comuns, log₂ n bits para n símbolos diferentes, e nula quando o texto repete um único símbolo. Multiplicada pelo comprimento do texto, dá o menor número de bits que um código poderia usar se codificasse cada símbolo isoladamente, e é por isso que a entropia fixa o limite da compressão.
Porque é que o contexto a reduz
Contadas uma a uma, as letras do inglês transportam cerca de 4 bits cada. Mas um leitor consegue muitas vezes adivinhar a letra seguinte: em inglês, depois de Q vem U, e depois de TH vem muitas vezes E. A entropia condicional, a informação do símbolo seguinte quando os anteriores são conhecidos, desce à medida que se usa mais contexto, e Shannon estimou que um leitor fluente reduz o inglês a cerca de 1 bit por letra. Programas de compressão como o ZIP exploram a mesma redundância. Um texto aleatório não tem nenhuma: a sua entropia fica em log₂ n por mais contexto que se use, e não pode ser comprimido.
Perguntas frequentes
O que é um bit de informação?
A informação que se obtém com a resposta a uma pergunta de sim ou não cujas duas respostas eram igualmente prováveis, como o lançamento de uma moeda equilibrada. Duas perguntas dessas dão 2 bits e quatro possibilidades, três dão 3 bits e oito possibilidades: n bits identificam uma de 2ⁿ opções igualmente prováveis.
Porque é que a aleatoriedade nunca chega bem aos 100% num texto real?
Porque os símbolos de uma língua não são igualmente comuns. O painel da aleatoriedade divide a entropia pelo seu maior valor possível, o log₂ do número de símbolos diferentes, que só é atingido quando todos os símbolos ocorrem com a mesma frequência. Letras aleatórias aproximam-se dos 100%; um texto inglês comum, com os seus muitos E e poucos Z, chega tipicamente a 80 a 90% contando letra a letra.
Porque é que os contextos mais longos parecem tão previsíveis num texto curto?
Num texto curto, a maioria das combinações de alguns símbolos ocorre uma única vez, por isso o que se lhes segue parece certo. A estimativa fica então muito abaixo do real. O gráfico desenha essa parte da curva a tracejado; cole um texto mais longo, de milhares de caracteres, para ter uma imagem fiel.
É o mesmo que a entropia de uma palavra-passe?
Está relacionado, mas não é o mesmo. A robustez de uma palavra-passe conta as possibilidades que um gerador poderia ter produzido, comprimento × log₂ do alfabeto, que é o que um atacante tem de pesquisar. Esta calculadora mede a estatística de um texto concreto. Uma palavra-passe como aaaaaa tem aqui uma entropia baixa, e é fraca de qualquer maneira.
O meu texto é enviado para algum lado?
Não. Tudo, incluindo a comparação com o ZIP, é calculado no seu navegador, e o seu texto fica no armazenamento local deste navegador.
Pronto para experimentar?
Abra o PictorX no seu navegador – sem instalação, sem necessidade de cartão de crédito para começar.
Ir para o editor