엔트로피
무작위도
정보량
서로 다른 기호 수
  • 앞의 기호들을 알 때
  • ZIP(deflate)
  • 알고 있는 앞 기호 수에 따른 기호당 비트

문자 횟수 확률 자기 정보량(비트) 엔트로피에서 차지하는 비율
세는 단위

엔트로피에 대해 더 알아보기

엔트로피 계산기

텍스트에는 얼마나 많은 정보가 들어 있을까요? 클로드 섀넌의 답인 엔트로피는 그것을 비트로 셉니다. 예측하기 어려운 기호는 많은 것을 알려 주고, 짐작할 수 있었던 기호는 거의 아무것도 알려 주지 않습니다. 아무 텍스트나 붙여 넣거나 예시를 골라 문자당, 단어당, 바이트당 엔트로피와 완전한 무작위에 얼마나 가까운지, 얼마나 압축할 수 있는지 확인해 보세요. 그런 다음 앞의 기호들을 고려할 때 기호당 정보량이 떨어지는 모습을 지켜보세요. 모든 압축 프로그램이 쓰는 비결입니다. 텍스트를 입력하거나 붙여 넣거나 예시를 고르세요. 앱은 각 기호가 얼마나 자주 나오는지 세어 섀넌 엔트로피, 즉 기호 하나당 평균 정보량을 비트로 계산합니다. 문자, 단어, 바이트 단위로 셀 수 있습니다. 표에는 각 기호의 자기 정보량이 비트로 나오고, 두 번째 차트는 앞의 기호들을 알 때 각 기호가 담는 정보가 얼마나 줄어드는지를 ZIP 압축의 실제 결과와 나란히 보여 줍니다.

작동 원리

  1. 텍스트를 입력하거나 붙여 넣거나, 문단, 무작위 글자·비트·숫자·DNA, 반복 패턴 중에서 예시를 고르세요.
  2. 문자, 단어, 바이트 중 무엇으로 셀지, 그리고 대문자와 소문자를 같은 것으로 셀지 고르세요.
  3. 타일에서 엔트로피, 무작위도, 정보량을 읽고, 표에서 각 기호의 자기 정보량을, 두 번째 차트에서 문맥과 ZIP 압축이 기호당 비트를 얼마나 낮추는지 확인하세요.

엔트로피가 측정하는 것

확률 p로 나타나는 기호는 −log₂ p비트의 정보를 담습니다. 공정한 동전 던지기는 1비트, 8분의 1 확률의 기호는 3비트입니다. 엔트로피는 이 자기 정보량을 텍스트의 모든 기호에 대해 평균한 값으로, H = −Σ p log₂ p입니다. 모든 기호가 똑같이 흔할 때 가장 크며, 서로 다른 기호가 n개이면 log₂ n비트입니다. 텍스트가 한 기호만 반복하면 0입니다. 여기에 텍스트의 길이를 곱하면 모든 기호를 하나씩 따로 부호화하는 부호가 쓸 수 있는 최소 비트 수가 되며, 그래서 엔트로피가 압축의 한계를 정합니다.

문맥이 엔트로피를 낮추는 이유

하나씩 세면 영어 글자는 각각 약 4비트를 담습니다. 하지만 읽는 사람은 다음 글자를 맞힐 수 있는 경우가 많습니다. 영어에서는 Q 다음에 U가 오고, TH 다음에는 흔히 E가 옵니다. 조건부 엔트로피, 즉 앞의 기호들을 알 때 다음 기호에 담긴 정보는 더 많은 문맥을 쓸수록 줄어듭니다. 섀넌은 영어에 능숙한 독자라면 영어를 글자당 약 1비트까지 낮출 수 있다고 추정했습니다. ZIP 같은 압축 프로그램도 같은 중복성을 이용합니다. 무작위 텍스트에는 중복성이 없습니다. 문맥을 아무리 많이 써도 엔트로피는 log₂ n에 머물며, 압축할 수 없습니다.

자주 묻는 질문

정보 1비트란 무엇인가요?

두 답이 똑같이 그럴듯한 예/아니요 질문, 예를 들어 공정한 동전 던지기의 답에서 얻는 정보입니다. 그런 질문 두 개는 2비트로 네 가지 가능성을, 세 개는 3비트로 여덟 가지 가능성을 줍니다. n비트는 똑같이 그럴듯한 2ⁿ가지 선택지 중 하나를 골라냅니다.

실제 텍스트의 무작위도는 왜 100%에 이르지 못하나요?

언어의 기호들은 똑같이 흔하지 않기 때문입니다. 무작위도 타일은 엔트로피를 가능한 최댓값, 즉 서로 다른 기호 수의 log₂로 나눈 값이며, 이 최댓값은 모든 기호가 똑같이 자주 나올 때만 도달합니다. 무작위 글자는 100%에 가깝습니다. E가 많고 Z가 적은 평범한 영어 글은 글자 단위로 세면 보통 80~90%입니다.

짧은 텍스트에서는 왜 긴 문맥이 그렇게 예측 가능해 보이나요?

짧은 텍스트에서는 몇 개 기호의 조합 대부분이 한 번만 나오기 때문에, 그 뒤에 오는 것이 확실해 보입니다. 그러면 추정값이 지나치게 낮아집니다. 차트는 곡선의 그 부분을 점선으로 표시합니다. 제대로 된 결과를 보려면 수천 자 정도의 더 긴 텍스트를 붙여 넣으세요.

비밀번호 엔트로피와 같은 것인가요?

관련은 있지만 같지는 않습니다. 비밀번호 강도는 생성기가 만들어 낼 수 있었던 가능성의 수, 즉 길이 × 문자 집합 크기의 log₂를 세며, 이것이 공격자가 탐색해야 하는 범위입니다. 이 계산기는 주어진 텍스트 하나의 통계를 측정합니다. aaaaaa 같은 비밀번호는 여기서 엔트로피가 낮게 나오며, 어느 쪽으로 보든 약한 비밀번호입니다.

제 텍스트가 어딘가로 전송되나요?

아니요. ZIP 비교를 포함한 모든 것이 브라우저에서 계산되며, 텍스트는 이 브라우저의 로컬 저장소에 남습니다.

시도해 볼 준비가 되셨나요?

브라우저에서 PictorX를 엽니다. 설치가 필요 없고 시작하는 데 신용 카드가 필요하지 않습니다.

편집기로 이동