- 앞의 기호들을 알 때
- ZIP(deflate)
- 알고 있는 앞 기호 수에 따른 기호당 비트
| 문자 | 횟수 | 확률 | 자기 정보량(비트) | 엔트로피에서 차지하는 비율 |
|---|
엔트로피 계산기
텍스트에는 얼마나 많은 정보가 들어 있을까요? 클로드 섀넌의 답인 엔트로피는 그것을 비트로 셉니다. 예측하기 어려운 기호는 많은 것을 알려 주고, 짐작할 수 있었던 기호는 거의 아무것도 알려 주지 않습니다. 아무 텍스트나 붙여 넣거나 예시를 골라 문자당, 단어당, 바이트당 엔트로피와 완전한 무작위에 얼마나 가까운지, 얼마나 압축할 수 있는지 확인해 보세요. 그런 다음 앞의 기호들을 고려할 때 기호당 정보량이 떨어지는 모습을 지켜보세요. 모든 압축 프로그램이 쓰는 비결입니다. 텍스트를 입력하거나 붙여 넣거나 예시를 고르세요. 앱은 각 기호가 얼마나 자주 나오는지 세어 섀넌 엔트로피, 즉 기호 하나당 평균 정보량을 비트로 계산합니다. 문자, 단어, 바이트 단위로 셀 수 있습니다. 표에는 각 기호의 자기 정보량이 비트로 나오고, 두 번째 차트는 앞의 기호들을 알 때 각 기호가 담는 정보가 얼마나 줄어드는지를 ZIP 압축의 실제 결과와 나란히 보여 줍니다.
작동 원리
- 텍스트를 입력하거나 붙여 넣거나, 문단, 무작위 글자·비트·숫자·DNA, 반복 패턴 중에서 예시를 고르세요.
- 문자, 단어, 바이트 중 무엇으로 셀지, 그리고 대문자와 소문자를 같은 것으로 셀지 고르세요.
- 타일에서 엔트로피, 무작위도, 정보량을 읽고, 표에서 각 기호의 자기 정보량을, 두 번째 차트에서 문맥과 ZIP 압축이 기호당 비트를 얼마나 낮추는지 확인하세요.
엔트로피가 측정하는 것
확률 p로 나타나는 기호는 −log₂ p비트의 정보를 담습니다. 공정한 동전 던지기는 1비트, 8분의 1 확률의 기호는 3비트입니다. 엔트로피는 이 자기 정보량을 텍스트의 모든 기호에 대해 평균한 값으로, H = −Σ p log₂ p입니다. 모든 기호가 똑같이 흔할 때 가장 크며, 서로 다른 기호가 n개이면 log₂ n비트입니다. 텍스트가 한 기호만 반복하면 0입니다. 여기에 텍스트의 길이를 곱하면 모든 기호를 하나씩 따로 부호화하는 부호가 쓸 수 있는 최소 비트 수가 되며, 그래서 엔트로피가 압축의 한계를 정합니다.
문맥이 엔트로피를 낮추는 이유
하나씩 세면 영어 글자는 각각 약 4비트를 담습니다. 하지만 읽는 사람은 다음 글자를 맞힐 수 있는 경우가 많습니다. 영어에서는 Q 다음에 U가 오고, TH 다음에는 흔히 E가 옵니다. 조건부 엔트로피, 즉 앞의 기호들을 알 때 다음 기호에 담긴 정보는 더 많은 문맥을 쓸수록 줄어듭니다. 섀넌은 영어에 능숙한 독자라면 영어를 글자당 약 1비트까지 낮출 수 있다고 추정했습니다. ZIP 같은 압축 프로그램도 같은 중복성을 이용합니다. 무작위 텍스트에는 중복성이 없습니다. 문맥을 아무리 많이 써도 엔트로피는 log₂ n에 머물며, 압축할 수 없습니다.
자주 묻는 질문
정보 1비트란 무엇인가요?
두 답이 똑같이 그럴듯한 예/아니요 질문, 예를 들어 공정한 동전 던지기의 답에서 얻는 정보입니다. 그런 질문 두 개는 2비트로 네 가지 가능성을, 세 개는 3비트로 여덟 가지 가능성을 줍니다. n비트는 똑같이 그럴듯한 2ⁿ가지 선택지 중 하나를 골라냅니다.
실제 텍스트의 무작위도는 왜 100%에 이르지 못하나요?
언어의 기호들은 똑같이 흔하지 않기 때문입니다. 무작위도 타일은 엔트로피를 가능한 최댓값, 즉 서로 다른 기호 수의 log₂로 나눈 값이며, 이 최댓값은 모든 기호가 똑같이 자주 나올 때만 도달합니다. 무작위 글자는 100%에 가깝습니다. E가 많고 Z가 적은 평범한 영어 글은 글자 단위로 세면 보통 80~90%입니다.
짧은 텍스트에서는 왜 긴 문맥이 그렇게 예측 가능해 보이나요?
짧은 텍스트에서는 몇 개 기호의 조합 대부분이 한 번만 나오기 때문에, 그 뒤에 오는 것이 확실해 보입니다. 그러면 추정값이 지나치게 낮아집니다. 차트는 곡선의 그 부분을 점선으로 표시합니다. 제대로 된 결과를 보려면 수천 자 정도의 더 긴 텍스트를 붙여 넣으세요.
비밀번호 엔트로피와 같은 것인가요?
관련은 있지만 같지는 않습니다. 비밀번호 강도는 생성기가 만들어 낼 수 있었던 가능성의 수, 즉 길이 × 문자 집합 크기의 log₂를 세며, 이것이 공격자가 탐색해야 하는 범위입니다. 이 계산기는 주어진 텍스트 하나의 통계를 측정합니다. aaaaaa 같은 비밀번호는 여기서 엔트로피가 낮게 나오며, 어느 쪽으로 보든 약한 비밀번호입니다.
제 텍스트가 어딘가로 전송되나요?
아니요. ZIP 비교를 포함한 모든 것이 브라우저에서 계산되며, 텍스트는 이 브라우저의 로컬 저장소에 남습니다.
시도해 볼 준비가 되셨나요?
브라우저에서 PictorX를 엽니다. 설치가 필요 없고 시작하는 데 신용 카드가 필요하지 않습니다.
편집기로 이동