엔트로피 해설
1948년 벨 연구소의 엔지니어 클로드 섀넌은 아무도 엄밀하게 정의한 적 없는 질문을 던졌습니다. 메시지에는 얼마나 많은 정보가 들어 있는가? 그의 답은 비트로 측정되는 하나의 숫자였고, 이 숫자는 메시지가 무엇을 뜻하는지가 아니라 얼마나 뜻밖인지에 따라 정해집니다. 엔트로피라는 이 숫자는 모든 압축 프로그램, 모든 네트워크 링크, 모든 저장 장치의 한계를 정하며, 어떤 텍스트는 원래 크기의 일부로 줄어드는데 어떤 텍스트는 조금도 줄일 수 없는 이유를 설명해 줍니다.
정보는 놀라움이다
섀넌의 통찰은 정보를 메시지의 뜻이 아니라 그것이 얼마나 뜻밖인지로 측정하는 것이었습니다. 답을 이미 안다면 그것을 들어도 아무것도 알게 되지 않습니다. 답이 천 가지 중 무엇이든 될 수 있었다면 많은 것을 알게 됩니다. 똑같이 그럴듯한 두 가능성 중 하나를 골라내는 메시지는 1비트를 담습니다. 넷 중 하나는 2비트, 여덟 중 하나는 3비트가 필요하고, 일반적으로 똑같이 그럴듯한 N가지 가능성 중 하나에는 log₂ N비트가 필요합니다. 따라서 확률 p로 나타나는 기호는 −log₂ p비트를 담습니다. 드물수록 더 많은 것을 알려 주는 것입니다.
섀넌의 공식
엔트로피는 기호당 평균 정보량입니다. H = −Σ p log₂ p이며, 모든 기호에 대해 그 확률 p와 함께 더합니다. 공정한 동전이라면 H는 1비트입니다. 90%의 확률로 앞면이 나오는 동전이라면 0.47비트에 불과합니다. 결과가 대개 뜻밖이 아니기 때문입니다. 엔트로피는 모든 기호가 똑같이 그럴듯할 때 가장 크며, 기호가 n개이면 log₂ n비트이고, 한 기호가 확실할 때는 0입니다. 섀넌은 존 폰 노이만의 조언에 따라 이 이름을 골랐습니다. 같은 공식이 물리학에도 나오며, 거기서 엔트로피는 무질서를 측정하기 때문입니다.
압축의 한계
섀넌의 소스 코딩 정리에 따르면 어떤 무손실 부호도 평균적으로 기호당 정보원의 엔트로피보다 적은 비트를 쓸 수 없으며, 부호는 엔트로피에 원하는 만큼 가까워질 수 있습니다. 데이비드 허프만이 1952년 학생 시절에 고안한 허프만 부호화는 흔한 기호에 짧은 부호를, 드문 기호에 긴 부호를 주어 엔트로피와의 차이를 기호당 1비트 이내로 줄입니다. 산술 부호화는 이보다 더 가까이 갑니다. 따라서 엔트로피는 단순한 설명이 아니라 넘을 수 없는 한계입니다. 바이트당 8비트의 엔트로피를 가진 무작위 바이트 파일은 전혀 압축할 수 없습니다.
문맥과 중복성
텍스트의 글자들은 서로 독립적이지 않습니다. 영어에서는 Q 다음에 U가 오고, 마침표 다음에는 대문자가 오며, INFORMA로 시작하는 단어는 거의 확실하게 TION으로 이어집니다. 앞의 기호들을 고려하면 조건부 엔트로피를 얻는데, 이는 기호를 하나씩 센 엔트로피보다 낮습니다. 그 차이가 중복성, 즉 메시지에서 예측할 수 있었던 부분입니다. deflate 방식을 쓰는 ZIP 같은 압축 프로그램은 반복되는 문자열을 찾아 짧은 참조로 바꾸며, 현대의 압축기는 각 기호를 문맥으로부터 예측합니다.
영어에는 얼마나 많은 정보가 있을까?
영어의 글자 빈도로 한 글자씩 세면 글자 하나는 약 4.1비트를 담습니다. 무작위로 고른 글자는 4.7비트입니다. 1951년 섀넌은 한 걸음 더 나아갔습니다. 사람들에게 텍스트의 앞부분을 보여 주고 다음 글자를 맞히게 하면서 몇 번 만에 맞히는지 셌습니다. 그 답으로부터 그는 영어가 글자당 약 0.6~1.3비트만 담는다고 추정했습니다. 다시 말해 글로 쓴 영어의 약 4분의 3은 중복이며, 그래서 글자가 빠진 영어 문장도 대개는 읽을 수 있습니다.
무작위성과 비밀번호
엔트로피는 예측 불가능성의 척도이기도 하며, 보안은 바로 그것에 달려 있습니다. N가지 가능성 중에서 균등하게 고른 키나 비밀번호는 log₂ N비트의 엔트로피를 가지며, 공격자는 평균적으로 그 절반 정도를 시도해야 합니다. 소문자 26개로 만든 무작위 12자 비밀번호는 약 56비트입니다. 흔한 단어는 아무리 길어도 그보다 훨씬 적습니다. 난수 생성기는 출력이 무작위 정보원의 엔트로피를 온전히 갖는지 확인하는 방식으로 검사하며, 운영 체제는 타이밍 잡음에서 엔트로피를 모아 난수 생성기의 시드로 씁니다.
엔트로피가 나타나는 곳
엔트로피는 전화 통화, 사진, 동영상 스트림에 몇 비트가 필요한지, 그리고 모뎀이나 Wi-Fi 링크가 채널 용량에 얼마나 가까이 갈 수 있는지를 정합니다. 생물학자들은 네 가지 염기가 각각 최대 2비트를 담을 수 있는 DNA의 정보와 생태계의 다양성을 측정하는 데 엔트로피를 씁니다. 기계 학습에서는 의사결정나무가 엔트로피를 가장 많이 줄이는 질문을 고르고, 교차 엔트로피 손실이 대부분의 신경망을 학습시킵니다. 언어학자들은 문자당, 단어당 엔트로피로 언어들을 비교합니다.
직접 탐구하기
엔트로피 계산기를 열어 어떤 텍스트든 문자, 단어, 바이트 단위로 측정해 보세요. 문단을 무작위 글자, 비트, 숫자, DNA와 비교하고, 모든 기호의 자기 정보량, 저장 크기와 비교한 텍스트의 정보량, 그리고 알려진 문맥이 늘수록 기호당 비트가 어떻게 떨어지는지를 ZIP의 실제 결과와 나란히 확인할 수 있습니다.
자주 묻는 질문
엔트로피는 왜 비트로 측정하나요?
섀넌이 밑이 2인 로그를 써서, 똑같은 두 선택지 사이의 예/아니요 선택 한 번을 한 단위로 삼았기 때문입니다. 자연로그를 쓰면 단위는 내트로 약 1.44비트이고, 밑이 10이면 하틀리로 약 3.32비트입니다. 물리학자와 일부 통계학자는 이 단위를 씁니다.
텍스트의 엔트로피가 문자 집합 크기의 log₂보다 클 수 있나요?
아니요. 서로 다른 기호가 n개이면 엔트로피는 기호당 최대 log₂ n비트이며, 이는 모든 기호가 똑같이 흔할 때만 도달합니다. 어떤 불균형이든, 문맥에서 오는 어떤 예측 가능성이든 엔트로피를 낮춥니다.
정보 이론의 엔트로피는 물리학의 엔트로피와 같은 것인가요?
공식의 모양은 같습니다. 볼츠만과 깁스는 물리적 엔트로피를 계의 미시 상태 확률에 대한 합으로 썼습니다. 의미도 관련이 있어서 둘 다 우리가 얼마나 모르는지를 측정하며, 물리학자들은 이후 정보 1비트를 지우면 반드시 약간의 열이 방출된다는 것을 보였습니다.
압축한 파일을 다시 압축해도 소용없는 이유는 무엇인가요?
좋은 압축기는 중복성 대부분을 없애기 때문에 출력이 무작위에 가까워서 바이트당 8비트에 가까운 엔트로피를 가집니다. 더 없앨 것이 남아 있지 않으며, 다시 압축하면 압축기 자체의 오버헤드 때문에 보통 조금 더 커집니다.
시도해 볼 준비가 되셨나요?
브라우저에서 PictorX를 엽니다. 설치가 필요 없고 시작하는 데 신용 카드가 필요하지 않습니다.
엔트로피 계산기 열기