- 클래스 +1
- 클래스 −1
- 잘못 분류됨
- 결정 경계
- 가중치 벡터 w
- 포켓의 직선
| 가중치 | 이전 | 변화 | 이후 |
|---|
- 에포크별 오류
- 포켓의 오류
퍼셉트론 시각화
퍼셉트론은 세상에서 가장 단순한 학습 기계입니다. 가중치를 곱한 입력을 더해 ‘예’ 또는 ‘아니요’로 답하는 인공 뉴런 하나죠. 입력이 두 개면 답은 직선 하나를 경계로 바뀌고, 학습이란 모든 점이 제자리 쪽에 올 때까지 그 직선을 옮기는 일입니다. 평면에 두 클래스의 점을 찍거나 논리 게이트를 고른 뒤, 로젠블랫의 규칙을 샘플 하나씩 따라가며 갱신 전후의 가중치를 확인하고, 직선이 돌아가며 제자리를 찾아가는 모습을, 혹은 XOR에서 끝없이 실패하는 모습을 지켜보세요. 데이터셋을 고르거나 평면을 클릭해 점을 찍으세요. 클릭하면 ‘클릭 시 추가’에서 고른 클래스의 점이, Shift 클릭이나 오른쪽 클릭으로는 다른 클래스의 점이 추가되고, 점을 클릭하면 그 점이 지워집니다. 그다음 뉴런을 학습시킵니다. ‘한 단계’는 샘플 하나를 보여 줍니다. 점선 고리가 그 샘플을 표시하고, 표는 갱신 w ← w + η·(y − ŷ)·x 전후의 가중치를 보여 줍니다. ‘에포크’는 모든 점을 한 바퀴 돌고, ‘재생’은 오류 없는 한 바퀴가 나오거나 에포크 상한에 이를 때까지 고른 속도로 계속합니다. 직선은 w₁x + w₂y + b = 0인 곳이고, 화살표는 가중치 벡터이며, 빨간 고리는 잘못된 쪽에 있는 점을 표시합니다.
작동 원리
- 논리 게이트 AND, OR, NAND, XOR부터 마진이 있는 무작위 점이나 겹치는 두 구름까지 데이터셋을 고르거나, 평면에 직접 점을 찍으세요.
- ‘한 단계’를 눌러 뉴런에 샘플 하나를 보여 주고 각 가중치의 갱신을 확인하거나, ‘에포크’나 ‘재생’을 눌러 모든 점으로 학습시키세요.
- 오류 없는 한 바퀴가 나올 때까지 결정 경계, 가중치 벡터, 에포크별 오류를 지켜보고, XOR를 시도해 퍼셉트론 하나가 실패하는 모습을 보세요.
뉴런 하나, 직선 하나
입력 x와 y를 받는 퍼셉트론은 w₁x + w₂y + b를 계산해 합이 양수면 +1, 음수면 −1로 답합니다. 합은 정확히 직선 w₁x + w₂y + b = 0 위에서 0이 되므로, 뉴런은 평면을 클래스마다 하나씩 두 개의 반평면으로 자릅니다. 가중치 벡터 (w₁, w₂)는 이 직선에 수직이며 +1 쪽을 가리키고, 편향 b는 직선을 원점에서 멀어지게 합니다. 편향을 항상 1인 입력의 가중치 w₀로 다루면 규칙 하나로 세 숫자를 모두 학습할 수 있습니다.
학습 규칙
학습에서는 뉴런에 점을 하나씩 보여 줍니다. 맞게 답하면 아무것도 바뀌지 않습니다. 틀리면 각 가중치가 입력의 η·(y − ŷ)배만큼 바뀝니다. 여기서 y는 실제 클래스, ŷ는 답, η는 학습률입니다. 이렇게 하면 직선이 밀려 그 점이 올바른 쪽에 오게 됩니다. 모든 점을 한 바퀴 도는 것을 에포크라고 합니다. 점들을 직선으로 나눌 수 있다면, 퍼셉트론 수렴 정리는 이 단순한 규칙이 유한 번 틀린 뒤 그런 직선을 찾아낸다고 보장합니다. XOR는 그런 직선이 없을 때 무슨 일이 일어나는지 보여 줍니다.
자주 묻는 질문
퍼셉트론은 왜 XOR를 학습하지 못하나요?
XOR는 (0, 1)과 (1, 0)에서 참이고 (0, 0)과 (1, 1)에서 거짓입니다. 참인 두 점은 정사각형의 한 대각선 위에, 거짓인 두 점은 다른 대각선 위에 있어서, 한 대각선을 한쪽에, 다른 대각선을 반대쪽에 두는 직선은 없습니다. 퍼셉트론 하나는 직선만 그을 수 있으므로 XOR에서는 에포크마다 계속 틀리고 결코 수렴하지 않습니다. 두 번째 뉴런 층을 두거나 x·y 같은 입력을 추가하면 해결됩니다.
퍼셉트론은 항상 수렴하나요?
직선으로 두 클래스를 나눌 수 있다면 언제나 수렴합니다. 퍼셉트론 수렴 정리는 갱신 횟수를 제한하는데, 고전적인 형태의 규칙에서는 최대 (R/γ)²번입니다. 여기서 R은 가장 긴 입력 벡터의 길이, γ는 가장 좋은 분리 직선의 마진입니다. 마진이 작으면 많은 에포크가 걸릴 수 있습니다. 분리 직선이 없으면 결코 수렴하지 않으므로, 이 앱은 에포크 상한에서 멈추고 점들이 분리 가능한지 확인합니다.
학습률은 무슨 일을 하나요?
각 갱신의 크기를 정합니다. 0 가중치에서 시작하면 학습률은 모든 가중치에 같은 배율을 곱할 뿐, 직선도 오류 횟수도 결코 바꾸지 않습니다. 퍼셉트론의 흥미로운 성질이죠. 무작위 초기 가중치에서는 의미가 있습니다. 학습률이 작으면 직선이 더 오래 출발점 근처에 머물고, 크면 처음 몇 번의 오류가 결과를 좌우합니다.
포켓 알고리즘이란 무엇인가요?
어떤 직선으로도 나눌 수 없는 데이터를 위해 스티븐 갈랜트가 1990년에 발표한 작은 변형입니다. 퍼셉트론은 평소처럼 돌아가지만, 갱신할 때마다 새 가중치가 모든 점에서 몇 번 틀리는지 세고, 지금까지 가장 좋은 가중치를 ‘포켓’에 넣어 둡니다. 학습이 멈췄을 때의 답은 마지막 갱신이 우연히 남긴 직선이 아니라 점선으로 그린 포켓의 직선입니다.
서버로 전송되는 것이 있나요?
아니요. 점, 학습, 그리기는 모두 브라우저 안에서 실행되며, 점과 가중치는 이 브라우저의 로컬 저장소에 남습니다.
시도해 볼 준비가 되셨나요?
브라우저에서 PictorX를 엽니다. 설치가 필요 없고 시작하는 데 신용 카드가 필요하지 않습니다.
편집기로 이동