퍼셉트론 설명
1958년, 뉴욕주 버펄로의 한 연구소에서 한 심리학자가 학습하는 기계를 선보였습니다. 두 종류의 그림을 구별하는 규칙은 아무도 알려 주지 않았습니다. 예시를 보여 주면, 기계는 틀린 답을 낼 때마다 자기 손잡이를 조금씩 돌렸습니다. 이 기계, 퍼셉트론은 몇 줄짜리 학습 규칙을 가진 인공 뉴런 하나입니다. 모든 것을 배울 수는 없으며, 배우지 못하는 것에 관한 이야기는 배울 수 있는 것에 관한 이야기만큼이나 많은 것을 가르쳐 줍니다.
학습하는 기계
코넬 항공연구소의 심리학자 프랭크 로젠블랫은 1958년에 퍼셉트론을 발표했습니다. 그는 워런 매컬럭과 월터 피츠가 1943년에 제안한 인공 뉴런을 바탕으로 삼았습니다. 입력을 더해 합이 문턱값을 넘으면 발화하는 단위입니다. 매컬럭과 피츠는 가중치를 손으로 정해야 했습니다. 로젠블랫의 새로운 아이디어는 예시로부터 가중치를 정하는 규칙이었습니다. 언론은 열광했습니다. 1958년 7월 뉴욕 타임스는 해군이 이 기계가 언젠가 걷고, 말하고, 보고, 자신의 존재를 의식하게 되리라 기대한다고 보도했습니다.
Mark I 퍼셉트론
첫 퍼셉트론은 IBM 704에서 돌아가는 프로그램이었지만, 로젠블랫은 곧 이를 독립된 기계로 만들게 했습니다. 1960년 무렵 완성된 Mark I 퍼셉트론은 20 × 20 격자로 배열된 광센서 400개로 이루어진 카메라로 세상을 보았고, 센서들은 연합 단위 층에 무작위로 연결되어 있었습니다. 가중치는 전위차계였고, 틀릴 때마다 작은 전동기가 이를 돌렸습니다. 이 기계는 간단한 도형과 글자를 구별하는 법을 배웠습니다. 지금은 스미스소니언 국립 미국사 박물관에 보관되어 있습니다.
뉴런 하나, 직선 하나
두 입력 x와 y를 받는 퍼셉트론은 w₁x + w₂y + b를 계산해 합이 양수면 +1, 음수면 −1로 답합니다. 합은 정확히 직선 w₁x + w₂y + b = 0 위에서 0이 되므로, 뉴런은 평면을 답마다 하나씩 두 개의 반평면으로 나눕니다. 가중치 벡터 (w₁, w₂)는 직선에 수직이고 +1 쪽을 가리키며, 편향 b는 직선을 원점에서 멀어지게 합니다. 편향이 없다면 모든 경계가 (0, 0)을 지날 것입니다. 입력이 많아지면 직선은 평면이나 초평면이 되지만 원리는 같습니다. 편향을 항상 1인 추가 입력의 가중치 w₀로 쓰는 요령 덕분에 규칙 하나로 모든 가중치를 학습할 수 있습니다.
학습 규칙
학습은 샘플을 하나씩 차례로 살펴봅니다. 실제 클래스가 y인 샘플 x마다 뉴런은 답 ŷ를 냅니다. ŷ가 y와 같으면 아무 일도 일어나지 않습니다. 그렇지 않으면 각 가중치가 입력의 η·(y − ŷ)배만큼 바뀝니다. 즉 w ← w + η·(y − ŷ)·x입니다. −1이라는 답을 받은 클래스 +1의 점에서는 w에 x의 몇 배가 더해져 w·x가 x 길이 제곱의 몇 배만큼 커지고, 점은 올바른 쪽으로 밀립니다. 클래스 −1의 점에서는 그 반대입니다. 학습률 η가 한 걸음의 크기를 정합니다. 모든 샘플을 한 바퀴 도는 것이 한 에포크이며, 오류 없는 한 바퀴가 끝나면 학습이 끝납니다.
수렴 정리
두 클래스를 나누는 직선이 있다면, 퍼셉트론은 반드시 그런 직선을 하나 찾습니다. 앨버트 노비코프는 1962년에, 모든 입력의 길이가 R 이하이고 가장 좋은 직선이 마진 γ로 클래스를 나눈다면, 샘플의 순서와 상관없이 고전적인 규칙은 많아야 (R/γ)²번 틀린다는 것을 증명했습니다. 증명은 두 양을 비교합니다. 틀릴 때마다 w는 이상적인 방향과 적어도 γ만큼 더 나란해지지만, w의 길이는 오류 횟수의 제곱근만큼만 자라므로 오류는 언젠가 바닥나야 합니다. 찾아낸 직선은 점들을 나누는 많은 직선 가운데 하나일 뿐이며, 틈이 가장 넓은 직선이라는 보장은 없습니다.
민스키, 페퍼트, 그리고 XOR
어떤 직선으로도 클래스를 나눌 수 없으면 규칙은 결코 안정되지 않습니다. 어느 직선이든 어떤 점을 잘못 분류하고, 그 점이 직선을 다시 끌어당기기 때문입니다. 가장 간단한 예는 XOR, 즉 두 입력 가운데 정확히 하나가 참일 때 참인 함수입니다. 마빈 민스키와 시모어 페퍼트는 1969년의 책 『퍼셉트론』에서 단층 퍼셉트론이 XOR를 계산할 수 없고 도형이 연결되어 있는지도 판단할 수 없음을 증명했으며, 무엇을 계산할 수 있는지를 정밀하게 분석했습니다. 이 책은 1970년대 신경망 연구 지원이 줄어든 원인으로 자주 지목되지만, 저자들은 층이 더 많은 네트워크가 더 많은 일을 할 수 있다는 것을 알고 있었습니다.
퍼셉트론에서 신경망으로
층이 둘이면 XOR는 쉽습니다. 한 뉴런이 OR를, 다른 뉴런이 NAND를 계산하고, 세 번째 뉴런이 이 둘을 AND로 묶으면 됩니다. 어려운 점은 은닉 뉴런의 학습이었습니다. 딱딱한 문턱값은 가중치를 어느 쪽으로 돌려야 할지 아무런 단서도 주지 않기 때문입니다. 계단 함수를 시그모이드 같은 매끄러운 함수로 바꾸자 오차를 미분할 수 있게 되었고, 1986년 데이비드 러멜하트, 제프리 힌턴, 로널드 윌리엄스가 널리 알린 역전파는 각 층의 각 가중치가 오차에 얼마나 기여하는지 계산합니다. 깊고 넓어진 이런 다층 퍼셉트론이 오늘날의 신경망입니다. 한 층으로 나눌 수 없는 데이터에 대해서는 스티븐 갈랜트의 1990년 포켓 알고리즘이 적어도 학습 중에 나타난 가장 좋은 직선을 보관합니다.
직접 해 보기
퍼셉트론 시각화를 열고 논리 게이트 AND, OR, NAND나, 원하는 마진을 준 무작위 점, 또는 직접 찍은 점으로 퍼셉트론을 학습시켜 보세요. 학습 규칙을 샘플 하나씩 따라가며 갱신 전후의 가중치를 읽고, 직선과 가중치 벡터가 도는 모습을 보며 에포크별 오류를 따라가세요. 그다음 XOR와 겹치는 구름을 시도해 퍼셉트론이 수렴하지 못하는 모습을 보고, 포켓 알고리즘을 켜 보세요.
자주 묻는 질문
퍼셉트론은 로지스틱 회귀와 같은 것인가요?
둘 다 곧은 경계를 가진 뉴런 하나지만 배우는 방식이 다릅니다. 퍼셉트론은 ‘예’ 또는 ‘아니요’로만 답하고, 틀렸을 때만 가중치를 바꿉니다. 로지스틱 회귀는 합을 시그모이드에 통과시켜 확률을 얻고, 올바른 답이 더 그럴듯해지도록 샘플마다 가중치를 조정합니다. 그래서 모든 점이 이미 올바른 쪽에 있어도 계속 나아지고, 어떤 직선으로도 나눌 수 없는 데이터에서도 안정됩니다.
퍼셉트론에는 왜 편향이 필요한가요?
편향이 없으면 w₁x + w₂y가 원점에서 0이 되므로 모든 경계가 (0, 0)을 지나게 됩니다. 입력 0과 1에 대한 AND 게이트와 OR 게이트에는 원점을 비켜 가는 직선이 필요합니다. 예를 들어 AND에서는 4x + 2y − 5 = 0이 (1, 1)을 나머지 세 꼭짓점과 나눕니다. 편향은 항상 1인 입력의 가중치로서 다른 가중치처럼 학습됩니다.
퍼셉트론은 어떤 직선을 찾나요?
초기 가중치와 샘플의 순서에 따라 점들을 나누는 아무 직선이나 찾습니다. 오류가 없어지는 순간 멈추므로 직선이 일부 점에 바짝 붙어 지나가는 경우가 많습니다. 서포트 벡터 머신은 대신 마진이 가장 넓은 직선을 찾고, 요아브 프로인드와 로버트 샤파이어의 투표 퍼셉트론과 평균 퍼셉트론은 학습 중에 나온 직선들을 결합해 더 잘 일반화합니다.
다층 퍼셉트론이란 무엇인가요?
뉴런을 층으로 배열한 네트워크로, 각 층의 출력이 다음 층의 입력이 됩니다. 딱딱한 문턱값 대신 매끄러운 활성화 함수를 쓰면 역전파와 경사 하강법으로 학습시킬 수 있습니다. 뉴런이 충분한 은닉층 하나만 있어도 유계 영역에서 어떤 연속 함수든 근사할 수 있고, 은닉 뉴런 두 개면 이미 XOR를 풉니다.
시도해 볼 준비가 되셨나요?
브라우저에서 PictorX를 엽니다. 설치가 필요 없고 시작하는 데 신용 카드가 필요하지 않습니다.
퍼셉트론 시각화 열기