에포크
훈련 손실
테스트 손실
정확도
  • 훈련 점
  • 테스트 점
  • 결정 경계
  • 훈련 손실
  • 테스트 손실

클릭 시 추가
입력

신경망에 대해 더보기

신경망 샌드박스

신경망은 가중치를 곱한 입력을 더하고 그 합을 한 번 구부려 내보내는 단순한 단위들을 쌓아 올린 것입니다. 단위 하나만으로는 직선밖에 그릴 수 없지만, 여럿이 모이면 원이든 나선이든 어떤 모양이든 그려 낼 수 있습니다. 데이터셋을 고르고 은닉층이 최대 네 개인 네트워크를 만든 다음 '훈련'을 누르면, 파랑과 주황 사이의 경계가 에포크마다 모양을 잡아 가는 모습을 볼 수 있습니다. 그동안 각 뉴런은 자신이 감지하도록 학습한 패턴의 일부를 보여 줍니다. 데이터셋과 네트워크를 고른 다음 훈련을 누르고, 네트워크가 파란 점과 주황 점을 나누는 법을 배우는 모습을 지켜보세요. 채워진 점으로 네트워크를 훈련하고, 고리 모양은 훈련에 한 번도 쓰이지 않는 테스트 점입니다. 배경은 평면의 모든 점에 대한 네트워크의 답을 보여 주며, 선은 네트워크의 판단이 바뀌는 곳입니다. 다이어그램에서 각 뉴런은 자신이 무엇에 반응하는지 보여 주고, 각 연결은 가중치가 양수이면 파란색, 음수이면 주황색이며 클수록 굵게 그려집니다. 평면을 클릭하면 '클릭 시 추가'에서 고른 색의 점이 추가됩니다.

작동 원리

  1. 데이터셋을 고르세요. 직선 하나로 나눌 수 있는 두 덩어리부터 여러 층이 필요한 나선까지 있으며, 평면을 클릭해 직접 점을 찍을 수도 있습니다.
  2. 은닉층 수, 층당 뉴런 수, 활성화 함수, 학습률, 네트워크가 받을 입력을 설정하세요.
  3. '훈련'을 누르고 경계, 뉴런, 손실을 지켜보세요. 훈련 손실과 테스트 손실을 비교하면 과적합을 알아챌 수 있습니다.

네트워크가 하는 일

각 뉴런은 입력에 가중치를 곱하고 편향을 더한 뒤, 그 합계를 tanh나 ReLU 같은 활성화 함수에 통과시킵니다. 첫 번째 은닉층의 뉴런들은 저마다 평면을 직선 하나를 따라 둘로 나누고, 그 경계를 부드러운 그러데이션으로 만듭니다. 다음 층은 이 반평면들을 조합해 쐐기, 띠, 덩어리를 만들고, 출력 뉴런은 그 결과를 '파랑일 확률'로 바꿉니다. 평면의 배경은 이 확률을 모든 곳에서 보여 주며, 진한 선은 확률이 정확히 2분의 1인 곳, 즉 결정 경계입니다.

학습하는 방법

훈련은 무작위 가중치에서 시작합니다. 작은 배치의 훈련 점에 대해 네트워크는 자신의 답을 실제 색과 비교하고, 역전파는 출력에서 입력 쪽으로 거슬러 올라가며 각 가중치가 오차에 얼마나 기여했는지 계산합니다. 그런 다음 모든 가중치가 손실을 낮추는 방향으로 학습률만큼 작게 한 걸음 움직입니다. 모든 훈련 점을 한 번 훑는 것을 1 에포크라고 합니다. 학습률이 너무 작으면 진행이 느리고, 너무 크면 손실이 요동치거나 폭주합니다. 테스트 점은 훈련에 전혀 쓰이지 않으므로, 테스트 손실은 네트워크가 얼마나 잘 일반화하는지 보여 줍니다.

자주 묻는 질문

은닉층이 없는 네트워크는 왜 원이나 XOR를 학습하지 못하나요?

은닉층이 없으면 출력은 입력의 가중합 하나에 대한 함수이므로 경계가 직선이 됩니다. 원의 안쪽을 한쪽에, 바깥 고리를 다른 쪽에 두는 직선은 없고, XOR의 두 대각선을 나누는 직선도 없습니다. 마빈 민스키(Marvin Minsky)와 시모어 페퍼트(Seymour Papert)는 1969년에 단층 퍼셉트론에 대해 이 점을 지적했습니다. 은닉층을 하나 넣으면 해결되고, 입력을 하나 더 넣어도 해결됩니다. x²와 y²가 있으면 원은 직선 하나로 잘리고, x·y가 있으면 XOR도 마찬가지입니다.

과적합이란 무엇이고, 여기서는 어떻게 볼 수 있나요?

네트워크가 점들 뒤에 있는 패턴 대신 노이즈까지 포함해 훈련 점 자체를 외워 버리면 과적합이 일어난 것입니다. 노이즈가 많고 점이 적은 데이터셋에 큰 네트워크를 골라 오래 훈련해 보세요. 훈련 손실은 계속 내려가지만 테스트 손실은 평평해졌다가 오르기 시작하고, 경계에는 점 하나하나를 둘러싼 작은 섬들이 생깁니다. 뉴런을 줄이거나, 점을 늘리거나, 일찍 멈추면 도움이 됩니다.

어떤 활성화 함수를 써야 하나요?

Tanh는 매끄럽고 둥근 경계를 만들며 이런 작은 문제에서 잘 학습합니다. ReLU는 합이 음수이면 0, 그렇지 않으면 합 자체를 내보내는 함수로, 현대 딥러닝의 기본 선택이며 직선 조각으로 이루어진 경계를 만듭니다. 시그모이드는 기울기가 작아서 은닉층에서 학습이 더 느립니다. 선형은 모든 은닉층을 쓸모없게 만듭니다. 선형 층을 아무리 쌓아도 여전히 하나의 선형 함수이므로 경계는 직선으로 남습니다.

네트워크 다이어그램의 작은 그림들은 무엇을 뜻하나요?

각 그림은 평면의 모든 점에 대한 뉴런 하나의 출력을 보여 주며, 높으면 파랑, 낮으면 주황입니다. 입력 뉴런은 x, y와 그 밖의 입력을 보여 주고, 첫 번째 은닉층은 부드러운 반평면을, 더 깊은 뉴런은 그것들로 만든 더 복잡한 모양을 보여 줍니다. 연결은 가중치가 양수이면 파랑, 음수이면 주황이며, 가중치가 클수록 굵습니다.

서버로 전송되는 것이 있나요?

아니요. 데이터, 네트워크, 훈련은 모두 머신러닝 라이브러리 없이 순수 JavaScript로 브라우저 안에서 실행됩니다. 설정과 클릭해서 찍은 점은 이 브라우저의 로컬 저장소에 남습니다.

시도해 볼 준비가 되셨나요?

브라우저에서 PictorX를 엽니다. 설치가 필요 없고 시작하는 데 신용 카드가 필요하지 않습니다.

편집기로 이동