신경망의 원리

얼굴을 알아보고, 글을 번역하고, 답을 써 내는 시스템은 놀랄 만큼 단순한 아이디어로 만들어져 있습니다. 작은 단위가 아주 많이 모여, 각자 숫자를 더하고 결과를 조금 구부린 뒤 다음으로 넘기는 것입니다. 규칙을 프로그래밍하는 사람은 없습니다. 네트워크는 무작위 설정에서 출발해, 보여 준 예시와 답이 맞아떨어질 때까지 아주 조금씩 설정을 조정합니다. 이 글은 이 아이디어를 뉴런 하나에서 나선을 학습하는 네트워크까지 따라갑니다.

입력, 은닉층 두 개, 출력 하나로 이루어진 작은 신경망과 파란색·주황색 연결, 그 옆에서 곡선 경계가 파란 점과 주황 점을 나누는 평면
입력, 은닉층 두 개, 출력 하나로 이루어진 작은 신경망과 파란색·주황색 연결, 그 옆에서 곡선 경계가 파란 점과 주황 점을 나누는 평면

뉴런 하나

인공 뉴런은 숫자 몇 개를 받아 각각에 가중치를 곱하고, 편향과 함께 모두 더한 뒤, 그 합계를 활성화 함수에 통과시킵니다. 워런 매컬럭(Warren McCulloch)과 월터 피츠(Walter Pitts)가 1943년에 이런 단위를 기술했고, 1958년에는 프랭크 로젠블랫(Frank Rosenblatt)이 예시로부터 스스로 가중치를 학습하는 기계인 퍼셉트론을 만들었습니다. 입력이 x와 y 두 개이면 가중합은 한 직선을 따라 0이 되므로, 뉴런 하나는 평면을 두 쪽으로 나눕니다. 한쪽은 '예', 다른 쪽은 '아니요'이며, 활성화 함수가 매끄러우면 그 사이가 부드럽게 바뀝니다.

워런 매컬록(왼쪽, 수염)과 동료들
워런 매컬록(왼쪽, 수염)과 동료들

활성화 함수

네트워크를 단순한 합 이상으로 만드는 것이 활성화 함수입니다. 시그모이드는 어떤 수든 0에서 1 사이로, tanh는 −1에서 1 사이로 눌러 넣으며, 둘 다 매끄러운 S자 곡선입니다. ReLU(정류 선형 유닛)는 음수에는 0을, 그 밖에는 그 수 자체를 내보냅니다. 계산이 가볍고 기울기가 사라지는 것을 막아 주기 때문에, 2010년 무렵부터 깊은 네트워크의 일반적인 선택이 되었습니다. 이런 꺾임이 없다면 층을 쌓는 것은 무의미합니다. 선형 함수를 아무리 이어도 하나의 선형 함수이고, 그 경계도 여전히 직선입니다.

층

뉴런 여러 개를 나란히 놓으면 층이 되고, 한 층의 출력을 다음 층에 넣으면 네트워크가 됩니다. 샌드박스에서 첫 번째 은닉층은 평면을 여러 직선으로 자르고, 다음 층은 이 반평면들을 조합해 쐐기와 섬을 만들며, 출력 뉴런은 이 모두를 저울질해 하나의 확률로 만듭니다. 1969년 마빈 민스키(Marvin Minsky)와 시모어 페퍼트(Seymour Papert)는 은닉층이 없는 퍼셉트론이 XOR를 학습할 수 없음을 보였고, 이는 이 분야가 여러 해 동안 정체되는 데 한몫했습니다. 20년 뒤 조지 시벤코(George Cybenko) 등은 은닉층이 하나인 네트워크에 대해 그 반대를 증명했습니다. 뉴런이 충분하면 어떤 연속 함수든 원하는 만큼 가깝게 근사할 수 있다는 것입니다.

오차 측정하기

학습하려면 네트워크에는 얼마나 틀렸는지를 말해 주는 숫자, 즉 손실이 필요합니다. 두 부류의 경우 흔히 교차 엔트로피를 씁니다. 네트워크가 파란 점에 파랑일 확률 p를 주면, 그 점의 비용은 −log p입니다. 이 값은 p가 1에 가까우면 작고, p가 0에 다가가면 한없이 커집니다. 손실은 점들의 비용을 평균한 것입니다. 어디서나 2분의 1이라고 추측하는 네트워크의 손실은 log 2, 약 0.693으로, 샌드박스 차트가 시작하는 값과 비슷합니다.

경사 하강법과 역전파

손실을 모든 가중치 위에 펼쳐진 지형이라고 생각해 보세요. 경사 하강법은 내리막 방향, 즉 음의 기울기를 찾아 그쪽으로 작은 걸음을 내딛고, 이를 계속 되풀이합니다. 수천 개의 가중치에 대해 기울기를 계산하는 일은 비싸 보이지만, 역전파는 한 번의 역방향 계산으로 해냅니다. 출력의 오차에서 시작해, 연쇄 법칙이 각 층에 책임의 몫을 나누어 주며 한 층씩 입력까지 거슬러 올라갑니다. 이 방법은 여러 번 제안되었지만, 데이비드 러멜하트(David Rumelhart), 제프리 힌턴(Geoffrey Hinton), 로널드 윌리엄스(Ronald Williams)의 1986년 논문이 이를 네트워크 훈련의 표준 방법으로 만들었습니다. 매 단계에 모든 점 대신 무작위로 고른 작은 배치를 쓰는 확률적 경사 하강법은 더 빠르면서도 똑같이 잘 작동합니다.

제프리 힌턴, 현대 신경망의 창시자 중 한 사람
제프리 힌턴, 현대 신경망의 창시자 중 한 사람

학습률

이 걸음의 크기를 학습률이라고 하며, 훈련이 잘되는지를 가장 자주 좌우하는 설정입니다. 너무 작으면 손실이 너무 천천히 내려가 아무 일도 일어나지 않는 것처럼 보입니다. 너무 크면 걸음마다 목표로 한 골짜기를 지나쳐 버립니다. 손실은 오르락내리락하거나, 더 큰 네트워크에서는 숫자가 넘칠 때까지 폭주합니다. ReLU에서는 큰 걸음이 뉴런을 모든 점에서 합이 음수가 되는 곳으로 밀어낼 수도 있습니다. 그러면 그 뉴런은 0만 내보내고 기울기를 받지 못해 다시는 회복하지 못합니다. 샌드박스에서 학습률 3으로 나선을 시험해 보세요. tanh에서는 손실이 요동치고, ReLU에서는 많은 뉴런이 텅 비며 손실이 0.69 근처에 멈춰 버립니다. 그다음 0.001로 바꿔 기어가듯 느린 모습을 보세요.

과적합

가중치가 충분한 네트워크는 훈련 점을 노이즈까지 통째로 외워, 동떨어진 점 하나하나를 감아 도는 뒤틀린 경계를 그릴 수 있습니다. 그러면 이미 본 점에서는 잘하지만 새 점에서는 형편없습니다. 그래서 데이터 일부를 테스트 데이터로 떼어 두고 훈련에는 절대 쓰지 않습니다. 두 손실이 모두 내려가는 동안 네트워크는 패턴을 배우고 있습니다. 훈련 손실은 계속 내려가는데 테스트 손실이 오르기 시작하면 외우기 시작한 것입니다. 더 작은 네트워크, 더 많은 데이터, 노이즈 추가, 혹은 그저 알맞은 순간에 멈추는 것 모두 도움이 됩니다.

직접 탐구해 보세요

신경망 샌드박스를 열면, 뉴런 여덟 개짜리 은닉층을 최대 네 개까지 가진 네트워크를 직접 클릭해 찍은 점을 포함한 여섯 가지 데이터셋으로 훈련할 수 있습니다. 각 뉴런은 무엇에 반응하는지 보여 주는 작은 지도로, 각 가중치는 파란색 또는 주황색 연결로 그려지므로, 네트워크가 자신만의 특징을 만들어 내는 모습을 볼 수 있습니다. 은닉층 없이 원을 시험한 다음 x²와 y²를 입력으로 추가해 보세요. 나선을 한 층으로, 그다음 세 층으로 시험해 보세요. 그리고 작은 데이터셋에 노이즈를 넣어 과적합을 일으켜 보세요.

자주 묻는 질문

대형 AI 모델도 이렇게 작동하나요?

구성 요소는 같습니다. 가중합, 활성화 함수, 손실, 그리고 역전파를 이용한 경사 하강법입니다. 대형 모델은 수십 개가 아니라 수십억 개의 가중치를 가지며, 합성곱이나 어텐션처럼 이미지나 텍스트를 위해 만들어진 층을 갖추고, 더 나은 최적화 기법으로 거대한 데이터셋에서 훈련됩니다. 샌드박스에서 보는 기본 루프는 그대로입니다.

훈련은 왜 무작위 가중치에서 시작하나요?

모든 가중치가 같은 값으로 시작하면, 한 층의 모든 뉴런이 같은 것을 계산하고 같은 업데이트를 받아 영원히 똑같은 상태로 남습니다. 작은 무작위 가중치가 이 대칭을 깨뜨려 각 뉴런이 서로 다른 특징을 학습할 수 있게 합니다. 그 크기도 중요합니다. 샌드박스는 자비에 글로로(Xavier Glorot)와 요슈아 벤지오(Yoshua Bengio)가 2010년에 제안한 대로 입력의 개수에 맞춰 가중치의 크기를 조정합니다.

두 번 실행하면 왜 경계가 다르게 끝나나요?

실행할 때마다 다른 무작위 가중치에서 시작하고 다른 무작위 순서로 점을 보며, 손실 지형에는 거의 똑같이 좋은 골짜기가 많기 때문입니다. 두 네트워크가 모양이 다른 경계로 훈련 점을 똑같이 잘 분류할 수 있고, 데이터가 없는 영역에서는 서로 판단이 다를 수 있습니다.

층이 많을수록 항상 더 좋나요?

아니요. 더 깊은 네트워크는 더 적은 뉴런으로 더 복잡한 모양을 표현할 수 있지만, 훈련하기 더 어렵고 작은 데이터셋에서는 과적합되기 쉽습니다. 샌드박스의 문제들에는 보통 은닉층 한두 개면 충분하며, 층을 늘려서 확실히 득을 보는 것은 나선입니다.

시도해 볼 준비가 되셨나요?

브라우저에서 PictorX를 엽니다. 설치가 필요 없고 시작하는 데 신용 카드가 필요하지 않습니다.

신경망 샌드박스 열기