Giải thích mạng nơ-ron

Những hệ thống nhận diện khuôn mặt, dịch văn bản và viết câu trả lời được xây dựng từ một ý tưởng giản dị đến bất ngờ: rất nhiều đơn vị nhỏ, mỗi đơn vị cộng các con số, uốn kết quả đi một chút rồi chuyển tiếp. Không ai lập trình các quy tắc. Mạng bắt đầu với những thiết lập ngẫu nhiên và điều chỉnh chúng, mỗi lần một bước rất nhỏ, cho đến khi câu trả lời khớp với các ví dụ được đưa cho nó. Bài viết này đi theo ý tưởng đó từ một nơ-ron đến một mạng học được hình xoắn ốc.

Một mạng nơ-ron nhỏ gồm các đầu vào, hai lớp ẩn và một đầu ra với các kết nối xanh lam và cam, bên cạnh một mặt phẳng nơi một ranh giới cong tách các điểm xanh lam và cam
Một mạng nơ-ron nhỏ gồm các đầu vào, hai lớp ẩn và một đầu ra với các kết nối xanh lam và cam, bên cạnh một mặt phẳng nơi một ranh giới cong tách các điểm xanh lam và cam

Một nơ-ron

Một nơ-ron nhân tạo nhận vài con số, nhân mỗi số với một trọng số, cộng chúng lại cùng với một độ lệch và đưa tổng qua một hàm kích hoạt. Warren McCulloch và Walter Pitts mô tả một đơn vị như vậy vào năm 1943, và năm 1958 Frank Rosenblatt chế tạo perceptron, một cỗ máy tự học các trọng số của nó từ ví dụ. Với hai đầu vào x và y, tổng có trọng số bằng 0 dọc theo một đường thẳng, nên một nơ-ron đơn lẻ chia mặt phẳng thành hai nửa: một phía là "có" của nó, phía kia là "không", với sự chuyển tiếp mềm khi hàm kích hoạt trơn.

Warren McCulloch (trái, có râu) và các đồng nghiệp
Warren McCulloch (trái, có râu) và các đồng nghiệp

Hàm kích hoạt

Chính hàm kích hoạt khiến một mạng không chỉ là một phép cộng. Hàm sigmoid ép mọi số vào khoảng 0 đến 1, còn tanh vào khoảng −1 đến 1; cả hai đều là đường cong trơn hình chữ S. ReLU, đơn vị tuyến tính chỉnh lưu, cho ra 0 với số âm và chính số đó trong các trường hợp còn lại; từ khoảng năm 2010, nó là lựa chọn thông thường cho các mạng sâu vì tính toán rẻ và giữ cho gradient không bị tắt dần. Không có một chỗ uốn như vậy, việc xếp chồng các lớp sẽ vô nghĩa: một chuỗi hàm tuyến tính vẫn là một hàm tuyến tính, và ranh giới của nó vẫn là một đường thẳng.

Các lớp

Đặt vài nơ-ron cạnh nhau là bạn có một lớp; đưa đầu ra của một lớp vào lớp tiếp theo là bạn có một mạng. Trong sân chơi, lớp ẩn thứ nhất cắt mặt phẳng dọc theo vài đường thẳng, lớp tiếp theo kết hợp các nửa mặt phẳng đó thành hình nêm và hòn đảo, và nơ-ron đầu ra cân nhắc tất cả thành một xác suất duy nhất. Năm 1969, Marvin Minsky và Seymour Papert chỉ ra rằng perceptron không có lớp ẩn không thể học XOR, điều này góp phần khiến lĩnh vực này đình trệ trong nhiều năm. Hai mươi năm sau, George Cybenko và những người khác chứng minh điều ngược lại cho các mạng có một lớp ẩn: với đủ nơ-ron, chúng có thể xấp xỉ mọi hàm liên tục với độ chính xác tùy ý.

Đo sai số

Để học, mạng cần một con số cho biết nó sai đến mức nào: mất mát. Với hai lớp, lựa chọn thông thường là entropy chéo. Nếu mạng gán cho một điểm xanh lam xác suất p là xanh lam, điểm đó tốn chi phí −log p, nhỏ khi p gần 1 và tăng không giới hạn khi p tiến về 0. Mất mát là chi phí trung bình trên các điểm. Một mạng đoán một nửa ở mọi nơi có mất mát log 2, khoảng 0,693, gần với chỗ biểu đồ của sân chơi bắt đầu.

Hạ gradient và lan truyền ngược

Hãy hình dung mất mát như một địa hình trải trên tất cả các trọng số. Hạ gradient tìm hướng xuống dốc, tức gradient âm, và bước một bước nhỏ theo hướng đó, lặp đi lặp lại. Tính gradient cho hàng nghìn trọng số trông có vẻ tốn kém, nhưng lan truyền ngược làm việc đó chỉ trong một lượt đi ngược: bắt đầu từ sai số ở đầu ra, quy tắc dây chuyền chia cho mỗi lớp phần trách nhiệm của nó, từng lớp một ngược về đến đầu vào. Phương pháp này đã được mô tả nhiều lần, và bài báo năm 1986 của David Rumelhart, Geoffrey Hinton và Ronald Williams đã biến nó thành cách chuẩn để huấn luyện mạng. Dùng một lô nhỏ các điểm ngẫu nhiên cho mỗi bước thay vì tất cả các điểm, tức hạ gradient ngẫu nhiên, nhanh hơn và hiệu quả không kém.

Geoffrey Hinton, một trong những người sáng lập mạng nơ-ron hiện đại
Geoffrey Hinton, một trong những người sáng lập mạng nơ-ron hiện đại

Tốc độ học

Kích thước bước được gọi là tốc độ học, và đây là thiết lập thường quyết định nhất việc huấn luyện có thành công hay không. Quá nhỏ, mất mát bò xuống chậm đến mức dường như chẳng có gì xảy ra. Quá lớn, mỗi bước vượt quá thung lũng nó nhắm tới: mất mát nảy lên nảy xuống, hoặc trong các mạng lớn hơn thì bùng nổ đến khi các con số bị tràn. Với ReLU, một bước lớn còn có thể đẩy các nơ-ron đến chỗ tổng của chúng âm với mọi điểm; khi đó chúng cho ra 0, không nhận được gradient và không bao giờ hồi phục. Hãy thử hình xoắn ốc với tốc độ 3 trong sân chơi: với tanh mất mát nhảy lung tung, với ReLU nhiều nơ-ron trở nên trống trơn và mất mát kẹt quanh 0,69. Sau đó thử 0,001 để thấy nó bò chậm chạp.

Quá khớp

Một mạng có đủ trọng số có thể học thuộc các điểm huấn luyện, cả nhiễu lẫn mọi thứ, và vẽ một ranh giới uốn lượn quanh từng điểm lạc lõng. Khi đó nó làm tốt trên những điểm đã thấy và kém trên những điểm mới. Đó là lý do một phần dữ liệu được giữ lại làm dữ liệu kiểm tra, không bao giờ dùng để huấn luyện. Khi cả hai mất mát cùng giảm, mạng đang học khuôn mẫu; khi mất mát kiểm tra quay đầu tăng trong khi mất mát huấn luyện vẫn giảm, nó đã bắt đầu học thuộc. Mạng nhỏ hơn, nhiều dữ liệu hơn, thêm nhiễu hoặc đơn giản là dừng đúng lúc đều giúp ích.

Tự khám phá

Mở sân chơi mạng nơ-ron để huấn luyện một mạng có tới bốn lớp ẩn, mỗi lớp tám nơ-ron, trên sáu tập dữ liệu, kể cả những điểm bạn tự nhấp để thêm. Mỗi nơ-ron được vẽ thành một bản đồ nhỏ cho thấy nó phản ứng với điều gì, và mỗi trọng số là một kết nối xanh lam hoặc cam, nên bạn có thể xem mạng tự phát minh ra các đặc trưng của riêng nó. Hãy thử hình tròn khi không có lớp ẩn, rồi thêm x² và y² làm đầu vào; thử hình xoắn ốc với một lớp, rồi với ba lớp; và thêm nhiễu vào một tập dữ liệu nhỏ để khiến mạng quá khớp.

Câu hỏi thường gặp

Các mô hình AI lớn có hoạt động như thế này không?

Các khối xây dựng là như nhau: tổng có trọng số, hàm kích hoạt, hàm mất mát và hạ gradient với lan truyền ngược. Các mô hình lớn có hàng tỷ trọng số thay vì vài chục, có những lớp được thiết kế cho hình ảnh hoặc văn bản như tích chập và cơ chế chú ý (attention), và được huấn luyện trên những tập dữ liệu khổng lồ với các bộ tối ưu tốt hơn. Vòng lặp cơ bản bạn thấy trong sân chơi vẫn không đổi.

Vì sao huấn luyện bắt đầu từ các trọng số ngẫu nhiên?

Nếu mọi trọng số đều bắt đầu bằng nhau, mọi nơ-ron trong một lớp sẽ tính cùng một thứ và nhận cùng một cập nhật, và chúng sẽ mãi giống hệt nhau. Các trọng số ngẫu nhiên nhỏ phá vỡ sự đối xứng đó, để mỗi nơ-ron có thể học một đặc trưng khác nhau. Độ lớn của chúng cũng quan trọng: sân chơi điều chỉnh chúng theo số đầu vào, như Xavier Glorot và Yoshua Bengio đề xuất năm 2010.

Vì sao hai lần chạy lại kết thúc với ranh giới khác nhau?

Mỗi lần chạy bắt đầu từ các trọng số ngẫu nhiên khác nhau và thấy các điểm theo một thứ tự ngẫu nhiên khác, và địa hình mất mát có nhiều thung lũng tốt gần như ngang nhau. Hai mạng có thể phân loại các điểm huấn luyện tốt như nhau với ranh giới có hình dạng khác nhau, và chúng có thể bất đồng ở những vùng không có dữ liệu.

Nhiều lớp hơn có luôn tốt hơn không?

Không. Mạng sâu hơn có thể biểu diễn những hình dạng phức tạp hơn với ít nơ-ron hơn, nhưng khó huấn luyện hơn và dễ quá khớp hơn trên các tập dữ liệu nhỏ. Với các bài toán trong sân chơi, một hoặc hai lớp ẩn thường là đủ; hình xoắn ốc là bài toán rõ ràng được lợi khi có thêm lớp.

Sẵn sàng thử chưa?

Mở PictorX trong trình duyệt — không cần cài đặt, không cần thẻ tín dụng để bắt đầu.

Mở sân chơi mạng nơ-ron