Giải thích perceptron

Năm 1958, một nhà tâm lý học tại một phòng thí nghiệm ở Buffalo, bang New York, giới thiệu một cỗ máy biết học. Không ai nói cho nó quy tắc để phân biệt hai loại hình ảnh: người ta cho nó xem các ví dụ, và sau mỗi câu trả lời sai, nó tự vặn nhẹ các núm của mình. Cỗ máy ấy, perceptron, là một nơ-ron nhân tạo duy nhất với quy tắc học chỉ vài dòng. Nó không thể học mọi thứ, và câu chuyện về những gì nó không học được cũng bổ ích như câu chuyện về những gì nó học được.

Một perceptron với các đầu vào 1, x và y đi vào một nơ-ron cộng, bên cạnh một mặt phẳng nơi ranh giới quyết định thẳng và vectơ trọng số của nó tách các hình tròn xanh khỏi các hình vuông cam
Một perceptron với các đầu vào 1, x và y đi vào một nơ-ron cộng, bên cạnh một mặt phẳng nơi ranh giới quyết định thẳng và vectơ trọng số của nó tách các hình tròn xanh khỏi các hình vuông cam

Một cỗ máy biết học

Frank Rosenblatt, nhà tâm lý học tại Cornell Aeronautical Laboratory, mô tả perceptron năm 1958. Ông dựa trên nơ-ron nhân tạo mà Warren McCulloch và Walter Pitts đề xuất năm 1943: một đơn vị cộng các đầu vào và phát tín hiệu khi tổng vượt quá một ngưỡng. McCulloch và Pitts phải đặt trọng số bằng tay. Ý tưởng mới của Rosenblatt là một quy tắc tự xác định trọng số từ các ví dụ. Báo chí rất phấn khích: tháng 7 năm 1958, tờ New York Times đưa tin Hải quân kỳ vọng một ngày nào đó cỗ máy sẽ biết đi, nói, nhìn và ý thức được sự tồn tại của chính mình.

Warren McCulloch (trái, có râu) và các đồng nghiệp
Warren McCulloch (trái, có râu) và các đồng nghiệp

Mark I Perceptron

Perceptron đầu tiên chạy như một chương trình trên máy IBM 704, nhưng Rosenblatt sớm cho chế tạo nó thành một cỗ máy riêng. Mark I Perceptron, hoàn thành khoảng năm 1960, nhìn thế giới qua một camera gồm 400 cảm biến ánh sáng xếp thành lưới 20 × 20, được nối ngẫu nhiên với một lớp đơn vị liên kết. Trọng số của nó là các chiết áp, được những động cơ điện nhỏ xoay mỗi khi nó mắc lỗi. Nó học được cách phân biệt các hình dạng và chữ cái đơn giản. Ngày nay cỗ máy được lưu giữ tại Bảo tàng Quốc gia Lịch sử Hoa Kỳ thuộc Viện Smithsonian.

Perceptron Mark I, chụp cho sổ tay vận hành năm 1960: một máy ảnh cảm biến ánh sáng nối với các đơn vị liên hợp mà trọng số được chỉnh bằng mô-tơ. Máy hiện ở Bảo tàng Lịch sử Hoa Kỳ của Smithsonian.
Perceptron Mark I, chụp cho sổ tay vận hành năm 1960: một máy ảnh cảm biến ánh sáng nối với các đơn vị liên hợp mà trọng số được chỉnh bằng mô-tơ. Máy hiện ở Bảo tàng Lịch sử Hoa Kỳ của Smithsonian.

Một nơ-ron, một đường thẳng

Một perceptron với hai đầu vào x và y tính w₁x + w₂y + b và trả lời +1 nếu tổng dương, −1 nếu tổng âm. Tổng bằng không đúng trên đường thẳng w₁x + w₂y + b = 0, nên nơ-ron chia mặt phẳng thành hai nửa mặt phẳng, mỗi câu trả lời một nửa. Vectơ trọng số (w₁, w₂) vuông góc với đường thẳng và chỉ về phía +1, còn độ lệch b đẩy đường thẳng ra xa gốc tọa độ: nếu không có nó, mọi ranh giới đều đi qua (0, 0). Với nhiều đầu vào hơn, đường thẳng trở thành mặt phẳng hoặc siêu phẳng, nhưng ý tưởng vẫn như cũ. Mẹo viết độ lệch như một trọng số w₀ trên một đầu vào thêm luôn bằng 1 giúp một quy tắc duy nhất học được mọi trọng số.

Quy tắc học

Quá trình huấn luyện đi qua từng ví dụ một. Với mỗi ví dụ x có lớp thật y, nơ-ron đưa ra câu trả lời ŷ. Nếu ŷ bằng y, không có gì xảy ra. Nếu không, mỗi trọng số thay đổi một lượng bằng η·(y − ŷ) nhân với đầu vào của nó: w ← w + η·(y − ŷ)·x. Với một điểm lớp +1 bị trả lời là −1, một bội số của x được cộng vào w, làm w·x tăng thêm một bội số của bình phương độ dài x và đẩy điểm về đúng phía; với điểm lớp −1 thì ngược lại. Tốc độ học η quyết định độ dài bước. Một lượt qua tất cả các ví dụ là một epoch, và quá trình huấn luyện kết thúc sau một lượt không có lỗi.

Định lý hội tụ

Nếu có một đường thẳng tách được hai lớp, perceptron chắc chắn sẽ tìm ra một đường như vậy. Năm 1962, Albert Novikoff chứng minh rằng nếu mọi đầu vào có độ dài không quá R và đường thẳng tốt nhất tách các lớp với lề γ, thì quy tắc cổ điển mắc nhiều nhất (R/γ)² lỗi, bất kể thứ tự các ví dụ. Chứng minh so sánh hai đại lượng: mỗi lỗi làm w thẳng hàng hơn với hướng lý tưởng thêm ít nhất γ, trong khi độ dài của w chỉ tăng như căn bậc hai của số lỗi, nên các lỗi buộc phải cạn. Đường thẳng tìm được chỉ là một trong nhiều đường tách các điểm, không nhất thiết là đường có khoảng trống rộng nhất.

Minsky, Papert và XOR

Khi không đường thẳng nào tách được các lớp, quy tắc không bao giờ ổn định: đường nào cũng phân loại sai một điểm nào đó, và điểm đó lại kéo đường thẳng đi chỗ khác. Ví dụ đơn giản nhất là XOR, hàm đúng khi đúng một trong hai đầu vào của nó đúng. Trong cuốn Perceptrons năm 1969, Marvin Minsky và Seymour Papert chứng minh rằng perceptron một lớp không thể tính XOR, cũng không thể biết một hình có liên thông hay không, và phân tích chính xác những gì chúng tính được. Cuốn sách thường bị đổ lỗi cho việc cắt giảm kinh phí nghiên cứu mạng nơ-ron vào những năm 1970, dù các tác giả biết rằng mạng có nhiều lớp hơn có thể làm được nhiều hơn.

Từ perceptron đến mạng nơ-ron

Với hai lớp, XOR rất dễ: một nơ-ron tính OR, một nơ-ron khác tính NAND, và nơ-ron thứ ba kết hợp chúng bằng AND. Cái khó là huấn luyện các nơ-ron ẩn, vì một ngưỡng cứng không gợi ý nên xoay trọng số theo hướng nào. Thay hàm bậc thang bằng một hàm trơn như sigmoid khiến sai số trở nên khả vi, và lan truyền ngược, được David Rumelhart, Geoffrey Hinton và Ronald Williams phổ biến năm 1986, tính xem mỗi trọng số ở mỗi lớp đóng góp bao nhiêu vào sai số. Những perceptron nhiều lớp như vậy, nay đã sâu và rộng, chính là các mạng nơ-ron ngày nay. Với dữ liệu mà một lớp không tách được, thuật toán túi của Stephen Gallant năm 1990 ít nhất cũng giữ lại đường thẳng tốt nhất xuất hiện trong quá trình huấn luyện.

Geoffrey Hinton, một trong những người sáng lập mạng nơ-ron hiện đại
Geoffrey Hinton, một trong những người sáng lập mạng nơ-ron hiện đại

Tự khám phá

Mở công cụ trực quan hóa perceptron để huấn luyện một perceptron trên các cổng logic AND, OR và NAND, trên các điểm ngẫu nhiên với lề tùy chọn, hoặc trên các điểm do bạn tự đặt. Đi qua quy tắc học từng mẫu một và đọc từng trọng số trước và sau lần cập nhật, xem đường thẳng và vectơ trọng số xoay, và theo dõi số lỗi theo epoch. Sau đó thử XOR và hai đám chồng lấn, xem perceptron không thể hội tụ, rồi bật thuật toán túi.

Câu hỏi thường gặp

Perceptron có giống hồi quy logistic không?

Cả hai đều là một nơ-ron với ranh giới thẳng, nhưng chúng học theo cách khác nhau. Perceptron chỉ trả lời có hoặc không và chỉ thay đổi trọng số sau khi mắc lỗi. Hồi quy logistic đưa tổng qua hàm sigmoid để có một xác suất và điều chỉnh trọng số sau mỗi ví dụ để câu trả lời đúng trở nên khả dĩ hơn; vì thế nó tiếp tục cải thiện ngay cả khi mọi điểm đã nằm đúng phía, và cũng ổn định trên dữ liệu mà không đường thẳng nào tách được.

Vì sao perceptron cần độ lệch?

Không có độ lệch, w₁x + w₂y bằng không tại gốc tọa độ, nên mọi ranh giới đều đi qua (0, 0). Các cổng AND và OR trên đầu vào 0 và 1 cần một đường thẳng không đi qua gốc tọa độ: chẳng hạn với AND, 4x + 2y − 5 = 0 tách (1, 1) khỏi ba góc còn lại. Độ lệch được học như mọi trọng số khác, như trọng số của một đầu vào luôn bằng 1.

Perceptron tìm ra đường thẳng nào?

Bất kỳ đường thẳng nào tách được các điểm, tùy theo trọng số ban đầu và thứ tự các ví dụ. Nó dừng ngay khi không còn lỗi, nên đường thẳng thường đi sát một số điểm. Máy vectơ hỗ trợ thì tìm đường thẳng có lề rộng nhất, còn perceptron bỏ phiếu và perceptron trung bình của Yoav Freund và Robert Schapire kết hợp các đường thẳng xuất hiện trong quá trình huấn luyện để khái quát hóa tốt hơn.

Perceptron nhiều lớp là gì?

Một mạng gồm các nơ-ron xếp thành lớp, trong đó đầu ra của mỗi lớp là đầu vào của lớp kế tiếp. Với hàm kích hoạt trơn thay cho ngưỡng cứng, mạng có thể được huấn luyện bằng lan truyền ngược và hạ gradient. Một lớp ẩn duy nhất có đủ nơ-ron có thể xấp xỉ mọi hàm liên tục trên một miền bị chặn, và chỉ hai nơ-ron ẩn đã giải được XOR.

Sẵn sàng thử chưa?

Mở PictorX trong trình duyệt — không cần cài đặt, không cần thẻ tín dụng để bắt đầu.

Mở công cụ trực quan hóa perceptron