Epoch
Số lỗi ở epoch vừa qua
Trọng số w₁ · w₂ · b
Đã hội tụ
  • Lớp +1
  • Lớp −1
  • Phân loại sai
  • Ranh giới quyết định
  • Vectơ trọng số w

Nhấp để thêm

Tìm hiểu thêm về perceptron

Trực quan hóa perceptron

Perceptron là cỗ máy biết học đơn giản nhất: một nơ-ron nhân tạo duy nhất cộng các đầu vào đã nhân trọng số rồi trả lời có hoặc không. Với hai đầu vào, câu trả lời của nó đổi dọc theo một đường thẳng, và học có nghĩa là dịch chuyển đường thẳng đó cho đến khi mọi điểm nằm đúng phía của mình. Hãy đặt lên mặt phẳng các điểm thuộc hai lớp hoặc chọn một cổng logic, rồi đi qua quy tắc của Rosenblatt từng mẫu một, xem từng trọng số trước và sau lần cập nhật, và nhìn đường thẳng xoay rồi trượt vào đúng chỗ, hoặc thất bại mãi mãi với XOR. Chọn một bộ dữ liệu hoặc nhấp để đặt điểm lên mặt phẳng: một cú nhấp thêm một điểm thuộc lớp đã chọn ở “Nhấp để thêm”, Shift-nhấp hoặc nhấp chuột phải thêm một điểm thuộc lớp còn lại, và nhấp vào một điểm sẽ xóa nó. Sau đó huấn luyện nơ-ron. Bước hiển thị một mẫu: vòng nét đứt đánh dấu mẫu đó, và bảng cho thấy các trọng số trước và sau lần cập nhật w ← w + η·(y − ŷ)·x. Epoch chạy một lượt qua tất cả các điểm, còn Phát tiếp tục với tốc độ đã chọn cho đến khi một lượt không mắc lỗi nào hoặc chạm giới hạn epoch. Đường thẳng là nơi w₁x + w₂y + b = 0, mũi tên là vectơ trọng số, và vòng đỏ đánh dấu điểm nằm sai phía.

Cách nó hoạt động

  1. Chọn một bộ dữ liệu, từ các cổng logic AND, OR, NAND và XOR đến các điểm ngẫu nhiên có lề hoặc hai đám chồng lấn, hoặc tự nhấp đặt điểm lên mặt phẳng.
  2. Nhấn Bước để cho nơ-ron xem một mẫu và thấy lần cập nhật của từng trọng số, hoặc nhấn Epoch hay Phát để huấn luyện trên tất cả các điểm.
  3. Theo dõi ranh giới quyết định, vectơ trọng số và số lỗi theo epoch cho đến khi có một lượt không lỗi, rồi thử XOR để thấy một perceptron đơn lẻ thất bại.

Một nơ-ron, một đường thẳng

Một perceptron với đầu vào x và y tính w₁x + w₂y + b và trả lời +1 khi tổng dương, −1 khi tổng âm. Tổng bằng không đúng trên đường thẳng w₁x + w₂y + b = 0, nên nơ-ron cắt mặt phẳng thành hai nửa mặt phẳng, mỗi lớp một nửa. Vectơ trọng số (w₁, w₂) vuông góc với đường thẳng đó và chỉ về phía +1, còn độ lệch b đẩy đường thẳng ra xa gốc tọa độ. Khi coi độ lệch là trọng số w₀ của một đầu vào luôn bằng 1, một quy tắc duy nhất có thể huấn luyện cả ba con số.

Quy tắc học

Khi huấn luyện, nơ-ron được xem từng điểm một. Nếu nó trả lời đúng, không có gì thay đổi. Nếu sai, mỗi trọng số thay đổi một lượng bằng η·(y − ŷ) nhân với đầu vào của nó, trong đó y là lớp thật, ŷ là câu trả lời và η là tốc độ học. Điều đó đẩy đường thẳng để điểm nằm về đúng phía. Một lượt qua tất cả các điểm là một epoch. Nếu các điểm có thể được tách bởi một đường thẳng, định lý hội tụ của perceptron bảo đảm quy tắc đơn giản này tìm ra một đường như vậy sau hữu hạn lỗi; XOR cho thấy điều gì xảy ra khi không tồn tại đường thẳng như thế.

Câu hỏi thường gặp

Vì sao perceptron không học được XOR?

XOR đúng với (0, 1) và (1, 0), sai với (0, 0) và (1, 1). Hai điểm đúng nằm trên một đường chéo của hình vuông, hai điểm sai nằm trên đường chéo kia, và không đường thẳng nào đặt được một đường chéo ở một bên còn đường chéo kia ở bên còn lại. Một perceptron đơn lẻ chỉ vẽ được đường thẳng, nên với XOR nó cứ mắc lỗi hết epoch này đến epoch khác và không bao giờ hội tụ. Một lớp nơ-ron thứ hai, hoặc một đầu vào thêm như x·y, sẽ giải quyết được.

Perceptron có luôn hội tụ không?

Nó hội tụ bất cứ khi nào một đường thẳng có thể tách hai lớp: định lý hội tụ của perceptron giới hạn số lần cập nhật, nhiều nhất là (R/γ)² với quy tắc ở dạng cổ điển, trong đó R là độ dài của vectơ đầu vào dài nhất và γ là lề của đường thẳng tách tốt nhất. Lề nhỏ có thể cần nhiều epoch. Khi không có đường thẳng tách nào, nó không bao giờ hội tụ; vì thế ứng dụng dừng ở một giới hạn epoch và kiểm tra xem các điểm có tách được không.

Tốc độ học có tác dụng gì?

Nó quyết định độ lớn của mỗi lần cập nhật. Khi bắt đầu từ trọng số bằng không, nó chỉ nhân mọi trọng số với cùng một hệ số và không bao giờ thay đổi đường thẳng hay số lỗi, một tính chất thú vị của perceptron. Với trọng số ban đầu ngẫu nhiên thì nó có ý nghĩa: tốc độ nhỏ giữ đường thẳng gần vị trí ban đầu lâu hơn, tốc độ lớn để những lỗi đầu tiên chi phối.

Thuật toán túi là gì?

Một thay đổi nhỏ do Stephen Gallant công bố năm 1990, dành cho dữ liệu mà không đường thẳng nào tách được. Perceptron chạy như thường lệ, nhưng sau mỗi lần cập nhật, số lỗi của bộ trọng số mới trên tất cả các điểm được đếm, và bộ trọng số tốt nhất cho đến lúc đó được cất vào túi (pocket). Đường thẳng trong túi, vẽ nét đứt, là câu trả lời khi quá trình huấn luyện dừng lại, thay vì đường thẳng mà lần cập nhật cuối tình cờ để lại.

Có gì được gửi lên máy chủ không?

Không. Các điểm, quá trình huấn luyện và hình vẽ đều chạy trong trình duyệt của bạn, và các điểm cùng trọng số của bạn được giữ trong bộ nhớ cục bộ của trình duyệt này.

Sẵn sàng thử chưa?

Mở PictorX trong trình duyệt — không cần cài đặt, không cần thẻ tín dụng để bắt đầu.

Tới trình chỉnh sửa