Epoch
Mất mát huấn luyện
Mất mát kiểm tra
Độ chính xác
  • Điểm huấn luyện
  • Điểm kiểm tra
  • Ranh giới quyết định
  • Mất mát huấn luyện
  • Mất mát kiểm tra

Nhấp để thêm
Đầu vào

Thêm về mạng nơ-ron

Sân chơi mạng nơ-ron

Mạng nơ-ron là một chồng các đơn vị đơn giản, mỗi đơn vị cộng các đầu vào có trọng số rồi đưa tổng qua một chỗ uốn. Một mình, mỗi đơn vị chỉ vẽ được một đường thẳng, nhưng cùng nhau chúng có thể vẽ nên một hình tròn, một đường xoắn ốc hay bất cứ hình nào khác. Hãy chọn một tập dữ liệu, dựng một mạng có tới bốn lớp ẩn, nhấn Huấn luyện và xem ranh giới giữa xanh lam và cam uốn dần thành hình qua từng epoch, trong khi mỗi nơ-ron cho thấy phần của khuôn mẫu mà nó đã học được cách nhận ra. Hãy chọn một tập dữ liệu và một mạng, rồi nhấn Huấn luyện và xem mạng học cách tách các điểm xanh lam khỏi các điểm cam. Các điểm tô đặc dùng để huấn luyện mạng; các vòng tròn rỗng là điểm kiểm tra mà mạng không bao giờ được huấn luyện trên đó. Nền cho thấy câu trả lời của mạng tại mọi điểm trên mặt phẳng, còn đường kẻ là nơi mạng đổi ý. Trong sơ đồ, mỗi nơ-ron cho thấy nó phản ứng với điều gì, và mỗi kết nối có màu xanh lam với trọng số dương, màu cam với trọng số âm, trọng số càng lớn thì nét càng dày. Nhấp vào mặt phẳng để thêm điểm có màu được chọn ở mục Nhấp để thêm.

Cách nó hoạt động

  1. Chọn một tập dữ liệu, từ hai cụm mà một đường thẳng có thể tách ra đến một đường xoắn ốc cần nhiều lớp, hoặc nhấp vào mặt phẳng để tự đặt điểm của bạn.
  2. Đặt số lớp ẩn, số nơ-ron mỗi lớp, hàm kích hoạt, tốc độ học và các đầu vào mà mạng nhận được.
  3. Nhấn Huấn luyện và theo dõi ranh giới, các nơ-ron và mất mát; so sánh mất mát huấn luyện với mất mát kiểm tra để phát hiện quá khớp.

Mạng làm gì

Mỗi nơ-ron nhân các đầu vào với trọng số, cộng thêm độ lệch và đưa tổng qua một hàm kích hoạt như tanh hay ReLU. Mỗi nơ-ron của lớp ẩn thứ nhất chia mặt phẳng dọc theo một đường thẳng, được làm mềm thành một dải chuyển màu. Lớp tiếp theo kết hợp các nửa mặt phẳng đó thành hình nêm, dải và đốm, và nơ-ron đầu ra biến kết quả thành xác suất của màu xanh lam. Nền của mặt phẳng hiển thị xác suất đó ở khắp nơi, còn đường tối màu là nơi nó đúng bằng một nửa: ranh giới quyết định.

Mạng học như thế nào

Quá trình huấn luyện bắt đầu từ các trọng số ngẫu nhiên. Với một lô nhỏ các điểm huấn luyện, mạng so sánh câu trả lời của nó với màu thật, và lan truyền ngược tính toán, từ đầu ra ngược về đầu vào, mỗi trọng số đã góp bao nhiêu vào sai số. Sau đó mỗi trọng số dịch một bước nhỏ, bằng tốc độ học, theo hướng làm giảm mất mát. Một lượt đi qua toàn bộ các điểm huấn luyện là một epoch. Tốc độ học quá nhỏ khiến tiến triển chậm; quá lớn khiến mất mát nhảy lung tung hoặc bùng nổ. Các điểm kiểm tra không bao giờ được dùng để huấn luyện, nên mất mát kiểm tra cho thấy mạng khái quát hóa tốt đến đâu.

Câu hỏi thường gặp

Vì sao mạng không có lớp ẩn không thể học được hình tròn hay XOR?

Không có lớp ẩn, đầu ra là một hàm của một tổng có trọng số duy nhất của các đầu vào, nên ranh giới là một đường thẳng. Không đường thẳng nào có thể đặt phần bên trong hình tròn ở một phía và vành ngoài ở phía kia, hay tách hai đường chéo của XOR. Marvin Minsky và Seymour Papert đã chỉ ra điều này với perceptron một lớp vào năm 1969. Một lớp ẩn khắc phục được điều đó, và một đầu vào bổ sung cũng vậy: với x² và y², hình tròn trở thành một nhát cắt thẳng, và với x·y thì XOR cũng thế.

Quá khớp là gì, và làm sao tôi thấy nó ở đây?

Mạng bị quá khớp khi nó học thuộc lòng các điểm huấn luyện, kể cả nhiễu, thay vì học khuôn mẫu phía sau chúng. Hãy chọn một tập dữ liệu nhiều nhiễu với ít điểm và một mạng lớn, rồi huấn luyện thật lâu: mất mát huấn luyện tiếp tục giảm trong khi mất mát kiểm tra chững lại và bắt đầu tăng, còn ranh giới mọc ra những hòn đảo nhỏ quanh từng điểm riêng lẻ. Ít nơ-ron hơn, nhiều điểm hơn hoặc dừng sớm hơn sẽ giúp ích.

Tôi nên dùng hàm kích hoạt nào?

Tanh cho ranh giới mượt, tròn trịa và huấn luyện tốt với những bài toán nhỏ này. ReLU, bằng 0 khi tổng âm và bằng chính tổng trong các trường hợp còn lại, là lựa chọn mặc định trong học sâu hiện đại và cho ranh giới gồm các đoạn thẳng. Sigmoid học chậm hơn ở các lớp ẩn vì độ dốc của nó nhỏ. Hàm tuyến tính khiến mọi lớp ẩn trở nên vô ích: một chồng các lớp tuyến tính vẫn chỉ là một hàm tuyến tính, nên ranh giới vẫn thẳng.

Những hình nhỏ trong sơ đồ mạng có ý nghĩa gì?

Mỗi hình cho thấy đầu ra của một nơ-ron tại mọi điểm trên mặt phẳng, xanh lam là cao và cam là thấp. Các nơ-ron đầu vào hiển thị x, y và các đầu vào khác, lớp ẩn thứ nhất hiển thị các nửa mặt phẳng mềm, và các nơ-ron sâu hơn hiển thị những hình dạng phức tạp hơn được dựng từ chúng. Các kết nối có màu xanh lam với trọng số dương và cam với trọng số âm, trọng số càng lớn thì nét càng dày.

Có gì được gửi lên máy chủ không?

Không. Dữ liệu, mạng và quá trình huấn luyện đều chạy trong trình duyệt của bạn bằng JavaScript thuần, không dùng thư viện học máy nào. Các cài đặt của bạn và những điểm bạn nhấp để thêm được giữ trong bộ nhớ cục bộ của trình duyệt này.

Sẵn sàng thử chưa?

Mở PictorX trong trình duyệt — không cần cài đặt, không cần thẻ tín dụng để bắt đầu.

Tới trình chỉnh sửa