Epoch
Loss pelatihan
Loss uji
Akurasi
  • Titik latih
  • Titik uji
  • Batas keputusan
  • Loss pelatihan
  • Loss uji

Klik menambah
Input

Selengkapnya tentang jaringan saraf

Sandbox jaringan saraf

Jaringan saraf adalah tumpukan unit sederhana yang menjumlahkan input berbobot dan melewatkan jumlahnya melalui sebuah lengkungan. Sendirian, setiap unit hanya bisa menggambar garis lurus, tetapi bersama-sama mereka bisa membentuk lingkaran, spiral, atau bentuk apa pun. Pilih dataset, bangun jaringan dengan hingga empat lapisan tersembunyi, tekan Latih, dan lihat batas antara biru dan oranye melengkung membentuk wujudnya, epoch demi epoch, sementara setiap neuron menunjukkan bagian pola yang telah ia pelajari untuk dikenali. Pilih dataset dan jaringan, lalu tekan Latih dan lihat jaringan belajar memisahkan titik biru dari titik oranye. Titik yang terisi melatih jaringan; cincin adalah titik uji yang tidak pernah dipakai untuk melatihnya. Latar belakang menunjukkan jawaban jaringan untuk setiap titik pada bidang, dan garisnya adalah tempat jaringan berubah pikiran. Dalam diagram, setiap neuron menunjukkan apa yang ia tanggapi, dan setiap koneksi berwarna biru untuk bobot positif dan oranye untuk bobot negatif, makin tebal makin besar bobotnya. Klik bidang untuk menambahkan titik dengan warna yang dipilih pada Klik menambah.

Cara kerjanya

  1. Pilih dataset, dari dua gumpalan yang bisa dipisahkan garis lurus hingga spiral yang membutuhkan beberapa lapisan, atau klik bidang untuk menempatkan titik Anda sendiri.
  2. Atur lapisan tersembunyi, neuron per lapisan, aktivasi, laju pembelajaran, dan input yang diterima jaringan.
  3. Tekan Latih dan amati batas, neuron, dan loss; bandingkan loss pelatihan dengan loss uji untuk mengenali overfitting.

Apa yang dilakukan jaringan

Setiap neuron mengalikan inputnya dengan bobot, menambahkan bias, dan melewatkan totalnya melalui fungsi aktivasi seperti tanh atau ReLU. Setiap neuron di lapisan tersembunyi pertama membelah bidang di sepanjang satu garis lurus, yang dilunakkan menjadi gradasi. Lapisan berikutnya menggabungkan setengah-bidang itu menjadi baji, pita, dan gumpalan, dan neuron output mengubah hasilnya menjadi probabilitas untuk biru. Latar belakang bidang menunjukkan probabilitas itu di mana-mana, dan garis gelap adalah tempat nilainya tepat setengah: batas keputusan.

Bagaimana jaringan belajar

Pelatihan dimulai dari bobot acak. Untuk satu batch kecil titik latih, jaringan membandingkan jawabannya dengan warna sebenarnya, dan propagasi balik menghitung, dari output mundur ke input, seberapa besar kontribusi setiap bobot terhadap kesalahan. Lalu setiap bobot bergerak satu langkah kecil, sebesar laju pembelajaran, ke arah yang menurunkan loss. Satu kali lintasan atas semua titik latih disebut satu epoch. Laju pembelajaran yang terlalu kecil membuat kemajuan lambat; yang terlalu besar membuat loss melompat-lompat atau meledak. Titik uji tidak pernah dipakai untuk pelatihan, sehingga loss uji menunjukkan seberapa baik jaringan melakukan generalisasi.

Pertanyaan yang sering diajukan

Mengapa jaringan tanpa lapisan tersembunyi tidak bisa mempelajari lingkaran atau XOR?

Tanpa lapisan tersembunyi, output adalah fungsi dari satu jumlah berbobot input, sehingga batasnya berupa garis lurus. Tidak ada garis lurus yang bisa menempatkan bagian dalam lingkaran di satu sisi dan cincinnya di sisi lain, atau memisahkan dua diagonal XOR. Marvin Minsky dan Seymour Papert mengemukakan hal ini tentang perceptron satu lapis pada tahun 1969. Lapisan tersembunyi mengatasinya, begitu pula input tambahan: dengan x² dan y², lingkaran menjadi potongan lurus, dan dengan x·y, XOR pun demikian.

Apa itu overfitting, dan bagaimana cara melihatnya di sini?

Jaringan mengalami overfitting ketika ia menghafal titik latih, termasuk deraunya, alih-alih mempelajari pola di baliknya. Pilih dataset berderau dengan sedikit titik dan jaringan yang besar, lalu latih dalam waktu lama: loss pelatihan terus turun sementara loss uji mendatar lalu mulai naik, dan batasnya menumbuhkan pulau-pulau kecil di sekitar titik-titik tunggal. Neuron yang lebih sedikit, titik yang lebih banyak, atau berhenti lebih awal akan membantu.

Fungsi aktivasi mana yang sebaiknya saya gunakan?

Tanh memberi batas yang halus dan membulat serta berlatih dengan baik pada masalah-masalah kecil ini. ReLU, yang bernilai nol untuk jumlah negatif dan sama dengan jumlah itu sendiri selain itu, adalah pilihan bawaan dalam deep learning modern dan memberi batas yang tersusun dari potongan-potongan lurus. Sigmoid belajar lebih lambat di lapisan tersembunyi karena kemiringannya kecil. Linear membuat setiap lapisan tersembunyi sia-sia: tumpukan lapisan linear tetaplah satu fungsi linear, sehingga batasnya tetap lurus.

Apa arti gambar-gambar kecil dalam diagram jaringan?

Masing-masing menunjukkan output sebuah neuron untuk setiap titik pada bidang, biru untuk nilai tinggi dan oranye untuk nilai rendah. Neuron input menunjukkan x, y, dan input lainnya, lapisan tersembunyi pertama menunjukkan setengah-bidang yang lembut, dan neuron yang lebih dalam menunjukkan bentuk-bentuk lebih rumit yang dibangun darinya. Koneksi berwarna biru untuk bobot positif dan oranye untuk bobot negatif, makin tebal makin besar bobotnya.

Apakah ada yang dikirim ke server?

Tidak. Data, jaringan, dan pelatihan semuanya berjalan di browser Anda dengan JavaScript biasa, tanpa pustaka machine learning apa pun. Pengaturan Anda dan titik yang Anda tambahkan dengan klik tetap tersimpan di penyimpanan lokal browser ini.

Siap mencobanya?

Buka PictorX di browser Anda — tanpa instalasi, tanpa kartu kredit untuk memulai.

Ke Editor