Jaringan saraf dijelaskan
Sistem yang mengenali wajah, menerjemahkan teks, dan menulis jawaban dibangun dari gagasan yang ternyata sederhana: banyak unit kecil yang masing-masing menjumlahkan angka, sedikit membengkokkan hasilnya, lalu meneruskannya. Tidak ada yang memprogram aturannya. Jaringan dimulai dengan pengaturan acak dan menyesuaikannya, selangkah kecil demi selangkah, sampai jawabannya cocok dengan contoh yang ditunjukkan kepadanya. Artikel ini mengikuti gagasan itu dari satu neuron hingga jaringan yang mempelajari spiral.
Satu neuron
Neuron buatan menerima beberapa angka, mengalikan masing-masing dengan sebuah bobot, menjumlahkannya bersama sebuah bias, dan melewatkan totalnya melalui fungsi aktivasi. Warren McCulloch dan Walter Pitts menggambarkan unit seperti ini pada tahun 1943, dan pada tahun 1958 Frank Rosenblatt membangun perceptron, sebuah mesin yang mempelajari bobotnya sendiri dari contoh. Dengan dua input x dan y, jumlah berbobotnya bernilai nol di sepanjang sebuah garis lurus, sehingga satu neuron membelah bidang menjadi dua bagian: satu sisi adalah "ya"-nya, sisi lainnya "tidak"-nya, dengan peralihan yang lembut jika aktivasinya halus.
Fungsi aktivasi
Fungsi aktivasilah yang membuat jaringan lebih dari sekadar penjumlahan. Sigmoid memampatkan angka apa pun ke rentang 0 sampai 1 dan tanh ke rentang −1 sampai 1; keduanya kurva halus berbentuk S. ReLU, rectified linear unit, menghasilkan nol untuk angka negatif dan angka itu sendiri selain itu; sejak sekitar tahun 2010 ReLU menjadi pilihan umum untuk jaringan dalam karena murah dihitung dan menjaga gradien agar tidak memudar. Tanpa lengkungan semacam ini, menumpuk lapisan tidak ada gunanya: rangkaian fungsi linear tetaplah satu fungsi linear, dan batasnya tetap berupa garis lurus.
Lapisan
Letakkan beberapa neuron berdampingan dan Anda mendapat sebuah lapisan; masukkan output satu lapisan ke lapisan berikutnya dan Anda mendapat sebuah jaringan. Di sandbox, lapisan tersembunyi pertama memotong bidang di sepanjang beberapa garis, lapisan berikutnya menggabungkan setengah-bidang itu menjadi baji dan pulau, dan neuron output menimbang semuanya menjadi satu probabilitas. Pada tahun 1969 Marvin Minsky dan Seymour Papert menunjukkan bahwa perceptron tanpa lapisan tersembunyi tidak bisa mempelajari XOR, yang turut membuat bidang ini mandek selama bertahun-tahun. Dua puluh tahun kemudian George Cybenko dan peneliti lain membuktikan kebalikannya untuk jaringan dengan satu lapisan tersembunyi: dengan neuron yang cukup, jaringan itu dapat mendekati fungsi kontinu apa pun sedekat yang Anda inginkan.
Mengukur kesalahan
Untuk belajar, jaringan membutuhkan angka yang menyatakan seberapa salah dirinya: loss. Untuk dua kelas, pilihan yang umum adalah entropi silang (cross-entropy). Jika jaringan memberi sebuah titik biru probabilitas p untuk berwarna biru, titik itu menyumbang biaya −log p, yang kecil ketika p mendekati 1 dan tumbuh tanpa batas ketika p mendekati 0. Loss adalah rata-rata biaya atas semua titik. Jaringan yang menebak setengah di mana-mana memiliki loss log 2, sekitar 0,693, dekat dengan titik awal grafik di sandbox.
Penurunan gradien dan propagasi balik
Bayangkan loss sebagai sebuah lanskap di atas semua bobot. Penurunan gradien (gradient descent) mencari arah menurun, yaitu gradien negatif, lalu melangkah kecil ke arah itu, berulang-ulang. Menghitung gradien untuk ribuan bobot tampak mahal, tetapi propagasi balik melakukannya dalam satu lintasan mundur: dimulai dari kesalahan di output, aturan rantai membagikan porsi kesalahan kepada setiap lapisan, lapis demi lapis mundur hingga ke input. Metode ini dideskripsikan beberapa kali, dan makalah tahun 1986 oleh David Rumelhart, Geoffrey Hinton, dan Ronald Williams menjadikannya cara standar untuk melatih jaringan. Menggunakan batch kecil titik acak untuk setiap langkah alih-alih semuanya, yaitu penurunan gradien stokastik, lebih cepat dan bekerja sama baiknya.
Laju pembelajaran
Ukuran langkah itu disebut laju pembelajaran (learning rate), dan inilah pengaturan yang paling sering menentukan apakah pelatihan berhasil. Terlalu kecil, dan loss merayap turun begitu lambat sehingga seolah tidak terjadi apa-apa. Terlalu besar, dan setiap langkah melewati lembah yang ditujunya: loss naik turun, atau pada jaringan yang lebih besar meledak hingga angkanya meluap. Dengan ReLU, langkah besar juga bisa mendorong neuron ke kondisi di mana jumlahnya negatif untuk setiap titik; neuron itu lalu menghasilkan nol, tidak mendapat gradien, dan tidak pernah pulih. Coba spiral dengan laju 3 di sandbox: dengan tanh loss melompat-lompat, dengan ReLU banyak neuron menjadi kosong dan loss tertahan di sekitar 0,69. Lalu coba 0,001 untuk melihatnya merayap.
Overfitting
Jaringan dengan bobot yang cukup banyak dapat menghafal titik latihnya, lengkap dengan deraunya, dan menggambar batas yang meliuk di sekitar setiap titik yang menyimpang. Akibatnya, ia bagus pada titik yang pernah dilihatnya dan buruk pada titik baru. Karena itulah sebagian data disisihkan sebagai data uji dan tidak pernah dipakai untuk pelatihan. Selama kedua loss turun, jaringan sedang mempelajari pola; ketika loss uji berbalik naik sementara loss pelatihan terus turun, jaringan mulai menghafal. Jaringan yang lebih kecil, data yang lebih banyak, menambahkan derau, atau sekadar berhenti pada saat yang tepat, semuanya membantu.
Jelajahi sendiri
Buka sandbox jaringan saraf untuk melatih jaringan dengan hingga empat lapisan tersembunyi berisi delapan neuron pada enam dataset, termasuk titik yang Anda klik sendiri. Setiap neuron digambar sebagai peta kecil dari apa yang ia tanggapi, dan setiap bobot sebagai koneksi biru atau oranye, sehingga Anda bisa melihat jaringan menciptakan fiturnya sendiri. Coba lingkaran tanpa lapisan tersembunyi, lalu tambahkan x² dan y² sebagai input; coba spiral dengan satu lapisan, lalu dengan tiga; dan tambahkan derau pada dataset kecil agar terjadi overfitting.
Pertanyaan yang sering diajukan
Apakah begini cara kerja model AI besar?
Komponen dasarnya sama: jumlah berbobot, fungsi aktivasi, loss, dan penurunan gradien dengan propagasi balik. Model besar memiliki miliaran bobot alih-alih beberapa lusin, lapisan yang dirancang untuk gambar atau teks seperti konvolusi dan attention, dan dilatih pada dataset raksasa dengan optimizer yang lebih baik. Siklus dasar yang Anda lihat di sandbox tetap sama.
Mengapa pelatihan dimulai dari bobot acak?
Jika semua bobot dimulai sama, setiap neuron dalam satu lapisan akan menghitung hal yang sama dan menerima pembaruan yang sama, sehingga mereka akan tetap identik selamanya. Bobot acak yang kecil memecah simetri itu, sehingga setiap neuron dapat mempelajari fitur yang berbeda. Ukurannya juga penting: sandbox menskalakannya menurut jumlah input, seperti yang disarankan Xavier Glorot dan Yoshua Bengio pada tahun 2010.
Mengapa dua kali pelatihan berakhir dengan batas yang berbeda?
Setiap pelatihan dimulai dari bobot acak yang berbeda dan melihat titik-titik dalam urutan acak yang berbeda, sementara lanskap loss memiliki banyak lembah yang hampir sama baiknya. Dua jaringan dapat mengklasifikasikan titik latih sama baiknya dengan batas yang bentuknya berbeda, dan keduanya bisa berbeda pendapat di wilayah yang tidak berisi data.
Apakah lebih banyak lapisan selalu lebih baik?
Tidak. Jaringan yang lebih dalam dapat merepresentasikan bentuk yang lebih rumit dengan neuron yang lebih sedikit, tetapi lebih sulit dilatih dan lebih mudah mengalami overfitting pada dataset kecil. Untuk masalah di sandbox, satu atau dua lapisan tersembunyi biasanya sudah cukup; spirallah yang jelas diuntungkan oleh lapisan tambahan.
Siap mencobanya?
Buka PictorX di browser Anda — tanpa instalasi, tanpa kartu kredit untuk memulai.
Buka sandbox jaringan saraf