Perceptron dijelaskan

Pada tahun 1958, seorang psikolog di sebuah laboratorium di Buffalo, negara bagian New York, memamerkan mesin yang bisa belajar. Tak seorang pun memberitahunya aturan untuk membedakan dua jenis gambar: ia diperlihatkan contoh, dan setiap kali menjawab salah, ia memutar sedikit tombol-tombolnya sendiri. Mesin itu, perceptron, adalah satu neuron buatan dengan aturan belajar sepanjang beberapa baris. Ia tidak bisa mempelajari segalanya, dan kisah tentang apa yang tidak bisa dipelajarinya sama mendidiknya dengan kisah tentang apa yang bisa.

Sebuah perceptron dengan input 1, x, dan y yang masuk ke satu neuron penjumlah, di samping bidang tempat batas keputusan lurus dan vektor bobotnya memisahkan lingkaran biru dari persegi oranye
Sebuah perceptron dengan input 1, x, dan y yang masuk ke satu neuron penjumlah, di samping bidang tempat batas keputusan lurus dan vektor bobotnya memisahkan lingkaran biru dari persegi oranye

Mesin yang belajar

Frank Rosenblatt, psikolog di Cornell Aeronautical Laboratory, memperkenalkan perceptron pada tahun 1958. Ia membangun di atas neuron buatan yang diusulkan Warren McCulloch dan Walter Pitts pada tahun 1943: sebuah unit yang menjumlahkan inputnya dan menyala ketika totalnya melewati ambang batas. McCulloch dan Pitts harus mengatur bobot dengan tangan. Gagasan baru Rosenblatt adalah aturan yang menentukannya dari contoh. Pers sangat antusias: pada Juli 1958 New York Times melaporkan bahwa Angkatan Laut berharap mesin itu suatu hari bisa berjalan, berbicara, melihat, dan sadar akan keberadaannya sendiri.

Warren McCulloch (kiri, berjenggot) dan rekan-rekannya
Warren McCulloch (kiri, berjenggot) dan rekan-rekannya

Mark I Perceptron

Perceptron pertama berjalan sebagai program di IBM 704, tetapi Rosenblatt segera membuatnya sebagai mesin tersendiri. Mark I Perceptron, yang selesai sekitar tahun 1960, melihat dunia melalui kamera berisi 400 sensor cahaya dalam kisi 20 kali 20, yang terhubung secara acak ke satu lapisan unit asosiasi. Bobotnya berupa potensiometer yang diputar oleh motor listrik kecil setiap kali ia salah. Mesin ini belajar membedakan bentuk dan huruf sederhana. Kini mesin itu disimpan di National Museum of American History milik Smithsonian.

Mark I Perceptron, dipotret untuk manual operator 1960: kamera sensor cahaya yang dihubungkan ke unit asosiasi yang bobotnya diatur motor. Mesin itu kini berada di Smithsonian National Museum of American History.
Mark I Perceptron, dipotret untuk manual operator 1960: kamera sensor cahaya yang dihubungkan ke unit asosiasi yang bobotnya diatur motor. Mesin itu kini berada di Smithsonian National Museum of American History.

Satu neuron, satu garis lurus

Perceptron dengan dua input x dan y menghitung w₁x + w₂y + b dan menjawab +1 jika jumlahnya positif dan −1 jika negatif. Jumlah itu bernilai nol tepat di garis w₁x + w₂y + b = 0, sehingga neuron membagi bidang menjadi dua setengah bidang, satu untuk tiap jawaban. Vektor bobot (w₁, w₂) tegak lurus terhadap garis dan menunjuk ke sisi +1, sedangkan bias b menggeser garis menjauhi titik asal: tanpanya, setiap batas akan melewati (0, 0). Dengan lebih banyak input, garis menjadi bidang atau hiperbidang, tetapi gagasannya tetap sama. Trik menulis bias sebagai bobot w₀ pada input tambahan yang selalu bernilai 1 memungkinkan satu aturan mempelajari semua bobot.

Aturan belajar

Pelatihan menelusuri contoh satu per satu. Untuk setiap contoh x dengan kelas sebenarnya y, neuron memberikan jawaban ŷ. Jika ŷ sama dengan y, tidak terjadi apa-apa. Jika tidak, setiap bobot berubah sebesar η·(y − ŷ) kali inputnya: w ← w + η·(y − ŷ)·x. Untuk titik kelas +1 yang dijawab −1, kelipatan x ditambahkan ke w, yang menaikkan w·x sebesar kelipatan kuadrat panjang x dan mendorong titik ke sisi yang benar; untuk titik kelas −1 terjadi sebaliknya. Laju pembelajaran η menentukan besar langkahnya. Satu putaran atas semua contoh adalah satu epoch, dan pelatihan selesai setelah satu putaran tanpa kesalahan.

Teorema konvergensi

Jika ada garis lurus yang memisahkan kedua kelas, perceptron pasti menemukan salah satunya. Albert Novikoff membuktikan pada tahun 1962 bahwa jika setiap input panjangnya paling banyak R dan garis terbaik memisahkan kelas-kelas dengan margin γ, aturan klasik membuat paling banyak (R/γ)² kesalahan, apa pun urutan contohnya. Buktinya membandingkan dua besaran: setiap kesalahan membuat w lebih sejajar dengan arah ideal, setidaknya sebesar γ, sementara panjang w hanya tumbuh seperti akar kuadrat dari jumlah kesalahan, sehingga kesalahan pasti habis. Garis yang ditemukan hanyalah satu dari banyak garis yang memisahkan titik-titik, belum tentu yang celahnya paling lebar.

Minsky, Papert, dan XOR

Jika tidak ada garis lurus yang memisahkan kelas-kelasnya, aturan ini tidak pernah tenang: setiap garis salah mengklasifikasikan suatu titik, dan titik itu menarik garis menjauh lagi. Contoh paling sederhana adalah XOR, fungsi yang bernilai benar jika tepat satu dari dua inputnya benar. Dalam buku Perceptrons tahun 1969, Marvin Minsky dan Seymour Papert membuktikan bahwa perceptron satu lapis tidak dapat menghitung XOR maupun menentukan apakah sebuah bentuk terhubung, dan menganalisis dengan cermat apa yang dapat dihitungnya. Buku ini sering disalahkan atas turunnya pendanaan riset jaringan saraf pada tahun 1970-an, padahal para penulisnya tahu bahwa jaringan dengan lebih banyak lapisan bisa berbuat lebih banyak.

Dari perceptron ke jaringan saraf

Untuk dua lapis, XOR itu mudah: satu neuron menghitung OR, neuron lain NAND, dan neuron ketiga menggabungkan keduanya dengan AND. Kesulitannya adalah melatih neuron tersembunyi, karena ambang yang tajam tidak memberi petunjuk ke arah mana bobot harus diputar. Mengganti fungsi tangga dengan fungsi halus seperti sigmoid membuat galat dapat diturunkan, dan propagasi balik, yang dipopulerkan pada tahun 1986 oleh David Rumelhart, Geoffrey Hinton, dan Ronald Williams, menghitung seberapa besar setiap bobot di setiap lapisan berkontribusi pada galat. Perceptron multilapis seperti itu, yang kini dalam dan lebar, adalah jaringan saraf masa kini. Untuk data yang tidak bisa dipisahkan oleh satu lapis, algoritma saku Stephen Gallant tahun 1990 setidaknya menyimpan garis terbaik yang muncul selama pelatihan.

Geoffrey Hinton, salah seorang pendiri jaringan saraf modern
Geoffrey Hinton, salah seorang pendiri jaringan saraf modern

Jelajahi sendiri

Buka visualisasi perceptron untuk melatih perceptron dengan gerbang logika AND, OR, dan NAND, dengan titik acak dan margin pilihan Anda, atau dengan titik yang Anda tempatkan sendiri. Telusuri aturan belajar satu sampel demi satu sampel dan baca setiap bobot sebelum dan sesudah pembaruan, saksikan garis dan vektor bobot berputar, dan ikuti kesalahan per epoch. Lalu coba XOR dan awan yang bertumpang tindih, lihat perceptron gagal konvergen, dan nyalakan algoritma saku.

Pertanyaan yang sering diajukan

Apakah perceptron sama dengan regresi logistik?

Keduanya adalah satu neuron dengan batas lurus, tetapi cara belajarnya berbeda. Perceptron hanya menjawab ya atau tidak dan hanya mengubah bobotnya setelah membuat kesalahan. Regresi logistik melewatkan jumlahnya melalui sigmoid untuk mendapatkan probabilitas dan menyesuaikan bobotnya setelah setiap contoh agar jawaban yang benar lebih mungkin; karena itu ia terus membaik bahkan ketika semua titik sudah berada di sisi yang benar, dan juga tenang pada data yang tidak bisa dipisahkan oleh garis apa pun.

Mengapa perceptron membutuhkan bias?

Tanpa bias, w₁x + w₂y bernilai nol di titik asal, sehingga setiap batas akan melewati (0, 0). Gerbang AND dan OR pada input 0 dan 1 membutuhkan garis yang tidak melewati titik asal: untuk AND, misalnya, 4x + 2y − 5 = 0 memisahkan (1, 1) dari tiga sudut lainnya. Bias dipelajari seperti bobot lainnya, sebagai bobot dari input yang selalu bernilai 1.

Garis mana yang ditemukan perceptron?

Garis mana saja yang memisahkan titik-titik, tergantung pada bobot awal dan urutan contoh. Ia berhenti begitu tidak ada lagi kesalahan, sehingga garisnya sering lewat dekat beberapa titik. Support vector machine justru mencari garis dengan margin terlebar, dan perceptron voting serta perceptron rata-rata dari Yoav Freund dan Robert Schapire menggabungkan garis-garis yang muncul selama pelatihan agar generalisasinya lebih baik.

Apa itu perceptron multilapis?

Jaringan neuron yang tersusun dalam lapisan, dengan keluaran setiap lapisan menjadi input lapisan berikutnya. Dengan fungsi aktivasi yang halus alih-alih ambang yang tajam, jaringan ini dapat dilatih dengan propagasi balik dan penurunan gradien. Satu lapisan tersembunyi dengan cukup banyak neuron dapat mendekati fungsi kontinu apa pun pada daerah terbatas, dan dua neuron tersembunyi sudah cukup untuk menyelesaikan XOR.

Siap mencobanya?

Buka PictorX di browser Anda — tanpa instalasi, tanpa kartu kredit untuk memulai.

Buka visualisasi perceptron