Algılayıcı (perceptron) açıklandı

1958'de bir psikolog, New York eyaletinin Buffalo kentindeki bir laboratuvarda öğrenen bir makine tanıttı. Kimse ona iki tür resmi ayırt etme kuralını söylemedi: Ona örnekler gösterildi ve her yanlış yanıttan sonra kendi düğmelerini biraz çevirdi. Algılayıcı (perceptron) adlı bu makine, birkaç satırlık bir öğrenme kuralına sahip tek bir yapay nörondur. Her şeyi öğrenemez; öğrenemediklerinin hikâyesi de öğrenebildiklerininki kadar öğreticidir.

1, x ve y girdileri tek bir toplayıcı nörona giden bir algılayıcı; yanında düz bir karar sınırının ve ağırlık vektörünün mavi daireleri turuncu karelerden ayırdığı bir düzlem
1, x ve y girdileri tek bir toplayıcı nörona giden bir algılayıcı; yanında düz bir karar sınırının ve ağırlık vektörünün mavi daireleri turuncu karelerden ayırdığı bir düzlem

Öğrenen bir makine

Cornell Aeronautical Laboratory'de psikolog olan Frank Rosenblatt, algılayıcıyı 1958'de tanımladı. Warren McCulloch ve Walter Pitts'in 1943'te önerdiği yapay nörondan yola çıktı: girdilerini toplayan ve toplam bir eşiği aştığında ateşlenen bir birim. McCulloch ile Pitts ağırlıkları elle ayarlamak zorundaydı. Rosenblatt'ın yeni fikri, ağırlıkları örneklerden belirleyen bir kuraldı. Basın heyecanlanmıştı: Temmuz 1958'de New York Times, Donanma'nın makinenin bir gün yürüyebileceğini, konuşabileceğini, görebileceğini ve kendi varlığının bilincinde olacağını beklediğini yazdı.

Warren McCulloch (solda, sakallı) ve meslektaşları
Warren McCulloch (solda, sakallı) ve meslektaşları

Mark I Perceptron

İlk algılayıcı bir IBM 704 üzerinde program olarak çalıştı, ama Rosenblatt çok geçmeden onu ayrı bir makine olarak yaptırdı. 1960 civarında tamamlanan Mark I Perceptron, dünyayı 20'ye 20'lik bir ızgarada dizilmiş 400 ışık sensöründen oluşan bir kamerayla görüyordu; sensörler bir ilişkilendirme birimleri katmanına rastgele bağlanmıştı. Ağırlıkları, her hatada küçük elektrik motorlarının çevirdiği potansiyometrelerdi. Basit şekilleri ve harfleri ayırt etmeyi öğrendi. Makine bugün Smithsonian'ın National Museum of American History müzesinde saklanıyor.

Mark I Perceptron, 1960 işletim kılavuzu için çekilmiş: motorlarla ayarlanan ağırlıklara sahip çağrışım birimlerine bağlı bir ışık algılayıcı kamerası. Makine bugün Smithsonian National Museum of American History’dedir.
Mark I Perceptron, 1960 işletim kılavuzu için çekilmiş: motorlarla ayarlanan ağırlıklara sahip çağrışım birimlerine bağlı bir ışık algılayıcı kamerası. Makine bugün Smithsonian National Museum of American History’dedir.

Bir nöron, bir doğru

İki girdili (x ve y) bir algılayıcı w₁x + w₂y + b değerini hesaplar ve toplam pozitifse +1, negatifse −1 yanıtını verir. Toplam tam olarak w₁x + w₂y + b = 0 doğrusu üzerinde sıfırdır; bu yüzden nöron düzlemi her yanıt için bir tane olmak üzere iki yarı düzleme ayırır. Ağırlık vektörü (w₁, w₂) doğruya diktir ve +1 tarafını gösterir; sapma b ise doğruyu orijinden uzaklaştırır: O olmasaydı her sınır (0, 0)'dan geçerdi. Daha fazla girdiyle doğru bir düzleme ya da hiperdüzleme dönüşür, ama fikir aynı kalır. Sapmayı her zaman 1 olan ek bir girdinin w₀ ağırlığı olarak yazma hilesi, tek bir kuralın tüm ağırlıkları öğrenmesini sağlar.

Öğrenme kuralı

Eğitim örnekleri tek tek dolaşır. Gerçek sınıfı y olan her x örneği için nöron ŷ yanıtını verir. ŷ, y'ye eşitse hiçbir şey olmaz. Değilse her ağırlık girdisinin η·(y − ŷ) katı kadar değişir: w ← w + η·(y − ŷ)·x. −1 yanıtı verilen +1 sınıfından bir nokta için w'ye x'in bir katı eklenir; bu, w·x'i x'in uzunluğunun karesinin bir katı kadar artırır ve noktayı doğru tarafa iter; −1 sınıfından bir nokta için tersi olur. Öğrenme oranı η adımın büyüklüğünü belirler. Tüm örnekler üzerinden bir tur bir epoktur ve eğitim hatasız bir turdan sonra biter.

Yakınsama teoremi

İki sınıfı ayıran bir doğru varsa, algılayıcının bir tane bulacağı garantidir. Albert Novikoff 1962'de şunu kanıtladı: Her girdinin uzunluğu en fazla R ise ve en iyi doğru sınıfları γ payıyla ayırıyorsa, klasik kural örneklerin sırası ne olursa olsun en fazla (R/γ)² hata yapar. Kanıt iki niceliği karşılaştırır: Her hata w'yi ideal yöne en az γ kadar daha fazla hizalar, oysa w'nin uzunluğu yalnızca hata sayısının karekökü gibi büyür; bu yüzden hatalar bir noktada tükenmek zorundadır. Bulunan doğru, noktaları ayıran pek çok doğrudan yalnızca biridir; en geniş boşluğu bırakan olmak zorunda değildir.

Minsky, Papert ve XOR

Sınıfları hiçbir doğru ayıramadığında kural asla durulmaz: Her doğru bir noktayı yanlış sınıflandırır ve o nokta doğruyu yeniden çeker. En basit örnek XOR'dur; iki girdisinden tam olarak biri doğru olduğunda doğru olan fonksiyon. Marvin Minsky ile Seymour Papert, 1969 tarihli Perceptrons kitaplarında tek katmanlı algılayıcıların XOR'u hesaplayamadığını ve bir şeklin bağlantılı olup olmadığını söyleyemediğini kanıtladılar ve neyi hesaplayabildiklerini kesin olarak incelediler. Kitap çoğu zaman 1970'lerde sinir ağı araştırmalarına ayrılan fonun düşmesinden sorumlu tutulur; oysa yazarları daha çok katmanlı ağların daha fazlasını yapabileceğini biliyordu.

Algılayıcılardan sinir ağlarına

İki katman için XOR kolaydır: Bir nöron OR'u, bir başkası NAND'ı hesaplar, üçüncüsü de bunları AND ile birleştirir. Zorluk gizli nöronları eğitmekti, çünkü keskin bir eşik bir ağırlığın hangi yöne çevrilmesi gerektiğine dair hiçbir ipucu vermez. Basamağın yerine sigmoid gibi yumuşak bir fonksiyon koymak hatayı türevlenebilir yaptı; 1986'da David Rumelhart, Geoffrey Hinton ve Ronald Williams'ın yaygınlaştırdığı geri yayılım da her katmandaki her ağırlığın hataya ne kadar katkıda bulunduğunu hesaplar. Derinleşip genişleyen bu çok katmanlı algılayıcılar bugünün sinir ağlarıdır. Tek katmanın ayıramadığı veriler için Stephen Gallant'ın 1990 tarihli cep algoritması, eğitim sırasında görülen en iyi doğruyu en azından saklar.

Geoffrey Hinton, modern sinir ağlarının kurucularından
Geoffrey Hinton, modern sinir ağlarının kurucularından

Kendiniz keşfedin

AND, OR ve NAND mantık kapılarıyla, istediğiniz paya sahip rastgele noktalarla ya da kendi yerleştirdiğiniz noktalarla bir algılayıcı eğitmek için algılayıcı görselleştiricisini açın. Öğrenme kuralını örnek örnek izleyin ve her ağırlığı güncellemeden önce ve sonra okuyun, doğrunun ve ağırlık vektörünün dönüşünü izleyin ve epok başına hataları takip edin. Ardından XOR'u ve örtüşen bulutları deneyin, algılayıcının yakınsayamadığını görün ve cep algoritmasını açın.

Sık sorulan sorular

Algılayıcı lojistik regresyonla aynı şey mi?

İkisi de düz bir sınıra sahip tek bir nörondur, ama farklı öğrenirler. Algılayıcı yalnızca evet ya da hayır der ve ağırlıklarını yalnızca bir hatadan sonra değiştirir. Lojistik regresyon toplamı bir olasılık elde etmek için sigmoidden geçirir ve doğru yanıtları daha olası kılmak için ağırlıklarını her örnekten sonra ayarlar; böylece tüm noktalar zaten doğru taraftayken bile gelişmeye devam eder ve hiçbir doğrunun ayıramadığı verilerde de durulur.

Algılayıcının neden sapmaya ihtiyacı var?

Sapma olmadan w₁x + w₂y orijinde sıfırdır, bu yüzden her sınır (0, 0)'dan geçerdi. 0 ve 1 girdileri üzerindeki AND ve OR kapıları orijinden geçmeyen bir doğruya ihtiyaç duyar: Örneğin AND için 4x + 2y − 5 = 0, (1, 1)'i diğer üç köşeden ayırır. Sapma, her zaman 1 olan bir girdinin ağırlığı olarak, diğer ağırlıklar gibi öğrenilir.

Algılayıcı hangi doğruyu bulur?

Başlangıç ağırlıklarına ve örneklerin sırasına bağlı olarak noktaları ayıran herhangi bir doğruyu. Hata kalmadığı anda durduğu için doğru çoğu zaman bazı noktaların yakınından geçer. Destek vektör makineleri bunun yerine en geniş paylı doğruyu arar; Yoav Freund ile Robert Schapire'ın oylamalı ve ortalamalı algılayıcıları da daha iyi genelleme için eğitim sırasında görülen doğruları birleştirir.

Çok katmanlı algılayıcı nedir?

Her katmanın çıktılarının bir sonrakinin girdileri olduğu, katmanlara dizilmiş nöronlardan oluşan bir ağ. Keskin bir eşik yerine yumuşak bir aktivasyon fonksiyonuyla geri yayılım ve gradyan inişiyle eğitilebilir. Yeterince nörona sahip tek bir gizli katman, sınırlı bir bölgede her sürekli fonksiyona yaklaşabilir; iki gizli nöron ise XOR'u zaten çözer.

Denemeye hazır mısınız?

PictorX'i tarayıcınızda açın — kurulum gerekmez, başlamak için kredi kartı gerekmez.

Algılayıcı görselleştiricisini açın