Sinir ağları açıklandı

Yüzleri tanıyan, metin çeviren ve yanıt yazan sistemler şaşırtıcı derecede sade bir fikirden kurulur: her biri sayıları toplayan, sonucu biraz büken ve bir sonrakine aktaran çok sayıda küçük birim. Kuralları kimse programlamaz. Ağ rastgele ayarlarla başlar ve yanıtları kendisine gösterilen örneklerle örtüşene kadar bu ayarları her seferinde küçük bir adımla düzeltir. Bu yazı, bu fikri tek bir nörondan bir sarmalı öğrenen bir ağa kadar izliyor.

Girdiler, iki gizli katman ve bir çıktıdan oluşan, mavi ve turuncu bağlantılı küçük bir sinir ağı; yanında eğri bir sınırın mavi ve turuncu noktaları ayırdığı bir düzlem
Girdiler, iki gizli katman ve bir çıktıdan oluşan, mavi ve turuncu bağlantılı küçük bir sinir ağı; yanında eğri bir sınırın mavi ve turuncu noktaları ayırdığı bir düzlem

Tek bir nöron

Yapay bir nöron birkaç sayı alır, her birini bir ağırlıkla çarpar, bunları bir sapmayla birlikte toplar ve toplamı bir aktivasyon fonksiyonundan geçirir. Warren McCulloch ve Walter Pitts böyle bir birimi 1943'te tanımladı; Frank Rosenblatt da 1958'de, ağırlıklarını örneklerden kendisi öğrenen bir makine olan algılayıcıyı (perceptron) yaptı. İki girdi x ve y ile ağırlıklı toplam düz bir çizgi boyunca sıfırdır, bu yüzden tek bir nöron düzlemi iki yarıya böler: bir taraf onun evetidir, diğer taraf hayırı; aktivasyon yumuşaksa geçiş de yumuşak olur.

Warren McCulloch (solda, sakallı) ve meslektaşları
Warren McCulloch (solda, sakallı) ve meslektaşları

Aktivasyon fonksiyonları

Bir ağı basit bir toplamdan fazlası yapan şey aktivasyon fonksiyonudur. Sigmoid her sayıyı 0 ile 1 arasına, tanh ise −1 ile 1 arasına sıkıştırır; ikisi de yumuşak S biçimli eğrilerdir. Doğrultulmuş doğrusal birim ReLU, negatif sayılar için sıfır, aksi hâlde sayının kendisini verir; yaklaşık 2010'dan beri derin ağlar için olağan seçimdir, çünkü hesaplaması ucuzdur ve gradyanların sönmesini engeller. Bu türden bir büküm olmadan katmanları üst üste koymak anlamsız olurdu: doğrusal fonksiyonlardan oluşan bir zincir yine tek bir doğrusal fonksiyondur ve sınırı yine düz bir çizgidir.

Katmanlar

Birkaç nöronu yan yana koyarsanız bir katman elde edersiniz; bir katmanın çıktılarını bir sonrakine verirseniz bir ağ elde edersiniz. Deney alanında ilk gizli katman düzlemi birkaç çizgi boyunca keser, sonraki katman bu yarı düzlemleri kamalar ve adacıklar hâlinde birleştirir, çıktı nöronu da hepsini tartarak tek bir olasılığa dönüştürür. 1969'da Marvin Minsky ve Seymour Papert, gizli katmanı olmayan bir algılayıcının XOR'u öğrenemeyeceğini gösterdi; bu da alanın yıllarca durma noktasına gelmesine katkıda bulundu. Yirmi yıl sonra George Cybenko ve başkaları, tek gizli katmanlı ağlar için bunun tersini kanıtladı: yeterince nöronla herhangi bir sürekli fonksiyona istenildiği kadar yaklaşabilirler.

Hatayı ölçmek

Öğrenebilmek için bir ağın ne kadar yanıldığını söyleyen bir sayıya ihtiyacı vardır: kayıp. İki sınıf için olağan seçim çapraz entropidir. Ağ mavi bir noktaya mavi olma olasılığı olarak p verirse, o noktanın maliyeti −log p olur; bu değer p 1'e yakınken küçüktür ve p 0'a yaklaştıkça sınırsız büyür. Kayıp, noktalar üzerindeki ortalama maliyettir. Her yerde yarım tahmin eden bir ağın kaybı log 2, yani yaklaşık 0,693'tür; bu da deney alanındaki grafiğin başladığı yere yakındır.

Gradyan inişi ve geri yayılım

Kaybı tüm ağırlıklar üzerine yayılmış bir arazi olarak düşünün. Gradyan inişi yokuş aşağı yönü, yani negatif gradyanı bulur ve o yönde küçük bir adım atar; bunu tekrar tekrar yapar. Binlerce ağırlık için gradyanı hesaplamak pahalı görünür, ama geri yayılım bunu tek bir geriye doğru geçişte yapar: çıktıdaki hatadan başlayarak zincir kuralı, girdilere kadar katman katman geriye giderek her katmana suçtan payına düşeni verir. Yöntem birkaç kez tanımlandı; David Rumelhart, Geoffrey Hinton ve Ronald Williams'ın 1986 tarihli makalesi onu ağ eğitmenin standart yolu hâline getirdi. Her adım için noktaların tamamı yerine küçük, rastgele bir grubunu kullanmak, yani stokastik gradyan inişi, daha hızlıdır ve aynı derecede iyi çalışır.

Geoffrey Hinton, modern sinir ağlarının kurucularından
Geoffrey Hinton, modern sinir ağlarının kurucularından

Öğrenme oranı

Adım büyüklüğüne öğrenme oranı denir ve eğitimin işe yarayıp yaramayacağını en sık belirleyen ayar budur. Çok küçük olursa kayıp o kadar yavaş azalır ki hiçbir şey olmuyormuş gibi görünür. Çok büyük olursa her adım hedeflediği vadiyi aşar: kayıp inip çıkar ya da daha büyük ağlarda sayılar taşana kadar patlar. ReLU ile büyük bir adım nöronları, toplamlarının her nokta için negatif olduğu bir bölgeye de itebilir; bu nöronlar artık sıfır verir, hiç gradyan almaz ve bir daha toparlanmaz. Deney alanında sarmalı 3 oranıyla deneyin: tanh ile kayıp zıplar, ReLU ile birçok nöron boşalır ve kayıp 0,69 civarında takılır. Sonra kaybın nasıl süründüğünü görmek için 0,001'i deneyin.

Aşırı öğrenme

Yeterince ağırlığı olan bir ağ, eğitim noktalarını gürültüsüyle birlikte ezberleyebilir ve her başıboş noktanın çevresinde kıvrılan bir sınır çizebilir. Bu durumda gördüğü noktalarda iyi, yeni noktalarda kötü sonuç verir. Bu yüzden verinin bir kısmı test verisi olarak ayrılır ve eğitimde hiç kullanılmaz. Her iki kayıp da düşerken ağ deseni öğreniyordur; eğitim kaybı düşmeye devam ederken test kaybı yükselmeye başladığında ağ ezberlemeye başlamıştır. Daha küçük ağlar, daha çok veri, gürültü eklemek ya da yalnızca doğru anda durmak işe yarar.

Kendiniz keşfedin

Tıklayarak kendiniz eklediğiniz noktalar da dahil altı veri kümesi üzerinde, sekizer nöronlu en fazla dört gizli katmandan oluşan bir ağı eğitmek için sinir ağı deney alanını açın. Her nöron neye tepki verdiğini gösteren küçük bir harita olarak, her ağırlık da mavi ya da turuncu bir bağlantı olarak çizilir; böylece ağın kendi özniteliklerini icat edişini izleyebilirsiniz. Çemberi gizli katman olmadan deneyin, sonra girdi olarak x² ve y² ekleyin; sarmalı önce bir katmanla, sonra üç katmanla deneyin; aşırı öğrenmeye yol açmak için de küçük bir veri kümesine gürültü ekleyin.

Sık sorulan sorular

Büyük yapay zekâ modelleri de böyle mi çalışır?

Yapı taşları aynıdır: ağırlıklı toplamlar, aktivasyon fonksiyonları, bir kayıp ve geri yayılımlı gradyan inişi. Büyük modellerde birkaç düzine yerine milyarlarca ağırlık ve evrişim ile dikkat (attention) gibi görüntüler ya da metin için tasarlanmış katmanlar bulunur; bu modeller devasa veri kümeleri üzerinde daha iyi optimize edicilerle eğitilir. Deney alanında gördüğünüz temel döngü ise değişmez.

Eğitim neden rastgele ağırlıklarla başlar?

Her ağırlık eşit başlasaydı, bir katmandaki her nöron aynı şeyi hesaplar ve aynı güncellemeyi alırdı; böylece sonsuza dek özdeş kalırlardı. Küçük rastgele ağırlıklar bu simetriyi bozar, böylece her nöron farklı bir öznitelik öğrenebilir. Büyüklükleri de önemlidir: deney alanı, Xavier Glorot ve Yoshua Bengio'nun 2010'da önerdiği gibi, onları girdi sayısına göre ölçekler.

İki çalıştırma neden farklı sınırlarla sona erer?

Her çalıştırma farklı rastgele ağırlıklarla başlar ve noktaları farklı, rastgele bir sırayla görür; kayıp arazisinde de neredeyse eşit derecede iyi pek çok vadi vardır. İki ağ, farklı biçimli sınırlarla eğitim noktalarını eşit derecede iyi sınıflandırabilir ve verinin olmadığı bölgelerde birbirinden farklı sonuçlar verebilir.

Daha çok katman her zaman daha mı iyidir?

Hayır. Daha derin ağlar daha az nöronla daha karmaşık şekilleri temsil edebilir, ama eğitilmeleri daha zordur ve küçük veri kümelerinde daha kolay aşırı öğrenirler. Deney alanındaki problemler için genellikle bir ya da iki gizli katman yeterlidir; daha fazlasından açıkça yararlanan problem sarmaldır.

Denemeye hazır mısınız?

PictorX'i tarayıcınızda açın — kurulum gerekmez, başlamak için kredi kartı gerekmez.

Sinir ağı deney alanını açın