Entropi açıklandı

1948'de Bell Labs'te çalışan bir mühendis olan Claude Shannon, kimsenin o zamana dek kesin biçimde ortaya koymadığı bir soru sordu: Bir mesaj ne kadar bilgi içerir? Yanıtı, bit cinsinden ölçülen ve bir mesajın ne anlama geldiğine değil, ne kadar şaşırtıcı olduğuna bağlı olan bir sayıydı. Entropi adı verilen bu sayı, her sıkıştırma programının, her ağ bağlantısının ve her depolama aygıtının sınırlarını belirler; bazı metinlerin neden boyutlarının küçük bir kesrine indiğini, bazılarınınsa neden hiç küçültülemediğini de açıklar.

Yaygından nadire doğru solan harf olasılığı çubukları ve daha fazla bağlam bilindikçe düşen entropi eğrisi
Yaygından nadire doğru solan harf olasılığı çubukları ve daha fazla bağlam bilindikçe düşen entropi eğrisi

Bilgi şaşırtıcılıktır

Shannon'ın kavrayışı, bilgiyi bir mesajın ne anlama geldiğiyle değil, ne kadar beklenmedik olduğuyla ölçmekti. Yanıtı zaten biliyorsanız onu duymak size hiçbir şey söylemez; bin farklı şeyden biri olabilecekse çok şey söyler. Eşit olasılıklı iki seçenekten birini belirleyen bir mesaj bir bit taşır. Dört seçenekten biri iki bit, sekizden biri üç bit gerektirir; genel olarak eşit olasılıklı N seçenekten biri log₂ N bit gerektirir. Bu yüzden p olasılığıyla ortaya çıkan bir sembol −log₂ p bit taşır: Ne kadar nadirse o kadar çok şey söyler.

Shannon formülü

Entropi, sembol başına ortalama bilgidir: H = −Σ p log₂ p; toplam, her sembol üzerinden kendi p olasılığıyla alınır. Hilesiz bir para için H 1 bittir. Zamanın %90'ında tura gelen bir para için yalnızca 0,47 bittir, çünkü sonuç genellikle sürpriz değildir. Entropi, tüm semboller eşit olasılıklı olduğunda en büyüktür (n sembol için log₂ n bit), bir sembol kesin olduğunda ise sıfırdır. Shannon bu adı John von Neumann'ın tavsiyesiyle seçti, çünkü aynı formül, entropinin düzensizliği ölçtüğü fizikte de karşımıza çıkar.

Claude Shannon, 1948’de Bell Labs’te bir iletinin ne kadar bilgi içerdiğini kesinleştirip bunu bit cinsinden ölçtü.
Claude Shannon, 1948’de Bell Labs’te bir iletinin ne kadar bilgi içerdiğini kesinleştirip bunu bit cinsinden ölçtü.

Sıkıştırmanın sınırı

Shannon'ın kaynak kodlama teoremi, hiçbir kayıpsız kodun ortalamada sembol başına kaynağın entropisinden daha az bit kullanamayacağını ve kodların ona istenildiği kadar yaklaşabileceğini söyler. David Huffman'ın 1952'de henüz öğrenciyken icat ettiği Huffman kodlaması, sık sembollere kısa, nadir sembollere uzun kodlar verir ve entropiden sembol başına en fazla bir bit uzakta kalır; aritmetik kodlama daha da yaklaşır. Dolayısıyla entropi yalnızca bir betimleme değil, katı bir sınırdır: Bayt başına 8 bit entropi içeren rastgele baytlardan oluşan bir dosya hiç sıkıştırılamaz.

UC Santa Cruz’da profesörken fotoğraflanan David Huffman. 1951’de MIT’de lisansüstü öğrenciyken, Robert Fano’nun dersi için yazdığı dönem ödevinde en iyi kodunu buldu.
UC Santa Cruz’da profesörken fotoğraflanan David Huffman. 1951’de MIT’de lisansüstü öğrenciyken, Robert Fano’nun dersi için yazdığı dönem ödevinde en iyi kodunu buldu.

Bağlam ve fazlalık

Bir metindeki harfler birbirinden bağımsız değildir. İngilizcede Q'dan sonra U gelir, noktadan sonra büyük harf gelir ve INFORMA ile başlayan bir kelime neredeyse kesinlikle TION ile devam eder. Önceki sembolleri hesaba katmak, tek tek sayılan sembollerin entropisinden daha düşük olan koşullu entropiyi verir. Aradaki fark fazlalıktır (artıklık): mesajın tahmin edilebilecek kısmı. Deflate yöntemini kullanan ZIP gibi sıkıştırma programları tekrarlanan dizileri bulup kısa göndermelerle değiştirir; modern sıkıştırıcılar ise her sembolü bağlamından tahmin eder.

İngilizcede ne kadar bilgi var?

İngilizcenin harf sıklıklarıyla harf harf sayıldığında bir harf yaklaşık 4,1 bit taşır; rastgele seçilen harflerde bu değer 4,7 bittir. 1951'de Shannon daha ileri gitti: İnsanlara bir metnin başını gösterip bir sonraki harfi tahmin etmelerini istedi ve kaç tahmine ihtiyaç duyduklarını saydı. Yanıtlarından İngilizcenin harf başına yalnızca yaklaşık 0,6 ila 1,3 bit taşıdığını tahmin etti. Başka bir deyişle, yazılı İngilizcenin kabaca dörtte üçü fazlalıktır; harfleri eksik bir metnin genellikle yine de okunabilmesinin nedeni budur.

Rastgelelik ve parolalar

Entropi, güvenliğin dayandığı öngörülemezliği de ölçer. N olasılık arasından düzgün dağılımla seçilen bir anahtar ya da parola log₂ N bit entropiye sahiptir ve bir saldırganın ortalamada bunların yaklaşık yarısını denemesi gerekir. İngiliz alfabesinin 26 küçük harfinden oluşan rastgele 12 harfli bir parola yaklaşık 56 bit entropiye sahiptir; yaygın bir kelimeninki ise ne kadar uzun olursa olsun çok daha azdır. Rastgele sayı üreteçleri, çıktılarının rastgele bir kaynağın tam entropisine sahip olup olmadığı kontrol edilerek test edilir; işletim sistemleri de onları tohumlamak için zamanlama gürültüsünden entropi toplar.

Entropi nerelerde karşımıza çıkar

Entropi bir telefon görüşmesinin, bir fotoğrafın ya da bir video akışının kaç bit gerektirdiğini ve bir modemin ya da Wi-Fi bağlantısının kanal kapasitesine ne kadar yaklaşabileceğini belirler. Biyologlar onu, dört bazın her birinin en fazla 2 bit taşıyabildiği DNA'daki bilgiyi ve bir ekosistemin çeşitliliğini ölçmek için kullanır. Makine öğrenmesinde karar ağaçları entropiyi en çok azaltan soruyu seçer ve çoğu sinir ağı çapraz entropi kaybıyla eğitilir. Dilbilimciler dilleri karakter ve kelime başına entropilerine göre karşılaştırır.

Keşfedin

Herhangi bir metni karakter, kelime ya da bayt bazında ölçmek için entropi hesaplayıcıyı açın. Bir paragrafı rastgele harfler, bitler, rakamlar ve DNA ile karşılaştırın; her sembolün şaşırtıcılığını, metnin depolanan boyutuna karşı ne kadar bilgi taşıdığını ve daha fazla bağlam bilindikçe sembol başına bit sayısının nasıl düştüğünü, ZIP'in gerçekte ulaştığı değerle yan yana görün.

Sık sorulan sorular

Entropi neden bit ile ölçülür?

Çünkü Shannon 2 tabanında logaritma kullandı; böylece eşit seçenekler arasındaki bir evet-hayır seçimi bir birim sayılır. Doğal logaritmayla birim nat'tır (yaklaşık 1,44 bit), 10 tabanında ise hartley'dir (yaklaşık 3,32 bit); bunları fizikçiler ve bazı istatistikçiler kullanır.

Bir metnin entropisi, alfabesinin log₂'sinden büyük olabilir mi?

Hayır. n farklı sembolle entropi sembol başına en fazla log₂ n bittir ve bu değere yalnızca hepsi eşit sıklıkta olduğunda ulaşılır. Her dengesizlik ve bağlamdan gelen her öngörülebilirlik onu düşürür.

Bilgi kuramındaki entropi, fizikteki entropiyle aynı mı?

Formüller biçim olarak aynıdır: Boltzmann ve Gibbs fiziksel entropiyi, bir sistemin mikroskobik durumlarının olasılıkları üzerinden bir toplam olarak yazdı. Anlamları da ilişkilidir, çünkü ikisi de ne kadar bilmediğimizi ölçer; fizikçiler o zamandan beri bir bit bilgiyi silmenin küçük bir miktar ısı açığa çıkarması gerektiğini göstermiştir.

Sıkıştırılmış bir dosyayı yeniden sıkıştırmak neden işe yaramaz?

İyi bir sıkıştırıcı fazlalığın çoğunu giderir, bu yüzden çıktısı bayt başına neredeyse 8 bit entropiyle rastgeleye yakındır. Giderilecek bir şey kalmamıştır ve yeniden sıkıştırmak, sıkıştırıcının kendi ek yükü nedeniyle dosyayı genellikle biraz büyütür.

Denemeye hazır mısınız?

PictorX'i tarayıcınızda açın — kurulum gerekmez, başlamak için kredi kartı gerekmez.

Entropi hesaplayıcıyı aç