- Önceki semboller bilindiğinde
- ZIP (deflate)
- Bilinen önceki sembol sayısına göre sembol başına bit
| Karakter | Adet | Olasılık | Şaşırtıcılık (bit) | Entropideki payı |
|---|
Entropi hesaplayıcı
Bir metinde ne kadar bilgi vardır? Claude Shannon'ın yanıtı olan entropi, bunu bit olarak sayar: Tahmin edilmesi zor bir sembol çok şey söyler, tahmin edebileceğiniz bir sembol ise az. Herhangi bir metni yapıştırın ya da bir örnek seçin; karakter, kelime ya da bayt başına entropisini, saf rastgeleliğe ne kadar yaklaştığını ve ne kadar sıkıştırılabileceğini görün. Ardından önceki semboller hesaba katıldıkça sembol başına bilginin nasıl düştüğünü izleyin; her sıkıştırma programının kullandığı hile budur. Bir metin yazın ya da yapıştırın veya bir örnek seçin. Uygulama her sembolün ne sıklıkta geçtiğini sayar ve Shannon entropisini, yani sembol başına ortalama bilgi biti sayısını hesaplar. Karakterleri, kelimeleri ya da baytları sayın. Tablo her sembolün şaşırtıcılığını bit olarak verir; ikinci grafik ise önceki semboller bilindiğinde her sembolün ne kadar daha az bilgi taşıdığını, ZIP sıkıştırmasının ulaştığı değerle yan yana gösterir.
Nasıl çalışır
- Bir metin yazın ya da yapıştırın veya bir örnek seçin: bir paragraf, rastgele harfler, bitler, rakamlar ya da DNA veya tekrarlayan bir desen.
- Karakterlerin mi, kelimelerin mi yoksa baytların mı sayılacağını ve büyük ile küçük harflerin aynı sayılıp sayılmayacağını seçin.
- Kutucuklarda entropiyi, rastgeleliği ve bilgi miktarını, tabloda her sembolün şaşırtıcılığını, ikinci grafikte ise bağlamın ve ZIP sıkıştırmasının sembol başına bit sayısını nasıl düşürdüğünü okuyun.
Entropi neyi ölçer
p olasılığıyla ortaya çıkan bir sembol −log₂ p bit bilgi taşır: Hilesiz bir yazı tura atışı 1 bit, 8'de 1 şansı olan bir sembol 3 bit verir. Entropi, bu şaşırtıcılığın metnin tüm sembolleri üzerinden ortalamasıdır: H = −Σ p log₂ p. Her sembol eşit sıklıkta olduğunda en büyüktür (n farklı sembol için log₂ n bit), metin tek bir sembolü tekrarladığında ise sıfırdır. Metnin uzunluğuyla çarpıldığında, her sembolü ayrı ayrı kodlayan bir kodun kullanabileceği en az bit sayısını verir; entropinin sıkıştırmanın sınırını belirlemesinin nedeni budur.
Bağlam onu neden düşürür
Tek tek sayıldığında İngilizcenin harflerinin her biri yaklaşık 4 bit taşır. Ama bir okur bir sonraki harfi çoğu zaman tahmin edebilir: İngilizcede Q'dan sonra U, TH'den sonra çoğu zaman E gelir. Koşullu entropi, yani önceki semboller bilindiğinde bir sonraki semboldeki bilgi, daha fazla bağlam kullanıldıkça düşer ve Shannon, dile hâkim bir okurun İngilizceyi harf başına yaklaşık 1 bite indirdiğini tahmin etti. ZIP gibi sıkıştırma programları da aynı fazlalıktan yararlanır. Rastgele metinde fazlalık yoktur: Ne kadar bağlam kullanılırsa kullanılsın entropisi log₂ n'de kalır ve sıkıştırılamaz.
Sık sorulan sorular
Bir bit bilgi nedir?
İki yanıtı eşit olasılıklı olan bir evet-hayır sorusunun yanıtından elde ettiğiniz bilgidir; hilesiz bir yazı tura atışı gibi. Böyle iki soru 2 bit ve dört olasılık, üç soru 3 bit ve sekiz olasılık verir: n bit, eşit olasılıklı 2ⁿ seçenekten birini belirler.
Gerçek metinde rastgelelik neden hiçbir zaman tam %100 olmaz?
Çünkü bir dilin sembolleri eşit sıklıkta değildir. Rastgelelik kutucuğu entropiyi olası en büyük değerine, yani farklı sembol sayısının log₂'sine böler; bu değere ancak her sembol eşit sıklıkta geçtiğinde ulaşılır. Rastgele harfler %100'e yaklaşır; çok sayıda E'si ve az sayıda Z'si olan sıradan İngilizce metin, harf harf sayıldığında genellikle %80 ila %90'a ulaşır.
Kısa bir metinde uzun bağlamlar neden bu kadar tahmin edilebilir görünür?
Kısa bir metinde birkaç sembolden oluşan kombinasyonların çoğu yalnızca bir kez geçer, bu yüzden ardından ne gelirse kesinmiş gibi görünür. Bu durumda tahmin olması gerekenden çok düşük çıkar. Grafik eğrinin bu kısmını kesikli çizer; gerçekçi bir tablo için binlerce karakterlik daha uzun bir metin yapıştırın.
Bu, parola entropisiyle aynı şey mi?
İlişkili ama aynı değil. Parola gücü, bir üretecin üretebileceği olasılıkları sayar: uzunluk × alfabenin log₂'si; bu, bir saldırganın taraması gereken alandır. Bu hesaplayıcı ise verilen tek bir metnin istatistiklerini ölçer. aaaaaa gibi bir parolanın burada entropisi düşüktür ve her iki açıdan da zayıftır.
Metnim bir yere gönderiliyor mu?
Hayır. ZIP karşılaştırması dâhil her şey tarayıcınızda hesaplanır ve metniniz bu tarayıcının yerel depolamasında kalır.
Denemeye hazır mısınız?
PictorX'i tarayıcınızda açın — kurulum gerekmez, başlamak için kredi kartı gerekmez.
Editöre Git