- Dengan simbol sebelumnya diketahui
- ZIP (deflate)
- Bit per simbol, terhadap jumlah simbol sebelumnya yang diketahui
| Karakter | Jumlah | Probabilitas | Kejutan (bit) | Bagian dari entropi |
|---|
Kalkulator entropi
Berapa banyak informasi dalam sebuah teks? Jawaban Claude Shannon, entropi, menghitungnya dalam bit: simbol yang sulit diprediksi memberi tahu banyak, simbol yang bisa Anda tebak hanya memberi tahu sedikit. Tempel teks apa pun atau pilih contoh, lalu lihat entropinya per karakter, kata, atau byte, seberapa dekat teks itu dengan keacakan murni, dan seberapa jauh ia bisa dikompresi. Kemudian saksikan informasi per simbol turun ketika simbol-simbol sebelumnya diperhitungkan, trik yang dipakai setiap program kompresi. Ketik atau tempel teks, atau pilih contoh. Aplikasi menghitung seberapa sering setiap simbol muncul dan menghitung entropi Shannon: rata-rata jumlah bit informasi per simbol. Hitung karakter, kata, atau byte. Tabel menunjukkan kejutan setiap simbol dalam bit, dan grafik kedua memperlihatkan seberapa jauh informasi yang dibawa setiap simbol berkurang bila simbol-simbol sebelumnya diketahui, berdampingan dengan hasil kompresi ZIP.
Cara kerjanya
- Ketik atau tempel teks, atau pilih contoh: sebuah paragraf, huruf acak, bit, digit atau DNA acak, atau pola berulang.
- Pilih apakah yang dihitung karakter, kata, atau byte, dan apakah huruf besar dan kecil dianggap sama.
- Baca entropi, keacakan, dan kandungan informasi di kotak-kotak ringkasan, kejutan setiap simbol di tabel, serta bagaimana konteks dan kompresi ZIP menurunkan bit per simbol di grafik kedua.
Apa yang diukur entropi
Simbol yang muncul dengan probabilitas p membawa −log₂ p bit informasi: lemparan koin yang adil memberi 1 bit, simbol dengan peluang 1 banding 8 memberi 3 bit. Entropi adalah rata-rata kejutan itu atas semua simbol dalam teks, H = −Σ p log₂ p. Nilainya paling besar ketika setiap simbol sama seringnya, yaitu log₂ n bit untuk n simbol berbeda, dan nol ketika teks hanya mengulang satu simbol. Dikalikan dengan panjang teks, entropi memberi jumlah bit paling sedikit yang dapat dipakai sebuah kode jika setiap simbol dikodekan sendiri-sendiri; itulah sebabnya entropi menjadi batas kompresi.
Mengapa konteks menurunkannya
Jika dihitung satu per satu, huruf-huruf bahasa Inggris masing-masing membawa sekitar 4 bit. Namun pembaca sering bisa menebak huruf berikutnya: dalam bahasa Inggris, setelah Q datang U, setelah TH sering E. Entropi bersyarat, yaitu informasi dalam simbol berikutnya ketika simbol-simbol sebelumnya diketahui, turun seiring makin banyak konteks yang dipakai, dan Shannon memperkirakan bahwa pembaca yang fasih menurunkan bahasa Inggris hingga sekitar 1 bit per huruf. Program kompresi seperti ZIP memanfaatkan redundansi yang sama. Teks acak tidak memilikinya: entropinya tetap log₂ n berapa pun konteks yang dipakai, dan teks itu tidak bisa dikompresi.
Pertanyaan yang sering diajukan
Apa itu satu bit informasi?
Informasi yang Anda peroleh dari jawaban atas pertanyaan ya-atau-tidak yang kedua jawabannya sama mungkin, seperti lemparan koin yang adil. Dua pertanyaan seperti itu memberi 2 bit dan empat kemungkinan, tiga memberi 3 bit dan delapan kemungkinan: n bit menunjuk satu dari 2ⁿ pilihan yang sama mungkin.
Mengapa keacakan teks nyata tidak pernah benar-benar 100%?
Karena simbol-simbol sebuah bahasa tidak sama seringnya. Kotak keacakan membagi entropi dengan nilai terbesar yang mungkin, yaitu log₂ dari jumlah simbol berbeda, yang hanya tercapai bila setiap simbol muncul sama seringnya. Huruf acak mendekati 100%; teks bahasa Inggris biasa, dengan banyak huruf E dan sedikit huruf Z, biasanya mencapai 80 hingga 90% jika dihitung huruf demi huruf.
Mengapa konteks yang lebih panjang tampak begitu mudah diprediksi pada teks pendek?
Pada teks pendek, sebagian besar kombinasi beberapa simbol hanya muncul sekali, sehingga apa pun yang mengikutinya tampak pasti. Perkiraannya pun jauh terlalu rendah. Grafik menggambar bagian kurva itu dengan garis putus-putus; tempel teks yang lebih panjang, ribuan karakter, untuk gambaran yang wajar.
Apakah ini sama dengan entropi kata sandi?
Berkaitan, tetapi tidak sama. Kekuatan kata sandi menghitung kemungkinan yang dapat dihasilkan sebuah generator, panjang × log₂ ukuran alfabet, yaitu ruang yang harus ditelusuri penyerang. Kalkulator ini mengukur statistik satu teks tertentu. Kata sandi seperti aaaaaa memiliki entropi rendah di sini, dan bagaimanapun juga tetap lemah.
Apakah teks saya dikirim ke suatu tempat?
Tidak. Semuanya, termasuk perbandingan ZIP, dihitung di browser Anda, dan teks Anda tetap tersimpan di penyimpanan lokal browser ini.
Siap mencobanya?
Buka PictorX di browser Anda — tanpa instalasi, tanpa kartu kredit untuk memulai.
Ke Editor