الإنتروبيا
العشوائية
كمية المعلومات
رموز مختلفة
  • بمعرفة الرموز السابقة
  • ZIP (deflate)
  • بتات لكل رمز، مقابل عدد الرموز السابقة المعروفة

الحرف العدد الاحتمال المفاجأة (بت) الحصة من الإنتروبيا
العدّ حسب

مزيد من المعلومات عن الإنتروبيا

حاسبة الإنتروبيا

كم من المعلومات في نص ما؟ جواب كلود شانون، الإنتروبيا، يعدّها بالبت: الرمز الذي يصعب توقعه يخبرك بالكثير، والرمز الذي كان بوسعك تخمينه يخبرك بالقليل. الصق أي نص أو اختر مثالًا، وشاهد إنتروبيته لكل حرف أو كلمة أو بايت، ومدى اقترابه من العشوائية التامة، وإلى أي حد يمكن ضغطه. ثم راقب المعلومات لكل رمز وهي تنخفض حين تؤخذ الرموز السابقة في الحسبان، وهي الحيلة التي يستخدمها كل برنامج ضغط. اكتب نصًا أو الصقه، أو اختر مثالًا. يعدّ التطبيق مرات ظهور كل رمز ويحسب إنتروبيا شانون: متوسط عدد بتات المعلومات لكل رمز. اعدد الأحرف أو الكلمات أو البايتات. ويعرض الجدول مقدار المفاجأة لكل رمز بالبت، ويبيّن المخطط الثاني كم تقل المعلومات التي يحملها كل رمز عندما تُعرف الرموز التي تسبقه، إلى جانب ما يحققه ضغط ZIP.

كيف يعمل

  1. اكتب نصًا أو الصقه، أو اختر مثالًا: فقرة، أو أحرفًا أو بتات أو أرقامًا أو DNA عشوائيًا، أو نمطًا متكررًا.
  2. اختر ما إذا كنت تعدّ الأحرف أو الكلمات أو البايتات، وما إذا كانت الأحرف الكبيرة والصغيرة تُعدّ متماثلة.
  3. اقرأ الإنتروبيا والعشوائية وكمية المعلومات في البطاقات، ومفاجأة كل رمز في الجدول، وكيف يخفّض السياق وضغط ZIP عدد البتات لكل رمز في المخطط الثاني.

ما الذي تقيسه الإنتروبيا

الرمز الذي يظهر باحتمال p يحمل −log₂ p بت من المعلومات: رمية عملة متوازنة تعطي 1 بت، والرمز الذي فرصته 1 من 8 يعطي 3 بتات. والإنتروبيا هي متوسط هذه المفاجأة على جميع رموز النص، H = −Σ p log₂ p. وتبلغ أقصاها حين تتساوى الرموز كلها في الشيوع، أي log₂ n بت لعدد n من الرموز المختلفة، وتساوي صفرًا حين يكرر النص رمزًا واحدًا. وإذا ضُربت في طول النص أعطت أقل عدد من البتات يمكن أن تستخدمه شيفرة ترمّز كل رمز على حدة، ولهذا تضع الإنتروبيا حد الضغط.

لماذا يخفّضها السياق

إذا عُدّت حروف الإنجليزية واحدًا واحدًا، حمل كل منها نحو 4 بتات. لكن القارئ كثيرًا ما يستطيع تخمين الحرف التالي: ففي الإنجليزية يأتي U بعد Q، وكثيرًا ما يأتي E بعد TH. والإنتروبيا الشرطية، أي المعلومات في الرمز التالي حين تكون الرموز السابقة معروفة، تنخفض كلما استُخدم سياق أكثر، وقد قدّر شانون أن القارئ المتمكن يهبط بالإنجليزية إلى نحو 1 بت لكل حرف. وبرامج الضغط مثل ZIP تستغل الفائض نفسه. أما النص العشوائي فلا فائض فيه: تبقى إنتروبيته عند log₂ n مهما استُخدم من سياق، ولا يمكن ضغطه.

الأسئلة المتداولة

ما هو بت المعلومات؟

هو المعلومات التي تحصل عليها من جواب سؤال بنعم أو لا كان جواباه متساويين في الاحتمال، مثل رمية عملة متوازنة. سؤالان من هذا النوع يعطيان 2 بت وأربعة احتمالات، وثلاثة تعطي 3 بتات وثمانية احتمالات: n بت تحدد خيارًا واحدًا من بين 2ⁿ من الخيارات المتساوية الاحتمال.

لماذا لا تبلغ العشوائية 100% تمامًا في النصوص الحقيقية؟

لأن رموز اللغة ليست متساوية في الشيوع. تقسم بطاقة العشوائية الإنتروبيا على أكبر قيمة ممكنة لها، أي log₂ لعدد الرموز المختلفة، وهي قيمة لا تُبلغ إلا حين يظهر كل رمز بالقدر نفسه. الأحرف العشوائية تقترب من 100%؛ أما النص الإنجليزي العادي، بكثرة حرف E فيه وقلة حرف Z، فيبلغ عادةً 80 إلى 90% حين يُعدّ حرفًا حرفًا.

لماذا تبدو السياقات الأطول قابلة للتوقع إلى هذا الحد في النص القصير؟

في النص القصير لا تظهر معظم تركيبات الرموز القليلة إلا مرة واحدة، فيبدو كل ما يليها مؤكدًا. ويكون التقدير حينئذ أقل بكثير من الحقيقة. ويرسم المخطط ذلك الجزء من المنحنى بخط متقطع؛ الصق نصًا أطول، من آلاف الأحرف، لتحصل على صورة منصفة.

هل هذه هي إنتروبيا كلمة المرور نفسها؟

مرتبطة بها لكنها ليست هي. قوة كلمة المرور تعدّ الاحتمالات التي كان يمكن لمولّد أن ينتجها، أي الطول × log₂ لحجم الأبجدية، وهي ما يجب على المهاجم البحث فيه. أما هذه الحاسبة فتقيس إحصاءات نص واحد معطى. كلمة مرور مثل aaaaaa إنتروبيتها منخفضة هنا، وهي ضعيفة في الحالتين.

هل يُرسل نصي إلى أي مكان؟

لا. كل شيء، بما في ذلك المقارنة مع ZIP، يُحسب في متصفحك، ويبقى نصك في التخزين المحلي لهذا المتصفح.

هل أنت مستعد لتجربتها؟

افتح PictorX في متصفحك - بدون تثبيت، ولا يلزم وجود بطاقة ائتمان للبدء.

الانتقال إلى المحرر