شرح الإنتروبيا

في عام 1948 طرح مهندس في Bell Labs، هو كلود شانون، سؤالًا لم يصغه أحد بدقة من قبل: كم من المعلومات تحتوي الرسالة؟ وكان جوابه رقمًا يقاس بالبت، لا يتوقف على ما تعنيه الرسالة بل على مقدار ما فيها من مفاجأة. هذا الرقم، الإنتروبيا، يضع حدود كل برنامج ضغط وكل وصلة شبكة وكل جهاز تخزين، ويفسر لماذا تنكمش بعض النصوص إلى جزء صغير من حجمها بينما لا يمكن تقليص غيرها على الإطلاق.

أعمدة لاحتمالات الحروف تتلاشى من الشائع إلى النادر، مع منحنى الإنتروبيا ينخفض كلما عُرف سياق أكثر
أعمدة لاحتمالات الحروف تتلاشى من الشائع إلى النادر، مع منحنى الإنتروبيا ينخفض كلما عُرف سياق أكثر

المعلومات مفاجأة

كانت فكرة شانون العميقة أن تقاس المعلومات بمدى عدم توقع الرسالة، لا بما تعنيه. فإذا كنت تعرف الجواب مسبقًا، فسماعه لا يخبرك بشيء؛ وإذا كان يمكن أن يكون واحدًا من ألف احتمال، فهو يخبرك بالكثير. والرسالة التي تحدد واحدًا من احتمالين متساويين تحمل بتًا واحدًا. وواحد من أربعة يحتاج إلى بتين، وواحد من ثمانية إلى ثلاثة بتات، وعمومًا يحتاج واحد من N من الاحتمالات المتساوية إلى log₂ N بت. ولذلك فالرمز الذي يظهر باحتمال p يحمل −log₂ p بت: كلما كان أندر، أخبرك أكثر.

معادلة شانون

الإنتروبيا هي متوسط المعلومات لكل رمز: H = −Σ p log₂ p، مجموعًا على كل رمز مع احتماله p. للعملة المتوازنة تساوي H بتًا واحدًا. أما العملة التي تقع على الوجه نفسه 90% من المرات فلا تتجاوز إنتروبيتها 0.47 بت، لأن النتيجة في الغالب لا تحمل مفاجأة. وتبلغ الإنتروبيا أقصاها حين تتساوى احتمالات الرموز كلها، أي log₂ n بت لعدد n من الرموز، وتساوي صفرًا حين يكون رمز واحد مؤكدًا. واختار شانون الاسم بنصيحة من جون فون نيومان، لأن المعادلة نفسها تظهر في الفيزياء، حيث تقيس الإنتروبيا الفوضى.

كلود شانون، الذي حدّد عام 1948 في مختبرات بل بدقة مقدار المعلومات في رسالة وقاسه بالبتات.
كلود شانون، الذي حدّد عام 1948 في مختبرات بل بدقة مقدار المعلومات في رسالة وقاسه بالبتات.

حد الضغط

تنص مبرهنة ترميز المصدر لشانون على أنه لا يمكن لأي شيفرة بلا فقد أن تستخدم، في المتوسط، بتات لكل رمز أقل من إنتروبيا المصدر، وأن الشيفرات يمكن أن تقترب منها بالقدر الذي تريده. وترميز هوفمان، الذي ابتكره ديفيد هوفمان عام 1952 حين كان طالبًا، يعطي الرموز الشائعة شيفرات قصيرة والنادرة شيفرات طويلة، ويقترب من الإنتروبيا إلى أقل من بت واحد لكل رمز؛ والترميز الحسابي يقترب أكثر من ذلك. فالإنتروبيا إذن ليست مجرد وصف بل حد صارم: ملف من بايتات عشوائية، فيه 8 بتات من الإنتروبيا لكل بايت، لا يمكن ضغطه على الإطلاق.

ديفيد هوفمان، مصوَّرًا حين كان أستاذًا في جامعة كاليفورنيا في سانتا كروز. وجد عام 1951، وهو طالب دراسات عليا في MIT، شفرته المثلى في بحث فصلي لمقرر روبرت فانو.
ديفيد هوفمان، مصوَّرًا حين كان أستاذًا في جامعة كاليفورنيا في سانتا كروز. وجد عام 1951، وهو طالب دراسات عليا في MIT، شفرته المثلى في بحث فصلي لمقرر روبرت فانو.

السياق والفائض

الحروف في النص ليست مستقلة بعضها عن بعض. ففي الإنجليزية يأتي U بعد Q، ويأتي حرف كبير بعد النقطة، والكلمة التي تبدأ بـ INFORMA تكاد تكتمل حتمًا بـ TION. وأخذ الرموز السابقة في الحسبان يعطي الإنتروبيا الشرطية، وهي أقل من إنتروبيا الرموز المعدودة واحدًا واحدًا. والفرق بينهما هو الفائض: الجزء من الرسالة الذي كان يمكن توقعه. وبرامج الضغط مثل ZIP، التي تستخدم طريقة deflate، تبحث عن السلاسل المتكررة وتستبدل بها إحالات قصيرة، أما برامج الضغط الحديثة فتتنبأ بكل رمز من سياقه.

كم من المعلومات في الإنجليزية؟

إذا عُدّت الحروف حرفًا حرفًا بتواترات اللغة الإنجليزية، حمل الحرف نحو 4.1 بت، مقابل 4.7 للحروف المختارة عشوائيًا. وفي عام 1951 ذهب شانون أبعد من ذلك: عرض على أشخاص بداية نص وطلب منهم تخمين الحرف التالي، وعدّ كم تخمينًا احتاجوا إليه. ومن إجاباتهم قدّر أن الإنجليزية لا تحمل سوى نحو 0.6 إلى 1.3 بت لكل حرف. وبعبارة أخرى، فإن نحو ثلاثة أرباع الإنجليزية المكتوبة فائض، ولهذا يمكن عادةً قراءة نص سقطت منه بعض حروفه.

العشوائية وكلمات المرور

تقيس الإنتروبيا أيضًا عدم القابلية للتنبؤ، وهو ما يقوم عليه الأمن. فالمفتاح أو كلمة المرور المختارة بانتظام من بين N من الاحتمالات لها log₂ N بت من الإنتروبيا، ويجب على المهاجم أن يجرب نحو نصفها في المتوسط. كلمة مرور عشوائية من 12 حرفًا من بين الأحرف اللاتينية الصغيرة الستة والعشرين فيها نحو 56 بت؛ أما الكلمة الشائعة ففيها أقل بكثير، مهما طالت. وتُختبر مولّدات الأعداد العشوائية بالتحقق من أن مخرجاتها تحمل الإنتروبيا الكاملة لمصدر عشوائي، وتجمع أنظمة التشغيل الإنتروبيا من ضجيج التوقيت لتزويدها بالبذور.

أين تظهر الإنتروبيا

تحدد الإنتروبيا عدد البتات التي تحتاجها مكالمة هاتفية أو صورة أو بث فيديو، ومدى اقتراب مودم أو وصلة Wi-Fi من سعة قناته. ويستخدمها علماء الأحياء لقياس المعلومات في DNA، حيث يمكن لكل قاعدة من القواعد الأربع أن تحمل 2 بت على الأكثر، ولقياس تنوع النظام البيئي. وفي تعلم الآلة، تختار أشجار القرار السؤال الذي يخفض الإنتروبيا أكثر من غيره، وتُدرَّب معظم الشبكات العصبية بدالة خسارة الإنتروبيا التقاطعية. ويقارن اللسانيون بين اللغات بإنتروبيتها لكل حرف ولكل كلمة.

استكشفها بنفسك

افتح حاسبة الإنتروبيا لتقيس أي نص بالأحرف أو الكلمات أو البايتات. قارن فقرة بأحرف وبتات وأرقام وDNA عشوائية، وشاهد مفاجأة كل رمز، وكم يحمل النص من المعلومات مقارنةً بحجمه المخزَّن، وكيف ينخفض عدد البتات لكل رمز كلما عُرف سياق أكثر، إلى جانب ما يحققه ZIP فعلًا.

الأسئلة المتداولة

لماذا تقاس الإنتروبيا بالبت؟

لأن شانون استخدم اللوغاريتمات للأساس 2، بحيث يُعدّ اختيار واحد بنعم أو لا بين خيارين متساويين وحدةً واحدة. ومع اللوغاريتم الطبيعي تكون الوحدة هي النات، نحو 1.44 بت، ومع الأساس 10 هي الهارتلي، نحو 3.32 بت؛ ويستخدمهما الفيزيائيون وبعض الإحصائيين.

هل يمكن أن تكون إنتروبيا النص أكبر من log₂ لحجم أبجديته؟

لا. مع عدد n من الرموز المختلفة تكون الإنتروبيا على الأكثر log₂ n بت لكل رمز، ولا تُبلغ إلا حين تتساوى الرموز كلها في الشيوع. وأي اختلال في التوازن، وأي قابلية للتوقع من السياق، يخفّضها.

هل الإنتروبيا في نظرية المعلومات هي نفسها في الفيزياء؟

المعادلتان متشابهتان في الشكل: فقد كتب بولتزمان وغيبس الإنتروبيا الفيزيائية مجموعًا على احتمالات الحالات المجهرية لنظام ما. والمعنى مرتبط أيضًا، إذ تقيس كلتاهما مقدار ما لا تعرفه، وقد بيّن الفيزيائيون لاحقًا أن محو بت واحد من المعلومات لا بد أن يطلق مقدارًا ضئيلًا من الحرارة.

لماذا لا يفيد ضغط ملف مضغوط؟

برنامج الضغط الجيد يزيل معظم الفائض، فتصبح مخرجاته قريبة من العشوائية، بنحو 8 بتات من الإنتروبيا لكل بايت. فلا يبقى شيء لإزالته، وضغطها مرة أخرى يجعلها عادةً أكبر قليلًا بسبب الحمل الإضافي لبرنامج الضغط نفسه.

هل أنت مستعد لتجربتها؟

افتح PictorX في متصفحك - بدون تثبيت، ولا يلزم وجود بطاقة ائتمان للبدء.

افتح حاسبة الإنتروبيا