एंट्रॉपी समझाई गई
1948 में Bell Labs के एक इंजीनियर, क्लॉड शैनन, ने एक ऐसा प्रश्न पूछा जिसे तब तक किसी ने सटीक रूप नहीं दिया था: किसी संदेश में कितनी सूचना होती है? उनका उत्तर एक संख्या थी, जो बिट में मापी जाती है और इस पर नहीं टिकी कि संदेश का अर्थ क्या है, बल्कि इस पर कि वह कितना आश्चर्यजनक है। यही संख्या, एंट्रॉपी, हर कम्प्रेशन प्रोग्राम, हर नेटवर्क लिंक और हर स्टोरेज डिवाइस की सीमाएँ तय करती है, और बताती है कि कुछ टेक्स्ट अपने आकार के छोटे-से हिस्से तक क्यों सिकुड़ जाते हैं जबकि दूसरे ज़रा भी नहीं दबते।
सूचना यानी आश्चर्य
शैनन की अंतर्दृष्टि यह थी कि सूचना को इस बात से मापा जाए कि संदेश कितना अप्रत्याशित है, न कि इससे कि उसका अर्थ क्या है। अगर आपको उत्तर पहले से पता है, तो उसे सुनकर आपको कुछ नया पता नहीं चलता; अगर वह हज़ार चीज़ों में से कोई एक हो सकता था, तो वह बहुत कुछ बताता है। जो संदेश दो समान रूप से संभावित विकल्पों में से एक को चुनता है, उसमें एक बिट होता है। चार में से एक के लिए दो बिट चाहिए, आठ में से एक के लिए तीन बिट, और सामान्य रूप से N समान संभावनाओं में से एक के लिए log₂ N बिट। इसलिए प्रायिकता p से आने वाला प्रतीक −log₂ p बिट देता है: वह जितना दुर्लभ हो, उतना ज़्यादा बताता है।
शैनन का सूत्र
एंट्रॉपी प्रति प्रतीक औसत सूचना है: H = −Σ p log₂ p, जिसमें हर प्रतीक पर उसकी प्रायिकता p के साथ योग किया जाता है। निष्पक्ष सिक्के के लिए H 1 बिट है। जो सिक्का 90% बार चित गिरता है, उसके लिए यह केवल 0.47 बिट है, क्योंकि नतीजा आमतौर पर आश्चर्य नहीं होता। एंट्रॉपी तब सबसे बड़ी होती है जब सभी प्रतीक समान रूप से संभावित हों, n प्रतीकों के लिए log₂ n बिट, और शून्य तब जब एक प्रतीक निश्चित हो। शैनन ने यह नाम जॉन फ़ॉन न्यूमैन की सलाह पर चुना, क्योंकि यही सूत्र भौतिकी में भी आता है, जहाँ एंट्रॉपी अव्यवस्था को मापती है।
कम्प्रेशन की सीमा
शैनन का स्रोत कोडिंग प्रमेय कहता है कि कोई भी लॉसलेस कोड औसतन स्रोत की एंट्रॉपी से कम बिट प्रति प्रतीक इस्तेमाल नहीं कर सकता, और कोड उसके जितना चाहें उतना करीब पहुँच सकते हैं। हफ़मैन कोडिंग, जिसे डेविड हफ़मैन ने 1952 में छात्र रहते हुए खोजा, आम प्रतीकों को छोटे कोड और दुर्लभ प्रतीकों को लंबे कोड देती है और एंट्रॉपी से प्रति प्रतीक एक बिट के भीतर पहुँच जाती है; अंकगणितीय कोडिंग इससे भी करीब जाती है। इस तरह एंट्रॉपी केवल विवरण नहीं बल्कि एक कठोर सीमा है: रैंडम बाइटों वाली फ़ाइल, जिसमें प्रति बाइट 8 बिट एंट्रॉपी हो, ज़रा भी कम्प्रेस नहीं हो सकती।
संदर्भ और अतिरिक्तता
टेक्स्ट के अक्षर एक-दूसरे से स्वतंत्र नहीं होते। अंग्रेज़ी में Q के बाद U आता है, पूर्ण विराम के बाद बड़ा अक्षर, और INFORMA से शुरू होने वाला शब्द लगभग निश्चित रूप से TION के साथ आगे बढ़ता है। पिछले प्रतीकों को ध्यान में रखने से सशर्त एंट्रॉपी मिलती है, जो एक-एक करके गिने गए प्रतीकों की एंट्रॉपी से कम होती है। यह अंतर अतिरिक्तता है: संदेश का वह हिस्सा जिसका अनुमान लगाया जा सकता था। ZIP जैसे कम्प्रेशन प्रोग्राम, जो deflate विधि इस्तेमाल करते हैं, दोहराई गई लड़ियाँ ढूँढ़कर उन्हें छोटे संदर्भों से बदल देते हैं, और आधुनिक कम्प्रेसर हर प्रतीक का उसके संदर्भ से पूर्वानुमान लगाते हैं।
अंग्रेज़ी में कितनी सूचना है?
अंग्रेज़ी की आवृत्तियों के साथ अक्षर-दर-अक्षर गिनने पर एक अक्षर लगभग 4.1 बिट देता है, जबकि रैंडम चुने गए अक्षरों के लिए यह 4.7 है। 1951 में शैनन और आगे गए: उन्होंने लोगों को किसी टेक्स्ट की शुरुआत दिखाई और उनसे अगले अक्षर का अनुमान लगाने को कहा, यह गिनते हुए कि उन्हें कितने अनुमान लगे। उनके उत्तरों से उन्होंने आकलन किया कि अंग्रेज़ी प्रति अक्षर केवल लगभग 0.6 से 1.3 बिट देती है। दूसरे शब्दों में, लिखित अंग्रेज़ी का लगभग तीन-चौथाई हिस्सा अतिरिक्तता है, इसीलिए जिस टेक्स्ट से कुछ अक्षर गायब हों उसे भी आमतौर पर पढ़ा जा सकता है।
यादृच्छिकता और पासवर्ड
एंट्रॉपी अप्रत्याशितता को भी मापती है, और सुरक्षा इसी पर टिकी है। N संभावनाओं में से समान रूप से चुनी गई कुंजी या पासवर्ड में log₂ N बिट एंट्रॉपी होती है, और हमलावर को औसतन उनमें से लगभग आधी आज़मानी पड़ती हैं। 26 छोटे अक्षरों से बने 12 अक्षर के रैंडम पासवर्ड में लगभग 56 बिट होते हैं; कोई आम शब्द, चाहे कितना भी लंबा हो, इससे कहीं कम रखता है। रैंडम संख्या जनरेटरों की जाँच यह देखकर की जाती है कि उनके आउटपुट में किसी रैंडम स्रोत जितनी पूरी एंट्रॉपी है, और ऑपरेटिंग सिस्टम उन्हें सीड देने के लिए टाइमिंग के शोर से एंट्रॉपी इकट्ठा करते हैं।
एंट्रॉपी कहाँ दिखती है
एंट्रॉपी तय करती है कि किसी फ़ोन कॉल, फ़ोटो या वीडियो स्ट्रीम को कितने बिट चाहिए, और कोई मॉडेम या Wi-Fi लिंक अपने चैनल की क्षमता के कितने करीब पहुँच सकता है। जीवविज्ञानी इससे DNA में मौजूद सूचना मापते हैं, जहाँ चार क्षारकों में से हर एक अधिकतम 2 बिट दे सकता है, और किसी पारिस्थितिकी तंत्र की विविधता भी। मशीन लर्निंग में डिसीज़न ट्री वह प्रश्न चुनते हैं जो एंट्रॉपी को सबसे ज़्यादा घटाए, और क्रॉस-एंट्रॉपी लॉस ज़्यादातर न्यूरल नेटवर्क को प्रशिक्षित करता है। भाषाविद भाषाओं की तुलना उनकी प्रति अक्षर और प्रति शब्द एंट्रॉपी से करते हैं।
खुद आज़माएँ
किसी भी टेक्स्ट को अक्षर, शब्द या बाइट के अनुसार मापने के लिए एंट्रॉपी कैलकुलेटर खोलें। किसी अनुच्छेद की तुलना रैंडम अक्षरों, बिट, अंकों और DNA से करें, हर प्रतीक का आश्चर्य देखें, देखें कि टेक्स्ट में उसके संग्रहीत आकार के मुकाबले कितनी सूचना है, और ज़्यादा संदर्भ ज्ञात होने पर प्रति प्रतीक बिट कैसे गिरते हैं, साथ में यह भी कि ZIP वास्तव में कितना हासिल करता है।
अक्सर पूछे जाने वाले प्रश्न
एंट्रॉपी बिट में क्यों मापी जाती है?
क्योंकि शैनन ने आधार 2 वाले लघुगणक का इस्तेमाल किया, ताकि बराबर विकल्पों के बीच हाँ-या-ना का एक चुनाव एक इकाई गिना जाए। प्राकृतिक लघुगणक के साथ इकाई नैट होती है, लगभग 1.44 बिट, और आधार 10 के साथ हार्टली, लगभग 3.32 बिट; भौतिकविद और कुछ सांख्यिकीविद इन्हें इस्तेमाल करते हैं।
क्या किसी टेक्स्ट की एंट्रॉपी उसकी वर्णमाला के log₂ से ज़्यादा हो सकती है?
नहीं। n अलग-अलग प्रतीकों के साथ एंट्रॉपी अधिकतम log₂ n बिट प्रति प्रतीक होती है, जो तभी मिलती है जब सभी समान रूप से आम हों। कोई भी असंतुलन, और संदर्भ से आने वाली कोई भी अनुमान-योग्यता, इसे घटाती है।
क्या सूचना सिद्धांत की एंट्रॉपी भौतिकी की एंट्रॉपी जैसी ही है?
सूत्रों का रूप एक जैसा है: बोल्ट्ज़मान और गिब्स ने भौतिक एंट्रॉपी को किसी तंत्र की सूक्ष्म अवस्थाओं की प्रायिकताओं पर योग के रूप में लिखा। अर्थ भी जुड़ा हुआ है, क्योंकि दोनों मापती हैं कि आप कितना नहीं जानते, और भौतिकविदों ने बाद में दिखाया कि सूचना का एक बिट मिटाने पर थोड़ी-सी ऊष्मा निकलनी ही चाहिए।
कम्प्रेस की हुई फ़ाइल को दोबारा कम्प्रेस करने से फ़ायदा क्यों नहीं होता?
एक अच्छा कम्प्रेसर ज़्यादातर अतिरिक्तता हटा देता है, इसलिए उसका आउटपुट लगभग रैंडम होता है, जिसमें प्रति बाइट लगभग 8 बिट एंट्रॉपी होती है। हटाने को कुछ बचता नहीं, और दोबारा कम्प्रेस करने पर कम्प्रेसर के अपने ओवरहेड की वजह से फ़ाइल आमतौर पर थोड़ी बड़ी हो जाती है।
आज़माने के लिए तैयार?
अपने ब्राउज़र में PictorX खोलें — शुरू करने के लिए इंस्टॉल या क्रेडिट कार्ड की ज़रूरत नहीं।
एंट्रॉपी कैलकुलेटर खोलें