एंट्रॉपी
यादृच्छिकता
सूचना की मात्रा
अलग-अलग प्रतीक
  • पिछले प्रतीक ज्ञात होने पर
  • ZIP (deflate)
  • प्रति प्रतीक बिट, ज्ञात पिछले प्रतीकों की संख्या के सापेक्ष

अक्षर गिनती प्रायिकता आश्चर्य (बिट) एंट्रॉपी में हिस्सा
गिनती का आधार

एंट्रॉपी के बारे में और जानकारी

एंट्रॉपी कैलकुलेटर

किसी टेक्स्ट में कितनी सूचना होती है? क्लॉड शैनन का उत्तर, एंट्रॉपी, इसे बिट में गिनता है: जिस प्रतीक का अनुमान लगाना कठिन हो वह बहुत कुछ बताता है, और जिसका आप अंदाज़ा लगा सकते थे वह थोड़ा। कोई भी टेक्स्ट पेस्ट करें या कोई उदाहरण चुनें, और देखें कि प्रति अक्षर, शब्द या बाइट उसकी एंट्रॉपी कितनी है, वह शुद्ध यादृच्छिकता के कितने करीब है और उसे कितना कम्प्रेस किया जा सकता है। फिर देखें कि पिछले प्रतीकों को ध्यान में रखने पर प्रति प्रतीक सूचना कैसे घटती है, वही तरकीब जिसका हर कम्प्रेशन प्रोग्राम इस्तेमाल करता है। कोई टेक्स्ट टाइप या पेस्ट करें, या कोई उदाहरण चुनें। ऐप गिनता है कि हर प्रतीक कितनी बार आता है और शैनन एंट्रॉपी की गणना करता है: प्रति प्रतीक सूचना के बिटों की औसत संख्या। अक्षर, शब्द या बाइट गिनें। तालिका हर प्रतीक का आश्चर्य बिट में बताती है, और दूसरा चार्ट दिखाता है कि पिछले प्रतीक ज्ञात होने पर हर प्रतीक कितनी कम सूचना देता है, साथ में यह भी कि ZIP कम्प्रेशन कितना हासिल करता है।

यह कैसे काम करता है

  1. कोई टेक्स्ट टाइप या पेस्ट करें, या कोई उदाहरण चुनें: एक अनुच्छेद, रैंडम अक्षर, बिट, अंक या DNA, या कोई दोहराता पैटर्न।
  2. चुनें कि अक्षर, शब्द या बाइट गिने जाएँ, और बड़े और छोटे अक्षर एक समान गिने जाएँ या नहीं।
  3. टाइलों में एंट्रॉपी, यादृच्छिकता और सूचना की मात्रा पढ़ें, तालिका में हर प्रतीक का आश्चर्य, और दूसरे चार्ट में देखें कि संदर्भ और ZIP कम्प्रेशन प्रति प्रतीक बिट को कैसे घटाते हैं।

एंट्रॉपी क्या मापती है

प्रायिकता p से आने वाला प्रतीक −log₂ p बिट सूचना देता है: निष्पक्ष सिक्के की उछाल 1 बिट देती है, और 8 में 1 संभावना वाला प्रतीक 3 बिट। एंट्रॉपी टेक्स्ट के सभी प्रतीकों पर इस आश्चर्य का औसत है, H = −Σ p log₂ p। यह तब सबसे बड़ी होती है जब हर प्रतीक समान रूप से आम हो, यानी n अलग-अलग प्रतीकों के लिए log₂ n बिट, और शून्य तब जब टेक्स्ट एक ही प्रतीक दोहराए। टेक्स्ट की लंबाई से गुणा करने पर यह वह न्यूनतम बिट संख्या देती है जो कोई कोड हर प्रतीक को अलग-अलग एनकोड करके इस्तेमाल कर सकता है, इसीलिए एंट्रॉपी कम्प्रेशन की सीमा तय करती है।

संदर्भ इसे क्यों घटाता है

एक-एक करके गिनें तो अंग्रेज़ी के अक्षर लगभग 4 बिट प्रति अक्षर देते हैं। पर पाठक अक्सर अगले अक्षर का अनुमान लगा लेता है: अंग्रेज़ी में Q के बाद U आता है, और TH के बाद अक्सर E। सशर्त एंट्रॉपी, यानी पिछले प्रतीक ज्ञात होने पर अगले प्रतीक में मौजूद सूचना, जितना ज़्यादा संदर्भ इस्तेमाल हो उतनी घटती है, और शैनन ने अनुमान लगाया कि एक धाराप्रवाह पाठक अंग्रेज़ी को लगभग 1 बिट प्रति अक्षर तक ले आता है। ZIP जैसे कम्प्रेशन प्रोग्राम इसी अतिरिक्तता का फ़ायदा उठाते हैं। रैंडम टेक्स्ट में यह होती ही नहीं: कितना भी संदर्भ इस्तेमाल करें, उसकी एंट्रॉपी log₂ n पर बनी रहती है, और उसे कम्प्रेस नहीं किया जा सकता।

अक्सर पूछे जाने वाले प्रश्न

सूचना का एक बिट क्या है?

वह सूचना जो आपको किसी ऐसे हाँ-या-ना प्रश्न के उत्तर से मिलती है जिसके दोनों उत्तर समान रूप से संभावित थे, जैसे निष्पक्ष सिक्के की उछाल। ऐसे दो प्रश्न 2 बिट और चार संभावनाएँ देते हैं, तीन प्रश्न 3 बिट और आठ संभावनाएँ: n बिट 2ⁿ समान रूप से संभावित विकल्पों में से एक को चुनते हैं।

असली टेक्स्ट की यादृच्छिकता कभी पूरी 100% क्यों नहीं होती?

क्योंकि किसी भाषा के प्रतीक समान रूप से आम नहीं होते। यादृच्छिकता टाइल एंट्रॉपी को उसके सबसे बड़े संभव मान से भाग देती है, यानी अलग-अलग प्रतीकों की संख्या का log₂, जो तभी मिलता है जब हर प्रतीक बराबर बार आए। रैंडम अक्षर 100% के करीब पहुँचते हैं; साधारण अंग्रेज़ी टेक्स्ट, जिसमें E बहुत ज़्यादा और Z बहुत कम होते हैं, अक्षर-दर-अक्षर गिनने पर आमतौर पर 80 से 90% तक पहुँचता है।

छोटे टेक्स्ट में लंबे संदर्भ इतने अनुमान-योग्य क्यों लगते हैं?

छोटे टेक्स्ट में कुछ प्रतीकों के ज़्यादातर संयोजन सिर्फ़ एक बार आते हैं, इसलिए उनके बाद जो भी आता है वह निश्चित लगता है। तब अनुमान बहुत कम निकलता है। चार्ट वक्र के उस हिस्से को डैश वाली रेखा से दिखाता है; सही तस्वीर के लिए हज़ारों अक्षरों का कोई लंबा टेक्स्ट पेस्ट करें।

क्या यह पासवर्ड एंट्रॉपी जैसा ही है?

संबंधित है, पर वैसा ही नहीं। पासवर्ड की मज़बूती उन संभावनाओं को गिनती है जो कोई जनरेटर बना सकता था, यानी लंबाई × वर्णमाला के आकार का log₂, जिसे हमलावर को खंगालना पड़ता है। यह कैलकुलेटर किसी एक दिए गए टेक्स्ट के आँकड़े मापता है। aaaaaa जैसे पासवर्ड की एंट्रॉपी यहाँ कम है, और वह हर हाल में कमज़ोर है।

क्या मेरा टेक्स्ट कहीं भेजा जाता है?

नहीं। ZIP तुलना समेत सारी गणना आपके ब्राउज़र में होती है, और आपका टेक्स्ट इसी ब्राउज़र के लोकल स्टोरेज में रहता है।

आज़माने के लिए तैयार?

अपने ब्राउज़र में PictorX खोलें — शुरू करने के लिए इंस्टॉल या क्रेडिट कार्ड की ज़रूरत नहीं।

एडिटर पर जाएँ