Entropy
Độ ngẫu nhiên
Lượng thông tin
Số ký hiệu khác nhau
  • Khi biết các ký hiệu trước
  • ZIP (deflate)
  • Bit mỗi ký hiệu, theo số ký hiệu trước đó đã biết

Ký tự Số lần Xác suất Độ bất ngờ (bit) Phần trong entropy
Đếm theo

Thêm thông tin về entropy

Máy tính entropy

Một văn bản chứa bao nhiêu thông tin? Câu trả lời của Claude Shannon, entropy, đo nó bằng bit: một ký hiệu khó đoán cho bạn biết nhiều, một ký hiệu bạn có thể đoán trước cho biết ít. Hãy dán bất kỳ văn bản nào hoặc chọn một ví dụ để xem entropy của nó theo ký tự, từ hoặc byte, nó gần với sự ngẫu nhiên thuần túy đến đâu và có thể nén được bao nhiêu. Rồi xem lượng thông tin mỗi ký hiệu giảm xuống khi các ký hiệu đứng trước được tính đến, mẹo mà mọi chương trình nén đều dùng. Gõ hoặc dán một văn bản, hoặc chọn một ví dụ. Ứng dụng đếm tần suất xuất hiện của từng ký hiệu và tính entropy Shannon: số bit thông tin trung bình trên mỗi ký hiệu. Đếm theo ký tự, từ hoặc byte. Bảng cho biết độ bất ngờ của từng ký hiệu tính bằng bit, và biểu đồ thứ hai cho thấy mỗi ký hiệu mang ít thông tin hơn bao nhiêu khi đã biết các ký hiệu đứng trước nó, bên cạnh kết quả của nén ZIP.

Cách nó hoạt động

  1. Gõ hoặc dán một văn bản, hoặc chọn một ví dụ: một đoạn văn, chữ cái, bit, chữ số hoặc DNA ngẫu nhiên, hay một mẫu lặp lại.
  2. Chọn đếm theo ký tự, từ hay byte, và có coi chữ hoa và chữ thường là như nhau hay không.
  3. Đọc entropy, độ ngẫu nhiên và lượng thông tin trong các ô, độ bất ngờ của từng ký hiệu trong bảng, và cách ngữ cảnh cùng nén ZIP làm giảm số bit mỗi ký hiệu trong biểu đồ thứ hai.

Entropy đo cái gì

Một ký hiệu xuất hiện với xác suất p mang −log₂ p bit thông tin: một lần tung đồng xu cân đối cho 1 bit, một ký hiệu có cơ hội 1 trên 8 cho 3 bit. Entropy là trung bình của độ bất ngờ đó trên mọi ký hiệu của văn bản, H = −Σ p log₂ p. Nó lớn nhất khi mọi ký hiệu phổ biến như nhau, bằng log₂ n bit với n ký hiệu khác nhau, và bằng không khi văn bản chỉ lặp lại một ký hiệu. Nhân với độ dài văn bản, nó cho số bit ít nhất mà một mã có thể dùng nếu mã hóa riêng từng ký hiệu, và vì thế entropy đặt ra giới hạn cho việc nén.

Vì sao ngữ cảnh làm nó giảm

Nếu đếm riêng từng chữ, các chữ cái tiếng Anh mỗi chữ mang khoảng 4 bit. Nhưng người đọc thường đoán được chữ cái tiếp theo: trong tiếng Anh, sau Q là U, sau TH thường là E. Entropy có điều kiện, tức lượng thông tin trong ký hiệu tiếp theo khi đã biết các ký hiệu trước, giảm dần khi dùng nhiều ngữ cảnh hơn, và Shannon ước tính rằng một người đọc thông thạo đưa tiếng Anh xuống còn khoảng 1 bit mỗi chữ cái. Các chương trình nén như ZIP khai thác chính độ dư thừa đó. Văn bản ngẫu nhiên không có dư thừa: entropy của nó vẫn ở mức log₂ n dù dùng bao nhiêu ngữ cảnh, và nó không thể nén được.

Câu hỏi thường gặp

Một bit thông tin là gì?

Đó là lượng thông tin bạn nhận được từ câu trả lời cho một câu hỏi có-hoặc-không mà hai câu trả lời có khả năng như nhau, chẳng hạn một lần tung đồng xu cân đối. Hai câu hỏi như vậy cho 2 bit và bốn khả năng, ba câu cho 3 bit và tám khả năng: n bit chọn ra một trong 2ⁿ phương án có khả năng như nhau.

Vì sao độ ngẫu nhiên của văn bản thật không bao giờ đạt đúng 100%?

Vì các ký hiệu của một ngôn ngữ không phổ biến như nhau. Ô độ ngẫu nhiên chia entropy cho giá trị lớn nhất có thể của nó, tức log₂ của số ký hiệu khác nhau, giá trị chỉ đạt được khi mọi ký hiệu xuất hiện thường xuyên như nhau. Chữ cái ngẫu nhiên đạt gần 100%; văn bản tiếng Anh thông thường, với nhiều chữ E và ít chữ Z, thường đạt 80 đến 90% khi đếm từng chữ cái.

Vì sao với văn bản ngắn, các ngữ cảnh dài trông dễ đoán đến vậy?

Trong một văn bản ngắn, phần lớn các tổ hợp vài ký hiệu chỉ xuất hiện một lần, nên bất cứ thứ gì theo sau chúng đều trông như chắc chắn. Khi đó ước lượng thấp hơn thực tế rất nhiều. Biểu đồ vẽ phần đường cong đó bằng nét đứt; hãy dán một văn bản dài hơn, hàng nghìn ký tự, để có bức tranh xác thực.

Đây có phải là entropy mật khẩu không?

Có liên quan nhưng không giống nhau. Độ mạnh mật khẩu đếm số khả năng mà một trình tạo có thể sinh ra, độ dài × log₂ của kích thước bảng chữ cái, tức không gian mà kẻ tấn công phải dò. Máy tính này đo thống kê của một văn bản cụ thể. Một mật khẩu như aaaaaa có entropy thấp ở đây, và đằng nào nó cũng yếu.

Văn bản của tôi có được gửi đi đâu không?

Không. Mọi thứ, kể cả phép so sánh với ZIP, đều được tính trong trình duyệt của bạn, và văn bản của bạn nằm trong bộ nhớ cục bộ của trình duyệt này.

Sẵn sàng thử chưa?

Mở PictorX trong trình duyệt — không cần cài đặt, không cần thẻ tín dụng để bắt đầu.

Tới trình chỉnh sửa