Entropija (teorija informacija)

U teoriji informacije, entropija je mera neodređenosti pridružena slučajnoj promjenljivoj. U ovom kontekstu, obično se misli na Shannonovu entropiju, koja kvantifikuje očekivanu vrijednost informacije sadržane u poruci, obično u jedinicama kao što su biti. Ekvivalentno, Shannonova entropija je mjera prosječnog informacionog sadržaja koji se propušta kada se ne zna vrijednost slučajne promjenljive. Koncept je uveo Claude Shannon u svom čuvenom radu iz 1948. godine „Matematička teorija komunikacija“.

Shannonova entropija predstavlja apsolutnu granicu najbolje moguće kompresije bez gubitaka bilo kakve komunikacije, pod izvjesnim ograničenjima: ako tretiramo poruke da su kodirane kao niz nezavisnih slučajnih promjenljivih sa istom raspodjelom, prva Shannonova teorema pokazuje da, u graničnom slučaju, srednja dužina najkraće moguće reprezentacije za kodiranje poruka u datom alfabetu je njihova entropija podijeljena sa logaritmom broja simbola u ciljnom alfabetu.

Jedno bacanje fer novčića nosi entropiju od jednog bita. Dva bacanja - dva bita. Brzina entropije za novčić je jedan bit po bacanju. Međutim, ako novčić nije fer, tada je neodređenost manja (ako bismo morali da se kladimo na ishod narednog pokušaja, vjerovatno ćemo se kladiti na češći rezultat), pa je i Shannonova entropija manja. Matematički, jedno bacanje novčića (fer ili ne) predstavlja Bernoulijev eksperiment, a njegova entropija data je binarnom entropijskom funkcijom. Niz bacanja novčića sa dvije glave imaće nultu entropiju, jer su ishodi potpuno predvidljivi. Brzina entropije teksta na engleskom je od 1 do 1,5 bita po slovu, odnosno od 0,6 do 1,3 bita po slovu, prema procjenama baziranim na eksperimentima.

Također pogledajte

• Kompresija podataka

Vanjski linkovi

• Uvod u entropiju i informaciju na Principia Cybernetica Web
• Entropy interdisciplinarni časopis o svim aspektima koncepta entropije. Slobodan pristup.
• Information is not entropy, information is not uncertainty ! – diskusija o korištenju izraza "informacija" i "entropija".
• I'm Confused: How Could Information Equal Entropy? – a similar discussion on the bionet.info-theory FAQ.
• Description of information entropy from "Tools for Thought" by Howard Rheingold
• A java applet representing Shannon's Experiment to Calculate the Entropy of English
• Slides on information gain and entropy
• An Intuitive Guide to the Concept of Entropy Arising in Various Sectors of Science – a wikibook on the interpretation of the concept of entropy.
• Calculator for Shannon entropy estimation and interpretation
• Network Event Detection With Entropy Measures, Dr. Raimund Eimann, University of Auckland, PDF; 5993 kB – a PhD thesis demonstrating how entropy measures may be used in network anomaly detection.