Entropie (Inligtingsteorie)

In Inligtingsteorie, is die entropie van 'n ewekansige veranderlike die gemiddelde vlak van "inligting", "verrassing" of "onsekerheid" ingebore aan die veranderlike se moontlike uitkomste. Gegewe 'n diskrete ewekansige veranderlike $X$, met moontlike uitkomste $x_{1},...,x_{n}$, wat met waarskynlikheid $\mathrm {P} (x_{1}),...,\mathrm {P} (x_{n}),$ plaasvind, die entropie van $X$ word formeel gedefinieer as:

$\mathrm {H} (X)=-\sum _{i=1}^{n}{\mathrm {P} (x_{i})\log \mathrm {P} (x_{i})}$

waar $\Sigma$ dui die som bo die veranderlike se moontlike waardes aan. Die keuse van basis vir $\log$, die logaritme, verskil vir verskillende toepassings. Basis 2 gee die eenheid van bis (of "shannons"), terwyl basis e gee "natuurlike eenhede" nat, en basis 10 gee eenhede van "dits", "bans", of "hartleys". 'n Ekwivalente definisie van entropie is die verwagte waarde van die selfinligting van 'n veranderlike.

Twee bisse entropie: In die geval van twee billike muntgooie, die inligtingsentropie in bisse is die basis-2-logaritme van die aantal moontlike uitkomste; met twee munte is daar vier moontlike uitkomste, en twee bisse van entropie.In die algemeen is inligtingsentropie die gemiddelde hoeveelheid inligting wat deur 'n gebeurtenis oorgedra word, wanneer alle moontlike uitkomste in ag geneem word.

Die konsep van inligtingsentropie is deur Claude Shannon bekendgestel in sy 1948-artikel "A Mathematical Theory of Communication", en word ook na verwys as Shannon-entropie.

Sien ook

• Entropie (termodinamika)