Gesamentlike entropie

In Inligtingsteorie, is Gesamentlike entropie 'n maatstaf van die onsekerheid wat verband hou met 'n stel van ewekansige veranderlike.

'n Misleidende Venn diagram wat optel- en aftrekkingsverwantskappe toon tussen verskeie inligtingsmaatstawwe wat met gekorreleerde veranderlikes X en Y geassosieer word. Die area wat deur beide sirkels vervat is, is die gesamentlike entropie H(X,Y). Die sirkel aan die linkerkant (rooi en violet) is die individuele entropie H(X), waar die rooi die voorwaardelike entropie H(X|Y) is. Die sirkel aan die regterkant (blou en violet) is H(Y), waar blou H(Y|X) is. Die violet is die wedersydse inligting I(X;Y).

Definisie

Die gesamentlike Shannon entropie (in bisse) van twee diskrete ewekansige veranderlike $X$ en $Y$ met beelde ${\mathcal {X}}$ en ${\mathcal {Y}}$ word gedefinieer as

$\mathrm {H} (X,Y)=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}P(x,y)\log _{2}[P(x,y)]$

waar $x$ en $y$ is besondere waardes van $X$ en $Y$, onderskeidelik, $P(x,y)$ is die gesamentlike waarskynlikheid van hierdie waardes wat saam voorkom, en $P(x,y)\log _{2}[P(x,y)]$ word gedefinieer as 0 as $P(x,y)=0$.

Vir meer as twee ewekansige veranderlikes $X_{1},...,X_{n}$ brei die uit na

$\mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}\in {\mathcal {X}}_{1}}...\sum _{x_{n}\in {\mathcal {X}}_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]$ 

waar $x_{1},...,x_{n}$ is besondere waardes van $X_{1},...,X_{n}$, onderskeidelik, $P(x_{1},...,x_{n})$ is die waarskynlikheid dat hierdie waardes saam voorkom, en $P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]$ word gedefinieer as 0 as $P(x_{1},...,x_{n})=0$.