Usuario:Scigfry/Taller

Informazioaren teorian baldintzazko entropia, baita ere nahastea deituta, kuantifikatzen du zenbatekoa den $Y$ aldagai aleatorioa, $X$ aldagai aleatorioaren balioaren menpean dagoena, behar izan den informazio kopurua.

Definizioa

$\mathrm {H} (Y|X=x)$ baldin bada $Y$ ausazko aldagairen entropia, $X$ ausazko aldagairen menpean izanik eta hau $x$ valioa edukiz, eta $Y$ Probabilitate-funtzio edukiz, $p_{Y}{(y)}$, bere baldintzazko entropia honela kalkulatuko da $\mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]$. Hona emen formula:

$\mathrm {H} (Y)=\sum _{i=1}^{n}{\mathrm {Pr} (Y=y_{i})\,\mathrm {I} (y_{i})}=-\sum _{i=1}^{n}{p_{Y}(y_{i})\log _{2}{p_{Y}(y_{i})}},$ $\operatorname {I} (y_{i})$ $Y$ren informazio-edukia izanik $y_{i}$ balioa hartuz.

$Y$ren baldintza entropikoa $X$k $x$ balioa hartuz konditzionatuta egotea analogikoki definitituta dago baldintzazko esperantzaren bitartez:

$\mathrm {H} (Y|X=x)=\mathbb {E} [\operatorname {I} (Y)|X=x]=-\sum _{i=1}^{n}{\Pr(Y=y_{i}|X=x)\log _{2}{\Pr(Y=y_{i}|X=x)}}.$

$\mathrm {H} (Y|X)$ da $\mathrm {H} (Y|X=x)$ batazbestekoa $X$ren $x$ positibo guztiak hartuz.

$X$ eta $Y$ zorizko aldagaiak emanez, bere imajinak ${\mathcal {X}}$ eta ${\mathcal {Y}}$ izanik, $Y$ren baldintzazko entropia $X$ emanez $\mathrm {H} (Y|X=x)$ren gehiketa izango da, $x$ren balio positibo guztietan, $p(x)$ pisua bezala hartuz.

${\begin{aligned}\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\\end{aligned}}$

Oharra: Ulertzen da expresioa $0log(0)$ eta $0log(c/0)$ finkorako $c>0$ erabili behar direla 0 bezala.

Ezaugarriak

Baldintzazko entropia zero bada

$\mathrm {H} (Y|X)=0$ izango da baldin eta $Y$koa $X$rekiko guztiz baldintzatuta baldin badago.

Baldintzazko entropia ausazko aldaigaia independentea bada

$\mathrm {H} (Y|X)=\mathrm {H} (Y)$ izango da $Y$koa eta $X$ aldagai independenteak baldin badira.

Kate erregela

${\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}$

Bayes-en legea

Bayesen legeak baldintzazko entropiari buruz dio

$\mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).$

Frogapena: $H(Y|X)=H(X,Y)-H(X)$ eta $H(X|Y)=H(Y,X)-H(Y)$ ekuazioak ditugu, eta $H(X,Y)=H(Y,X)$ simetrikoak dira.
Hortaz, $H(Y,X)=H(X|Y)+H(Y)$ daukagunez, $H(Y|X)=(H(X|Y)+H(Y))-H(X)$ lortzen degu, eta hau ordenatuz $\mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).$ Bayesen legea lortzen da.

$Y$koa $Z$rekiko independentea baldin bada, eta $X$ edukiz

$\mathrm {H} (Y|X,Z)\,=\,\mathrm {H} (Y|X).$

Beste ezaugarriak

Edozein $X$ eta $Y$rako:

$${\begin{aligned}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}$$

Non $\operatorname {I} (X;Y)$ den $X$ eta $Y$ren elkarrekiko informazioa

$X$ eta $Y$ elkarrekiko independenteak direnean:

$\mathrm {H} (Y|X)=\mathrm {H} (Y)$ and $\mathrm {H} (X|Y)=\mathrm {H} (X)\,$

Naiz eta baldintza-espezifiko entropia $Eta(X|Y=y)$ $Eta(X)$ baino handiago ala txikiago izan daitekeen $Y$ko $y$ ausako algaia, $Eta(X|Y)$ ezin du inoiz $Eta(X)$ baino probabilitate gehio eduki