Entropía condicional

La entropía condicional es una extensión del concepto de entropía de la información a procesos donde intervienen varias variables aleatorias no necesariamente independientes.

Definición

Supóngase que $\scriptstyle X$ es una variable aleatoria sobre un espacio de probabilidad $\scriptstyle \Omega \,$ y $\scriptstyle A\subset \Omega$ sea un evento. Si $\scriptstyle X$ toma valores sobre un conjunto finito $\scriptstyle \{a_{i}|1\leq i\leq m\}$, se define de manera natural la entropía condicional de $\scriptstyle X$ dado $\scriptstyle A$ como:

$H(X|A)=\sum _{k=1}^{m}P(X=a_{k}|A)\ln P(X=a_{k}|A)$

De la misma manera si $\scriptstyle Y$ es otra variable aleatoria que toma valores $\scriptstyle b_{k}$ se define la entropía condicional $\scriptstyle H(X|Y)$ como:

$H(X|Y)=\sum _{j}H(X|Y=b_{j})P(Y=b_{j})$

Puede interpretarse la anterior magnitud como la incertidumbre de $\scriptstyle X$ dado un valor particular de $\scriptstyle Y$, promediado por todos los valores posibles de $\scriptstyle Y$.

Propiedades

• Trivialmente se tiene que $\scriptstyle H(X|X)=0$
• $\scriptstyle H(X|Y)=H(X)$ si $\scriptstyle X$ e $\scriptstyle Y$ son variables independientes.
• Dadas dos variables que toman un conjunto finito de valores: $\scriptstyle H(X,Y)=H(Y)+H(X|Y)=H(X)+H(Y|X)$
• Como consecuencia de lo anterior y de que $\scriptstyle H(X,Y)\leq H(Y)+H(X)$, se tiene: $\scriptstyle H(X|Y)\leq H(X)$.

Referencias

Bibliografía

• Dominic Welsh (1988): Codes and Cryptography, Clarendon Press, Oxford, ISBN 0-19-853287-3

• Datos: Q813908