Entropía condicional

De Wikipedia, la enciclopedia libre
Saltar a: navegación, búsqueda

La entropía condicional es una extensión del concepto de entropía de la información a procesos donde intervienen varias variables aleatorias no necesariamente independientes.

Definición[editar]

Supóngase que \scriptstyle X es una variable aleatoria sobre un espacio de probabilidad \scriptstyle \Omega\, y \scriptstyle A \subset \Omega sea un evento. Si \scriptstyle X toma valores sobre un conjunto finito \scriptstyle \{a_i| 1\le i \le m \}, se define de manera natural la entropía condicional de \scriptstyle X dado \scriptstyle A como:

H(X|A) = \sum_{k=1}^m P(X=a_k|A) \ln P(X=a_k|A)

De la misma manera si \scriptstyle Y es otra variable aleatoria que toma valores \scriptstyle b_k se define la entropía condicional \scriptstyle H(X|Y) como:

H(X|Y) = \sum_j H(X|Y=b_j)P(Y=b_j)

Puede interpretarse la anterior magnitud como la incertidumbre de \scriptstyle X dado un valor particular de \scriptstyle Y, promediado por todos los valores posibles de \scriptstyle Y.

Propiedades[editar]

  • Trivialmente se tiene que \scriptstyle H(X|X) = 0
  • \scriptstyle H(X|Y) = H(X) si \scriptstyle X e \scriptstyle Y son variables independientes.
  • Dadas dos variables que toman un conjunto finito de valores: \scriptstyle H(X,Y) = H(Y) + H(X|Y) = H(X) + H(Y|X)
  • Como consecuencia de lo anterior y de que \scriptstyle H(X,Y) \le H(Y) + H(X), se tiene: \scriptstyle H(X|Y) \le H(X).

Referencia[editar]

Bibliografía[editar]

  • Dominic Welsh (1988): Codes and Cryptography, Clarendon Press, Oxford, ISBN 0-19-853287-3