Entropía condicional

De Wikipedia, la enciclopedia libre
Saltar a: navegación, búsqueda

La entropía condicional es una extensión del concepto de entropía de la información a procesos donde intervienen varias variables aleatorias no necesariamente independientes.

Definición[editar]

Supóngase que es una variable aleatoria sobre un espacio de probabilidad y sea un evento. Si toma valores sobre un conjunto finito , se define de manera natural la entropía condicional de dado como:

De la misma manera si es otra variable aleatoria que toma valores se define la entropía condicional como:

Puede interpretarse la anterior magnitud como la incertidumbre de dado un valor particular de , promediado por todos los valores posibles de .

Propiedades[editar]

  • Trivialmente se tiene que
  • si e son variables independientes.
  • Dadas dos variables que toman un conjunto finito de valores:
  • Como consecuencia de lo anterior y de que , se tiene: .

Referencia[editar]

Bibliografía[editar]

  • Dominic Welsh (1988): Codes and Cryptography, Clarendon Press, Oxford, ISBN 0-19-853287-3