Entropía de Shannon

De Wikipedia, la enciclopedia libre
Se ha sugerido que este artículo o sección sea fusionado con Entropía (información) (ver la discusión al respecto).
Una vez que hayas realizado la fusión de artículos, pide la fusión de historiales en WP:TAB/F.

La entropía definida por Shannon, referida a la teoría de la información, hace referencia a la cantidad media de información que contiene una variable aleatoria o, en particular, una fuente transmisión binaria.

La información que aporta un determinado valor, x_i \,\!, de una variable aleatoria discreta X \,\! se define como:

I(x_i) = log_2( 1 / p(x_i) ) \,\!

cuya unidad es el bit se utiliza el logaritmo en base 2 (por ejemplo, cuando se emplea el logaritmo neperiamo se habla de nats).

La entropía o información media de la variable aleatoria discreta, X \,\!, se determina como la información media del conjunto de valores discretos que puede adoptar (también medida en bits):

H(x) = \Sigma_i p(x_i)\times log_2( 1/p(x_i)) \,\!

Además de su definición y estudio, Shannon demostró analíticamente que la entropía es el límite máximo al que se puede comprimir una fuente sin ninguna pérdida de información.


[editar] Enlaces de Interés

Significado y origen de la fórmula de Shannon en serie de artículos sobre televisión digital Excelente

Obtenido de "http://es.wikipedia.org/wiki/Entrop%C3%ADa_de_Shannon"
Herramientas personales
Crear un libro