Información mutua

De Wikipedia, la enciclopedia libre
Saltar a: navegación, búsqueda

En teoría de la probabilidad, y en teoría de la información, la información mutua o transinformación de dos variables aleatorias es una cantidad que mide la dependencia mutua de las dos variables, es decir, mide la reducción de la incertidumbre (entropía) de una variable aleatoria, X, debido al conocimiento del valor de otra variable aleatoria Y.[1]

Definición[editar]

Consideremos dos variables aleatorias X e Y con posibles valores xi, i=1,2,...,n, yj, j=1,2,...,m respectivamente. Podemos usar la notación P(X=x_i|Y=y_i)=P(x_i|y_j) y P(X=x_i)=P(x_i)

Podemos definir la información mutua I(x_i;y_j) entre x_i y y_j como:[2]

I(x_i;y_j)= \log { \frac {P(x_i|y_j)} {P(x_i)} }

La unidad del concepto está determinado por la base del logaritmo usado. Se suelen usar logaritmos base dos, por tanto, la unidad de medida más común es el bit.

De la propia definición podemos concluir que I(x_i;y_j)=I(y_j;x_i) ya que:

\frac {P(x_i|y_j)} {P(x_i)}= \frac {P(x_i|y_j) P(y_j)} {P(x_i) P(y_j)}= \frac {P(x_i,y_j)}{P(x_i)P(y_j)}=\frac {P(y_j|x_i)} {P(y_j)}

Información mutua media[editar]

La información mutua media mide la información mutua media que se produce entre los distintos valores de dos variables aleatorias. Para ello proporcionamos un peso a los valores de I(x_i;y_j) en base a la probabilidad de ocurrencia. Por tanto, la información mutua media de dos variables aleatorias discretas X e Y puede definirse como:[3]

I(X;Y) = \sum^{n}_{i=1} \sum^{m}_{j=1} 
                 P(x_i,y_j) I(x_i;y_j)=\sum^{n}_{i=1} \sum^{m}_{j=1} 
                 P(x_i,y_j) \log { \frac {P(x_i|y_j)} {P(x_i)} }=\sum^{n}_{i=1} \sum^{m}_{j=1} 
                 P(x_i,y_j) \log {\frac {P(x_i,y_j)}{P(x_i)P(y_j)}}

En el caso continuo, reemplazamos la suma con una integral doble definida:

 I(X;Y) = \int_Y \int_X 
                 p(x,y) \log{ \left( \frac{p(x,y)}{p(x)\,p(y)}
                              \right) } \; dx \,dy,

Como en el caso de I(x_i;y_j), la unidad del concepto está determinado por la base del logaritmo usado Se suele usar el logaritmo con base dos y por tanto la unidad más común es el bit.

Concepto intuitivo[editar]

Intuitivamente, la información mutua media mide la información que X e Y comparten: mide en cuánto el conocimiento de una variable reduce nuestra incertidumbre sobre la otra. Por ejemplo, si X e Y son independientes, entonces conocer X no da información sobre Y y viceversa, por lo que su información mutua es cero. En el otro extremo, si X e Y son idénticas entonces toda información proporcionada por X es compartida por Y: saber X determina el valor de Y y viceversa. Por ello, la información mutua media es igual a la información contenida en Y (o X) por sí sola, también llamada la entropía de Y (o X: claramente si X e Y son idénticas tienen idéntica entropía).

La información mutua media cuantifica la dependencia entre la distribución conjunta de X e Y y la que tendrían si X e Y fuesen independientes. La información mutua media es una medida de dependencia en el siguiente sentido: I(X; Y) = 0 si y sólo si X e Y son variables aleatorias independientes. Esto es fácil de ver en una dirección: si X e Y son independientes, entonces p(x,y) = p(x) p(y), y por tanto:

 \log{ \left( \frac{p(x,y)}{p(x)\,p(y)} \right) } = \log 1 = 0. \,\!

Propiedades[editar]

La información mutua media cumple las siguientes propiedades:[4] [5]

  1. min(H(X),H(Y)) ≥ I(X;Y) ≥ 0 cumpliéndose la igualdad a 0 cuando X e Y son independientes.
  2. I(X;Y) = I(Y;X).

Relación con entropía[editar]

Relación entre entropías e información mutua media[6]

El valor de la información mutua media se puede obtener a partir del concepto de entropía. usando las definiciones matemáticas de las [entropía (información)|entropías]] H(X), H(X,Y) y H(X|Y)

H(X)=- \sum_{i}p(x_i) \log_2 p(x_i)

H(X,Y)=- \sum_{x,y} p(x,y) \log_2 p(x,y)

H(X|Y)=- \sum_{y} p(y) \sum_{x} p(x|y) \log_2 p(x|y)

obtenemos

I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)

De lo anterior y de la propiedad de las entropías

H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)

obtenemos

I(X;Y)=H(X)+H(Y)-H(X,Y)

Por tanto,

I(X;X)=H(X)+H(X)-H(X,X)=H(X)

lo que indica que la entropía es un tipo especial de información mutua media

Referencias[editar]

  1. Dan C. Marinescu, Gabriela M. Marinescu, "Classical and Quantum Information",Academic Press 2012
  2. Ranajan M. Bose,"Information Theory, Coding And Cryptography". Tata McGraw Hill 2008
  3. Ranajan M. Bose,"Information Theory, Coding And Cryptography". Tata McGraw Hill 2008
  4. Ranajan M. Bose,"Information Theory, Coding And Cryptography". Tata McGraw Hill 2008
  5. R.M.Gray,"Entropy and Information Theory", Springer 2011.Second Edition
  6. Ranajan M. Bose,"Information Theory, Coding And Cryptography". Tata McGraw Hill 2008