Teoría de la información

Teoría de la información es una rama de la teoría matemática de la probabilidad y la estadística que estudia la información y todo lo relacionado con ella: canales, compresión de datos, criptografía y temas relacionados.

Fue iniciada por Claude E. Shannon a través de un artículo publicado en el Bell System Technical Journal en 1948, titulado Una teoría matemática de la comunicación (texto completo en inglés).

Introducción

Cuando en un texto escrito en español y parcialmente oculto encontramos que cierta palabra empieza por una letra digamos C tenemos cierta información sobre ante qué posible palabra estamos. Si la primera letra es en vez de la C una X tenemos una mejor pista para adivinar de qué palabra se trata. La teoría de la información investiga la probabilidad de sucesos inciertos (como la palabra que debe adivinarse en el caso anterior) y trata de cuantificar numéricamente cuanta información aporta cada pista o hecho conocido que ayuda a reducir la incertidumbre. Por eso la información encerrada en un cierto "pedazo de conocimiento" es una función de las probabilidades de cada suceso posible en un evento incierto:

(1)$I=I(p_{1},\dots ,p_{n}|{\mbox{conocimiento}})$

Donde las p_i son las probabilidades de ocurrencia de cada uno de los sucesos posibles compatibles con el conocimiento cierto que tenemos. La teoría de la información no puede decirnos si cierto conocimiento es verdadero o falso, sólo cuantificar numéricamente cuanto es ese conocimiento en relación a la incertidumbre existente bajo la suposición de que el conocimiento que tenemos es verdadero. Una propiedad interesante con la función de (1) es la aditividad. Bajo un conjunto de condiciones matemáticas razonables relacionadas con la probabilidad de eventos sencillos y compuestos, se puede demostrar que la cantidad de información es igual a la reducción de la incertidumbre que aporta nuestro conocimiento actual sobre las posibilidades futuras:

(2)$I(p_{1},\dots ,p_{n}|{\mbox{conocimiento}})=-k\sum _{i=1}^{n}p_{i}\ln p_{i}\geq 0$

Donde k es una constante que depende del sistema de unidades en que escojamos medir la información:

• En informática típicamente $k=1/\ln 2$ y la cantidad de información se mide en bits.
• En termodinámica, donde existe una relación estrecha, entre la entropía física y la información se toma k igual a la constante de Boltzmann y la información se mide ahí en julio/K.

Entropía e información

La información es tratada como magnitud física y para caracterizar la información de una secuencia de símbolos se utiliza la Entropía. Se parte de la idea de que los canales no son ideales, aunque muchas veces se idealicen las no linealidades, para estudiar diversos métodos para enviar información o la cantidad de información útil que se puede enviar a través de un canal.

La información necesaria para especificar un sistema físico tiene que ver con su entropía. En concreto en ciertas áreas de la física extraer información del estado actual de un sistema requiere reducir su entropía, de tal manera que la entropía del sistema y la cantidad de información extraible están relacionadas por:

$S\geq S-I\geq 0$

Otros tópicos de la teoría

• Fuentes de información
  • Teorema de muestreo de Nyquist-Shannon
  • Entropía
  • Neguentropía
  • Información mutua

• Canales
  • Capacidad

• Compresión de datos
  • Códigos fuente
  • Códigos no-singulares
  • Códigos unívocamente decodificables
    • Extensión de código
  • Códigos prefijo (o códigos instantáneos)

• Control de errores
  • FEC
  • ARQ
    • Parada y espera
    • Rechazo múltiple
    • Rechazo selectivo
  • Técnicas híbridas
    • Concatenación de códigos
    • Tipo 1
    • Tipo 2

• Detección de errores
  • Bits de redundancia
    • Métodos de control de errores
      • Paridad
        • Códigos autochequeo y autocorrectores
          • Códigos de bloque
            • Distancia Hamming
          • Paridad horizontal y vertical
      • Códigos lineales
        • Códigos cíclicos
          • CRC16
          • CRC32

Véase también

• Información