Segundo teorema de Shannon

En teoría de la información, el segundo teorema de Shannon denominado también de «teorema de codificación de canal», o simplemente teorema de Shannon, es un teorema, matemático enunciado por Claude Shannon , que muestra que es posible transmitir datos discretos (información digital) casi sin errores sobre un mismo canal ruidoso, a un régimen máximo computable. Se le conoce simplemente como «teorema de Shannon» (a pesar de que es el segundo) puesto que este teorema conjuntamente con la obra de Claude Shannon sobre la teoría de la información, tuvieron una importancia fundamental en la teoría de la información, ofreciendo anchas aplicaciones en los dominios de las telecomunicaciones y del almacenamiento de información.​

El límite de Shannon o la capacidad de Shannon de un canal de comunicaciones es la velocidad teórica máxima de transferencia de información del canal, para un nivel de ruido determinado, que es el máximo fijado en la cantidad de símbolos por segundo que pueden ser transferidos a través de esta conexión con ruido. Este enunciado publicado por Claude Shannon el 1948 se basó sobre trabajos anteriores de Harry Nyquist y Ralph Hartley. La primera prueba rigurosa fue establecida por Amiel Feinstein el 1954.​

Enunciado

Una de las principales ventajas de la tecnología digital es que permite el intercambio de datos sin pérdida de información. Aun así, estos datos transitan la mayoría del tiempo sobre canales no fiables, sufriendo varias interferencias y por lo tanto se mezclan con el ruido. Entonces, ¿cómo se pueden eliminar los errores de transmisión? La solución consiste en introducir cierta redundancia en los mensajes emitidos por la fuente con el fin de que el receptor pueda corregir los errores, de tal forma que el mensaje sea compuesto por $n+k$ símbolos, en donde $n$ es la cantidad de símbolos que aportan información sobre el mensaje original (aquel que el emisor transmitió), y $k$ es la cantidad de símbolos de redundancia, mismos que le servirán al receptor para corregir los errores que el canal ruidoso haya introducido en el mensaje, cabe recordar que estos $k$ símbolos de redundancia también están sujetos a deformaciones debido al ruido del canal. A este tipo de código se le llama código corrector.

El Segundo Teorema de Shannon demuestra la existencia de un código corrector cuyo $k$ cumple lo dicho anteriormente, con una probabilidad de interpretar un mensaje de forma errada muy pequeña, y con una velocidad de transmisión que se aproxima a la capacidad del canal.

El tiempo necesario para enviar un símbolo por la línea r, el símbolos llamado. Dentro de la símbolos la señal sigue siendo el mismo.

$N_{bits}=\log _{2}(N_{symbols})$

Con dos símbolos definidos (Nsymbols = 2), por lo tanto, _Nsymbols transportados, en 8-PSK tres bits y en QAM-64, seis bits.

La unidad para medir el número de símbolos por segundo es el baudio.

Formulación matemática

Teorema (Shannon, 1948):

1. Para cualquier canal discreto sin memoria, la capacidad de canal.​

$\ C=\sup _{p_{X}}I(X;Y)\,$.​​

Tiene la siguiente propiedad. Para cualquier ε> 0 y R <C, para N bastante grande, existe un código de longitud N y una tasa ≥ R y un algoritmo de descodificación, de forma que la probabilidad máxima de error de bloque es ≤ ε.

2. Si la probabilidad de error de bits pb es aceptable, las tasas de transmisión hasta R (pb) son alcanzables, donde

$R(p_{b})={\frac {C}{1-H_{2}(p_{b})}}.$

y $H_{2}(p_{b})$ es la función entropía binaria

$H_{2}(p_{b})=-\left[p_{b}\log _{2}{p_{b}}+(1-p_{b})\log _{2}({1-p_{b}})\right]$

3. Para cualquier pb, las tasas de transmisión más grandes que R (pb) no son alcanzables.

(MacKay (2003), p. 162; de Gallager (1968), ch.5; Cover and Thomas (1991), p. 198; Shannon (1948) thm. 11)

Véase también

• Paradoja de Freedman
• Desigualdad de Jensen
• Teorema de codificación de fuentes de Shannon
• Teorema de Shannon-Hartley

Bibliografía

• Cover T. M., Thomas J. A., Elementos of Information Theory, John Wiley & Sonidos, 1991. ISBN 0-471-06259-6
• Fano, R. A., Transmission of information; a statistical theory of communications, MIT Press, 1961. ISBN 0-262-06001-9
• Feinstein, Amiel, "A New basic theorem of information theory", IEEE Transactions donde Information Theory, 4(4): 2-22, 1954.
• MacKay, David J. C., Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2003. ISBN 0-521-64298-1 [free on-line]
• Shannon, C. E., A Mathematical Theory of Communication Archivado el 31 de enero de 1998 en Wayback Machine. Urbana, IL: University of Illinois Press, 1949 (reprinted 1998).
• Wolfowitz, J., "The coding of messages subject tono chance errores", Illinois J. Math., 1: 591–606, 1957.

Enlaces externos

• CE Shannon, "A Mathematical Theory of Communication", Bello System Technical Journal, vol. 27, pp. 379-423, julio de 1948.
• Donde Shannon and Shannon's law. Archivado el 15 de marzo de 2016 en Wayback Machine.
• Shannon's Noisy Channel Coding Theorem.

• Datos: Q2345282