Capacidad decanal
Canal:definiciones ytipos
Codificacin
Segundoteorema deShannon, CCT
Capacidad de canalCTI: Leccin 4, Segundo teorema de Shannon (CCT)
(cf. Cap. 5 de Informaci i codis, J. M. Brunat y E. Ventura,Edicions UPC, 2001)
Ramiro Moreno Chiral
12 de marzo de 2007
Capacidad decanal
Canal:definiciones ytipos
Codificacin
Segundoteorema deShannon, CCT
ndice
1 Canal: definiciones y tipos
2 Codificacin
3 Segundo teorema de Shannon, CCT
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
ndice
1 Canal: definiciones y tiposQu es un canal?Capacidad de canalTipos de canal
2 Codificacin
3 Segundo teorema de Shannon, CCT
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Definicin de canal
Un canal es una terna K = (X ,Y ,T ), dondeX es una v.a. (fuente) que toma valores sobre unalfabeto de entrada, X = {a1, . . . ,am};Y es otra v.a. (receptor) con valores en un alfabeto desalida, Y = {b1, . . . ,bn};Y T es la matriz de transicin, de dimensionesm n, estocstica por filas, definida
T = P(Y = bj |X = ai) = (pij),con 1 i m, 1 j n.
RCanalF
P(X) P(Y)T=P(Y|X)
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Definicin de canal
Un canal es una terna K = (X ,Y ,T ), donde
X es una v.a. (fuente) que toma valores sobre unalfabeto de entrada, X = {a1, . . . ,am};Y es otra v.a. (receptor) con valores en un alfabeto desalida, Y = {b1, . . . ,bn};Y T es la matriz de transicin, de dimensionesm n, estocstica por filas, definida
T = P(Y = bj |X = ai) = (pij),con 1 i m, 1 j n.
RCanalF
P(X) P(Y)T=P(Y|X)
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Definicin de canal
Un canal es una terna K = (X ,Y ,T ), dondeX es una v.a. (fuente) que toma valores sobre unalfabeto de entrada, X = {a1, . . . ,am};
Y es otra v.a. (receptor) con valores en un alfabeto desalida, Y = {b1, . . . ,bn};Y T es la matriz de transicin, de dimensionesm n, estocstica por filas, definida
T = P(Y = bj |X = ai) = (pij),con 1 i m, 1 j n.
RCanalF
P(X) P(Y)T=P(Y|X)
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Definicin de canal
Un canal es una terna K = (X ,Y ,T ), dondeX es una v.a. (fuente) que toma valores sobre unalfabeto de entrada, X = {a1, . . . ,am};Y es otra v.a. (receptor) con valores en un alfabeto desalida, Y = {b1, . . . ,bn};
Y T es la matriz de transicin, de dimensionesm n, estocstica por filas, definida
T = P(Y = bj |X = ai) = (pij),con 1 i m, 1 j n.
RCanalF
P(X) P(Y)T=P(Y|X)
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Definicin de canal
Un canal es una terna K = (X ,Y ,T ), dondeX es una v.a. (fuente) que toma valores sobre unalfabeto de entrada, X = {a1, . . . ,am};Y es otra v.a. (receptor) con valores en un alfabeto desalida, Y = {b1, . . . ,bn};Y T es la matriz de transicin, de dimensionesm n, estocstica por filas, definida
T = P(Y = bj |X = ai) = (pij),con 1 i m, 1 j n.
RCanalF
P(X) P(Y)T=P(Y|X)
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Definicin de canal
Un canal es una terna K = (X ,Y ,T ), dondeX es una v.a. (fuente) que toma valores sobre unalfabeto de entrada, X = {a1, . . . ,am};Y es otra v.a. (receptor) con valores en un alfabeto desalida, Y = {b1, . . . ,bn};Y T es la matriz de transicin, de dimensionesm n, estocstica por filas, definida
T = P(Y = bj |X = ai) = (pij),con 1 i m, 1 j n.
RCanalF
P(X) P(Y)T=P(Y|X)
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Definicin de canal
Un canal es una terna K = (X ,Y ,T ), dondeX es una v.a. (fuente) que toma valores sobre unalfabeto de entrada, X = {a1, . . . ,am};Y es otra v.a. (receptor) con valores en un alfabeto desalida, Y = {b1, . . . ,bn};Y T es la matriz de transicin, de dimensionesm n, estocstica por filas, definida
T = P(Y = bj |X = ai) = (pij),con 1 i m, 1 j n.
RCanalF
P(X) P(Y)T=P(Y|X)
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Algunas propiedades
Lema
Si A es una matriz m n, estocstica por filas y X unadistribucin de probabilidad dada como un m-vector fila,entonces
Y = X A,es una distribucin de probabilidad dada por el n-vectorfila Y .
Podemos considerar, fijada T , la informacin mutua
I(X ;Y ) = H(X ) H(X |Y ) = H(Y ) H(Y |X ),
como una funcin en las pi = P(X = ai), 1 i m:I(X ;Y ) = f (p1,p2, ,pm)
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Algunas propiedades
Lema
Si A es una matriz m n, estocstica por filas y X unadistribucin de probabilidad dada como un m-vector fila,entonces
Y = X A,es una distribucin de probabilidad dada por el n-vectorfila Y .
Podemos considerar, fijada T , la informacin mutua
I(X ;Y ) = H(X ) H(X |Y ) = H(Y ) H(Y |X ),
como una funcin en las pi = P(X = ai), 1 i m:I(X ;Y ) = f (p1,p2, ,pm)
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Algunas propiedades
Lema
Si A es una matriz m n, estocstica por filas y X unadistribucin de probabilidad dada como un m-vector fila,entonces
Y = X A,es una distribucin de probabilidad dada por el n-vectorfila Y .
Podemos considerar, fijada T , la informacin mutua
I(X ;Y ) = H(X ) H(X |Y ) = H(Y ) H(Y |X ),
como una funcin en las pi = P(X = ai), 1 i m:I(X ;Y ) = f (p1,p2, ,pm)
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Algunas propiedades
Lema
Si A es una matriz m n, estocstica por filas y X unadistribucin de probabilidad dada como un m-vector fila,entonces
Y = X A,es una distribucin de probabilidad dada por el n-vectorfila Y .
Podemos considerar, fijada T , la informacin mutua
I(X ;Y ) = H(X ) H(X |Y ) = H(Y ) H(Y |X ),
como una funcin en las pi = P(X = ai), 1 i m:I(X ;Y ) = f (p1,p2, ,pm)
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Algunas propiedades
Lema
Si A es una matriz m n, estocstica por filas y X unadistribucin de probabilidad dada como un m-vector fila,entonces
Y = X A,es una distribucin de probabilidad dada por el n-vectorfila Y .
Podemos considerar, fijada T , la informacin mutua
I(X ;Y ) = H(X ) H(X |Y ) = H(Y ) H(Y |X ),
como una funcin en las pi = P(X = ai), 1 i m:I(X ;Y ) = f (p1,p2, ,pm)
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Definicin de capacidad de canal
Por lo tanto, tiene sentido calcular el mximo de lainformacin mutua, I(X ;Y ) = f (p1,p2, ,pm), respecto alas probabilidades de entrada pi = P(X = ai), 1 i m.
Definicin
Dado un canal K = (X ,Y ,T ), llamaremos capacidad deK al valor
C(K) = max{p1, ,pm}
I(X ;Y ).
La capacidad es fcilmente calculable en los llamadoscanales simtricos.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Definicin de capacidad de canal
Por lo tanto, tiene sentido calcular el mximo de lainformacin mutua, I(X ;Y ) = f (p1,p2, ,pm), respecto alas probabilidades de entrada pi = P(X = ai), 1 i m.
Definicin
Dado un canal K = (X ,Y ,T ), llamaremos capacidad deK al valor
C(K) = max{p1, ,pm}
I(X ;Y ).
La capacidad es fcilmente calculable en los llamadoscanales simtricos.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Definicin de capacidad de canal
Por lo tanto, tiene sentido calcular el mximo de lainformacin mutua, I(X ;Y ) = f (p1,p2, ,pm), respecto alas probabilidades de entrada pi = P(X = ai), 1 i m.
Definicin
Dado un canal K = (X ,Y ,T ), llamaremos capacidad deK al valor
C(K) = max{p1, ,pm}
I(X ;Y ).
La capacidad es fcilmente calculable en los llamadoscanales simtricos.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Definicin de capacidad de canal
Por lo tanto, tiene sentido calcular el mximo de lainformacin mutua, I(X ;Y ) = f (p1,p2, ,pm), respecto alas probabilidades de entrada pi = P(X = ai), 1 i m.
Definicin
Dado un canal K = (X ,Y ,T ), llamaremos capacidad deK al valor
C(K) = max{p1, ,pm}
I(X ;Y ).
La capacidad es fcilmente calculable en los llamadoscanales simtricos.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Canales simtricos respecto a la entrada
Definicin
Dado un canal K = (X ,Y ,T ), diremos que es simtricorespecto a la entrada, si todas las filas de T tienen losmismos valores (posiblemente en diferentes columnas).
Proposicin
Sea K = (X ,Y ,T ) un canal simtrico respecto a laentrada, entonces
1 Todas las filas de T tienen la misma entropa, H0.2 I(X ;Y ) = H(Y ) H0. Por lo tanto, C(K) logn H0.3 Se alcanza la igualdad, C(K) = logn H0, si existe
una X para la que Y es uniforme.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Canales simtricos respecto a la entrada
Definicin
Dado un canal K = (X ,Y ,T ), diremos que es simtricorespecto a la entrada, si todas las filas de T tienen losmismos valores (posiblemente en diferentes columnas).
Proposicin
Sea K = (X ,Y ,T ) un canal simtrico respecto a laentrada, entonces
1 Todas las filas de T tienen la misma entropa, H0.2 I(X ;Y ) = H(Y ) H0. Por lo tanto, C(K) logn H0.3 Se alcanza la igualdad, C(K) = logn H0, si existe
una X para la que Y es uniforme.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Canales simtricos respecto a la entrada
Definicin
Dado un canal K = (X ,Y ,T ), diremos que es simtricorespecto a la entrada, si todas las filas de T tienen losmismos valores (posiblemente en diferentes columnas).
Proposicin
Sea K = (X ,Y ,T ) un canal simtrico respecto a laentrada, entonces
1 Todas las filas de T tienen la misma entropa, H0.2 I(X ;Y ) = H(Y ) H0. Por lo tanto, C(K) logn H0.3 Se alcanza la igualdad, C(K) = logn H0, si existe
una X para la que Y es uniforme.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Canales simtricos respecto a la salida
Definicin
Dado un canal K = (X ,Y ,T ), diremos que es simtricorespecto a la salida, si todas las columnas de T tienenlos mismos valores (posiblemente en diferentes filas).
Lema
Si K = (X ,Y ,T ) es un canal simtrico respecto a la saliday X es una v.a. uniforme, entonces Y tambin lo es.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Canales simtricos respecto a la salida
Definicin
Dado un canal K = (X ,Y ,T ), diremos que es simtricorespecto a la salida, si todas las columnas de T tienenlos mismos valores (posiblemente en diferentes filas).
Lema
Si K = (X ,Y ,T ) es un canal simtrico respecto a la saliday X es una v.a. uniforme, entonces Y tambin lo es.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Canales simtricos respecto a la salida
Definicin
Dado un canal K = (X ,Y ,T ), diremos que es simtricorespecto a la salida, si todas las columnas de T tienenlos mismos valores (posiblemente en diferentes filas).
Lema
Si K = (X ,Y ,T ) es un canal simtrico respecto a la saliday X es una v.a. uniforme, entonces Y tambin lo es.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Capacidad de los canales simtricos
Definicin
Un canal K = (X ,Y ,T ) se llama simtrico si es simtricorespecto a la entrada y a la salida.
Proposicin
Con las notaciones anteriores, si K = (X ,Y ,T ) es uncanal simtrico, se tiene
C(K) = logn H0.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Capacidad de los canales simtricos
Definicin
Un canal K = (X ,Y ,T ) se llama simtrico si es simtricorespecto a la entrada y a la salida.
Proposicin
Con las notaciones anteriores, si K = (X ,Y ,T ) es uncanal simtrico, se tiene
C(K) = logn H0.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Capacidad de los canales simtricos
Definicin
Un canal K = (X ,Y ,T ) se llama simtrico si es simtricorespecto a la entrada y a la salida.
Proposicin
Con las notaciones anteriores, si K = (X ,Y ,T ) es uncanal simtrico, se tiene
C(K) = logn H0.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Capacidad de los canales BSC
Corolario
Como los BSC son simtricos se tiene
C(KBSC) = 1 h(p).
Sea KBSC con probabilidad de error en un bit p = 02.Entonces es C(KBSC) = 1 h(02) = 028 bits.
04 06 08 1
1
08
04
04
02
p
1h(p) Capacidad del BSC
020
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Capacidad de los canales BSC
Corolario
Como los BSC son simtricos se tiene
C(KBSC) = 1 h(p).
Sea KBSC con probabilidad de error en un bit p = 02.Entonces es C(KBSC) = 1 h(02) = 028 bits.
04 06 08 1
1
08
04
04
02
p
1h(p) Capacidad del BSC
020
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Capacidad de los canales BSC
Corolario
Como los BSC son simtricos se tiene
C(KBSC) = 1 h(p).
Sea KBSC con probabilidad de error en un bit p = 02.Entonces es
C(KBSC) = 1 h(02) = 028 bits.
04 06 08 1
1
08
04
04
02
p
1h(p) Capacidad del BSC
020
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Capacidad de los canales BSC
Corolario
Como los BSC son simtricos se tiene
C(KBSC) = 1 h(p).
Sea KBSC con probabilidad de error en un bit p = 02.Entonces es C(KBSC) = 1 h(02) = 028 bits.
04 06 08 1
1
08
04
04
02
p
1h(p) Capacidad del BSC
020
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Capacidad de los canales BSC
Corolario
Como los BSC son simtricos se tiene
C(KBSC) = 1 h(p).
Sea KBSC con probabilidad de error en un bit p = 02.Entonces es C(KBSC) = 1 h(02) = 028 bits.
04 06 08 1
1
08
04
04
02
p
1h(p) Capacidad del BSC
020
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Capacidad de los canales BEC
Corolario
Los BEC son simtricos respecto a la entrada, pero norespecto a la salida. Luego, C(KBEC) log 3 H0.Como el sistema en p1 y p2
(p1,p2)(1 p q q p
p q 1 p q)
=
(13,13,13
),
tiene solucin p1 = p2 = 12 para cualquier p [0,1] ycuando q = 13 , ese valor mximo se alcanza.Si KBEC es un canal con probabilidades de error p = 01 yde borrn q = 13 , se tiene
C(KBEC) = log 3 H(1730
,13,01) = 026 bits.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Capacidad de los canales BEC
Corolario
Los BEC son simtricos respecto a la entrada, pero norespecto a la salida. Luego, C(KBEC) log 3 H0.
Como el sistema en p1 y p2
(p1,p2)(1 p q q p
p q 1 p q)
=
(13,13,13
),
tiene solucin p1 = p2 = 12 para cualquier p [0,1] ycuando q = 13 , ese valor mximo se alcanza.Si KBEC es un canal con probabilidades de error p = 01 yde borrn q = 13 , se tiene
C(KBEC) = log 3 H(1730
,13,01) = 026 bits.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Capacidad de los canales BEC
Corolario
Los BEC son simtricos respecto a la entrada, pero norespecto a la salida. Luego, C(KBEC) log 3 H0.Como el sistema en p1 y p2
(p1,p2)(1 p q q p
p q 1 p q)
=
(13,13,13
),
tiene solucin p1 = p2 = 12 para cualquier p [0,1] ycuando q = 13 , ese valor mximo se alcanza.
Si KBEC es un canal con probabilidades de error p = 01 yde borrn q = 13 , se tiene
C(KBEC) = log 3 H(1730
,13,01) = 026 bits.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Capacidad de los canales BEC
Corolario
Los BEC son simtricos respecto a la entrada, pero norespecto a la salida. Luego, C(KBEC) log 3 H0.Como el sistema en p1 y p2
(p1,p2)(1 p q q p
p q 1 p q)
=
(13,13,13
),
tiene solucin p1 = p2 = 12 para cualquier p [0,1] ycuando q = 13 , ese valor mximo se alcanza.Si KBEC es un canal con probabilidades de error p = 01 yde borrn q = 13 , se tiene
C(KBEC) = log 3 H(1730
,13,01) = 026 bits.
Capacidad decanal
Canal:definiciones ytiposQu es un canal?
Capacidad de canal
Tipos de canal
Codificacin
Segundoteorema deShannon, CCT
Capacidad de los canales BEC
Corolario
Los BEC son simtricos respecto a la entrada, pero norespecto a la salida. Luego, C(KBEC) log 3 H0.Como el sistema en p1 y p2
(p1,p2)(1 p q q p
p q 1 p q)
=
(13,13,13
),
tiene solucin p1 = p2 = 12 para cualquier p [0,1] ycuando q = 13 , ese valor mximo se alcanza.Si KBEC es un canal con probabilidades de error p = 01 yde borrn q = 13 , se tiene
C(KBEC) = log 3 H(1730
,13,01) = 026 bits.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
ndice
1 Canal: definiciones y tipos
2 CodificacinIntroduccinEjemploProbabilidades de error al decodificarOtro ejemplo
3 Segundo teorema de Shannon, CCT
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Codificacin de canal
F
P(X)T=P(Y|X)
COD zyxCanal
yP(Y)
RDECOD
zruido
MODELO GENERAL DE UN CANAL
x
x
C(x)=y f(z)=y
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Codificacin de canal
F
P(X)T=P(Y|X)
COD zyxCanal
yP(Y)
RDECOD
zruido
MODELO GENERAL DE UN CANAL
x
x
C(x)=y f(z)=y
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Codificacin de canal
F
P(X)T=P(Y|X)
COD zyxCanal
yP(Y)
RDECOD
zruido
MODELO GENERAL DE UN CANAL
x
x
C(x)=y f(z)=y
1. Modelo probabilstico, K = (X ,Y ,T ):
1.1 Una fuente F emite caracteres x A de un alfabetosegn una v.a. X .
1.2 Se recibe en R un carcter x A con probabilidadregida por la v.a. Y .
1.3 El canal introduce un ruido expresado por la matriz deprobabilidades de transicin, TY |X .
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Codificacin de canal
F
P(X)T=P(Y|X)
COD zyxCanal
yP(Y)
RDECOD
zruido
MODELO GENERAL DE UN CANAL
x
x
C(x)=y f(z)=y
1. Modelo probabilstico, K = (X ,Y ,T ):1.1 Una fuente F emite caracteres x A de un alfabeto
segn una v.a. X .
1.2 Se recibe en R un carcter x A con probabilidadregida por la v.a. Y .
1.3 El canal introduce un ruido expresado por la matriz deprobabilidades de transicin, TY |X .
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Codificacin de canal
F
P(X)T=P(Y|X)
COD zyxCanal
yP(Y)
RDECOD
zruido
MODELO GENERAL DE UN CANAL
x
x
C(x)=y f(z)=y
1. Modelo probabilstico, K = (X ,Y ,T ):1.1 Una fuente F emite caracteres x A de un alfabeto
segn una v.a. X .1.2 Se recibe en R un carcter x A con probabilidad
regida por la v.a. Y .
1.3 El canal introduce un ruido expresado por la matriz deprobabilidades de transicin, TY |X .
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Codificacin de canal
F
P(X)T=P(Y|X)
COD zyxCanal
yP(Y)
RDECOD
zruido
MODELO GENERAL DE UN CANAL
x
x
C(x)=y f(z)=y
1. Modelo probabilstico, K = (X ,Y ,T ):1.1 Una fuente F emite caracteres x A de un alfabeto
segn una v.a. X .1.2 Se recibe en R un carcter x A con probabilidad
regida por la v.a. Y .1.3 El canal introduce un ruido expresado por la matriz de
probabilidades de transicin, TY |X .
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Codificacin de canal
F
P(X)T=P(Y|X)
COD zyxCanal
yP(Y)
RDECOD
zruido
MODELO GENERAL DE UN CANAL
x
x
C(x)=y f(z)=y
2. Codificador (COD):
2.1 Es un algoritmo determinista: P(x) = P(y).2.2 Consiste en una aplicacin
C : A C Bnx 7 y ,
siendo B un alfabeto de canal y C, el cdigo.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Codificacin de canal
F
P(X)T=P(Y|X)
COD zyxCanal
yP(Y)
RDECOD
zruido
MODELO GENERAL DE UN CANAL
x
x
C(x)=y f(z)=y
2. Codificador (COD):
2.1 Es un algoritmo determinista: P(x) = P(y).
2.2 Consiste en una aplicacin
C : A C Bnx 7 y ,
siendo B un alfabeto de canal y C, el cdigo.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Codificacin de canal
F
P(X)T=P(Y|X)
COD zyxCanal
yP(Y)
RDECOD
zruido
MODELO GENERAL DE UN CANAL
x
x
C(x)=y f(z)=y
2. Codificador (COD):
2.1 Es un algoritmo determinista: P(x) = P(y).2.2 Consiste en una aplicacin
C : A C Bnx 7 y ,
siendo B un alfabeto de canal y C, el cdigo.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Codificacin de canal
F
P(X)T=P(Y|X)
COD zyxCanal
yP(Y)
RDECOD
zruido
MODELO GENERAL DE UN CANAL
x
x
C(x)=y f(z)=y
3. El canal introduce ruido que convierte la palabracdigoy C Bn en una palabra z Bn.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Codificacin de canal
F
P(X)T=P(Y|X)
COD zyxCanal
yP(Y)
RDECOD
zruido
MODELO GENERAL DE UN CANAL
x
x
C(x)=y f(z)=y
4. Decodificador (DECOD):
4.1 Es un algoritmo determinista: P(z) = P(x ).4.2 Se trata de una aplicacin f : Bn C, tal que
f (z) = y , llamada esquema de decisin o regla dedecodificacin, que minimiza la probabilidad deerror al decodificar, P(y 6= y).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Codificacin de canal
F
P(X)T=P(Y|X)
COD zyxCanal
yP(Y)
RDECOD
zruido
MODELO GENERAL DE UN CANAL
x
x
C(x)=y f(z)=y
4. Decodificador (DECOD):
4.1 Es un algoritmo determinista: P(z) = P(x ).
4.2 Se trata de una aplicacin f : Bn C, tal quef (z) = y , llamada esquema de decisin o regla dedecodificacin, que minimiza la probabilidad deerror al decodificar, P(y 6= y).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Codificacin de canal
F
P(X)T=P(Y|X)
COD zyxCanal
yP(Y)
RDECOD
zruido
MODELO GENERAL DE UN CANAL
x
x
C(x)=y f(z)=y
4. Decodificador (DECOD):
4.1 Es un algoritmo determinista: P(z) = P(x ).4.2 Se trata de una aplicacin f : Bn C, tal que
f (z) = y , llamada esquema de decisin o regla dedecodificacin, que minimiza la probabilidad deerror al decodificar, P(y 6= y).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Codificacin de canal
F
P(X)T=P(Y|X)
COD zyxCanal
yP(Y)
RDECOD
zruido
MODELO GENERAL DE UN CANAL
x
x
C(x)=y f(z)=y
5. Finalmente, el decodificador recupera, a partir de lapalabracdigo y , un carcter fuente x que R recibe.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Un cdigo de repeticin (I)
1. Modelo probabilstico. Sea un KBSC con probabilidadde error en un bit 0 < p < 12 . Y un nico alfabetofuente y canal, A = B = F2 = {0,1}.
2. Cdigo. Usamos un cdigo de repeticin 3,Rep(3) = {(000), (111)},
C : F2 Rep(3) F32x = b 7 y = (bbb).
3. Esquema de decisin. Ser la regla dedecodificacin por lgica mayoritaria,
f : F32 Rep(3)z = (b1b
2b
3) 7 y =
{(000), si 2 o 3 de los bi son ceros,(111), si 2 o 3 de los bi son unos.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Un cdigo de repeticin (I)
1. Modelo probabilstico. Sea un KBSC con probabilidadde error en un bit 0 < p < 12 . Y un nico alfabetofuente y canal, A = B = F2 = {0,1}.
2. Cdigo. Usamos un cdigo de repeticin 3,Rep(3) = {(000), (111)},
C : F2 Rep(3) F32x = b 7 y = (bbb).
3. Esquema de decisin. Ser la regla dedecodificacin por lgica mayoritaria,
f : F32 Rep(3)z = (b1b
2b
3) 7 y =
{(000), si 2 o 3 de los bi son ceros,(111), si 2 o 3 de los bi son unos.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Un cdigo de repeticin (I)
1. Modelo probabilstico. Sea un KBSC con probabilidadde error en un bit 0 < p < 12 . Y un nico alfabetofuente y canal, A = B = F2 = {0,1}.
2. Cdigo. Usamos un cdigo de repeticin 3,Rep(3) = {(000), (111)},
C : F2 Rep(3) F32x = b 7 y = (bbb).
3. Esquema de decisin. Ser la regla dedecodificacin por lgica mayoritaria,
f : F32 Rep(3)z = (b1b
2b
3) 7 y =
{(000), si 2 o 3 de los bi son ceros,(111), si 2 o 3 de los bi son unos.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Un cdigo de repeticin (I)
1. Modelo probabilstico. Sea un KBSC con probabilidadde error en un bit 0 < p < 12 . Y un nico alfabetofuente y canal, A = B = F2 = {0,1}.
2. Cdigo. Usamos un cdigo de repeticin 3,Rep(3) = {(000), (111)},
C : F2 Rep(3) F32x = b 7 y = (bbb).
3. Esquema de decisin. Ser la regla dedecodificacin por lgica mayoritaria,
f : F32 Rep(3)z = (b1b
2b
3) 7 y =
{(000), si 2 o 3 de los bi son ceros,(111), si 2 o 3 de los bi son unos.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Un cdigo de repeticin (II)
4. El decodificador dar a R el bit x = 0 o 1 segn seay = (000) o (111).
Llamemos P(Ef ) a la probabilidad de error en ladecodificacin. En nuestro caso,
P(Ef ) = P(2 o 3 errores)=
(32
)p2(1 p) + (33)p3 = 3p2 2p3.
Pero, P(Ef ) = 3p2 2p3 < p 2p2 3p + 1 > 0, locual siempre es cierto para 0 < p < 12 , ya que2p2 3p + 1 = 2(p 12)(p 1)
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Un cdigo de repeticin (II)
4. El decodificador dar a R el bit x = 0 o 1 segn seay = (000) o (111).
Llamemos P(Ef ) a la probabilidad de error en ladecodificacin. En nuestro caso,
P(Ef ) = P(2 o 3 errores)=
(32
)p2(1 p) + (33)p3 = 3p2 2p3.
Pero, P(Ef ) = 3p2 2p3 < p 2p2 3p + 1 > 0, locual siempre es cierto para 0 < p < 12 , ya que2p2 3p + 1 = 2(p 12)(p 1)
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Un cdigo de repeticin (II)
4. El decodificador dar a R el bit x = 0 o 1 segn seay = (000) o (111).
Llamemos P(Ef ) a la probabilidad de error en ladecodificacin.
En nuestro caso,
P(Ef ) = P(2 o 3 errores)=
(32
)p2(1 p) + (33)p3 = 3p2 2p3.
Pero, P(Ef ) = 3p2 2p3 < p 2p2 3p + 1 > 0, locual siempre es cierto para 0 < p < 12 , ya que2p2 3p + 1 = 2(p 12)(p 1)
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Un cdigo de repeticin (II)
4. El decodificador dar a R el bit x = 0 o 1 segn seay = (000) o (111).
Llamemos P(Ef ) a la probabilidad de error en ladecodificacin. En nuestro caso,
P(Ef ) = P(2 o 3 errores)=
(32
)p2(1 p) + (33)p3 = 3p2 2p3.
Pero, P(Ef ) = 3p2 2p3 < p 2p2 3p + 1 > 0, locual siempre es cierto para 0 < p < 12 , ya que2p2 3p + 1 = 2(p 12)(p 1)
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Un cdigo de repeticin (II)
4. El decodificador dar a R el bit x = 0 o 1 segn seay = (000) o (111).
Llamemos P(Ef ) a la probabilidad de error en ladecodificacin. En nuestro caso,
P(Ef ) = P(2 o 3 errores)=
(32
)p2(1 p) + (33)p3 = 3p2 2p3.
Pero, P(Ef ) = 3p2 2p3 < p 2p2 3p + 1 > 0,
locual siempre es cierto para 0 < p < 12 , ya que2p2 3p + 1 = 2(p 12)(p 1)
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Un cdigo de repeticin (II)
4. El decodificador dar a R el bit x = 0 o 1 segn seay = (000) o (111).
Llamemos P(Ef ) a la probabilidad de error en ladecodificacin. En nuestro caso,
P(Ef ) = P(2 o 3 errores)=
(32
)p2(1 p) + (33)p3 = 3p2 2p3.
Pero, P(Ef ) = 3p2 2p3 < p 2p2 3p + 1 > 0, locual siempre es cierto para 0 < p < 12 , ya que2p2 3p + 1 = 2(p 12)(p 1)
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Un cdigo de repeticin (II)
4. El decodificador dar a R el bit x = 0 o 1 segn seay = (000) o (111).
Llamemos P(Ef ) a la probabilidad de error en ladecodificacin. En nuestro caso,
P(Ef ) = P(2 o 3 errores)=
(32
)p2(1 p) + (33)p3 = 3p2 2p3.
Pero, P(Ef ) = 3p2 2p3 < p 2p2 3p + 1 > 0, locual siempre es cierto para 0 < p < 12 , ya que2p2 3p + 1 = 2(p 12)(p 1)
La regla de decodificacin usada ha disminuidoel error en recepcin.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Un cdigo de repeticin (II)
4. El decodificador dar a R el bit x = 0 o 1 segn seay = (000) o (111).
Llamemos P(Ef ) a la probabilidad de error en ladecodificacin. En nuestro caso,
P(Ef ) = P(2 o 3 errores)=
(32
)p2(1 p) + (33)p3 = 3p2 2p3.
Pero, P(Ef ) = 3p2 2p3 < p 2p2 3p + 1 > 0, locual siempre es cierto para 0 < p < 12 , ya que2p2 3p + 1 = 2(p 12)(p 1)
El costo: multiplicar por 3 la longitud del men-saje. . .
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Conjunto de errores
Definicin
Dada una regla de decodificacin, f : Bn C, tal quef (z) = y , siendo y la palabracdigo enviada al canal, elconjunto de errores es
Ef ={(y , z) C Bn : f (z) = y 6= y} ,
siendo C Bn un (n,M) cdigo q-ario y B el alfabeto del canal.Transmitida la palabracdigo y , la probabilidad de errores
P(Ef |y) =
z /f1(y)P(z |y).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Conjunto de errores
Definicin
Dada una regla de decodificacin, f : Bn C, tal quef (z) = y , siendo y la palabracdigo enviada al canal, elconjunto de errores es
Ef ={(y , z) C Bn : f (z) = y 6= y} ,
siendo C Bn un (n,M) cdigo q-ario y B el alfabeto del canal.
Transmitida la palabracdigo y , la probabilidad de errores
P(Ef |y) =
z /f1(y)P(z |y).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Conjunto de errores
Definicin
Dada una regla de decodificacin, f : Bn C, tal quef (z) = y , siendo y la palabracdigo enviada al canal, elconjunto de errores es
Ef ={(y , z) C Bn : f (z) = y 6= y} ,
siendo C Bn un (n,M) cdigo q-ario y B el alfabeto del canal.Transmitida la palabracdigo y , la probabilidad de errores
P(Ef |y) =
z /f1(y)P(z |y).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Probabilidad media de error
Por lo tanto, la probabilidad media de error se puedeescribir de las siguientes formas
P(Ef ) =yC
P(Ef |y)P(y)=
yC
z /f1(y)
P(z |y)P(y)=
(y ,z)Ef
P(y , z)
= 1 zBn
P(f (z), z).
Ntese que la probabilidad media de error depende de ladistribucin de la fuente, ya que P(y) = P(C(x)) = P(x) .
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Probabilidad media de error
Por lo tanto, la probabilidad media de error se puedeescribir de las siguientes formas
P(Ef ) =yC
P(Ef |y)P(y)=
yC
z /f1(y)
P(z |y)P(y)=
(y ,z)Ef
P(y , z)
= 1 zBn
P(f (z), z).
Ntese que la probabilidad media de error depende de ladistribucin de la fuente, ya que P(y) = P(C(x)) = P(x) .
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Probabilidad media de error
Por lo tanto, la probabilidad media de error se puedeescribir de las siguientes formas
P(Ef ) =yC
P(Ef |y)P(y)=
yC
z /f1(y)
P(z |y)P(y)=
(y ,z)Ef
P(y , z)
= 1 zBn
P(f (z), z).
Ntese que la probabilidad media de error depende de ladistribucin de la fuente, ya que P(y) = P(C(x)) = P(x) .
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Probabilidad media de error
Por lo tanto, la probabilidad media de error se puedeescribir de las siguientes formas
P(Ef ) =yC
P(Ef |y)P(y)=
yC
z /f1(y)
P(z |y)P(y)=
(y ,z)Ef
P(y , z)
= 1 zBn
P(f (z), z).
Ntese que la probabilidad media de error depende de ladistribucin de la fuente, ya que P(y) = P(C(x)) = P(x) .
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Mnima probabilidad media de errorDecodificacin por mnima probabilidad
Definicin
Un observador ideal es una regla de decodificacin f talque
P(f (z), z) = max{P(y , z) : y C}, z Bn.
Proposicin
Dado un canal K = (X ,Y ,T ) y un cdigo C, el mnimo dela probabilidad media de error, para todas las reglas dedecodificacin f , se obtiene en un observador ideal.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Mnima probabilidad media de errorDecodificacin por mnima probabilidad
Definicin
Un observador ideal es una regla de decodificacin f talque
P(f (z), z) = max{P(y , z) : y C}, z Bn.
Proposicin
Dado un canal K = (X ,Y ,T ) y un cdigo C, el mnimo dela probabilidad media de error, para todas las reglas dedecodificacin f , se obtiene en un observador ideal.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Mnima probabilidad media de errorDecodificacin por mnima probabilidad
Definicin
Un observador ideal es una regla de decodificacin f talque
P(f (z), z) = max{P(y , z) : y C}, z Bn.
Proposicin
Dado un canal K = (X ,Y ,T ) y un cdigo C, el mnimo dela probabilidad media de error, para todas las reglas dedecodificacin f , se obtiene en un observador ideal.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Probabilidad mxima de error
Definicin
La probabilidad mxima de error asociada a una reglade decodificacin f se define
Pmax(Ef ) = max{P(Ef |y) : y C}.
Proposicin
Fijada una regla f de decodificacin, la Pmax(Ef ) es unacota superior de la probabilidad de error P(Ef ), para todaslas distribuciones X de la fuente F .
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Probabilidad mxima de error
Definicin
La probabilidad mxima de error asociada a una reglade decodificacin f se define
Pmax(Ef ) = max{P(Ef |y) : y C}.
Proposicin
Fijada una regla f de decodificacin, la Pmax(Ef ) es unacota superior de la probabilidad de error P(Ef ), para todaslas distribuciones X de la fuente F .
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Probabilidad mxima de error
Definicin
La probabilidad mxima de error asociada a una reglade decodificacin f se define
Pmax(Ef ) = max{P(Ef |y) : y C}.
Proposicin
Fijada una regla f de decodificacin, la Pmax(Ef ) es unacota superior de la probabilidad de error P(Ef ), para todaslas distribuciones X de la fuente F .
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Decodificacin por mxima verosimilitud
Definicin
Una regla de decodificacin f es de mximaverosimilitud si
P(z |f (z)) = max{P(z |y) : y C}, z Bn.
Proposicin
Si la distribucin X de la fuente es uniforme coincidenambas reglas de decodificacin: la de mnima probabilidadde error (u observador ideal) y la de mxima verosimilitud.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Decodificacin por mxima verosimilitud
Definicin
Una regla de decodificacin f es de mximaverosimilitud si
P(z |f (z)) = max{P(z |y) : y C}, z Bn.
Proposicin
Si la distribucin X de la fuente es uniforme coincidenambas reglas de decodificacin: la de mnima probabilidadde error (u observador ideal) y la de mxima verosimilitud.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Decodificacin por mxima verosimilitud
Definicin
Una regla de decodificacin f es de mximaverosimilitud si
P(z |f (z)) = max{P(z |y) : y C}, z Bn.
Proposicin
Si la distribucin X de la fuente es uniforme coincidenambas reglas de decodificacin: la de mnima probabilidadde error (u observador ideal) y la de mxima verosimilitud.
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Otro ejemplo: Bits de paridad (I)
Consideramos una fuente F que emite bits segn una v.a.X , tal que P(X = 1) = 03.El alfabeto fuente es
A = {x0,x1,x2,x3} = {(00), (01), (10), (11)}.Y el canal es un BSC con p = 02.Codificamos aadiendo a cada x i un bit de paridad par. Esfcil ver que
C : F22 C F32x = (b1,b2) 7 y = (b1,b2,b1 + b2).
O lo mismo matricialmente
y = (b1,b2)(1 0 10 1 1
).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Otro ejemplo: Bits de paridad (I)
Consideramos una fuente F que emite bits segn una v.a.X , tal que P(X = 1) = 03.
El alfabeto fuente es
A = {x0,x1,x2,x3} = {(00), (01), (10), (11)}.Y el canal es un BSC con p = 02.Codificamos aadiendo a cada x i un bit de paridad par. Esfcil ver que
C : F22 C F32x = (b1,b2) 7 y = (b1,b2,b1 + b2).
O lo mismo matricialmente
y = (b1,b2)(1 0 10 1 1
).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Otro ejemplo: Bits de paridad (I)
Consideramos una fuente F que emite bits segn una v.a.X , tal que P(X = 1) = 03.El alfabeto fuente es
A = {x0,x1,x2,x3} = {(00), (01), (10), (11)}.Y el canal es un BSC con p = 02.
Codificamos aadiendo a cada x i un bit de paridad par. Esfcil ver que
C : F22 C F32x = (b1,b2) 7 y = (b1,b2,b1 + b2).
O lo mismo matricialmente
y = (b1,b2)(1 0 10 1 1
).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Otro ejemplo: Bits de paridad (I)
Consideramos una fuente F que emite bits segn una v.a.X , tal que P(X = 1) = 03.El alfabeto fuente es
A = {x0,x1,x2,x3} = {(00), (01), (10), (11)}.Y el canal es un BSC con p = 02.Codificamos aadiendo a cada x i un bit de paridad par. Esfcil ver que
C : F22 C F32x = (b1,b2) 7 y = (b1,b2,b1 + b2).
O lo mismo matricialmente
y = (b1,b2)(1 0 10 1 1
).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Otro ejemplo: Bits de paridad (I)
Consideramos una fuente F que emite bits segn una v.a.X , tal que P(X = 1) = 03.El alfabeto fuente es
A = {x0,x1,x2,x3} = {(00), (01), (10), (11)}.Y el canal es un BSC con p = 02.Codificamos aadiendo a cada x i un bit de paridad par. Esfcil ver que
C : F22 C F32x = (b1,b2) 7 y = (b1,b2,b1 + b2).
O lo mismo matricialmente
y = (b1,b2)(1 0 10 1 1
).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Bits de paridad (II)
Por lo tanto, C = {(000), (011), (101), (110)}: un (3,4)cdigo binario.La matriz de transicin T z|y = P(z |y) es
(000) (001) (010) (011) (100) (101) (110) (111)(000) 0512 0128 0128 0032 0128 0032 0032 0008(011) 0032 0128 0128 0512 0008 0032 0032 0128(101) 0032 0128 0008 0032 0128 0512 0032 0128(110) 0032 0008 0128 0032 0128 0032 0512 0128
La regla de decodificacin por mxima verosimilitud, fMV ,decodifica cada z F32 como la y C con mayorprobabilidad en la columna correspondiente de T z|y :
fMV (000) = (000), fMV (100) = (000),fMV (001) = (000), fMV (101) = (101),fMV (010) = (000), fMV (110) = (110),fMV (011) = (011), fMV (111) = (011).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Bits de paridad (II)
Por lo tanto, C = {(000), (011), (101), (110)}: un (3,4)cdigo binario.
La matriz de transicin T z|y = P(z |y) es(000) (001) (010) (011) (100) (101) (110) (111)
(000) 0512 0128 0128 0032 0128 0032 0032 0008(011) 0032 0128 0128 0512 0008 0032 0032 0128(101) 0032 0128 0008 0032 0128 0512 0032 0128(110) 0032 0008 0128 0032 0128 0032 0512 0128
La regla de decodificacin por mxima verosimilitud, fMV ,decodifica cada z F32 como la y C con mayorprobabilidad en la columna correspondiente de T z|y :
fMV (000) = (000), fMV (100) = (000),fMV (001) = (000), fMV (101) = (101),fMV (010) = (000), fMV (110) = (110),fMV (011) = (011), fMV (111) = (011).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Bits de paridad (II)
Por lo tanto, C = {(000), (011), (101), (110)}: un (3,4)cdigo binario.La matriz de transicin T z|y = P(z |y) es
(000) (001) (010) (011) (100) (101) (110) (111)(000) 0512 0128 0128 0032 0128 0032 0032 0008(011) 0032 0128 0128 0512 0008 0032 0032 0128(101) 0032 0128 0008 0032 0128 0512 0032 0128(110) 0032 0008 0128 0032 0128 0032 0512 0128
La regla de decodificacin por mxima verosimilitud, fMV ,decodifica cada z F32 como la y C con mayorprobabilidad en la columna correspondiente de T z|y :
fMV (000) = (000), fMV (100) = (000),fMV (001) = (000), fMV (101) = (101),fMV (010) = (000), fMV (110) = (110),fMV (011) = (011), fMV (111) = (011).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Bits de paridad (II)
Por lo tanto, C = {(000), (011), (101), (110)}: un (3,4)cdigo binario.La matriz de transicin T z|y = P(z |y) es
(000) (001) (010) (011) (100) (101) (110) (111)(000) 0512 0128 0128 0032 0128 0032 0032 0008(011) 0032 0128 0128 0512 0008 0032 0032 0128(101) 0032 0128 0008 0032 0128 0512 0032 0128(110) 0032 0008 0128 0032 0128 0032 0512 0128
La regla de decodificacin por mxima verosimilitud, fMV ,decodifica cada z F32 como la y C con mayorprobabilidad en la columna correspondiente de T z|y :
fMV (000) = (000), fMV (100) = (000),fMV (001) = (000), fMV (101) = (101),fMV (010) = (000), fMV (110) = (110),fMV (011) = (011), fMV (111) = (011).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Bits de paridad (II)
Por lo tanto, C = {(000), (011), (101), (110)}: un (3,4)cdigo binario.La matriz de transicin T z|y = P(z |y) es
(000) (001) (010) (011) (100) (101) (110) (111)(000) 0512 0128 0128 0032 0128 0032 0032 0008(011) 0032 0128 0128 0512 0008 0032 0032 0128(101) 0032 0128 0008 0032 0128 0512 0032 0128(110) 0032 0008 0128 0032 0128 0032 0512 0128
La regla de decodificacin por mxima verosimilitud, fMV ,decodifica cada z F32 como la y C con mayorprobabilidad en la columna correspondiente de T z|y :
fMV (000) = (000), fMV (100) = (000),fMV (001) = (000), fMV (101) = (101),fMV (010) = (000), fMV (110) = (110),fMV (011) = (011), fMV (111) = (011).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Bits de paridad (II)
Por lo tanto, C = {(000), (011), (101), (110)}: un (3,4)cdigo binario.La matriz de transicin T z|y = P(z |y) es
(000) (001) (010) (011) (100) (101) (110) (111)(000) 0512 0128 0128 0032 0128 0032 0032 0008(011) 0032 0128 0128 0512 0008 0032 0032 0128(101) 0032 0128 0008 0032 0128 0512 0032 0128(110) 0032 0008 0128 0032 0128 0032 0512 0128
La regla de decodificacin por mxima verosimilitud, fMV ,decodifica cada z F32 como la y C con mayorprobabilidad en la columna correspondiente de T z|y :
fMV (000) = (000), fMV (100) = (000),fMV (001) = (000), fMV (101) = (101),fMV (010) = (000), fMV (110) = (110),fMV (011) = (011), fMV (111) = (011).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Bits de paridad (III)
Como (p0,p1,p2,p3) = (049,021,021,009), la matriz dela probabilidad conjunta P(y , z) es
(000) (001) (010) (011) (100) (101) (110) (111)(000) 0251 0063 0063 0016 0063 0016 0016 0004(011) 0007 0027 0027 0107 0002 0007 0007 0027(101) 0007 0027 0002 0007 0027 0107 0007 0027(110) 0003 0001 0012 0003 0012 0003 0046 0012
La regla de decodificacin por mnima probabilidad uobservador ideal, fmP , decodifica cada z F32 como lay C con mayor probabilidad en la columnacorrespondiente de la matriz P(y , z):
fmP(000) = (000), fmP(100) = (000),fmP(001) = (000), fmP(101) = (101),fmP(010) = (000), fmP(110) = (110),fmP(011) = (011), fmP(111) = (011).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Bits de paridad (III)
Como (p0,p1,p2,p3) = (049,021,021,009), la matriz dela probabilidad conjunta P(y , z) es
(000) (001) (010) (011) (100) (101) (110) (111)(000) 0251 0063 0063 0016 0063 0016 0016 0004(011) 0007 0027 0027 0107 0002 0007 0007 0027(101) 0007 0027 0002 0007 0027 0107 0007 0027(110) 0003 0001 0012 0003 0012 0003 0046 0012
La regla de decodificacin por mnima probabilidad uobservador ideal, fmP , decodifica cada z F32 como lay C con mayor probabilidad en la columnacorrespondiente de la matriz P(y , z):
fmP(000) = (000), fmP(100) = (000),fmP(001) = (000), fmP(101) = (101),fmP(010) = (000), fmP(110) = (110),fmP(011) = (011), fmP(111) = (011).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Bits de paridad (III)
Como (p0,p1,p2,p3) = (049,021,021,009), la matriz dela probabilidad conjunta P(y , z) es
(000) (001) (010) (011) (100) (101) (110) (111)(000) 0251 0063 0063 0016 0063 0016 0016 0004(011) 0007 0027 0027 0107 0002 0007 0007 0027(101) 0007 0027 0002 0007 0027 0107 0007 0027(110) 0003 0001 0012 0003 0012 0003 0046 0012
La regla de decodificacin por mnima probabilidad uobservador ideal, fmP , decodifica cada z F32 como lay C con mayor probabilidad en la columnacorrespondiente de la matriz P(y , z):
fmP(000) = (000), fmP(100) = (000),fmP(001) = (000), fmP(101) = (101),fmP(010) = (000), fmP(110) = (110),fmP(011) = (011), fmP(111) = (011).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Bits de paridad (III)
Como (p0,p1,p2,p3) = (049,021,021,009), la matriz dela probabilidad conjunta P(y , z) es
(000) (001) (010) (011) (100) (101) (110) (111)(000) 0251 0063 0063 0016 0063 0016 0016 0004(011) 0007 0027 0027 0107 0002 0007 0007 0027(101) 0007 0027 0002 0007 0027 0107 0007 0027(110) 0003 0001 0012 0003 0012 0003 0046 0012
La regla de decodificacin por mnima probabilidad uobservador ideal, fmP , decodifica cada z F32 como lay C con mayor probabilidad en la columnacorrespondiente de la matriz P(y , z):
fmP(000) = (000), fmP(100) = (000),fmP(001) = (000), fmP(101) = (101),fmP(010) = (000), fmP(110) = (110),fmP(011) = (011), fmP(111) = (011).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Bits de paridad (III)
Como (p0,p1,p2,p3) = (049,021,021,009), la matriz dela probabilidad conjunta P(y , z) es
(000) (001) (010) (011) (100) (101) (110) (111)(000) 0251 0063 0063 0016 0063 0016 0016 0004(011) 0007 0027 0027 0107 0002 0007 0007 0027(101) 0007 0027 0002 0007 0027 0107 0007 0027(110) 0003 0001 0012 0003 0012 0003 0046 0012
La regla de decodificacin por mnima probabilidad uobservador ideal, fmP , decodifica cada z F32 como lay C con mayor probabilidad en la columnacorrespondiente de la matriz P(y , z):
fmP(000) = (000), fmP(100) = (000),fmP(001) = (000), fmP(101) = (101),fmP(010) = (000), fmP(110) = (110),fmP(011) = (011), fmP(111) = (011).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Bits de paridad (IV)
Segn la matriz de transicin T z|y , se trata de un canal simtrico ala entrada pero no a la salida: para calcular su capacidadhabra que ver si existe solucin al sistema
(p0, p1, p2, p3)T z|y =18,18,18,18,18,18,18,18
, siendo pi = P(x i ).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Bits de paridad (IV)
Segn la matriz de transicin T z|y , se trata de un canal simtrico ala entrada pero no a la salida:
para calcular su capacidadhabra que ver si existe solucin al sistema
(p0, p1, p2, p3)T z|y =18,18,18,18,18,18,18,18
, siendo pi = P(x i ).
Capacidad decanal
Canal:definiciones ytipos
CodificacinIntroduccin
Ejemplo
Probabilidades de erroral decodificar
Otro ejemplo
Segundoteorema deShannon, CCT
Bits de paridad (IV)
Segn la matriz de transicin T z|y , se trata de un canal simtrico ala entrada pero no a la salida: para calcular su capacidadhabra que ver si existe solucin al sistema
(p0, p1, p2, p3)T z|y =18,18,18,18,18,18,18,18
, siendo pi = P(x i ).
Capacidad decanal
Canal:definiciones ytipos
Codificacin
Segundoteorema deShannon, CCT
ndice
1 Canal: definiciones y tipos
2 Codificacin
3 Segundo teorema de Shannon, CCT
Capacidad decanal
Canal:definiciones ytipos
Codificacin
Segundoteorema deShannon, CCT
NotacinTasas de informacin y de redundancia
Definicin
Un conjunto C es un (n,M) cdigo q-ario cuando estformado por M palabrascdigo de longitud n sobre unalfabeto con q elementos.
Definicin
Dado un (n,M) cdigo q-ario C, se llama tasa deinformacin o ratio del cdigo a
R(C) = logq Mn
.
El valor 1 R(C) es la tasa de redundancia.
Capacidad decanal
Canal:definiciones ytipos
Codificacin
Segundoteorema deShannon, CCT
NotacinTasas de informacin y de redundancia
Definicin
Un conjunto C es un (n,M) cdigo q-ario cuando estformado por M palabrascdigo de longitud n sobre unalfabeto con q elementos.
Definicin
Dado un (n,M) cdigo q-ario C, se llama tasa deinformacin o ratio del cdigo a
R(C) = logq Mn
.
El valor 1 R(C) es la tasa de redundancia.
Capacidad decanal
Canal:definiciones ytipos
Codificacin
Segundoteorema deShannon, CCT
NotacinTasas de informacin y de redundancia
Definicin
Un conjunto C es un (n,M) cdigo q-ario cuando estformado por M palabrascdigo de longitud n sobre unalfabeto con q elementos.
Definicin
Dado un (n,M) cdigo q-ario C, se llama tasa deinformacin o ratio del cdigo a
R(C) = logq Mn
.
El valor 1 R(C) es la tasa de redundancia.
Capacidad decanal
Canal:definiciones ytipos
Codificacin
Segundoteorema deShannon, CCT
Segundo teorema de ShannonCCT, Channel Coding Theorem
Teorema (CCT)
Sea K un canal con ruido con capacidad C(K) y seaR R, tal que 0 < R < C(K). Entonces existe unasucesin (Cn, fn)nN de (n,Mn) cdigos bloque q-arios y deesquemas de decisin, tales que
1 R R(Cn) = logq Mnn .2 lim
nPmax(Efn) = 0.
Capacidad decanal
Canal:definiciones ytipos
Codificacin
Segundoteorema deShannon, CCT
Segundo teorema de ShannonCCT, Channel Coding Theorem
Teorema (CCT)
Sea K un canal con ruido con capacidad C(K) y seaR R, tal que 0 < R < C(K). Entonces existe unasucesin (Cn, fn)nN de (n,Mn) cdigos bloque q-arios y deesquemas de decisin, tales que
1 R R(Cn) = logq Mnn .2 lim
nPmax(Efn) = 0.
Capacidad decanal
Canal:definiciones ytipos
Codificacin
Segundoteorema deShannon, CCT
Teorema recproco del CCT
Teorema (Recproco del CCT)
Sea K un canal con ruido con capacidad C(K). Sea(Cn, fn)nN una sucesin de (n,Mn) cdigos bloque q-ariosy de esquemas de decisin. Si la tasa de informacin esR(Cn) > C(K), n, entonces limnP
max(Efn) = 1.
Capacidad decanal
Canal:definiciones ytipos
Codificacin
Segundoteorema deShannon, CCT
Teorema recproco del CCT
Teorema (Recproco del CCT)
Sea K un canal con ruido con capacidad C(K). Sea(Cn, fn)nN una sucesin de (n,Mn) cdigos bloque q-ariosy de esquemas de decisin. Si la tasa de informacin esR(Cn) > C(K), n, entonces limnP
max(Efn) = 1.
Canal: definiciones y tiposQu es un canal?Capacidad de canalTipos de canal
CodificacinIntroduccinEjemploProbabilidades de error al decodificarOtro ejemplo
Segundo teorema de Shannon, CCT