capitulo3

Transcript of capitulo3

Capacidad decanal

Canal:definiciones ytipos

Codificacin

Segundoteorema deShannon, CCT

Capacidad de canalCTI: Leccin 4, Segundo teorema de Shannon (CCT)

(cf. Cap. 5 de Informaci i codis, J. M. Brunat y E. Ventura,Edicions UPC, 2001)

Ramiro Moreno Chiral

12 de marzo de 2007
Capacidad decanal


Codificacin


ndice

1 Canal: definiciones y tipos

2 Codificacin

3 Segundo teorema de Shannon, CCT
Capacidad decanal

Canal:definiciones ytiposQu es un canal?

Capacidad de canal

Tipos de canal

Codificacin


ndice

1 Canal: definiciones y tiposQu es un canal?Capacidad de canalTipos de canal

2 Codificacin

Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Definicin de canal

Un canal es una terna K = (X ,Y ,T ), dondeX es una v.a. (fuente) que toma valores sobre unalfabeto de entrada, X = {a1, . . . ,am};Y es otra v.a. (receptor) con valores en un alfabeto desalida, Y = {b1, . . . ,bn};Y T es la matriz de transicin, de dimensionesm n, estocstica por filas, definida

T = P(Y = bj |X = ai) = (pij),con 1 i m, 1 j n.

RCanalF

P(X) P(Y)T=P(Y|X)
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Definicin de canal

Un canal es una terna K = (X ,Y ,T ), donde

X es una v.a. (fuente) que toma valores sobre unalfabeto de entrada, X = {a1, . . . ,am};Y es otra v.a. (receptor) con valores en un alfabeto desalida, Y = {b1, . . . ,bn};Y T es la matriz de transicin, de dimensionesm n, estocstica por filas, definida


RCanalF

P(X) P(Y)T=P(Y|X)
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Definicin de canal

Un canal es una terna K = (X ,Y ,T ), dondeX es una v.a. (fuente) que toma valores sobre unalfabeto de entrada, X = {a1, . . . ,am};

Y es otra v.a. (receptor) con valores en un alfabeto desalida, Y = {b1, . . . ,bn};Y T es la matriz de transicin, de dimensionesm n, estocstica por filas, definida


RCanalF

P(X) P(Y)T=P(Y|X)
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Definicin de canal

Un canal es una terna K = (X ,Y ,T ), dondeX es una v.a. (fuente) que toma valores sobre unalfabeto de entrada, X = {a1, . . . ,am};Y es otra v.a. (receptor) con valores en un alfabeto desalida, Y = {b1, . . . ,bn};

Y T es la matriz de transicin, de dimensionesm n, estocstica por filas, definida


RCanalF

P(X) P(Y)T=P(Y|X)
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Definicin de canal



RCanalF

P(X) P(Y)T=P(Y|X)
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Definicin de canal



RCanalF

P(X) P(Y)T=P(Y|X)
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Definicin de canal



RCanalF

P(X) P(Y)T=P(Y|X)
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Algunas propiedades

Lema

Si A es una matriz m n, estocstica por filas y X unadistribucin de probabilidad dada como un m-vector fila,entonces

Y = X A,es una distribucin de probabilidad dada por el n-vectorfila Y .

Podemos considerar, fijada T , la informacin mutua

I(X ;Y ) = H(X ) H(X |Y ) = H(Y ) H(Y |X ),

como una funcin en las pi = P(X = ai), 1 i m:I(X ;Y ) = f (p1,p2, ,pm)
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Algunas propiedades

Lema




I(X ;Y ) = H(X ) H(X |Y ) = H(Y ) H(Y |X ),

Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Algunas propiedades

Lema




I(X ;Y ) = H(X ) H(X |Y ) = H(Y ) H(Y |X ),

Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Algunas propiedades

Lema




I(X ;Y ) = H(X ) H(X |Y ) = H(Y ) H(Y |X ),

Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Algunas propiedades

Lema




I(X ;Y ) = H(X ) H(X |Y ) = H(Y ) H(Y |X ),

Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Definicin de capacidad de canal

Por lo tanto, tiene sentido calcular el mximo de lainformacin mutua, I(X ;Y ) = f (p1,p2, ,pm), respecto alas probabilidades de entrada pi = P(X = ai), 1 i m.

Definicin

Dado un canal K = (X ,Y ,T ), llamaremos capacidad deK al valor

C(K) = max{p1, ,pm}

I(X ;Y ).

La capacidad es fcilmente calculable en los llamadoscanales simtricos.
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin




Definicin


C(K) = max{p1, ,pm}

I(X ;Y ).

Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin




Definicin


C(K) = max{p1, ,pm}

I(X ;Y ).

Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin




Definicin


C(K) = max{p1, ,pm}

I(X ;Y ).

Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Canales simtricos respecto a la entrada

Definicin

Dado un canal K = (X ,Y ,T ), diremos que es simtricorespecto a la entrada, si todas las filas de T tienen losmismos valores (posiblemente en diferentes columnas).

Proposicin

Sea K = (X ,Y ,T ) un canal simtrico respecto a laentrada, entonces

1 Todas las filas de T tienen la misma entropa, H0.2 I(X ;Y ) = H(Y ) H0. Por lo tanto, C(K) logn H0.3 Se alcanza la igualdad, C(K) = logn H0, si existe

una X para la que Y es uniforme.
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin



Definicin


Proposicin



Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin



Definicin


Proposicin



Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Canales simtricos respecto a la salida

Definicin

Dado un canal K = (X ,Y ,T ), diremos que es simtricorespecto a la salida, si todas las columnas de T tienenlos mismos valores (posiblemente en diferentes filas).

Lema

Si K = (X ,Y ,T ) es un canal simtrico respecto a la saliday X es una v.a. uniforme, entonces Y tambin lo es.
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin



Definicin


Lema

Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin



Definicin


Lema

Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Capacidad de los canales simtricos

Definicin

Un canal K = (X ,Y ,T ) se llama simtrico si es simtricorespecto a la entrada y a la salida.

Proposicin

Con las notaciones anteriores, si K = (X ,Y ,T ) es uncanal simtrico, se tiene

C(K) = logn H0.
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin



Definicin


Proposicin


C(K) = logn H0.
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin



Definicin


Proposicin


C(K) = logn H0.
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Capacidad de los canales BSC

Corolario

Como los BSC son simtricos se tiene

C(KBSC) = 1 h(p).

Sea KBSC con probabilidad de error en un bit p = 02.Entonces es C(KBSC) = 1 h(02) = 028 bits.

04 06 08 1

1

08

04

04

02

p

1h(p) Capacidad del BSC

020
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin



Corolario


C(KBSC) = 1 h(p).


04 06 08 1

1

08

04

04

02

p


020
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin



Corolario


C(KBSC) = 1 h(p).

Sea KBSC con probabilidad de error en un bit p = 02.Entonces es

C(KBSC) = 1 h(02) = 028 bits.

04 06 08 1

1

08

04

04

02

p


020
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin



Corolario


C(KBSC) = 1 h(p).


04 06 08 1

1

08

04

04

02

p


020
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin



Corolario


C(KBSC) = 1 h(p).


04 06 08 1

1

08

04

04

02

p


020
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin


Capacidad de los canales BEC

Corolario

Los BEC son simtricos respecto a la entrada, pero norespecto a la salida. Luego, C(KBEC) log 3 H0.Como el sistema en p1 y p2

(p1,p2)(1 p q q p

p q 1 p q)

=

(13,13,13

),

tiene solucin p1 = p2 = 12 para cualquier p [0,1] ycuando q = 13 , ese valor mximo se alcanza.Si KBEC es un canal con probabilidades de error p = 01 yde borrn q = 13 , se tiene

C(KBEC) = log 3 H(1730

,13,01) = 026 bits.
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin



Corolario

Los BEC son simtricos respecto a la entrada, pero norespecto a la salida. Luego, C(KBEC) log 3 H0.

Como el sistema en p1 y p2

(p1,p2)(1 p q q p

p q 1 p q)

=

(13,13,13

),



,13,01) = 026 bits.
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin



Corolario


(p1,p2)(1 p q q p

p q 1 p q)

=

(13,13,13

),

tiene solucin p1 = p2 = 12 para cualquier p [0,1] ycuando q = 13 , ese valor mximo se alcanza.

Si KBEC es un canal con probabilidades de error p = 01 yde borrn q = 13 , se tiene


,13,01) = 026 bits.
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin



Corolario


(p1,p2)(1 p q q p

p q 1 p q)

=

(13,13,13

),



,13,01) = 026 bits.
Capacidad decanal


Capacidad de canal

Tipos de canal

Codificacin



Corolario


(p1,p2)(1 p q q p

p q 1 p q)

=

(13,13,13

),



,13,01) = 026 bits.
Capacidad decanal


CodificacinIntroduccin

Ejemplo

Probabilidades de erroral decodificar

Otro ejemplo


ndice


2 CodificacinIntroduccinEjemploProbabilidades de error al decodificarOtro ejemplo

Capacidad decanal



Ejemplo


Otro ejemplo


Codificacin de canal

F

P(X)T=P(Y|X)

COD zyxCanal

yP(Y)

RDECOD

zruido

MODELO GENERAL DE UN CANAL

x

x

C(x)=y f(z)=y
Capacidad decanal



Ejemplo


Otro ejemplo



F

P(X)T=P(Y|X)

COD zyxCanal

yP(Y)

RDECOD

zruido


x

x

C(x)=y f(z)=y
Capacidad decanal



Ejemplo


Otro ejemplo



F

P(X)T=P(Y|X)

COD zyxCanal

yP(Y)

RDECOD

zruido


x

x

C(x)=y f(z)=y

1. Modelo probabilstico, K = (X ,Y ,T ):

1.1 Una fuente F emite caracteres x A de un alfabetosegn una v.a. X .

1.2 Se recibe en R un carcter x A con probabilidadregida por la v.a. Y .

1.3 El canal introduce un ruido expresado por la matriz deprobabilidades de transicin, TY |X .
Capacidad decanal



Ejemplo


Otro ejemplo



F

P(X)T=P(Y|X)

COD zyxCanal

yP(Y)

RDECOD

zruido


x

x

C(x)=y f(z)=y

1. Modelo probabilstico, K = (X ,Y ,T ):1.1 Una fuente F emite caracteres x A de un alfabeto

segn una v.a. X .

1.2 Se recibe en R un carcter x A con probabilidadregida por la v.a. Y .

Capacidad decanal



Ejemplo


Otro ejemplo



F

P(X)T=P(Y|X)

COD zyxCanal

yP(Y)

RDECOD

zruido


x

x

C(x)=y f(z)=y


segn una v.a. X .1.2 Se recibe en R un carcter x A con probabilidad

regida por la v.a. Y .

Capacidad decanal



Ejemplo


Otro ejemplo



F

P(X)T=P(Y|X)

COD zyxCanal

yP(Y)

RDECOD

zruido


x

x

C(x)=y f(z)=y


segn una v.a. X .1.2 Se recibe en R un carcter x A con probabilidad

regida por la v.a. Y .1.3 El canal introduce un ruido expresado por la matriz de

probabilidades de transicin, TY |X .
Capacidad decanal



Ejemplo


Otro ejemplo



F

P(X)T=P(Y|X)

COD zyxCanal

yP(Y)

RDECOD

zruido


x

x

C(x)=y f(z)=y

2. Codificador (COD):

2.1 Es un algoritmo determinista: P(x) = P(y).2.2 Consiste en una aplicacin

C : A C Bnx 7 y ,

siendo B un alfabeto de canal y C, el cdigo.
Capacidad decanal



Ejemplo


Otro ejemplo



F

P(X)T=P(Y|X)

COD zyxCanal

yP(Y)

RDECOD

zruido


x

x

C(x)=y f(z)=y


2.1 Es un algoritmo determinista: P(x) = P(y).

2.2 Consiste en una aplicacin

C : A C Bnx 7 y ,

Capacidad decanal



Ejemplo


Otro ejemplo



F

P(X)T=P(Y|X)

COD zyxCanal

yP(Y)

RDECOD

zruido


x

x

C(x)=y f(z)=y


2.1 Es un algoritmo determinista: P(x) = P(y).2.2 Consiste en una aplicacin

C : A C Bnx 7 y ,

Capacidad decanal



Ejemplo


Otro ejemplo



F

P(X)T=P(Y|X)

COD zyxCanal

yP(Y)

RDECOD

zruido


x

x

C(x)=y f(z)=y

3. El canal introduce ruido que convierte la palabracdigoy C Bn en una palabra z Bn.
Capacidad decanal



Ejemplo


Otro ejemplo



F

P(X)T=P(Y|X)

COD zyxCanal

yP(Y)

RDECOD

zruido


x

x

C(x)=y f(z)=y

4. Decodificador (DECOD):

4.1 Es un algoritmo determinista: P(z) = P(x ).4.2 Se trata de una aplicacin f : Bn C, tal que

f (z) = y , llamada esquema de decisin o regla dedecodificacin, que minimiza la probabilidad deerror al decodificar, P(y 6= y).
Capacidad decanal



Ejemplo


Otro ejemplo



F

P(X)T=P(Y|X)

COD zyxCanal

yP(Y)

RDECOD

zruido


x

x

C(x)=y f(z)=y


4.1 Es un algoritmo determinista: P(z) = P(x ).

4.2 Se trata de una aplicacin f : Bn C, tal quef (z) = y , llamada esquema de decisin o regla dedecodificacin, que minimiza la probabilidad deerror al decodificar, P(y 6= y).
Capacidad decanal



Ejemplo


Otro ejemplo



F

P(X)T=P(Y|X)

COD zyxCanal

yP(Y)

RDECOD

zruido


x

x

C(x)=y f(z)=y


4.1 Es un algoritmo determinista: P(z) = P(x ).4.2 Se trata de una aplicacin f : Bn C, tal que

f (z) = y , llamada esquema de decisin o regla dedecodificacin, que minimiza la probabilidad deerror al decodificar, P(y 6= y).
Capacidad decanal



Ejemplo


Otro ejemplo



F

P(X)T=P(Y|X)

COD zyxCanal

yP(Y)

RDECOD

zruido


x

x

C(x)=y f(z)=y

5. Finalmente, el decodificador recupera, a partir de lapalabracdigo y , un carcter fuente x que R recibe.
Capacidad decanal



Ejemplo


Otro ejemplo


Un cdigo de repeticin (I)

1. Modelo probabilstico. Sea un KBSC con probabilidadde error en un bit 0 < p < 12 . Y un nico alfabetofuente y canal, A = B = F2 = {0,1}.

2. Cdigo. Usamos un cdigo de repeticin 3,Rep(3) = {(000), (111)},

C : F2 Rep(3) F32x = b 7 y = (bbb).

3. Esquema de decisin. Ser la regla dedecodificacin por lgica mayoritaria,

f : F32 Rep(3)z = (b1b

2b

3) 7 y =

{(000), si 2 o 3 de los bi son ceros,(111), si 2 o 3 de los bi son unos.
Capacidad decanal



Ejemplo


Otro ejemplo





C : F2 Rep(3) F32x = b 7 y = (bbb).


f : F32 Rep(3)z = (b1b

2b

3) 7 y =

Capacidad decanal



Ejemplo


Otro ejemplo





C : F2 Rep(3) F32x = b 7 y = (bbb).


f : F32 Rep(3)z = (b1b

2b

3) 7 y =

Capacidad decanal



Ejemplo


Otro ejemplo





C : F2 Rep(3) F32x = b 7 y = (bbb).


f : F32 Rep(3)z = (b1b

2b

3) 7 y =

Capacidad decanal



Ejemplo


Otro ejemplo


Un cdigo de repeticin (II)

4. El decodificador dar a R el bit x = 0 o 1 segn seay = (000) o (111).

Llamemos P(Ef ) a la probabilidad de error en ladecodificacin. En nuestro caso,

P(Ef ) = P(2 o 3 errores)=

(32

)p2(1 p) + (33)p3 = 3p2 2p3.

Pero, P(Ef ) = 3p2 2p3 < p 2p2 3p + 1 > 0, locual siempre es cierto para 0 < p < 12 , ya que2p2 3p + 1 = 2(p 12)(p 1)
Capacidad decanal



Ejemplo


Otro ejemplo






(32

)p2(1 p) + (33)p3 = 3p2 2p3.

Capacidad decanal



Ejemplo


Otro ejemplo




Llamemos P(Ef ) a la probabilidad de error en ladecodificacin.

En nuestro caso,


(32

)p2(1 p) + (33)p3 = 3p2 2p3.

Capacidad decanal



Ejemplo


Otro ejemplo






(32

)p2(1 p) + (33)p3 = 3p2 2p3.

Capacidad decanal



Ejemplo


Otro ejemplo






(32

)p2(1 p) + (33)p3 = 3p2 2p3.

Pero, P(Ef ) = 3p2 2p3 < p 2p2 3p + 1 > 0,

locual siempre es cierto para 0 < p < 12 , ya que2p2 3p + 1 = 2(p 12)(p 1)
Capacidad decanal



Ejemplo


Otro ejemplo






(32

)p2(1 p) + (33)p3 = 3p2 2p3.

Capacidad decanal



Ejemplo


Otro ejemplo






(32

)p2(1 p) + (33)p3 = 3p2 2p3.


La regla de decodificacin usada ha disminuidoel error en recepcin.
Capacidad decanal



Ejemplo


Otro ejemplo






(32

)p2(1 p) + (33)p3 = 3p2 2p3.


El costo: multiplicar por 3 la longitud del men-saje. . .
Capacidad decanal



Ejemplo


Otro ejemplo


Conjunto de errores

Definicin

Dada una regla de decodificacin, f : Bn C, tal quef (z) = y , siendo y la palabracdigo enviada al canal, elconjunto de errores es

Ef ={(y , z) C Bn : f (z) = y 6= y} ,

siendo C Bn un (n,M) cdigo q-ario y B el alfabeto del canal.Transmitida la palabracdigo y , la probabilidad de errores

P(Ef |y) =

z /f1(y)P(z |y).
Capacidad decanal



Ejemplo


Otro ejemplo


Conjunto de errores

Definicin


Ef ={(y , z) C Bn : f (z) = y 6= y} ,

siendo C Bn un (n,M) cdigo q-ario y B el alfabeto del canal.

Transmitida la palabracdigo y , la probabilidad de errores

P(Ef |y) =

z /f1(y)P(z |y).
Capacidad decanal



Ejemplo


Otro ejemplo


Conjunto de errores

Definicin


Ef ={(y , z) C Bn : f (z) = y 6= y} ,

siendo C Bn un (n,M) cdigo q-ario y B el alfabeto del canal.Transmitida la palabracdigo y , la probabilidad de errores

P(Ef |y) =

z /f1(y)P(z |y).
Capacidad decanal



Ejemplo


Otro ejemplo


Probabilidad media de error

Por lo tanto, la probabilidad media de error se puedeescribir de las siguientes formas

P(Ef ) =yC

P(Ef |y)P(y)=

yC

z /f1(y)

P(z |y)P(y)=

(y ,z)Ef

P(y , z)

= 1 zBn

P(f (z), z).

Ntese que la probabilidad media de error depende de ladistribucin de la fuente, ya que P(y) = P(C(x)) = P(x) .
Capacidad decanal



Ejemplo


Otro ejemplo




P(Ef ) =yC

P(Ef |y)P(y)=

yC

z /f1(y)

P(z |y)P(y)=

(y ,z)Ef

P(y , z)

= 1 zBn

P(f (z), z).

Capacidad decanal



Ejemplo


Otro ejemplo




P(Ef ) =yC

P(Ef |y)P(y)=

yC

z /f1(y)

P(z |y)P(y)=

(y ,z)Ef

P(y , z)

= 1 zBn

P(f (z), z).

Capacidad decanal



Ejemplo


Otro ejemplo




P(Ef ) =yC

P(Ef |y)P(y)=

yC

z /f1(y)

P(z |y)P(y)=

(y ,z)Ef

P(y , z)

= 1 zBn

P(f (z), z).

Capacidad decanal



Ejemplo


Otro ejemplo


Mnima probabilidad media de errorDecodificacin por mnima probabilidad

Definicin

Un observador ideal es una regla de decodificacin f talque

P(f (z), z) = max{P(y , z) : y C}, z Bn.

Proposicin

Dado un canal K = (X ,Y ,T ) y un cdigo C, el mnimo dela probabilidad media de error, para todas las reglas dedecodificacin f , se obtiene en un observador ideal.
Capacidad decanal



Ejemplo


Otro ejemplo



Definicin



Proposicin

Capacidad decanal



Ejemplo


Otro ejemplo



Definicin



Proposicin

Capacidad decanal



Ejemplo


Otro ejemplo


Probabilidad mxima de error

Definicin

La probabilidad mxima de error asociada a una reglade decodificacin f se define

Pmax(Ef ) = max{P(Ef |y) : y C}.

Proposicin

Fijada una regla f de decodificacin, la Pmax(Ef ) es unacota superior de la probabilidad de error P(Ef ), para todaslas distribuciones X de la fuente F .
Capacidad decanal



Ejemplo


Otro ejemplo



Definicin



Proposicin

Capacidad decanal



Ejemplo


Otro ejemplo



Definicin



Proposicin

Capacidad decanal



Ejemplo


Otro ejemplo


Decodificacin por mxima verosimilitud

Definicin

Una regla de decodificacin f es de mximaverosimilitud si

P(z |f (z)) = max{P(z |y) : y C}, z Bn.

Proposicin

Si la distribucin X de la fuente es uniforme coincidenambas reglas de decodificacin: la de mnima probabilidadde error (u observador ideal) y la de mxima verosimilitud.
Capacidad decanal



Ejemplo


Otro ejemplo



Definicin



Proposicin

Capacidad decanal



Ejemplo


Otro ejemplo



Definicin



Proposicin

Capacidad decanal



Ejemplo


Otro ejemplo


Otro ejemplo: Bits de paridad (I)

Consideramos una fuente F que emite bits segn una v.a.X , tal que P(X = 1) = 03.El alfabeto fuente es

A = {x0,x1,x2,x3} = {(00), (01), (10), (11)}.Y el canal es un BSC con p = 02.Codificamos aadiendo a cada x i un bit de paridad par. Esfcil ver que

C : F22 C F32x = (b1,b2) 7 y = (b1,b2,b1 + b2).

O lo mismo matricialmente

y = (b1,b2)(1 0 10 1 1

).
Capacidad decanal



Ejemplo


Otro ejemplo



Consideramos una fuente F que emite bits segn una v.a.X , tal que P(X = 1) = 03.

El alfabeto fuente es


C : F22 C F32x = (b1,b2) 7 y = (b1,b2,b1 + b2).


y = (b1,b2)(1 0 10 1 1

).
Capacidad decanal



Ejemplo


Otro ejemplo




A = {x0,x1,x2,x3} = {(00), (01), (10), (11)}.Y el canal es un BSC con p = 02.

Codificamos aadiendo a cada x i un bit de paridad par. Esfcil ver que

C : F22 C F32x = (b1,b2) 7 y = (b1,b2,b1 + b2).


y = (b1,b2)(1 0 10 1 1

).
Capacidad decanal



Ejemplo


Otro ejemplo





C : F22 C F32x = (b1,b2) 7 y = (b1,b2,b1 + b2).


y = (b1,b2)(1 0 10 1 1

).
Capacidad decanal



Ejemplo


Otro ejemplo





C : F22 C F32x = (b1,b2) 7 y = (b1,b2,b1 + b2).


y = (b1,b2)(1 0 10 1 1

).
Capacidad decanal



Ejemplo


Otro ejemplo


Bits de paridad (II)

Por lo tanto, C = {(000), (011), (101), (110)}: un (3,4)cdigo binario.La matriz de transicin T z|y = P(z |y) es

(000) (001) (010) (011) (100) (101) (110) (111)(000) 0512 0128 0128 0032 0128 0032 0032 0008(011) 0032 0128 0128 0512 0008 0032 0032 0128(101) 0032 0128 0008 0032 0128 0512 0032 0128(110) 0032 0008 0128 0032 0128 0032 0512 0128

La regla de decodificacin por mxima verosimilitud, fMV ,decodifica cada z F32 como la y C con mayorprobabilidad en la columna correspondiente de T z|y :

fMV (000) = (000), fMV (100) = (000),fMV (001) = (000), fMV (101) = (101),fMV (010) = (000), fMV (110) = (110),fMV (011) = (011), fMV (111) = (011).
Capacidad decanal



Ejemplo


Otro ejemplo



Por lo tanto, C = {(000), (011), (101), (110)}: un (3,4)cdigo binario.

La matriz de transicin T z|y = P(z |y) es(000) (001) (010) (011) (100) (101) (110) (111)

(000) 0512 0128 0128 0032 0128 0032 0032 0008(011) 0032 0128 0128 0512 0008 0032 0032 0128(101) 0032 0128 0008 0032 0128 0512 0032 0128(110) 0032 0008 0128 0032 0128 0032 0512 0128


Capacidad decanal



Ejemplo


Otro ejemplo




(000) (001) (010) (011) (100) (101) (110) (111)(000) 0512 0128 0128 0032 0128 0032 0032 0008(011) 0032 0128 0128 0512 0008 0032 0032 0128(101) 0032 0128 0008 0032 0128 0512 0032 0128(110) 0032 0008 0128 0032 0128 0032 0512 0128


Capacidad decanal



Ejemplo


Otro ejemplo




(000) (001) (010) (011) (100) (101) (110) (111)(000) 0512 0128 0128 0032 0128 0032 0032 0008(011) 0032 0128 0128 0512 0008 0032 0032 0128(101) 0032 0128 0008 0032 0128 0512 0032 0128(110) 0032 0008 0128 0032 0128 0032 0512 0128


Capacidad decanal



Ejemplo


Otro ejemplo




(000) (001) (010) (011) (100) (101) (110) (111)(000) 0512 0128 0128 0032 0128 0032 0032 0008(011) 0032 0128 0128 0512 0008 0032 0032 0128(101) 0032 0128 0008 0032 0128 0512 0032 0128(110) 0032 0008 0128 0032 0128 0032 0512 0128


Capacidad decanal



Ejemplo


Otro ejemplo




(000) (001) (010) (011) (100) (101) (110) (111)(000) 0512 0128 0128 0032 0128 0032 0032 0008(011) 0032 0128 0128 0512 0008 0032 0032 0128(101) 0032 0128 0008 0032 0128 0512 0032 0128(110) 0032 0008 0128 0032 0128 0032 0512 0128


Capacidad decanal



Ejemplo


Otro ejemplo


Bits de paridad (III)

Como (p0,p1,p2,p3) = (049,021,021,009), la matriz dela probabilidad conjunta P(y , z) es

(000) (001) (010) (011) (100) (101) (110) (111)(000) 0251 0063 0063 0016 0063 0016 0016 0004(011) 0007 0027 0027 0107 0002 0007 0007 0027(101) 0007 0027 0002 0007 0027 0107 0007 0027(110) 0003 0001 0012 0003 0012 0003 0046 0012

La regla de decodificacin por mnima probabilidad uobservador ideal, fmP , decodifica cada z F32 como lay C con mayor probabilidad en la columnacorrespondiente de la matriz P(y , z):

fmP(000) = (000), fmP(100) = (000),fmP(001) = (000), fmP(101) = (101),fmP(010) = (000), fmP(110) = (110),fmP(011) = (011), fmP(111) = (011).
Capacidad decanal



Ejemplo


Otro ejemplo




(000) (001) (010) (011) (100) (101) (110) (111)(000) 0251 0063 0063 0016 0063 0016 0016 0004(011) 0007 0027 0027 0107 0002 0007 0007 0027(101) 0007 0027 0002 0007 0027 0107 0007 0027(110) 0003 0001 0012 0003 0012 0003 0046 0012


Capacidad decanal



Ejemplo


Otro ejemplo




(000) (001) (010) (011) (100) (101) (110) (111)(000) 0251 0063 0063 0016 0063 0016 0016 0004(011) 0007 0027 0027 0107 0002 0007 0007 0027(101) 0007 0027 0002 0007 0027 0107 0007 0027(110) 0003 0001 0012 0003 0012 0003 0046 0012


Capacidad decanal



Ejemplo


Otro ejemplo




(000) (001) (010) (011) (100) (101) (110) (111)(000) 0251 0063 0063 0016 0063 0016 0016 0004(011) 0007 0027 0027 0107 0002 0007 0007 0027(101) 0007 0027 0002 0007 0027 0107 0007 0027(110) 0003 0001 0012 0003 0012 0003 0046 0012


Capacidad decanal



Ejemplo


Otro ejemplo




(000) (001) (010) (011) (100) (101) (110) (111)(000) 0251 0063 0063 0016 0063 0016 0016 0004(011) 0007 0027 0027 0107 0002 0007 0007 0027(101) 0007 0027 0002 0007 0027 0107 0007 0027(110) 0003 0001 0012 0003 0012 0003 0046 0012


Capacidad decanal



Ejemplo


Otro ejemplo


Bits de paridad (IV)

Segn la matriz de transicin T z|y , se trata de un canal simtrico ala entrada pero no a la salida: para calcular su capacidadhabra que ver si existe solucin al sistema

(p0, p1, p2, p3)T z|y =18,18,18,18,18,18,18,18

, siendo pi = P(x i ).
Capacidad decanal



Ejemplo


Otro ejemplo



Segn la matriz de transicin T z|y , se trata de un canal simtrico ala entrada pero no a la salida:

para calcular su capacidadhabra que ver si existe solucin al sistema

(p0, p1, p2, p3)T z|y =18,18,18,18,18,18,18,18

Capacidad decanal



Ejemplo


Otro ejemplo



Segn la matriz de transicin T z|y , se trata de un canal simtrico ala entrada pero no a la salida: para calcular su capacidadhabra que ver si existe solucin al sistema

(p0, p1, p2, p3)T z|y =18,18,18,18,18,18,18,18

Capacidad decanal


Codificacin


ndice


2 Codificacin

Capacidad decanal


Codificacin


NotacinTasas de informacin y de redundancia

Definicin

Un conjunto C es un (n,M) cdigo q-ario cuando estformado por M palabrascdigo de longitud n sobre unalfabeto con q elementos.

Definicin

Dado un (n,M) cdigo q-ario C, se llama tasa deinformacin o ratio del cdigo a

R(C) = logq Mn

.

El valor 1 R(C) es la tasa de redundancia.
Capacidad decanal


Codificacin



Definicin


Definicin


R(C) = logq Mn

.

Capacidad decanal


Codificacin



Definicin


Definicin


R(C) = logq Mn

.

Capacidad decanal


Codificacin


Segundo teorema de ShannonCCT, Channel Coding Theorem

Teorema (CCT)

Sea K un canal con ruido con capacidad C(K) y seaR R, tal que 0 < R < C(K). Entonces existe unasucesin (Cn, fn)nN de (n,Mn) cdigos bloque q-arios y deesquemas de decisin, tales que

1 R R(Cn) = logq Mnn .2 lim

nPmax(Efn) = 0.
Capacidad decanal


Codificacin


Segundo teorema de ShannonCCT, Channel Coding Theorem

Teorema (CCT)

Sea K un canal con ruido con capacidad C(K) y seaR R, tal que 0 < R < C(K). Entonces existe unasucesin (Cn, fn)nN de (n,Mn) cdigos bloque q-arios y deesquemas de decisin, tales que

1 R R(Cn) = logq Mnn .2 lim

nPmax(Efn) = 0.
Capacidad decanal


Codificacin


Teorema recproco del CCT

Teorema (Recproco del CCT)

Sea K un canal con ruido con capacidad C(K). Sea(Cn, fn)nN una sucesin de (n,Mn) cdigos bloque q-ariosy de esquemas de decisin. Si la tasa de informacin esR(Cn) > C(K), n, entonces limnP

max(Efn) = 1.
Capacidad decanal


Codificacin


Teorema recproco del CCT

Teorema (Recproco del CCT)

Sea K un canal con ruido con capacidad C(K). Sea(Cn, fn)nN una sucesin de (n,Mn) cdigos bloque q-ariosy de esquemas de decisin. Si la tasa de informacin esR(Cn) > C(K), n, entonces limnP

max(Efn) = 1.

Canal: definiciones y tiposQu es un canal?Capacidad de canalTipos de canal

CodificacinIntroduccinEjemploProbabilidades de error al decodificarOtro ejemplo

Segundo teorema de Shannon, CCT

capitulo3

Documents

Transcript of capitulo3