Lecture 4 teoría de la información

COM II I. Zamora Uni II - Conf 4: Cod. fte. Fmteo. 1

Comunicaciones II

Conferencia 4: Teoría de la Información.UNIDAD II: FORMATEO DE SEÑALES Y CODIFICACIÓN FUENTE

Instructor: Israel M. Zamora, P.E., MS Telecommunications ManagementProfesor Titular, Departamento de Sistemas Digitales y Telecomunicaciones.

Universidad Nacional de Ingeniería

Universidad Nacional de Ingeniería


Contenido

• Teoría de la Información• Medida de la Información• Entropía

– Propiedades de la Entropía

• Ejemplo 1• Ejemplo 2• Ejemplo 3• Entropía de fuente extendida• Ejemplo 4• Codificación fuente (nuevamente)• Codificación fuente: código Huffman


Teoría de la Información

• En esta conferencia estudiamos los conceptos de INFORMACIÓN y ENTROPÍA. Con esta teoría, es posible determinar matemáticamente la tasa máxima de transmisión de información a través de un canal dado. Esto es lo que llamamos CAPACIDAD DE CANAL.

• Aún cuando usualmente no es posible alcanzar la CAPACIDAD DE CANAL en los sistemas prácticos, es un buen punto de referencia cuando se evalúa el desempeño de un sistema.

• De hecho, la ley de Shannon-Hartley es una ley fundamental importante en el campo de la teoría e las comunicaciones, y es muy útil también en el trabajo práctico ingenieril.

• En el estudio de esta conferencia, se tendrá que las señales mensaje se modelan como procesos aleatorios. Iniciaremos considerando lo observable en una variable aleatoria:

•Cada observación da cierta cantidad de información.•Las observaciones raras dan mas observación que las usuales.



¿Qué entendemos por el término información? La noción intuitiva y común de información se refiere a cualquier nuevo conocimiento acerca de algo.

Sin embargo, en nuestro contexto, apelaremos a la teoría de la información. Esta disciplina de amplia base matemática ha efectuado aportaciones fundamentales, no solo a las comunicaciones, sino también a la ciencia del cómputo, la física estadística y la inferencia estadística, así como a la probabilidad y la estadística.

En el contexto de las comunicaciones, la teoría de la información tiene que ver con el modelado y el análisis matemático de un sistema de comunicación y no con los canales y las fuentes físicos.



En particular, esto proporciona respuestas a dos preguntas fundamentales (entre otras):

¿Cuál es la complejidad irreductible debajo de la cual no es posible comprimir una señal?¿Cuál es la máxima velocidad de transmisión de información posible en un canal de comunicaciones con la cantidad mínima de errores posibles (comunicación confiable).

•Los teóricos de información procuran determinar la forma en que esto es posible y, si existe alguna cota máxima posible de alcanzar.

•La teoría de la información también permite establecer si es posible encontrar un código de fuente que permita enviar más información en menos tiempo.



Una de las cosas más importantes que debemos acordar es:¿podemos establecer una buena medida de lo que es información?¿Cómo obtener un mecanismo para establecer el grado de información que contiene un grupo limitado de mensajes?

La respuesta a estas preguntas se encuentran en la entropía de una fuente y en la capacidad de un canal.

Entropía: Se define en términos del comportamiento probabilístico de una fuente de información.

Capacidad de Canal: Se define como la posibilidad intrínseca de un canal para transportar información; se relaciona de forma natural con las características de ruido de canal.


Medida de la Información

En términos generales, la medida de la información que genera una fuente está relacionada con la “calidad “ o “nivel” de novedad (conocimiento) que provee al destino.

• Por ejemplo, considérese que una fuente sólo puede transmitir uno de los 4 mensajes siguientes:x1 : Mañana saldrá el sol por el Este.x2 : La próxima clase de este curso la dará Bernard Sklarx3 : Durante la próxima semana se cerrará la Avenida Bolívar por reparaciones.x4 : En un mes ocurrirá un alineamiento exacto con respecto al sol, de todos los planetas del sistema solar incluyendo sus satélites naturales.

7. Cuál de estos mensajes tiene más información?8. En base a qué fenómeno se puede establecer el grado de información que tiene uno de estos mensajes?

• La respuesta es que la información es inversamente proporcional a la probabilidad de ocurrencia del mensaje.



• Por tanto, el mensaje x1 no es información ya que no agrega conocimiento ya que todos sabemos que el sol sale por el Este y que dicho evento ocurrirá con el 100% de certeza (siempre ocurre).

• El mensaje x2 conlleva bastante información debido al nivel de novedad que tiene el hecho que el Profesor Bernard Sklar, PhD, imparta la próxima conferencia. Sin embargo, podemos decir que este evento es poco probable, aunque posible, ya que está rodeado de incertidumbre puesto que nunca ha sucedido.

• El mensaje x3 es bastante probable ya que en ocasiones anteriores ha ocurrido, es decir, con cierta frecuencia este evento se repite.

• El mensaje x4 resulta ser casi imposible, aunque no se descarta, y sería un magno evento si ocurriera, llevando una vasta cantidad de información y conocimiento.

• Con base en lo anterior, se infiere que el mensaje x4 conlleva la mayor cantidad de información por ser el menos probable y encerrar un alto grado de incertidumbre.



• De la discusión y análisis anterior, se puede concluir que la cantidad de información debe satisfacer las siguientes condiciones:

• El contenido de información del símbolo (evento) xk depende sólo de su probabilidad de ocurrencia.

• La información propia es una función continua.• La información propia es una función decreciente de su argumento, es

decir, el evento menos probable conlleva mayor información• Si los eventos j y j1 y j2 están relacionados tal que j={j1,j2} y pj=pj1 pj2

entonces: “información (pj)”= “información (pj1)”+ “información (pj2)

• Desde un punto de vista de ingeniería interesa establecer medidas comparativas de la riqueza de información que puede tener un conjunto de mensajes.

)( kxIUsamos la nomenclatura de información dada por:


ntes.independie amenteestadísticson

4

ocurre. éste cuando gana

sen informació más tantoevento,un es probable menos cuanto decir, Es

3

n.informació de pérdida una origina nunca pero

n,informació no o aproporcion xX eventoun de ocurrencia la decir, Es

100

2

n.informació gana se no ocurran, que de antes incluso evento,un de

resultado del seguros nteabsolutame estamos si nte,Evidenteme

10

1

:intituiva manera de satisface se que

simportante spropiedade siguientes lasexhibir deben informació de definición La

k

y x) si xI(x)I(x)xI(x

.

ppara p) I(x) I(x

.

p para ) I(x

.

p para )(x I

.

jkjkjk

j´kjk

kk

kk

+=

<>

=≤≤≥

==




Una buena medida es la esperanza matemáticas de los valores estadísticos de un espacio muestral. Consideremos una fuente de información que envía uno de los símbolos del siguiente alfabeto:

Cada uno de los símbolos es entonces una muestra de la variable aleatoria discreta X la cual toma símbolos de dicho alfabeto. La probabilidad que un símbolo xk sea enviado (ocurra) está dada por:

Entonces una medida de la información propia que acarrea cada símbolo xk sería:

{ }110 −= KX x,...,x,xL

∑−

=

====1

0

1110K

kkkk pon c, ...,K-,, kp)xP(X

kk p

)x(I1= Medida en bits

Fuente Discretade Información

X

21012 xxxxx −−



El valor medio o esperanza de la información que acarrea la variable aleatoria discreta X, la cual sería:

Sin embargo, definir la información del mensaje como I(xk)= 1/pk, crea un serio problema para establecer la esperanza de la medida de información y para cumplir con las 4 condiciones impuestas en la diapositiva #10.

Se puede probar que esta inconveniencia desaparece si se estable que:

El log2 1/pk se justifica dado que un bit es la cantidad mínima de información: la ausencia o presencia de un mensaje determinado.

( )kkk

k plog)x(I,p

log)x(I 22

1 −=

=

[ ] ∑−

=

⋅==1

0

1K

k kkk p

xXE)]x(I[E

Medida en bits


En este caso se define a la entropía, como la media de la información acarreada por la variable aleatoria discreta X, y se calcula como:

La cantidad H(X) recibe el nombre de entropía de una fuente discreta sin memoria con alfabeto de fuente. Esta es una medida del contenido de información promedia por símbolo de la fuente. Se debe notar que H(X) depende sólo de las probabilidades del símbolo en alfabeto LX de la fuente.

Entropía

[ ]

( )∑

∑−

=

−

=

⋅−=

⋅===

1

02

1

02

1

K

kkk

K

k kkk

plogp

plogpXE)]x(I[E)X(H

Medida en bits


Propiedades de la Entropía

máxima. breincertidum a ecorrespond

entropía la de superior cota la es esta ;probables)

igualmente son L alfabeto el en símbolos los todos

decir, (es toda para si solo y si 3.

bre.incertidum ninguna a ecorrespond

entropía la de inferior cota esta cero; todas son

conjunto el en restantes adesprobabilid las y , alguna

para adprobabilid la sí solo y si , 2.

fuente.

alfabeto del símbolos) de (número base la esK donde

:por acotada está matemático modelo cuyo

memoria sin discreta fuente una de entropía La 1.

X

k/Kp,KlogH(X)

k

pH(X)

KlogH(X)

k

k

1

10

0

2

2

==

==

≤≤

XL


Ejemplo 1Consideremos una fuente binaria discreta sin memoria (DMS) cuyo alfabeto está compuesto de símbolos enviados con las probabilidades p y 1 - p respectivamente. Determinaremos la entropía de este alfabeto, trazaremos su gráfica y determinaremos el valor de p que maximiza dicha entropía

( )

)p(Hp)(logp)(plogp

plogpH(X)k

kk

=−−−−=

⋅−= ∑=

11 22

1

02

},{eTenemos qu 10=XL

−====

p p con x

p p con x

11

0

11

00

• Cuando p=0, la entropía H(X)=0, esto es porque xlogx-->0 cuando x-->0.

• Cuando p=1. la entropía H(X)=0.• La entropía, H(X) alcanza su valor

máximo, Hmáx=1 bit, cuando p1=p2=1/2, es decir, los símbolos son equiprobables.

Este resultado también se obtiene al derivar H(X) e igualando a cero para determinar su máximo. Luego se despeja p, o sea hallar p tal que dH(p)/dp=0,

H(X

) en

bit

s

Probabilidad de símbolo

Hmáx


NOTA: Observe que en el estudio que realizaremos sobre el formateo de señales comoPCM y DM, la tasa de muestreo r la denominaremos fS, y la velocidad de transmisión deinformación binaria como Rb.

Codificación fuente (nuevamente)• Si consideramos una fuente discreta en el tiempo y en la amplitud que

crea observaciones independientes de una variable aleatoria X a una tasa de r muestras por segundo, entonces la tasa de emisión (transmisión) de la fuente es:

• Tal fuente puede ser codificada usando un codificador fuente, en una corriente de bit, cuya tasas de transmisión de bits es menor que R+e, con e>0.

• Es oportuno notar que a menudo es difícil construir códigos que provean una tasa que sea arbitrariamente cercana a R. Pero a menudo es fácil alcanzar una tasa mas o menos cercana a R.

)(XrHR =


Ejemplo 2Una fuente con un ancho de banda de 4000Hz es muestreada a la frecuencia de Nyquist y es cuantizada a cinco niveles. Asumiendo que la secuencia resultante puede modelarse aproximadamente por un DMS con un alfabeto {-2, -1, 0, 1, 2} y con sus probabilidades correspondientes de {1/2, 1/4, 1/8, 1/16, 1/16}. Determinaremos la tasa o velocidad de transmisión de la fuente en bits por segundos.

( )

+

+

+

+

−=

⋅−= ∑=

161

161

161

161

81

81

41

41

21

21

22222

5

02

logloglogloglog

plogpH(X)k

kk

},x,x,x,x{xe Tenemos qu 43210=XL

=======−==−=

1611

1611

810

411

212

44

33

22

11

00

/ p con x

/ p con x

/ p con x

/ p con x

/ p con x

con

muestras/bitsH(X)8

15=

bpsmuestras

bits

seg

muestrasH(X)rRb 000,15

8

15000,8 =⋅=⋅=

Por tanto, podemos hallar la velocidad de transmisión como:


Ejemplo 3


Entropía de fuente extendidaEn la práctica, la transmisión de información ocurre mas en bloques de símbolos que

en símbolos individuales. El alfabeto LnX compuesto de estos de Kn (donde K es el

número de símbolos individuales distintos del alfabeto fuente original LX) bloques

distintos suele nombrarse como alfabeto extendido en cuyo caso la determinación de la medida de información y de la entropía, cuando la fuente es DMS, se obtiene como:

)X(nH)X(H n =

donde:

La entropía de un alfabeto compuesto de orden n es igual a n veces la entropía de el alfabeto original de orden 1 que le dio origen.

{ }110 −= KX x,...,x,xL

{ })x...xx)...(x...xx)(x...xx( KKnnnX 21120110 −−−−=nL

Compuesto de Kn bloques de n símbolos

Compuesto de K símbolos


Ejemplo 4Considere una fuente discreta sin memoria con alfabeto de fuente LX ={x0, x1, x2} con probabilidades respectivas ={1/4, 1/4, 1/2}. Determinaremos la entropía H(X) y la entropía compuesta para n=2, o H(X2). Se comprobará que H(X2)=2H(X).

( ) bitsplogpH(X)k

kk 232

02 =⋅−= ∑

=Se deja como ejercicio los detalles de este cálculo.

Cuadro auxiliar donde se muestran los alfabetos LX y L2X

1/41/81/81/81/161/161/81/161/16Probabilidad de símbolos L2

X

x2x2x2x1x2x0x1x2x1x1x1x0x0x2x0x1x0x0

Secuencia correspondiente de símbolos LX

ξ8ξ7ξ 6ξ 5ξ 4ξ 3ξ2ξ 1ξ 0Símbolos (bloques) L2

X

)ξ,...,ξ ,ξ ( L de distintos bloques 93K tanto por

bloque por símbolos 2n

)x,x,(x L de ntesindependie símbolos 3K que Observe

8102X

2n

210X

⇒==

=⇒=

XL

2XL


Ejemplo 3

Evaluando el resultado tenemos.

( ) +

+

+

−=⋅−=ξ= ∑

=ξξξ 8

181

161

161

161

161

222

8

02

2 logloglogplogp)H()H(X

+

+

+

+

+

+

41

41

81

81

81

81

81

81

161

161

161

161

222222 loglogloglogloglog

bits)H(X 32 =

De tal manera vemos que H(X2)=2H(X), es decir (3) = (2)*(3/2)


Codificación fuente (nuevamente)Hemos indicado que uno de los objetivos de la teoría de la información es establecer si es posible encontrar un código de fuente que permita enviar más información en menos tiempo, esto es, encontrar un código que sea suficientemente eficiente.

Por código eficiente se entiende aquel código cuya longitud media es la mínima posible que resulta de asignar códigos mas cortos a símbolos mas probables y códigos mas largos a símbolos menos probables. En la conferencia #3, estudiamos un caso particular conocido como Código Huffman el cual cumple con esta condición.

Alfabeto Fuente

Probabilidad de los símbolos del Alfabeto Fuente

Longitud media del código

Varianza de la longitud de los códigos

∑=

⋅=1

0

K-

kkkX lpL

{ }110 −= KX x,...,x,xL

∑−

=

==

==1

0

1110K

kk

kk

p con , ...,K-, k

p)xP(X

( )21

0

2 ∑=

−⋅=K-

kkkX Llpσ


Dada una fuente discreta sin memoria de entropía H(X),La longitud promedio de palabra de código L para cualquier esquema de codificación fuente sin distorsión está acotada como:

)(XHLX ≥

Primero teorema de Shannon

Codificación fuente (nuevamente)

Matemáticamente, la eficienciaη de un código se define como:

XL)X(H

η =

Es el valor mínimo posible de LX

1

tan1

→≤≥

da que ηen la mediefeciente será mas el código

to, por que ηse observaLLcon mínX

El valor mínimo de L (Lmín) se obtiene a través del primer teorema de Shannon conocido como teorema de la codificación fuente. Este teorema se enuncia como:

Fuente discretasin memoria

Fuente discretasin memoria

xk ak

Secuencia Binaria

Entonces, la eficiencia del código se puede reescribir

como:

X

mín

LL

η =

ηγ −= 1

La redundancia del código se calcula

como:


Codificación fuente: código Huffman

• Para el código Huffman, puede mostrarse que el número medio de bits de código de un símbolo fuente, L(x) satisface la relación siguiente:

• Cuando se codifican n símbolos al mismo tiempo, se obtiene el resultado correspondiente:

• Así que, al usar códigos amplios de Huffman, con bloques de longitud suficientemente grande, es posible que se llegue arbitrariamente a valores muy cercanos del límite de la entropía. Esto no es una forma práctica, pero este desarrollo básicamente constituye una prueba del teorema de codificación fuente.

• Una limitación fundamental de los códigos Huffman es que las estadísticas de los símbolos fuentes tienen que ser conocidas (o estimadas).

1)()( +≤≤ XHLXH X

nXHLXH X 1)()( +≤≤

Lecture 4 teoría de la información

Documents

Transcript of Lecture 4 teoría de la información