CAP 4 Elem Teoría Información

7/25/2019 CAP 4 Elem Teora Informacin

1/50

4. ELEMENTOS DE LA TEORA DELA INFORMACIN. oncep os e ncer um re, n ormac n y en rop a.

Propiedades. . . .

prefijo, Huffman, lempel-ziv.

. . .

4.4. Informacin mutua. Propiedades

. . .canal.

. .continuos.

4.7. Teorema de ca acidad de informacin. A licaciones

COMUNICACIONES DIGITALES, 1T, 2011

en BPSK, BFSK


2/50

Suponer que un experimento probabilstico envuelve la observacin de lasalida emitida por una fuente discreta durante cada unidad de tiempo a sa a e a uen e es mo u a a como una var a e a ea or a scre a, ,que toma los smbolos de un alfabeto finito fijo

, ,...,

Con probabilidades ( ) , 0,1,..., 1k kP S s p k k

Este set de probabilidades debe satisfacer la condicin1

0

1k

k

k

p

Se asume que los smbolos transmitidos por la fuente durante los intervalos desealizacin sucesivos son independientes. Una fuente que tiene estas

propiedades es llamada fuente sin memoria discreta, sin memoria en el sentidoque el smbolo emitido en cualquier tiempo es independiente de las eleccionesprevias.



3/50

Por ejemplo, sea una situacin en la que pueden presentarse n sucesos distintosde un experimento aleatorio, todos igualmente probables a priori, es decir, deacuerdo con nuestro conocimiento inicial. Podemos pensar en lanzar un dado (n =6), donde cada cara tiene la misma probabilidad de salir y queremos saber cual vaa ser el resultado. Nuestra incertidumbre o ignorancia es mxima en estacondicin inicial.

La cantidad de informacinobtenida luego de observar el evento S=sk, queocurre con probabilidad pk, es definida en trminos de una funcin logartmica:

( ) logk kI s p Esta definicin tiene la siguientes propiedades: se enen a so u a cer eza e resu a o e un even o, nc uso an es e queeste ocurra, no hay ninguna informacin obtenida.

k k

La ocurrencia de un evento S=sk cualquiera provee alguna o ninguna


, .

( ) 0 para 0 1k kI s p


4/50

Teora de la InformacinMenos probable un evento es, mayor informacin se puede producir cuando

este ocurra.

( ) ( ) parak i k i

I s I s p p

k i k i k iMenos probable un evento es, mayor informacin se puede producir cuandoeste ocurra.

La base del logaritmo es bastante arbitraria, sin embargo en la prctica se una

el logaritmo en base 2. La unidad resultante de informacin es llamada bit, que.Entonces se tiene:

1


2 2 , ,...,k kkp


5/50

Teora de la InformacinCuando pk=1/2, se tiene que I(sk)=1 bit. Por lo tanto un bit es la cantidad deinformacin que se puede obtener cuando uno de dos posibles e igualmenteprobables eventos ocurren.

I(sk) es yba variable aleatoria discreta que toma los valores I(so), I(s1),,- , , , - , .

La media de I(sk)es dada por

1 1

20 0

1( ) ( ) ( ) log

k k

k k k k

k k

H E I s p I s pp

La cantidad H es llamada entropa de una fuente discreta sin memoria ycorresponde a la medida de la informacin promedio contenida por smbolo


.


6/50

Entro aConsidere una fuente discreta sin memoria. La entropa de la fuente es limitada

de la siguiente manera:

Donde k es la base (nmero de smbolos ) del alfabeto de la fuente. Por

2

H()=0, si y solo si la probabilidad pk=1 para algn k, y las restantesprobabilidades en el set son todas ceros, el lmite inferior de la entropa

.

H()=log2K, si y solo si pk=1/k para todo k,(es decir todos los smbolosdel alfabeto l son e ui robables . El lmite su erior de la entro acorresponde a la mxima incertidumbre.



7/50

fuente.Un problema importante en comunicaciones es la representacin de la

eficiencia de datos generados por una fuente discreta.

Esta representacin se lleva a cabo por el proceso llamado codificacin dela fuente.

El dispositivo que ejecuta la representacin es llamado un codificador defuente.estadstica de la fuente.En particular si algunos smbolos de la fuente tienen mas probabilidad de

ser ele idos ue otros, se ueden ex lotar estas caractersticas en lageneracin de un cdigo de fuente, asignando palabras de cdigo corto asmbolos de fuente frecuente, y palabras de cdigo largo a smbolos defuente poco frecuente.


El cdigo de fuente es referido como cdigo de longitud variable


8/50

fuente.

El principal inters es desarrollar un codificador de fuenteeficiente que satisfaga dos requerimientos funcionales:

estn en forma binaria

de manera que la secuencia de a fuente original

puede ser reconstruida perfectamente de lasecuencia binaria codificada.



9/50

fuente.

De la fi ura se tiene una fuente sin memoria cu a salida sk es convertida or

el codificador de fuente en un bloque de ceros y unos denotado por bk

Asuma que la fuente tiene un alfabeto de K diferentes smbolos y que el k-esimo smbolo sk ocurre con probabilidad pk, k=0, 1, , K-1.

La palabra de cdigo binario asignada al smbolo sk por el codificador tieneuna longitud lk, medida en bits.Entonces la longitud promedio dela palabra de cdigo del codificador defuente es dada por: 1K


0 k kk

L p


10/50

fuente. n rm nos s cos e par me ro represen a e n mero prome o e s porsmbolos del a fuente usados en el proceso de codificacin de la fuente.

gamos que m n eno a e m n mo va or pos e e

Entonces la eficiencia de la codificacin de la fuente se define por

minLL

= = .que es eficiente cuando se aproxima a la unidad.Cmo se determina el mnimo valor de Lmin? La respuesta es extrada del

ser establecido como sigue:Dada una fuente discreta sin memoria de entropa H, el promedio de la longitudde la alabra de cdi o mL ara cual uier es uema de codificacin de fuente sin


distorsiones es limitado como ( )L H


11/50

fuente.

Entonces la eficiencia de la fuente en trminos de la entro a es definidacomo :

L



12/50

Compactacin de datosUna caracterstica comn de las seales generadas pro fuentes fsicas es

la cantidad de informacin redundante.debera ser removida de la seal antes de ser transmitida.

Esta o eracin sin erdida de informacin es e ecutada sobre una seal en

forma digital, esta es referida como compactacin de datos o compresin dedatos sin perdidas.

La entropa de la fuente provee el limite fundamental para removerredundancia del dato.

Bsicamente la compactacin consiste en asignar descripciones cortas alas salidas mas frecuentes y descripciones largas para las salidas menosfrecuentes.



13/50

Codificacin de prefijoUn cdigo prefijo es un cdigo, tpicamente un cdigo de longitudvariable, con la "propiedad de prefijo": ninguna palabra de cdigo es prefijode cualquier otra palabra de cdigo del conjunto. Un cdigo con laspalabras de cdigo {0, 10, 11} tiene la propiedad de prefijo; un cdigo {0,1, 10, 11} no la tiene, porque "1" es prefijo de tanto "10" como "11".



14/50

Codificacin de prefijo



15/50

McMillan

2 1kl

Las longitudes de la palabra de cdigo deben satisfacerla desigualdad.



16/50

Codificacin Huffman

Asignar a cada smbolo del alfabeto una secuencia de bits aproximadamenteigual en longitud a la cantidad de informacin que transporta el smbolocorrespondiente.Este proceso de reduccin sigue paso a paso hasta que se obtiene un

conjunto de nicamente dos estadsticas (smbolos) de fuente, para las cueles1 Los smbolos de la fuente se listan en orden de probabilidad decreciente alos smbolos de fuente de probabilidad ms baja se les asignan un 0 y un 1.Esta es la etapa de divisin.2 Estos dos smbolos de fuente se consideran como si se combinaran en unnuevo smbolo de fuente con probabilidad igual a la suma de las dosprobabilidades originales. De esta manera la lista de smbolos de fuente y poren e as es a s cas e uen e, re ucen su ama o en una un a . aprobabilidad del nuevo smbolo se pone en la lista de acuerdo con su valor.

3 El procedimiento se repite hasta que se queda con la lista final de las dos.

El cdigo de cada smbolo se de la fuente original se determina procediendo


,

as como a sus sucesores.


17/50

Ej: Codificacin HuffmanLos cinco smbolos del alfabeto de una fuente discreta sin memoria y sus

probabilidades se muestran en las dos columnas ms a la izquierda de la

pasos , lo que da origen al rbol de Huffman.



18/50

Ej: Codificacin HuffmanLa longitud promedio de la palabra de cdigo es:

0.4(2) 0.2(2) 0.2(2) 0.1(3) 0.1(3) 2.2L

La entro pa de la fuente discreta son memoria especificada se calcula:

2 2 2

1 1 1( ) 0.4log 0.2log 0.2log

0.4 0.2 0.2

H

2 2

1 10.1log 0.1log 2.12193

0.1 0.1bits



19/50

Codificacin HuffmanComo una medida de la variabilidad en las longitudes de palabra de

cdigo de un cdigo fuente, se define lavarianza

de la longitud promedio

2 0 k kkp l L



20/50

Codificacin Lempel-ZipDescompone el flujo de datos fuente en segmentos que son las subsecuenciasmas cortas no encontradas previamente.



21/50



22/50

Canal discreto sin memoriaEs un modelo estadstico con una entrada X y una salida Y que es

una versin ruidosa de X. Tanto X como Y son variables aleatorias.

Cada unidad de tiempo el canal acepta un smbolo de entrada Xele ido de un alfabeto L en res uesta emite un smbolo Y de un

alfabeto P.

tienen tamaos finitos.Se dice que ser sin memoria cuando el smbolo de salida

y no de cualquier smbolo previo.



23/50

La figura describe un canal discreto sin memoria, que es descrito en

trminos de un alfabeto de entrada, un alfabeto de salida y un conjuntode probabilidades de transicin.El alfabeto de entrada el de salida no necesariamente tienen el

0 1 1, ,..., Jx x x

mismo tamao.

0 1 1, ,...,

, ,

Ky y y

x P Y X x k

COMUNICACIONES DIGITALES, 1T, 2011 0 | 1, ,k jp y x j k


24/50

Canal discreto sin memoria

La matriz P de J por K recibe el nombre de matriz de canal o matriz detransicin.

Cada rengln de la matriz de canal P corresponde a una entrada de canala, en an o que ca a co umna e correspon e a una sa a e cana a.

Una propiedad de P es que la suma de los elementos a lo largo del rengln.

1K


0

,k


25/50

Canal discreto sin memoriaacuerdo con la distribucin de probabilidad {p(xj), j=0,1,,J-1}

En otras palabras, el evento de que la entrada del canal X=xj ocurra conprobabilidad:

( ) ( ), 0,1,..., 1j j

p x P X x j J La distribucin de robabilidad con unta de las variables aleatorias X Y est

dada por:( , ) ( , ) ( | ) ( ) ( | ) ( )

j k j k k j j k j jp x y P X x Y y P Y y X x P X x p y x p x

LA distribucin de probabilidad marginal de la variable aleatoria de salida Y seobtiene promediando la dependencia de p(xj,yk) con respecto a xj.

1 1

0 0

( ) ( ) | ( | ) ( ), 0,1,..., 1J J

k k k j j k j j

j j

p y P Y y P Y y X x P X x p y x p x k K

Las probabilidades p(xj) para j=0,1,,J-1 se conocen como las probabilidades


a priori de los distintos smbolos de entrada.


26/50

Canal simtrico binarioEs un caso es ecial de canal discreto sin memoria con J=K=2.El canal tiene dos smbolos de entrada (xo=0, x1=1) y dos smbolos desalida (yo=0, y1=1).

Es simtrico por que la probabilidad de recibir un 1 si se envi un cero es lamisma que la probabilidad de recibir un 0 si se envi un 1.El diagrama de probabilidad e transicin de un canal simtrico binario semuestra en la figura, en donde p es la probabilidad condicional de error:



27/50

Canal simtrico binarioprobabilidades condicionales de error p10 y p01 (ej. PCM).Para el caso de los smbolos 0 y 1 son igualmente probables, entonces.

10 ( 1| 0)p P y x

01

10 01p p p



28/50

Informacin mutuaDebido a que consideramos la salida del canal Y (elegida del alfabeto )como una versin ruidosa de la entrada X del canal (elegida del alfabeto ) ,

X.

Entonces, cmo se puede medir la incertidumbre alrededor de X despus

Para ello se define la entropa condicional de X elegida del alfabeto , dadoque Y=yk.

20| | log

|k j kj j kH Y y p x y

p x y

La medida de la entropa sobre el alfabeto de salida Y est dada por:

1 1 1

0 0 0

1( | ) ( | ) ( ) , log 2

,

K K J

k k j k

k k j j k

H H Y y p y p x yp x y

,j k j k k

p x y p x y p y

La cantidad H(|) recibe el nombre de entropa condicionaly representa lacantidad de incertidumbre que queda acerca de la entrada del canal despus de


que se ha observado la salida del canal.


29/50

Informacin mutuaDado que la entropa H() representa la incertidumbre en torno a la

H(|) representa la incertidumbre con respecto a la entrada del canaldespus de observar la salida de ste, se concluye que la diferencia

-

canal que se resuelve al observar la salida del mismo. Esta cantidad esdenominada la informacin mutuadel canal y se denota como I(;)

; |I H H

;

COMUNICACIONES DIGITALES, 1T, 2011entropa condicional de la salida del canal dada la entrada del mismo.


30/50

informacin mutuaPropiedad 1: La informacin mutua de un canal es simtrica:

; ;I I

Donde la informacin mutua I(;) es una medida de la incertidumbre

en torno a la entrada del canal que se resuelve observando la salidadel mismo, y la informacin mutua I(; ) es una medida de laincertidumbre en torno de la salida del canal ue se resuelve enviandola entrada del mismo.



31/50

informacin mutua

Propiedad 2: la informacin mutua es siempre no negativa:

; 0I

s a prop e a es a ece que no po emos per er n ormac n, en

promedio, observando la salida de un canal

entropa conjunta de a entrada y la salida del mismo mediante:

,



32/50

Capacidad del canalDado un canal discreto sin memoria con alfabeto de

entrada

, alfabeto de salida

y probabilidades dek j, , ,, - , ,, - .

informacin mutuadel canal se define mediante :

1 1 |( ; ) , log 2

K Jk j

p y xI p x y

0 0k j kp y



33/50

Capacidad del canal a s r uc n e pro a a e en ra a p xj es ev en emen eindependiente del canal. Entonces se puede maximizarla informacin

mutua I(;) del canal con respecto a {p(xj)} .

Entonces se puede definir, la capacidad del canal de un canal discretosin memoria como la informacin mutua mxima I(;) en cualquier uso

simple del canal, donde la maximizacin es sobre todas lasdistribuciones de probabilidad de entrada posibles {p(xj)} en.

La capacidad de canal se denota por:

( )jp x



34/50

El objetivo de un sistema de codificacin de canal es aumentar la.

La codificacin del canal consiste en hacer corresponder o asignar la

secuencia de datos de entrada con una secuencia de entrada del canalen la correspondencia inversa de la secuencia de salida del canal con unasecuencia de datos de salida, de manera que el efecto completo del ruidodel canal en el sistema se haga mnimo.

La primera operacin de correspondencia se realiza en el transmisor pormedio de un codificador de canal, donde la operacin de correspondenciainversa se realiza en el receptor con un decodificador de canal.



35/50

canal

Probabilidad

10-1 mala e ca a s egan

correctamente

10-6 ace table



36/50

canalEste teorema se enuncia en dos parte:

Dada una fuente discreta sin memoria con un alfabeto que tiene.canal discreto sin memoria con capacidad C y que se usa una vez cadaTc segundos. Entonces si

( )s c

H CT T

existe un esquema de codificacin para el cual la salida de la fuente puedetransmitirse por el canal y reconstruirse con una probabilidad de error

arbitraria pequea. El parmetro C/Tc es llamado tasa crtica. Si sesatisface esta expresin con el signo de la igualdad se dices que elsistema transmite seales a tasa crtica.



37/50

canal 2. Inversamente si

( )

s c

H C

T T

No es posible transmitir informacin por el canal y

arbitrariamente pequea



38/50

Aplicacin del teorema de Codificacin del

canal a canales simtricos.igualmente probables (ceros y unos) cada T, segundos.

on a en rop a e a uen e gua a un por s m o o e uen e, afuente de informacin de la fuente es (1/Ts) bits por segundo.

La secuencia de la fuente se aplica a un codificador de canal con tasa

de cdigo r.El codificador del canal produce un smbolo una vez cada Tc segundos.

Por tanto la tasa de transmisin del transmisin de smbolos codificados

es 1/Tc smbolos or se undo.

El codificador del canal ocupa un canal simtrico binario una vez cada


.


39/50

Aplicacin del teorema de Codificacin del

canal a canales simtricos. , .Donde C se determina mediante la probabilidad de transicin del canalpreestablecida p. Entonces la parte 1 del teorema implica que si:

s c

C

T T

a pro a a e error pue e acerse ar rar amen e peque a por me o e

uso de un esquema de codificacin de canal adecuado.

cT

r sTPor tanto

COMUNICACIONES DIGITALES, 1T, 2011r C

s ec r para r


40/50

mutua para arreglos continuos.En esta seccin s extiende los conceptos antes descritos para

variables aleatorias discretas en amplitud a variables aleatoriascont nuas y a vectores a eator os.

Considerando X como la variable aleatoria continua con la funcindensidad de probabilidad fx(X). Por analoga con la entropa de unavariable aleatoria discreta, se introduce la siguiente definicin:

2( ) ( ) log( )

x

x

h X f x dxf x

Donde h(X) se refiere como la entropa diferencial de X paradistinguirla de la entropa absoluta u ordinaria.



41/50

Entro a diferencial e informacin mutua

para arreglos continuos.aleatoria discreta que toma los valores xk=kdx, donde k=0,+-1,+-2,, y dxtiende a cero. Por definicin la variable X toma un valor en el intervalo

xk xk+dx con robabilidad fx xk dx.Por tanto si dx tiende a cero, la entropa ordinaria de X puede escribirse enlmite como:

2

0

2 2

( ) ( ) log

( )1

( )log log ( )

lim

lim

x k

x k x k

x k x k

H X f x x

f x x

f x x x f x x

0

2 20

1( )log log ( )

( ) lim

x k kx k

x xxx

f x dx x f x dxf x

20

ogmx

x

En lmite cuando dx tiende a cero, -log2 tiende a infinito. Esto quiere


decir que la entropa de una variable aleatoria continua es

infinitamente grande.


42/50

Cuando se dispone de un vector aleatorio continuo Xcompuesto por n, ,,

definida como la integral n :

2( ) ( ) log ( )X Xh X f X dX f X

Donde fx(X) es la funcin densidad de probabilidad conjunta de X



43/50

uniformeConsidere una variable aleatoria X distribuida uniformemente sobre el

intervalo (0,a). La funcin de densidad de probabilidad de X es:1

, 0( )

x

x af x a

Al aplicar la expresin de para la entropa diferencial se tiene que :

0, en otro caso

0

1( ) log( ) log

a

h X a dx a

a

Tome en cuanta que loga


44/50

Considerando un par de variables aleatoria X y Y. Se define la informacinmutua entre esas variables:

, 2

( | )( ; ) ( , ) log

( )

xX Y

x

f x yI X Y f x y dxdy

f x

Donde fX,Y(x,y) es la funcin densidad de probabilidad conjunta de X y Y yfX(x|y) es la funcin densidad de probabilidad condicional de X dado queY=y.

La informacin mutua tiene las siguientes propiedades:

; ;I X Y I Y X

( ; ) 0

( ; ) ( ) ( | ) ( ) ( | )

I X Y

I X Y h X h X Y h Y h Y X

El parametro h(X) es la entropa diferencia de X; lo mismo para Y, h(X|Y) esla entropa diferencial de X, dada Y, definida por:


, 2( | ) ( , ) log

( | )

X Y

x

h X Y f x y dxdy

f x y

es o m smo

para Y.


45/50

informacinEn esta seccin se recurre a la idea de la informacin mutua paraformular el teorema de la capacidad de informacin correspondiente a

.

Se considera un proceso estacionario de media cero X(t) que est.

Si Xk, k=1,2,,K denotan las variables aleatorias continuas que se

velocidad de Nyquist de 2B muestras por segundo.Estas muestras se transmiten en T segundos por un canal ruidoso,

tambin limitado en banda a B hertz. Por tanto, el nmero de muestras Kest definido por:



46/50

informacinSi Xk es una muestra de la se la transmitida. La salida del canal est

perturbada por ruido blanco gaussiano aditivo (AWGN) de media cero ydensidad espectral de potencia No/2.El ruido est limitado en banda a B hertz.Considerando que las variables aleatorias continuas Yk, k=1,2,,K denotanmuestras de la seal recibida, segn se indica mediante:

1 2 ...Y X N k K La muestra de ruido Nk es gaussiana con media cero y varianza dada

or:2

0N B


, , ,, ,


47/50

informacinUn canal para el cual el ruido y la seal recibida son descritas por las dos

ecuaciones anteriores se conoce como canal gaussiano sin memoria entiempo discreto.

Es necesario asumir un costo a la entra del canal para establecer.

que el costo se define como:2 k=1 2 ... KE X P

Donde P es la potencia promedio transmitida



48/50

informacin

La capacidad de informacin del canal se define como el mximo de

informacin mutua entre la entrada Xk del canal y la salida Yk del canal

C

sobre todas las distribuciones relativas a la entrada Xk que satisfacen larestriccin de potencia.

La capacidad del canal se define como:



49/50



50/50

Proyecto

Disear y simular un sistema digital decomunicaciones con los siguientecom onentes basado en los armetros

del proyecto asignado.Fuente am litudes ancho de banda

Codificacin, decodificacin (propio del estndar o mscomunes en caso de que el anterior tenga mucha complejidad)

o u ac n, emo u ac n, t po, recuenc as

Canal, ruido, (propia del medio donde opera el estndar)


CAP 4 Elem Teoría Información

Documents

Transcript of CAP 4 Elem Teoría Información