Apuntes de Comunicaciones Digitales

Click here to load reader

  • date post

    12-Feb-2017
  • Category

    Documents

  • view

    251
  • download

    7

Embed Size (px)

Transcript of Apuntes de Comunicaciones Digitales

  • UNIVERSIDAD DE CONCEPCIONFACULTAD DE INGENIERIA

    DEPARTAMENTO DE INGENIERIA ELECTRICA

    APUNTESCOMUNICACIONES DIGITALES

    Cod. 549 175 - Ingeniera Civil en Telecomunicaciones

    Prof. Sebastian E. Godoy

    Tercera EdicionJuly 23, 2010

  • Prologo

    El presente apunte, nace bajo la necesidad de lograr un mejor entendimiento de los alumnos quetoman la asignatura de Comunicaciones Digitales, obligatoria para la carrera de IngenieraCivil en Telecomunicaciones de la Facultad de Ingeniera, Universidad de Concepcion.

    Esta asignatura es planteada con la concepcion original de que el alumno maneja los con-ceptos de los sistemas de comunicacion analogicos (Sistemas de Comunicacion Cod. 549164) y principalmente de estadstica y procesos aleatorios (Procesos Aleatorios y EstadsticaAplicada Cods. 549 150, 549 103 respectivamente) cursados como requisitos previos de lapresente.

    Sinceramente, quisiera agradecer a todos los alumnos que han cursado la asignatura ya queen forma directa o indirecta han aportado al desarrollo de este documento mediante sugerencias,comentarios o apoyo en la escritura.

    El documento esta totalmente escrito utilizando LATEX mediante la interfaz grafica Kilepara Ubuntu Linux. El formato utilizado en el desarrollo de este documento, esta basado enlos apuntes del Prof. Jose Espinoza, con las respectivas modificaciones conforme el curso lorequiere.

    Sebastian E. Godoy

    Ingeniero Civil Electronico

    Magister en Ing. Electrica

    Colaborador Academico

    Departamento de Ing. Electrica

    Facultad de Ingeniera

    Universidad de Concepcion

    Casilla 160-C, Correo 3

    Concepcion, CHILE

    Tel: +56 (41) 2203633

    Fax: +56 (41) 2246999

    e-mail: [email protected]

    web: http://www.udec.cl/~segodoy

    i

    http://kile.sourceforge.net/http://www.ubuntu.com

  • Indice General

    Prologo i

    1 Introduccion 11.1 Sistema de Comunicaciones Digitales . . . . . . . . . . . . . . . . . . . . . . . . 1

    1.1.1 Por que comunicaciones digitales? . . . . . . . . . . . . . . . . . . . . . 21.2 Probabilidades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

    1.2.1 Revision Basica de Conceptos . . . . . . . . . . . . . . . . . . . . . . . . 21.2.2 Variables Aleatorias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.2.3 Valor Esperado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

    1.3 Procesos Aleatorios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.3.1 Estacionalidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

    1.4 Transformada y Series de Fourier . . . . . . . . . . . . . . . . . . . . . . . . . . 81.4.1 Series de Fourier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.4.2 Transformada de Fourier . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

    1.5 Densidad Espectral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131.5.1 Senales de Energa y Potencia . . . . . . . . . . . . . . . . . . . . . . . . 131.5.2 Teorema de Parseval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141.5.3 Densidad Espectral de Energa (ESD) . . . . . . . . . . . . . . . . . . . . 141.5.4 Densidad Espectral de Potencia (PSD) . . . . . . . . . . . . . . . . . . . 15

    1.6 Conversion Analogo-Digital . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171.6.1 Muestro de una Senal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181.6.2 Cuantizacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

    2 Teora de la Informacion 212.1 Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212.2 Modelo de las Fuentes de Informacion . . . . . . . . . . . . . . . . . . . . . . . . 21

    2.2.1 Concepto de Informacion . . . . . . . . . . . . . . . . . . . . . . . . . . . 212.2.2 Medida de la Informacion . . . . . . . . . . . . . . . . . . . . . . . . . . 222.2.3 Entropa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232.2.4 Entropa Conjunta y Condicional . . . . . . . . . . . . . . . . . . . . . . 242.2.5 Informacion Mutua . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

    2.3 Teorema de Codificacion de la Fuente . . . . . . . . . . . . . . . . . . . . . . . . 262.3.1 Codigo Huffman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272.3.2 Codigo Lempel-Ziv . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

    ii

  • 2.3.3 Codigo ASCII . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302.4 Representacion de Canales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

    2.4.1 Canales con Ruido Aditivo Gaussiano . . . . . . . . . . . . . . . . . . . . 332.4.2 Canales con Ruido y Filtro . . . . . . . . . . . . . . . . . . . . . . . . . . 34

    2.5 Capacidad del Canal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352.5.1 Capacidad de Canal Gaussiano . . . . . . . . . . . . . . . . . . . . . . . 36

    3 Modulacion en Banda Base 383.1 Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383.2 Muestreo de Senales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

    3.2.1 Recuperacion de Senales Muestreadas . . . . . . . . . . . . . . . . . . . . 383.2.2 Errores en el Muestreo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393.2.3 Muestreo Natural . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423.2.4 Sample-and-Hold . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

    3.3 Cuantizacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443.3.1 Cuantizacion Escalar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443.3.2 Cuantizacion Vectorial . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

    3.4 Codificacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543.5 Fuentes de Corrupcion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

    3.5.1 Efectos del Muestreo y la Cuantizacion . . . . . . . . . . . . . . . . . . . 543.5.2 Efectos del Canal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

    3.6 Pulse-Amplitude Modulation (PAM) . . . . . . . . . . . . . . . . . . . . . . . . 553.7 Pulse-Code Modulation (PCM) . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

    3.7.1 Representacion de Dgitos Binarios . . . . . . . . . . . . . . . . . . . . . 573.7.2 Tipos de Cuantizadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613.7.3 PCM Diferencial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

    3.8 Modulacion Delta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 653.8.1 Modulacion Delta Adaptiva . . . . . . . . . . . . . . . . . . . . . . . . . 67

    4 Modulaciones Digitales Pasabanda 694.1 Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 694.2 Senales y Ruido . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

    4.2.1 Ruido en Sistemas de Comunicaciones . . . . . . . . . . . . . . . . . . . 704.2.2 Representacion Geometrica de Senales . . . . . . . . . . . . . . . . . . . 71

    4.3 Tecnicas de Modulacion Digital Pasabanda . . . . . . . . . . . . . . . . . . . . . 764.3.1 Amplitude Shift Keying (ASK) . . . . . . . . . . . . . . . . . . . . . . . 774.3.2 Frequency Shift Keying (FSK) . . . . . . . . . . . . . . . . . . . . . . . . 774.3.3 Phase Shift Keying (PSK) . . . . . . . . . . . . . . . . . . . . . . . . . . 774.3.4 Amplitude Phase Shift Keying (APK) . . . . . . . . . . . . . . . . . . . 78

    4.4 Deteccion de Senales en la presencia de AWGN . . . . . . . . . . . . . . . . . . 794.4.1 Region de Decision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 794.4.2 Receptor de Correlacion . . . . . . . . . . . . . . . . . . . . . . . . . . . 804.4.3 Detector por Matched-Filter . . . . . . . . . . . . . . . . . . . . . . . . . 84

    4.5 Deteccion Coherente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

    iii

  • 4.5.1 Deteccion Coherente para PSK . . . . . . . . . . . . . . . . . . . . . . . 864.5.2 Deteccion Coherente para PSK Multiple . . . . . . . . . . . . . . . . . . 874.5.3 Deteccion Coherente de FSK . . . . . . . . . . . . . . . . . . . . . . . . . 89

    4.6 Deteccion No-Coherente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 904.6.1 Deteccion No-Coherente de FSK . . . . . . . . . . . . . . . . . . . . . . . 904.6.2 Deteccion de PSK Diferencial . . . . . . . . . . . . . . . . . . . . . . . . 94

    4.7 Desempeno de Error en Sistemas Binarios . . . . . . . . . . . . . . . . . . . . . 964.7.1 Probabilidad de Error de Bit para BPSK Coherente . . . . . . . . . . . . 974.7.2 Probabilidad de Error de Bit para DPSK . . . . . . . . . . . . . . . . . . 994.7.3 Probabilidad de Error de Bit para FSK Coherente . . . . . . . . . . . . . 994.7.4 Probabilidad de Error de Bit para FSK No-Coherente . . . . . . . . . . . 100

    5 Introduccion a la Codificacion 1035.1 Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1035.2 Codigos Lineales por Bloque . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

    5.2.1 Matrices de Generacion y Paridad . . . . . . . . . . . . . . . . . . . . . . 1095.3 Codigos Convolucionales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

    iv

  • Captulo 1

    Introduccion

    1.1 Sistema de Comunicaciones Digitales

    En el curso anterior de Sistemas de Comunicaciones, se introdujo el concepto basico de un sis-tema de comunicacion. Este consta de tres partes fundamentales: transmisor, canal y receptor.A su vez, el transmisor esta compuesto por el codificador y el modulador. El canal es aquel queagrega atenuacion, ruido, distorsion e interferencia que deben ser compensadas en el receptormediante el proceso de deteccion (demodulacion y decoficacion) y posiblemente un proceso defiltrado (ecualizacion).

    Resulta importante recordar que las limitaciones que se tienen para obtener comunicacionesconfiables en un sistema de transmision de senales analogas, estan determinadas por el canalde comunicacion. En particular, dicho canal debe permitir el paso de la senales, teniendo unancho de banda limitado para tales efectos.

    El concepto de comunicaciones digitales nace de la necesidad de transmitir informacion queno se encuentra como senales continuas sino como un mensaje binario. Cuando se habla demensaje binario se hace referencia a una secuencia de dos tipos de pulsos de forma conocidaocurriendo en intervalos regulares de tiempo, T . A pesar de que la forma de dichos pulsos esconocida a-priori, la ocurrencia de ceros o unos es desconocida por lo que se consideran senalesno determinsticas. La tasa a la que se muestran los pulsos es a R = 1

    T, siendo T la duracion

    de cada pulso tal como se dijo anteriormente.El presente curso tiene entonces por objetivo, familirizar a los alumnos con el concepto de

    enviar informacion en forma digital. Para lograr esto, el curso se subdividira en dos grandespartes. La primera parte considerara como llegar de una senal analoga a una digital pasando porel proceso de muestreo, cuantizacion y codificacion. Esto se logra aplicando teora estadsticasobre las fuentes de informacion y el canal, para fijar las cotas que se puedan lograr de lacomunicacion en s. Entiendase como cotas, la maxima compresion de datos y maxima tasade bits por segundo. Esta parte se concluye estudiando los modelos clasicos para realizar estaconversion analogo-digital, como lo son PCM o PAM.

    La segunda gran etapa del curso incluye la transmision de esta informacion mediante canalespasabanda, de manera similar a lo que se estudio en comunicaciones analogas. Esto quiere decirque se estudiara la modulacion y demodulacion digital en amplitud, frecuencia y fase (ASK,FSK y PSK respectivamente), para concluir con una introduccion a la codificacion que es muy

    1

  • CAPITULO 1. INTRODUCCION

    importante al momento de hablar de una transmision segura de datos.

    1.1.1 Por que comunicaciones digitales?

    Existen muchas razones que hacen preferibles las comunicaciones digitales frente a las analogas.La primera ventaja es que las senales digitales, a diferencia de las analogas, pueden ser recon-strudas (regeneradas) utilizando repetidores. Estos vuelven a amplificar la senal recuperandolas modificaciones y la degradacion que pudo haber sufrido dicha senal en el canal de trans-mision. Por otra parte, los circuitos digitales son mas faciles de reproducir, mas economicosy mas flexibles, pues sin importar si la senal es de television, telefono o telegrafo, siempre setratara de la misma forma para la transmision ya que un bit es un bit. Ademas los circuitosdigitales son menos propensos a distorciones de interferencia que los analogos dados los rangosque existen para cada estado digital; a esto se agrega que existen metodologas para detectarerrores en la transmision.

    Las principales ventajas y desventajas que presentan las Comunicaciones Digitales se mues-tran en la Tabla 1.1.

    Tabla 1.1: Ventajas y Desventajas de las Comunicaciones DigitalesVentajas Desventajas

    Generalmente los errores puedenser corregidos.

    Resulta sencillo implementar laencriptacion.

    Se puede tener un alto rangodinamico de los datos.

    Generalmente se requiere unmayor ancho de banda que concomunicaciones analogas.

    Requieren sincronizacion.

    1.2 Probabilidades

    Como se dijo en la seccion anterior, dado que no se conoce a-priori la ocurrencia de ceros o unosen una sena digital, entonces no se puede tratar como una senal determinstica. Por lo tanto, esnecesario recordar algunos conceptos de estadstica como variables y procesos aleatorios, valoresperado, autocorrelacion y estacionalidad de procesos aleatorios.

    1.2.1 Revision Basica de Conceptos

    Se llama Evento a un resultado en particular de un experimento, Espacio Muestral a lacoleccion de todos los resultados de eventos posibles.

    2

  • CAPITULO 1. INTRODUCCION

    La probabilidad de que ocurra un evento A denotada por P (A), esta definida como

    P (A) = limn

    nAn

    en donde nA es al numero de veces que A aparece en los n intentos en que se realizo el ex-perimento. As, P sera una probabilidad si es una funcion de eventos y satisface las siguientescondiciones:

    1. P (A) 0 para cualquier evento A.

    2. P () = 1.

    3. Si A1, A2, . . . , An son eventos disjuntos, entonces P (A1A2 An) =n

    i=1 P (Ai)

    4. P (A) < 1 para cualquier evento A.

    El concepto de Probabilidad Condicional, busca cuantificar la probabilidad de que ocurraun evento A, dado que ya ocurrio un evento B. Se denota por P (A|B) y esta definida por:

    P (A|B) = P (A,B)P (B)

    (1.1)

    en donde p(B) 6= 0.Por otro lado, el Teorema de Bayes dice que:

    P (A,B) = P (B|A)P (A) = P (A|B)P (B) (1.2)

    Luego, la probabilidad condicional estara dada por

    P (A|B) = P (B|A)P (A)P (B)

    Se dice que dos eventos A y B son independientes si y solo si

    P (A|B) = P (A) P (B|A) = P (B)

    Ejemplo 1.1 - Probabilidad de Error.Considere el canal de comunicacion digital de 1 bit. Determine la probabilidad del evento error,considerando que el transmisor tiene la misma probabilidad de enviar un cero o un uno.Sol. Los resultados posibles son: recibir un cero cuando se envio un cero o cuando se envio ununo, o recibir un uno cuando se envio un cero o un uno, lo que podra ser resumido en ={(0t, 0r), (0t, 1r), (1t, 0r), (1t, 1r)}. As el evento error estara determinado por el subconjuntoE = {(0t, 1r), (1t, 0r)}. Asumiendo que la probabilidad de recibir un error puntual es p, entoncesP (0r|1t) = P (1r|0t) = p, luego se tiene por Teorema de Bayes que P (0t, 1r) = P (0r|1t)P (0t) =0.5p y de igual forma P (1t, 0r) = 0.5p. Ahora bien, la probabilidad del evento error seraP (E) = P [(0t, 1r), (1t, 0r)] = P (0t, 1r) + P (1t, 0r) = 0.5p+ 0.5p = p.

    3

  • CAPITULO 1. INTRODUCCION

    1.2.2 Variables Aleatorias

    Una variable aleatorioa X(A) corresponde a una relacion funcional entre un evento aleatorioA y un numero real. En general por notacion simplemente se utiliza solo X como designacionpara la variable aleatoria, dejando la relacion con el evento A de forma implcita.

    La Funcion de Distribucion de Probabilidad denotada por FX(x) de la variable aleato-ria X esta determinada por:

    FX(x) = P (X x) (1.3)

    en donde P (X x) es la probabilidad de que el valor de la variable aleatoria sea menor o igualque el numero real x. La funcion de distribucion tiene las siguientes propiedades:

    1. 0 FX(x) 1.

    2. FX(x1) FX(x2), si x1 x2.

    3. FX() = 0.

    4. FX(+) = 1.

    La Funcion de Densidad de Probabilidad (PDF) denotada por fX(x) esta definida por:

    fX(x) =dFX(x)

    dx(1.4)

    y recibe su nombre en base a que la probabilidad del evento x1 X x2 es:

    P (x1 X x2) = P (X x2) P (X x1)= FX(x2) FX(x1)

    =

    x2x1

    fX(x) dx

    La PDF tiene las siguientes propiedades:

    1. Es siempre una funcion no negativa: fX(x) 0.

    2. Tiene un area total unitaria: fX(x) dx = FX(+) FX() = 1

    1.2.3 Valor Esperado

    Se define el Valor Esperado o esperanza de una variable aleatoria continua X como

    E {X} =

    x pX(x) dx (1.5)

    y a la vez corresponde a la media de X, mX , o primer momento. El operador E {.} tiene lassiguientes propiedades

    4

  • CAPITULO 1. INTRODUCCION

    Linealidad. Si Xi, i = 1, 2, . . . , n son diferentes variables aleatorioas y ai son escalares deter-minsticos, entonces

    E

    {i

    aiXi

    }=i

    aiE {Xi}

    Transformacion Lineal. Sean A y B matrices determinsticas, entonces

    E {AX} = A E {X}

    E {XB} = E {X} B

    Invarianza de Transformacion. Sea Y = g(X) una funcion evaluada sobre el vector devariables aleatoria X, entonces +

    Y pY (Y ) dY =

    +

    g(X)pX(X) dX ,

    por lo queE {Y } = E {g(X)} ,

    aun cuando las integrales sean calculadas sobre diferentes funciones de densidad de prob-abilidad.

    Se define tambien el n-esimo momento de la variable aleatoria mediante:

    E {Xn} =

    xn pX(x) dx (1.6)

    en donde se puede notar que la media corresponde al primer momento (n = 1) y la mediacuadratica sera el segundo momento. Ademas se pueden definir los Momentos Centrales quecorresponden a los momentos de la diferencia entre X y su media mX . La Varianza de Xcorresponde al segundo momento central, por lo que esta definida por:

    var {X} = E{

    (X mX)2}

    =

    (xmX)2 pX(x) dx (1.7)

    la que tambien se denota por 2X . Su raiz cuadrada, X , corresponde a la llamada desviacionestandar de X. La relacion que existe entre la varianza y el valor medio cuadratico esta dadapor:

    2X = E{

    (X mX)2}

    = E{X2 2mXX +m2X

    }= E

    {X2} E {X}2 , (1.8)

    por lo que en variables de media nula, la varianza corresponde a la esperanza del valor cuadraticode la variable en s. Para cualquier constante a, se verifican para la varianza:

    1. var {aX} = a2var {X}

    2. var {a} = 0

    3. var {X + a} = var {X} .

    Es importante mencionar que para variables aleatorias independientes, el valor esperado seradado por el producto de los valores esperados individuales, E {XY } = E {X}E {Y }.

    5

  • CAPITULO 1. INTRODUCCION

    1.3 Procesos Aleatorios

    Un proceso aleatorio puede ser visto como una funcion de dos variables: un evento A y eltiempo, por lo que para cada instante de tiempo se tienen diferentes funciones. As para uninstante tk, la funcion X(A, t) es una variable aleatoria X(tk). Por notacion, simplemente sehablara de procesos aleatorios marcando la dependencia del tiempo, vale decir X(A, t) X(t)dejando la dependencia funcional al evento A de forma implcita.

    Dada la incertidumbre envuelta en los procesos aleatorios, solo se puede dar una descripcionparcial de ellos. Para esto se utiliza el concepto de la media y de la funcion de autocorrelacion.La media de un proceso aleatorio en tiempo continuo esta definido por la Ecuacion (1.5); para elcaso de procesos aleatorios en tiempo discreto, la integral cambia a sumatoria finita, y se tieneque considerar que se evalua en el instante tk, vale decir se calcula mX(tk). Indirectamente, estoquiere decir que la variable aleatoria X corresponde a la observacion del proceso aleatorio en elinstante tk.

    La autocorrelacion de un proceso aleatorio se estudia en la siguiente seccion.

    Ejemplo 1.2 - Procesos Aleatorios.Considere un detector inalambrico que se modela linealmente por la ecuacion Y (t) = aX(t)+b+U(t) en donde a y b son constantes determinsticas; X(t) es una variable aleatoria uniformementedistribuida en el rango [Xmin, Xmax]. Considerando que U(t) es un ruido Gaussiano con medianula y varianza conocida, se pide encontrar las constantes a y b.Sol. Asumiendo que los procesos aleatorios son estacionarios, la media estara determinadapor E {Y } = E {aX(t) + b+ U(t)} = aE {x} + b. Por otra parte, su varianza estara dadapor 2Y = a

    22X + 2u. As, la ganancia sera a =

    2Y 2u/X , y el offset se puede despejar

    directamente y obtener b = E {y} aE {x}. Esto es valido pues los valores de E {x} y X sonconocidas desde la distribucion uniforme.

    1.3.1 Estacionalidad

    Autocorrelacion de Procesos Aleatorios

    La autocorrelacion de un proceso aleatorio X(t) se define como

    R (t1, t2) = E {X(t1)X(t2)} (1.9)

    en donde X(t1) y X(t2) corresponden a la observacion del proceso aleatorio en los instante t1 yt2 respectivamente.

    Definicion de Estacionalidad

    Un proceso aleatorio X(t) es llamado Estacionario en el Sentido Estricto si ninguna de sus es-tadsticas dependen de ninguna forma del tiempo. Un proceso aleatorio es llamado Estacionarioen Sentido Amplio (wide-sense stationary, WSS) si su media y su funcion de autocorrelacion no

    6

  • CAPITULO 1. INTRODUCCION

    varan ni dependen del tiempo. As un proceso es WSS si:

    E {X(t)} = mX y, RX(t1, t2) = RX(t2 t1) .

    Considerando que para un proceso aleatorio WSS, la autocorrelacion dependera solo dela diferencia temporal y no del instante de tiempo en s, cualquier par de valores de X(t)que esten separados en el tiempo por = t2 t1 tienen el mismo valor de correlacion. As,para sistemas estacionarios la autocorrelacion se expresa mediante la relacion R (t1, t2) R ().Luego, para un proceso aleatorio real y WSS, su funcion de autocorrelacion, R (), tiene lassiguientes propiedades:

    1. Es simetrica con respecto al origen: R () = R ().

    2. El maximo ocurre en el origen: R () R (0) , .

    3. El valor en el origen corresponde a la energa/potencia de la senal

    No resulta dificil notar que si un proceso es estrictamente estacionario, tambien lo es ensentido amplio, pero no viceversa. En el presente curso se utilizara el concepto de estacionalidadpara hablar de procesos WSS, dejando en forma explcita cuando se hable de estacionalidadestricta.

    Ejemplo 1.3 - Proceso Aleatorio Estacionario.Sea el siguiente proceso aleatorio X(t) = A cos(0t+ ), con A y 0 constantes y U [0, 2].Determine su estacionalidad.Sol. La media del proceso es E {X} = E {A cos(0t+ )} = 0 ya que se calcula la integralsobre un periodo completo de la fase. La funcion de autocorrelacion para este proceso estadeterminada por

    R(t1, t2) = E {A cos(0t1 + )A cos(0t2 + )}

    = A2E

    {1

    2cos[0(t1 t2)] +

    1

    2cos[0(t1 + t2) + 2]

    }=

    A2

    2cos[0(t1 t2)] ,

    pues el segundo termino corresponde al calculo de la integral sobre el periodo completo de lafase y se hace nulo. Dado que la funcion de autocorrelacion depende de la diferencia de tiempoy no del valor absoluto, entonces corresponde a un proceso aleatorio estacionario.

    Las cantidades y parametros electricos fundamentales pueden ser relacionados con los mo-mentos de un proceso aleatorio de la siguiente manera

    1. La media mX es igual al valor DC de la senal.

    2. La cantidad m2X es igual a la potencia normalizada de la componente continua.

    7

  • CAPITULO 1. INTRODUCCION

    3. El segundo momento de X(t), E {X2(t)}, es igual a la potencia normalizada total.

    4. La cantidad

    E {X2(t)} es igual al valor rms de la senal de corriente o voltaje.

    5. La varianza es igual a la potencia normalizada promedio en la componente AC de la senal.

    6. La desviacion estandar es el valor RMS de la componente alterna de la senal.

    1.4 Transformada y Series de Fourier

    1.4.1 Series de Fourier

    Las series de Fourier permiten descomponer cualquier senal periodica x(t) en una sumatoriade exponenciales complejas (senos y cosenos), lo que es de gran ayuda en comunicaciones alrealizar analisis de sistemas lineales e invariantes en el tiempo (LTI). Una serie de Fourier es laexpansion ortogonal de una senal periodica con periodo T0, cuando el set de senales {ejn0t}n=es utilizado como base para dicha expansion. Notese que 0 = 2f0 = 2

    1T0

    . Con esta base,

    cualquier senal periodica1 x(t) puede ser expresada como

    x(t) =

    n=

    xnejn0t , (1.10)

    en donde los terminos xn son llamados coeficientes de la serie de Fourier de la senal x(t), yestan definidos por

    xn =1

    T0

    +T0

    x(t)ejn0t dt , (1.11)

    La variable es cualquier numero real elegido correctamente. La frecuencia f0 es llamadafrecuencia fundamental de la senal periodica, y las frecuencias fn = nf0 son llamados los n-esimos armonicos. En la mayora de los casos, tanto = 0 como = T0/2 son buenaselecciones dependiendo de la paridad de la senal.

    Este tipo de series de Fourier es conocido como forma compleja de la series de Fourier, ypuede ser aplicada tanto en senales reales como complejas, mientras estas sean periodicas. Engeneral, los coeficientes de la serie de Fourier {xn} son numeros complejos aun cuando x(t) seauna senal real.

    Ejemplo 1.4 - Series Complejas de Fourier.

    Para la la senal w(t) =

    {A , t (2k T0

    2, (2k + 1)T0

    2]

    0 , i.o.c.en donde el parametro k asume los

    valores k = 0,1,2, . . . , se pide encontrar su serie de Fourier.Sol. Se comienza calculando el valor continuo: c0 =

    AT0

    T02

    0dt = A

    2. Ahora, los otros valores de

    1En rigor, la condicion suficiente para la existencia de una serie de Fourier, es que la senal w(t) satisfaga lascondiciones de Dirchlet. Para mas informacion consultar este link.

    8

    http://en.wikipedia.org/wiki/Dirichlet_conditions

  • CAPITULO 1. INTRODUCCION

    los coeficientes seran: cn =AT0

    T02

    0ejn0tdt = j A

    2n(ejn 1). Dado que para n par, ejn = 1

    y para n impar ejn = 1, los coeficientes estan dados por:

    cn =

    A2

    , n = 0j A

    n, n impar

    0 , n par.

    En el ejemplo anterior, se obtuvo que el valor continuo de la senal es la mitad de la amplitudmaxima de la senal cuadrada, lo que es concordante con la intuicion referente al valor mediode dicha senal. Si se considera que A = 2, T0 = 20[ms], entonces x0 = 1, xn = j 2n paramultiplos impares de la frecuencia fundamental f0 =

    1T0

    = 50[Hz], y cero para el resto. Esteresultado se puede apreciar en la Fig. 1.1, en donde se ha despreciado el termino de fase j ysolo se dibuja el valor absoluto del espectro.

    Fig. 1.1: Senal y espectro discreto obtenido mediante la serie de Fourier del Ejemplo 1.4

    Se puede demostrar que para una senal periodica real, xn = xn. En efecto, se tiene que

    xn =1

    T0

    +T0

    x(t)ej(n)0t dt

    =1

    T0

    +T0

    x(t)ejn0t dt

    =1

    T0

    +T0

    x(t)[ejn0t

    ]dt

    = xn .

    Ahora bien, como el n-esimo coeficiente es complejo, se puede descomponer en su parte real y

    9

  • CAPITULO 1. INTRODUCCION

    compleja como sigue

    xn =an jbn

    2.

    As, la parte negativa estara determinada por xn = xn =

    an+jbn2

    . Luego de usar la relacion deEuler dada por ejn0t = cosn0t j sinn0t , entonces se obtiene que

    an =2

    T0

    +T0

    x(t) cosn0t dt (1.12)

    bn =2

    T0

    +T0

    x(t) sinn0t dt , (1.13)

    y, por lo tanto

    x(t) =a02

    +n=1

    an cosn0t+ bn sinn0t . (1.14)

    Notese que para n = 0, siempre se tiene que b0 = 0, entonces a0 = 2w0. Esta relacion se conocecomo la serie de Fourier trigonometrica.

    Definiendo cn =a2n + b

    2n y n = tan1 bnan , y usando la relacion a cos + b sin =

    a2 + b2 cos( tan1 b

    a

    ), entonces la Ecuacion (1.14) se puede escribir de la forma

    x(t) =a02

    +n=1

    cn cos(n0t+ n) , (1.15)

    que es la tercera forma de la expansion en series de Fourier para senales reales periodicas.Es importante considerar que si x(t) es real y par, vale decir x(t) = x(t), entonces bn = 0,

    por lo que todos los coeficientes xn son reales y la serie trigonometrica esta dada solamente porla suma de cosenos. Similarmente, para una senal real e impar, an = 0 por lo que todos los xnson imaginarios y la serie esta determinada por la suma de senos.

    La suma del producto entre los coeficientes de la serie de Fourier y las exponenciales esteoricamente infinita, lo que resulta imposible de conseguir en la realidad. Es por esto queen general se utilizan aproximaciones de la representacion en series con un numero finito dearmonicos. La Fig. 1.2 muestra distintas aproximaciones del pulso rectangular para diferentesvalores de armonicos. A medida que el numero de armonicos se incrementa, menos error se tieneentre ambas senales. Las oscilaciones que presenta la senal aproximada en cada canto recibeel nombre de fenomeno de Gibbs2 y se origina porque la n-esima suma parcial de la serie deFourier tiene grandes oscilaciones cerca del salto, lo que a su vez incrementa el maximo valorde la suma sobre el de la funcion.

    1.4.2 Transformada de Fourier

    La transformada de Fourier corresponde a una extension de las series de Fourier para senalesno periodicas. La transformada de Fourier de una senal denotada por x(t) que satisface las

    2Para mas informacion, ud. puede visitar este link.

    10

    http://en.wikipedia.org/wiki/Gibbs_phenomenon

  • CAPITULO 1. INTRODUCCION

    Fig. 1.2: Aproximaciones para un pulso rectangular del Ejemplo 1.4, usando series de Fourier

    condiciones de Dirichlet se denota por X(f), o, equivalentemente, F [x(t)], y esta definida por

    F [X(t)] X(f) =

    x(t)ej2ft dt . (1.16)

    La transformada de Fourier inversa esta dada por

    F1 [X(f)] x(t) =

    X(f)ej2ft df . (1.17)

    Si la senal x(t) es real, entonces su transformada de Fourier X(f) satisface la simetraHermitiana, es decir X(f) = X(f). Las propiedades de la transformada de Fourier se listana continuacion.

    1. Linealidad. La transformada de Fourier de una combinacion lineal de dos o mas senales,es la combinacion lineal de las correspondientes transformadas de Fourier:

    F

    [i

    ixi(t)

    ]=i

    iF [xi(t)] .

    2. Dualidad. Si X(f) es la transformada de Fourier de x(t), entonces

    F [X(t)] = x(f) .

    3. Corrimiento en el tiempo. Un desplazamiento en el dominio del tiempo, resulta en undesplazamiento en la fase del dominio de la frecuencia:

    F [x(t t0)] = ej2ft0F [x(t)]

    11

  • CAPITULO 1. INTRODUCCION

    4. Escalamiento. Una expansion en el dominio del tiempo resulta en una contraccion en eldominio de la frecuencia, y viceversa:

    F [x(at)] =1

    |a|F [x(t)] , a 6= 0

    5. Modulacion. La multiplicacion por una exponencial en el dominio del tiempo, se mani-fiesta como un desplazamiento en el dominio de la frecuencia.

    F[ej2f0tx(t)

    ]= X(f f0)

    6. Derivacion. La derivacion en el dominio del tiempo corresponde a la multiplicacion porj en el dominio de la frecuencia:

    F

    [dn

    dtnx(t)

    ]= (j2f)nF [x(t)]

    7. Convolucion. La convolucion en el dominio del tiempo es equivalente a la multiplicacionen el dominio de la frecuencia, y viceversa.

    F [x(t) y(t)] = F [x(t)]F [y(t)]

    F [x(t)y(t)] = F [x(t)] F [y(t)]

    Para una senal periodica x(t) con periodo T0, cuyos coeficientes de Fourier son denominadospor xn, vale decir

    x(t) =

    n=

    xnejn0t ,

    tiene por transformada de Fourier

    X(f) = F

    [

    n=

    xnejn0t

    ]

    =

    n=

    xn F[ejn0t

    ]=

    n=

    xn (f nf0) .

    En otras palabras, la transformada de Fourier de una senal periodica consiste en impulsos a losmultiplos enteros de la frecuencia fundamental (armonicos) de la senal original, con un peso igualal valor de los coeficientes de Fourier. En conclusion, para una senal periodica, su transformadade Fourier corresponden a los coefficientes xn ubicados en los armonicos correspondientes aln-esimo multiplo de la frecuencia fundamental.

    12

  • CAPITULO 1. INTRODUCCION

    1.5 Densidad Espectral

    La densidad espectral de una senal, caracteriza la distribucion de la energa o potencia dedicha senal en el dominio de la frecuencia, dependiendo si se trabaja con senales de energa opotencia, respectivamente. Este concepto se torna muy importante con la presencia de filtrosen los sistemas de comunicaciones, pues se requerira evaluar la senal y el ruido a la salida deun filtro. Para realizar esta tarea, se utiliza la Densidad Espectral de Energa (ESD, EnergySpectral Density) o la Densidad Espectral de Potencia (PSD, Power Spectral Density).

    1.5.1 Senales de Energa y Potencia

    Una senal electrica puede ser representada como un voltaje v(t) o una corriente i(t), con unapotencia instantanea p(t) a traves del resistor R, definida por p(t) = v2(t)R1 = i2(t)R. Ensistemas de comunicaciones se trabaja con el concepto de potencia normalizada que involucraasumir que el valor de la resistencia R es unitario (R=1), por lo que ambos lados de la ecuacionanterior tienen la misma forma sin importar si se habla de senales de voltaje o de corriente.Entonces, el concepto de potencia normalizada permite expresar la potencia instantanea de laforma

    p(t) = x2(t) (1.18)

    en donde x(t) representa indistintamente una senal de voltaje o de corriente.La energa y la potencia promedio disipada durante el intervalo de tiempo ] T

    2, T

    2[ por una

    senal real con potencia instantanea expresada por la Ecuacion (1.18), puede ser escrita como:

    ET , T

    2

    T2

    x2(t) dt y, PT ,1

    T

    T2

    T2

    x2(t) dt

    El desempeno de un sistema de comunicaciones depende de la energa de la senal detectada.Mientras mayor sea la energa de las senales detectadas, el proceso de deteccion se hara conmenos errores que si las senales fueran de energa mas baja. Por otro lado, la potencia es latasa a la cual la energa es entregada y es importante porque determina las condiciones detransmision/recepcion de las senales. Entonces, en el analisis de senales de comunicaciones,resulta preferible trabajar con senales de energa. La senal x(t) sera considerada una senal deenergia si y solo si 0 < E

  • CAPITULO 1. INTRODUCCION

    Las definiciones de senales de energa y potencia son mutuamente excluyentes, ya que unasenal de energa tiene energa finita pero potencia media nula, en cambio una senal de potenciatiene potencia media finita pero energa infinita. Como norma general, las senales periodicas ylas senales aleatorias son consideradas de potencia. Por otro lado, las senales que a la vez sonno periodicas y determinsticas son clasificadas como senales de energa.

    1.5.2 Teorema de Parseval

    Dada la importancia de este teorema en las senales utilizadas en comunicaciones, es necesarioenunciarlo en forma independiente y en forma previa a las definiciones de ESD y PSD.

    Este teorema esta dado por: |x(t)|2 dt =

    |X(f)|2 df (1.21)

    en donde X(f) es la transformada de Fourier de la senal no periodica x(t). Notese que el ladoizquierdo de la ecuacion del teorema corresponde a la definicion de energa media definida en laEcuacion (1.19)

    La interpretacion de la Ecuacion (1.21) y del teorema en s, es que la energa total contenidaen la senal x(t) sumada a lo largo de todo el tiempo t es igual a la energa total de la transformadade Fourier de x(t), X(f), sumada a lo largo de todas las componentes de frecuencia f .

    1.5.3 Densidad Espectral de Energa (ESD)

    La energa total de una senal real x(t) definida para todos los numeros reales, esta dada por laEcuacion (1.19). Utilizando el Teorema de Parseval, se puede relacionar la energa de dicha senalexpresada en el dominio del tiempo, con la energa expresada en el dominio de la frecuencia,luego

    E =

    |X(f)|2 df .

    Esto significa que la energa media de una senal x(t) esta dada por el area bajo la curva |X(f)|2.Como consecuencia, la funcion en frecuencia |X(f)|2 define como la energa se distribuye paratodas las componentes de frecuencia f . As, en palabras mas formales, si se define la magnitudal cuadrado del espectro como:

    (f) , |X(f)|2 , (1.22)

    entonces la cantidad (f) es la forma de onda de la Densidad Espectral del Energa (ESD) dela senal x(t).

    Notese que esta definicion de ESD requiere que la transformada de Fourier de la senalexista, lo que matematicamente implica que las senales sean integrables cuadraticamente. Poresta razon, es mas comun hablar de densidad espectral de potencia (PSD) que describe comola potencia de la senal esta distribuda en las distintas frecuencias.

    14

  • CAPITULO 1. INTRODUCCION

    1.5.4 Densidad Espectral de Potencia (PSD)

    La PSD es particularmente importante en sistemas de comunicaciones pues describe la dis-tribucion de una senal de potencia en el dominio de la frecuencia, permitiendo determinar comodicha senal pasa atraves de una red de comunicaciones de respuesta en frecuencia conocida.

    La potencia promedio P de una senal real de potencia x(t) esta definita por la Ecuacion (1.20).Tomando el teorema de Parseval sobre senales reales y periodicas se obtiene la relacion

    1

    T0

    T02

    T02

    x2(t) dt =

    n=

    |xn|2 , (1.23)

    en donde el lado izquierdo correspnde a la definicion de la potencia media de una senal periodicay los terminos |xn| son los coeficientes complejos de la serie de Fourier de dicha senal. Nueva-mente, planteando esta igualdad, se tiene que la potencia media de la senal estara dada porsuma de todas las componentes espectrales de ella a lo largo de la frecuencia. En smbolos

    P =

    n=

    |xn|2 .

    As, se define la Densidad Espectral de Potencia (PSD) de la senal periodica x(t) mediante

    (f) ,+

    n=

    |xn|2 (f nf0) . (1.24)

    Notese que (f) es una funcion discreta en frecuencia, real, par y no-negativaPara senales no-periodicas se requiere definir una version truncada de la senal, mediante:

    xT (t) ,

    {x(t) , T

    2< t < T

    2

    0 , i.o.c.= w(t)

    (t

    T

    ).

    Ahora, usando la Ecuacion (1.20) y el teorema de Parseval dado por la Ecuacion (1.21) setiene que la potencia normalizada promedio esta determinada por:

    P = limT

    1

    T

    x2T (t) dt = limT

    1

    T

    |XT (f)|2 df =

    limT

    |XT (f)|2

    Tdf

    Entonces, utilizando el mismo principio explicado para el caso de senales periodicas, se definela PSD de una senal no-periodica de una senal como:

    (f) = limT

    |XT (f)|2

    T, (1.25)

    de donde se puede extraer directamente que la potencia promedio de la senal estara determinadapor el calculo de la integral de la PSD a lo largo de todas las frecuencias. Este resultado esde vital importancia para senales aleatorias en donde no se puede calcular la transformada deFourier pero si su PSD mediante la funcion de autocorrelacion como se vera en la siguienteseccion.

    15

  • CAPITULO 1. INTRODUCCION

    Ejemplo 1.5 - PSD senal periodica.Encuentre la potencia promedio normalizada de la senal x(t) = A cos(0t) usando el promediotemporal y en base a las series de Fourier.

    Sol. Usando la Ecuacion (1.23), se tiene P = A2

    T0

    T02

    T02

    cos2(0t) dt =A2

    2. Por otra parte, al

    usar la definicion de una PSD para senal periodica dada por la Ecuacion (1.24), se obtienepor mediante las series de Fourier que x1 = x1 =

    A2

    y xn = 0, n = 0,2,3, . . . . Luego(f) = A

    2

    4[(f +f0)+(ff0)], entonces P =

    (f) =

    A2

    2, que es el mismo valor encontrado

    mediante el calculo del valor medio.

    Ejemplo 1.6 - PSD, Potencia media y valor RMS.Determine la PSD, la potencia media y el valor RMS de la senal x(t) = A sin(0t), mediante eluso de la funcion de autocorrelacion.Sol. La funcion de autocorrelacion estara determinada por R () = A

    2

    2cos(0), entonces su

    PSD estara determinada por (f) = F [R ()] = F[A2

    2cos(0)

    ]= A

    2

    4[(f + f0) + (f f0)]. La

    potencia media sera P = R (0) = A2

    2y el valor RMS xRMS =

    P = A

    2.

    PSD de un Proceso Aleatorio

    Anteriormente se dijo que un proceso aleatorio X(t) se clasificaba como una senal de potencia,por lo que tendra una PSD caracterstica X(f) que esta descrita por la Ecuacion (1.25). Elproblema con dicha definicion, es que requiere el calculo de transformada de Fourier del procesoaleatorio, cosa que normalmente es imposible pues no se tiene una descripcion en el tiempoque permita el calculo de la integral. Por esta razon se necesita recordar que la PSD y laautocorrelacion se relacionan mediante la transformada de Fourier como lo sentencia el Teoremade Wiener-Khinchin.

    Teorema Wiener-Khinchin. Para un proceso aleatorio estacionario X(t), su densidad es-pectral de potencia (PSD) corresponde a la transformada de Fourier de la funcion deautocorrelacion, es decir

    X(f) = F [RX()] . (1.26)

    Entonces, la PSD de una secuencia aleatoria de digitos binarios puede ser obtenida mediantela transformada de fourier de la funcion de autocorrelacion. Debe recordarse que el area bajola curva de la PSD corresponde a la potencia promedio de la senal.

    Ejemplo 1.7 - PSD proceso aleatorio estacionario.Sea el siguiente proceso aleatorio X(t) = A cos(0t+ ), con A y 0 constantes y U [0, 2].Determine la PSD de dicho proceso.Sol. Anteriormente se obtuvo que la media del proceso es E {X} = 0 y que la funcion de

    16

  • CAPITULO 1. INTRODUCCION

    (a) Senal original y contaminada con ruido blanco (b) PSD de la senal

    Fig. 1.3: Estimacion de la PSD de una senal determinstica contaminada con ruido blanco.

    autocorrelacion para este proceso es R (t1, t2) =12A2 cos[0(t2 t1)] = 12A

    2 cos0 , por loque corresponde a un proceso estacionario. Entonces la PSD estara determinada por (f) =A2

    4[(f f0) + (f + f0)].

    Aparte de permitir realizar analisis espectral de los procesos aleatorios, la PSD permite tra-bajar con senales determinsticas contaminadas con ruido aleatorio. Por ejemplo, para una senaldada por x(t) = cos(250t) + cos(2250t) que se contamina con ruido blanco como se muestraen la Fig. 1.3(a), la informacion a priori de las componentes espectrales resulta practicamenteimposible de obtener. Al calcular la funcion de autocorrelacion de la senal y tomar la transfor-mada de Fourier de dicho resultado, se obtiene la estimacion de la PSD de la senal. Como sepuede observar en la Fig. 1.3(b), se logran visualizar claramente las componentes espectrales en50[Hz] y 250[Hz] conforme a la senal original, a pesar de la presencia de ruido aleatorio en lasenal a procesar.

    1.6 Conversion Analogo-Digital

    Hasta el momento, se ha hablado de conceptos y definiciones sobre senales definidas en tiempoy amplitud continuo, pudiendo esta ultima asumir infinitos valores. El problema con estassenales es que no pueden ser transmitidas en su forma natural mediante un sistema digital,por lo que deben ser muestreadas (llevar las senales de tiempo continuo a tiempo discreto) ycuantizadas (llevar los valores de amplitud a un numero finito). Este proceso se explicara enlas siguientes secciones. Como resultado se tiene una senal en tiempo y amplitud discretos quepuede codificarse como se vera en el siguiente captulo.

    17

  • CAPITULO 1. INTRODUCCION

    1.6.1 Muestro de una Senal

    Conforme a la experiencia previa, se puede decir que el muestrear una senal, corresponde amultiplicarla por un tren de impulsos discretos con periodo Ts (o frecuencia de muestreo fs =1Ts

    ). As, considerando la funcion impulso unitario, (t), la senal x(t) muestreada cada Tsunidades de tiempo, estara dada por

    xs(t) =

    n=

    x(t)(t nTs) . (1.27)

    Considerando que x(t) no depende de n y puede salir de la sumatoria, se aplica la trans-formada de Fourier a ambos lados de la Ecuacion (1.27), para obtener el espectro de la senalmuestrada.

    Xs(f) = X(f) F

    [

    n=

    (t nTs)

    ]

    = X(f) 1Ts

    n=

    (f nfs)

    =1

    Ts

    n=

    X(f nfs) (1.28)

    en donde representa la convolucion en tiempo-discreto, y se utilizo la propiedad de la con-volucion de la senal impulso, que dice: X(f) (f nfs) = X(f nfs). Este resultado muestraque el espectro de la senal muestreada Xs(f) es una replica de la transformada de Fourier de lasenal original que se repite a una tasa de fs [Hz] y que se atenua en un factor de fs.

    En la Fig. 1.4 se pueden observar las etapas en el proceso de muestreo ideal mediante lautilizacion de la funcion impulso unitario. La senal analoga de la Fig. 1.4(a) es una senal debanda limitada ya que se hace nula fuera del intervalo 15 < f < 15, como se puede observar enla Fig. 1.4(b). Esto implica que el ancho de banda de la senal es W = 15[Hz]. Utilizando unafrecuencia de muestreo de fs = 100[Hz] el criterio de Nyquist se satisface de forma completa,por lo que no existira aliasing tal como se puede observar en la Fig. 1.4(f). Esta misma figuraratifica el hecho de que en la senal muestreada el espectro se repite cada fs[Hz] como se demostromatematicamente.

    1.6.2 Cuantizacion

    Despues del proceso de muestreo, se tiene una senal de tiempo discreto, sin embargo las am-plitudes aun son continuas y puede asumir cualquier valor real dentro de los lmites propios dela senal. Dado que la transmision de numeros reales en numero de base 2 tienen largo infinito,la transmision de esta senal se hace imposible. Por esta razon, posterior al muestreo se realizael proceso de cuantizacion. En este proceso se realiza la discretizacion de la amplitud de lassenales, lo que permite representar la senal de forma valida con valores binarios de largo finito.

    La forma mas basica de realizar el proceso de cuantizacion es mediante la subdivision delrango dinamico de la senal muestreada en un numero finito de valores. En terminos coloquiales,

    18

  • CAPITULO 1. INTRODUCCION

    (a) Senal Analoga Original (b) Espectro Senal Analoga

    (c) Tren de Impulsos (d) Espectro Tren de Impulsos

    (e) Senal Muestreada (f) Espectro Senal Muestreada

    Fig. 1.4: Diferentes etapas del muestreo de una senal analoga.

    19

  • CAPITULO 1. INTRODUCCION

    es como posicionar la senal sobre un cuaderno de lineas. As los valores que la senal asume en losdistintos instantes de tiempo, se redondean a un valor maximo o mnimo de dicha subdivision.Mediante esta tecnica se logran resultados aceptables, pero intuitivamente se puede decir quese agregan errores propios al redondeo de valores. Este metodo de cuantizacion as como otrosmas avanzados se estudiaran con mas detalle a partir de la seccion 3.3.1.

    20

  • Captulo 2

    Teora de la Informacion

    2.1 Introduccion

    La Teora de la Informacion busca contestar dos preguntas fundamentales en la teora de lascomunicaciones: Cual es la maxima compresion de datos (Respuesta: La entropa, H) y cual esla maxima tasa de transmision de la comunicacion (Respuesta: La capacidad del canal, C). Poresta misma razon, la teora de la informacion se considera como una sub-materia de la teora delas comunicaciones, sin embargo resulta ser un area muchsimo mas grande pues tiene mucho queaportar en otras areas como Fsica Estadstica (Termodinamica), Ciencias de la Computacion(Complejidad de Kolmogorov), Inferencia Estadstica, Probabilidad y Estadstica entre otrasmaterias.

    2.2 Modelo de las Fuentes de Informacion

    Aca, se estudiaran solamente modelos simples para las fuentes de informacion ya que fuentescomplejas involucran matematicas avanzadas que escapan del fin del curso. Sin embargo, estosmodelos simples igualmente permiten definir en forma precisa una medida de la informacion yde los lmites en la compresion y transmision de la informacion.

    El modelo mas simple para una fuente de informacion es la fuente discreta sin memoria, Dis-crete Memoryless Source (DMS), que es un proceso aleatorio en tiempo discreto y de amplituddiscreta en el cual todos los Xis son generados en forma independiente y con la misma dis-tribucion. Por lo tanto, un DMS genera una secuencia de variables aleatorias i.i.d. (independentand identically distributed), que toman valores en un set discreto de posibilidades.

    Permtase definir dicho set discreto de posibilidades que tomara la variable aleatoria medianteA = {a1, a2, . . . , aM}, y la funcion de probabilidades correspondientes denotadas por pi =P (X = ai), para i = 1, 2, . . . ,M . Una descripcion completa de una DMS esta determinada porel set A , llamado alfabeto, y el set de probabilidades {pi}Mi=1.

    2.2.1 Concepto de Informacion

    La informacion de forma general corresponde a un conocimiento especfico o dato de interes,que agrupado con un conjunto de datos extras constituye un mensaje sobre un determinado

    21

  • CAPITULO 2. TEORIA DE LA INFORMACION

    ente o fenomeno. En otras palabras, se puede decir que el concepto de mensaje, viene a sercomo una materializacion de la informacion.

    La informacion es transferida desde una fuente a un destinatario, solo si este ultimo no laconoca previamente. Por ejemplo, considere el escenario en que un grupo de gente mira porla ventana. Esto involucra que todos saben (tienen la informacion) que el da esta soleado. Sialguien dice El da esta soleado no es informacion, pues no aporta ningun dato nuevo a loque todos conocen. Por otro lado si alguien dice En la noche llovera para muchos si serainformacion pues no necesariamente todos sabran dicho dato.

    Pensando en senales de voltaje, una batera de 1.5 volts no tiene mucha informacion queaportar, pues una vez sabido su voltaje mediante un voltmetro, este seguira constante pormuchsimo tiempo lo que no aporta ningun dato nuevo La informacion esta relacionada concambios.

    Por otro lado, una senal sinusoidal de voltaje vara en el tiempo, sin embargo una vez que estase ha caracterizado midiendo su amplitud, frecuencia y fase, no existe ninguna informacion nuevaque esta senal pueda aportar La informacion esta relacionada con cambios impredecibles.

    2.2.2 Medida de la Informacion

    La cantidad de informacion sobre un evento se relaciona estrechamente con la probabilidad desu ocurrencia. Los mensajes que contienen noticias de gran probabilidad de ocurrencia, es decirque indican muy poca incertidumbre en el resultado, llevan relativamente poca informacion.Por otro lado, aquellos mensajes que contienen noticias con baja probabilidad de ocurrenciaconducen grandes cantidades de informacion. As mismo, un evento totalmente cierto (es decircon probabilidad unitaria) lleva cero informacion; en cambio un evento improbable (probabilidadcasi nula), su ocurrencia lleva una cantidad infinita de informacion. Sobre esta base, la medidade informacion asociada a un evento A que ocurre con una probabilidad PA se define como:

    IA = log1

    PA= logPA (2.1)

    La Ecuacion (2.1) se conoce como self-information y fue derivada por Claude E. Shannonen 1948. Es importante tener en cuenta, que la definicion esta hecha con logaritmo en base 2,por lo tanto la unidad de medida de IA es bits. Si se utiliza logaritmos naturales (base e), launidad sera nat y para logaritmo en base 10, se dice que se mide en hartley.

    Ejemplo 2.1 - Autoinformacion.Considerando el experimento de lanzar una moneda, la probabilidad de tener sello es 0.5.Una vez que esto haya sucedido, se tiene Isello = log2(0.5) = 1 bit de informacion.

    Ejemplo 2.2 - Autoinformacion.Considerando el experimento de lanzar un dado, la probabilidad de que salga cualquier numeroes 1/6. Suponiendo que salio un 4, la cantidad de informacion es: I4 = log2(6) = 2.5850 bits deinformacion.

    22

  • CAPITULO 2. TEORIA DE LA INFORMACION

    Ejemplo 2.3 - Autoinformacion.Los smbolos A, B, C y D ocurren con probabilidades 1/2, 1/4, 1/8 y 1/8 respectivamente.Calcule la informacion en el mensaje de tres smbolos X = BDA suponiendo que estos sonestadsticamente independientes.Sol. Como los eventos son estadsticamente independientes, la medida de informacion (porser logartmica) resulta aditiva, luego: IX = log2(PX) = log2(PBPDPA) = log2(PB) log2(PD) log2(PA) = log2 4 + log2 8 + log2 2 = 2 + 3 + 1 = 6 bits de informacion.

    2.2.3 Entropa

    Lo anteriormente discutido, define la medida de la informacion para el caso en que todos losmensajes son igualmente probables, lo que resulta ser solo un caso particular. A modo degeneralizacion se define una informacion promedio de cada mensaje, llamada Entropa, H.

    La entropa corresponde a una medida de la incertidumbre de una variable aleatoria. DefnaseX como una variable aleatoria discreta con alfabeto A y funcion de probabilidad p(x) = P (X =x). As, se define la Entropa H(X) de la variable aleatoria discreta X como:

    H(X) = xA

    p(x) log p(x) (2.2)

    en donde el logaritmo se utiliza en base 2 a menos que se especifique lo contrario, y se asumepor convencion que 0 log 0 = 0, lo que se puede justificar por que la relacion x log x 0 cuandox 0.

    La entropa de X tambien puede ser interpretada como el valor esperado de log p(X) loque equivale a la esperanza de la self-information del mensaje, luego

    H(X) = E {IX} = E{

    log1

    p(X)

    }que esta relacionada con la definicion de entropia en termodinamica.

    Ejemplo 2.4 - Entropa.Considere la variable aleatoria X {0, 1}. Calcule la entropa de X, considerando que la fuentede informacion es sin-memoria.Sol. Considerando que la probabilidad de que X = 1 es p, la probabilidad de que X = 0 sera1 p. Entonces su entropa sera H(X) = p log p (1 p) log(1 p) , H(p). Esta funcion esconocida como la Funcion de Entropa Binaria y se muestra en la Fig. 2.1.

    En particular H(p) = 1 bit cuando p = 0.5. Si la funcion H(p) se grafica con respecto ap se puede notar una de las propiedades basicas de la entropa: es una funcion concava de ladistribucion y nula para p = 0 o 1. Ademas el maximo ocurre cuando p = 0.5 lo que es claropues corresponde al punto de maxima incertidumbre. Esto se puede corroborar observando laFig. 2.1.

    23

  • CAPITULO 2. TEORIA DE LA INFORMACION

    Fig. 2.1: La funcion de entropa binaria H(p)

    Ejemplo 2.5 - Entropa de DMS.Una fuente con ancho de banda de 4kHz se muestrea en forma optima. Asumiendo que lasecuencia resultante se puede modelar como una fuente DMS con alfabeto A = {2,1, 0, 1, 2}y con probabilidades correspondientes dadas por

    {12, 1

    4, 1

    8, 1

    16, 1

    16

    }, determine la tasa de la fuente

    en bits por segundo.Sol. La entropa estara dada por H(X) = 15

    8bits por muestra. Dado que el muestreo optimo se

    logra con la frecuencia de Nyquist, entonces la frecuencia de muestreo es fs = 2 4k = 8[kHz], oen otras palabras, se tomaran 8000 muestras por segundo. As la fuente producira informaciona una tasa de 800015

    8= 15 103 bits por segundo.

    Ejemplo 2.6 - Entropa de DMS Equiprobable.Una fuente de informacion discreta sin memoria tiene un alfabeto de tamano N y las salidasson equiprobables. Encuentre la entropia de esta fuente.Sol. Como los eventos son equiprobables, todos tienen una probabilidad de 1

    N, luego H(x) =

    N

    i=11N

    log 1N

    = logN .

    2.2.4 Entropa Conjunta y Condicional

    Cuando se trabaja con 2 o mas variables aleatorias, se introduce el concepto de entropia condi-cional y conjunta de la misma forma en que se habla de probabilidades condicionales y conjuntas.Este concepto es principalmente importante cuando se trabaja con fuentes con memoria.

    24

  • CAPITULO 2. TEORIA DE LA INFORMACION

    As, se define la Entropia Conjunta de dos variables aleatorias discretas (X, Y ) como:

    H(X, Y ) = x,y

    p(x, y) log p(x, y) (2.3)

    lo que tambien puede expresarse mediante H(X, Y ) = E {log p(X, Y )}.Para el caso de m variables aleatorias X = (X1, X2, . . . , Xm), se tiene:

    H(X) =

    x1,x2,...,xm

    p(x1, x2, . . . , xm) log p(x1, x2, . . . , xm)

    por lo que se puede decir que la entropia conjunta es simplemente la entropia de una variablealeatoria vectorial.

    Ejemplo 2.7 - Entropia Conjunta.Dos variables aleatorias binarias X e Y estan distribudas de acuerdo a una PMF conjunta dadapor P (X = 0, Y = 0) = 1

    4, P (X = 0, Y = 1) = 1

    4y P (X = 1, Y = 1) = 1

    2. Determine los valores

    de H(X), H(Y ) y H(X, Y ).Sol. Dada la distribucion, se tiene que P (X = 1, Y = 0) = 0. As P (X = 0) = P (X = 0, Y =0) + P (X = 0, Y = 1) = 1

    2, entonces se tiene que P (X = 1) = 1

    2, luego H(X) = log 1

    2= 1.

    Por otra parte, P (Y = 0) = 14, lo que implica que P (Y = 1) = 3

    4, luego H(Y ) = 0.8113. Ahora

    bien, H(X, Y ) = 14

    log 14 1

    2log 1

    2 1

    4log 1

    4= 3

    2.

    La Entropia Condicional de la variable aleatoria X, dada la variable aleatoria Y , expre-sada como H(X|Y ) puede ser definida como

    H(X|Y ) = x,y

    p(x, y) log p(x|y) (2.4)

    En general, se tiene que

    H(Xm|X1, X2, . . . , Xm1) =

    x1,x2,...,xm

    p(x1, x2, . . . , xm) log p(xn|x1, x2, . . . , xm1)

    El Teorema de la Regla de la Cadena, permite comprobar que

    H(X, Y ) = H(X) +H(Y |X) (2.5)

    lo que a su vez, como corolario, dice que esto se cumple en forma inversa, vale decir

    H(X, Y ) = H(Y ) +H(X|Y ) .

    Para comprobar esto, se puede considerar la definicion de probabilidad condicional

    p(X, Y ) = p(X)p(Y |X)log p(X, Y ) = log[p(X)p(Y |X)]

    = log p(X) + log p(Y |X)

    ahora, tomando la esperanza en ambos lados de la ecuacion, se obtiene el resultado esperado.

    25

  • CAPITULO 2. TEORIA DE LA INFORMACION

    Ejemplo 2.8 - Entropa Condicional.Para el Ejemplo 2.7, calcule H(X|Y ) y H(Y |X).Sol. Se tiene que H(Y |X) = H(X, Y )H(X) = 1

    2, y H(X|Y ) = 1.5 0.8113 = 0.6887.

    2.2.5 Informacion Mutua

    Para variables aleatorias discretas, H(X|Y ) denota la entropa (o incertidumbre) de la variablealeatoria X, luego de que la variable aleatoria Y es conocida. As, dado que la entropa de lavariable X es H(X), la cantidad H(X)H(X|Y ) representa la cantidad de incertidumbre queha sido removida al revelar la variable aleatoria Y . Esta cantidad juega un rol importante tantoen la codificaciones de canales como de fuentes y es llamada Informacion Mutua entre las 2variables aleatorias.

    Entonces, la informacion mutua entre dos variables aleatorias discretas X e Y , es denotadapor I(X;Y ) y esta definida por

    I(X;Y ) = H(X)H(X|Y ) (2.6)

    por simetra, tambien se tiene que I(X;Y ) = H(Y )H(Y |X). As se puede considerar que Xdice tanto de Y como Y lo dice de X.

    Considerando ahora que H(X, Y ) = H(X) + H(Y |X), entonces la informacion mutuatambien puede ser calculada por:

    I(X;Y ) = H(X) +H(Y )H(X, Y ) (2.7)

    Finalmente, se puede notar que

    I(X;X) = H(X)H(X|X) = H(X)

    2.3 Teorema de Codificacion de la Fuente

    La entropa de una fuente de informacion, da una cota acerca de la tasa a la cual la fuentepuede ser comprimida para una reconstruccion exitosa. Esto significa que a tasas superioresa la entropa es posible disenar un codigo con una probabilidad de error tan pequena como sequiera, por otro lado, a tasas inferiores a la entropa dicho codigo no existe.

    Esto se justifica en el Teorema de Codificacion de la Fuente, propuesto por Shannon en 1948y que dice:

    Teorema de Codificacion de la Fuente. Una fuente de informacion con entropa (o tasa deentropa) H, puede ser codificada con una probabilidad de error arbitrariamente pequenaa cualquier tasa R [bits/simbolo], siempre que R > H. Consecuentemente, si R < H,el error sera muy lejano a cero, independiente de la complejidad utilizada en la codifi-cacion/decodificacion.

    A pesar de la importancia de este resultado, este no da ningun algoritmo para disenarcodigos que se aproximen a esta condicion, por lo que se estudiaran algunas alternativas queimplementan esta idea.

    26

  • CAPITULO 2. TEORIA DE LA INFORMACION

    2.3.1 Codigo Huffman

    El objetivo del codigo Huffman es asignar una secuencia de bits a cada una de las posiblessalidas de una fuente discreta. En forma intuitiva, se basa en la probabilidad de ocurrencia dedichas salidas para realizar la asignacion de cada palabra, dando a las salidas mas probables laspalabras mas cortas (con menos bits) y a las menos frecuentes las palabras mas largas. Estecodigo busca ser de decodificacion unica, instantaneo y de menor largo medio de palabra, queesta determinado por

    R =x

    p(x)l(x) , (2.8)

    en donde l(x) es el largo del codigo de palabra asignado a la salida x. Se puede demostrar queR satisface la relacion:

    H(X) R < H(X) + 1 .

    Ademas, como se dijo que la entropa representa la cota mnima de compresion de datos, laeficiencia del codigo Huffman esta dado por:

    =H(X)

    R.

    Algoritmo del Codigo Huffman

    El algoritmo se puede describir mediante los siguientes pasos:

    1. Ordenar las salidas de la fuente en orden de probabilidades decrecientes

    2. Agrupar los menos probables y generar una nueva salida cuya probabilidad es la suma delas probabilidades correspondientes a las salidas agrupadas

    3. Si quedan 2 salidas disponibles, ir al paso 4; sino, volver al paso 1.

    4. Asignar 0 y 1 como codigos de palabra a las 2 salidas. Por acuerdo, se asignara un 0 a lasalida menos probable de las 2 disponibles.

    5. Recorrer el arbol en forma inversa, asignando 0 o 1 a cada rama. Repetir hasta llegar alas salidas originales.

    Para clarificar el algoritmo, se plantea el siguiente ejemplo.

    Ejemplo 2.9 - Codigo Huffman.Considere una fuente de 5 smbolos {a1, a2, a3, a4, a5} con probabilidades {12 ,

    14, 1

    8, 1

    16, 1

    16} respec-

    tivamente. Encuentre el codigo Huffman para dicha fuente. Calcule ademas el largo promedio,y la eficiencia del codigo encontrado.Sol. Las probabilidades se mantienen en orden, pues fueron asignadas en forma decreciente,luego:

    que corresponde al codigo originalmente dado. El largo medio sera R = 0.5 1 + 0.25 2 +0.125 3 + 0.0625 4 + 0.0625 4 = 1.8750. La entropa de la fuente esta dada por H(X) =

    27

  • CAPITULO 2. TEORIA DE LA INFORMACION

    a1 (12) a1 (12) a1 (

    12) a1 (12) 0 0

    a2 (14) a2 (14) a2 (

    14) 0e a2345 (12) 1 10

    a3 (18) a3 (18) 0e a345 (

    14) 1c 110

    a4 (116

    ) 0e a45 (18) 1c 1110a5 (

    116

    ) 1c 1111

    0.5 log 0.5 0.25 log 0.25 0.125 log 0.125 0.0625 log 0.0625 0.0625 log 0.0625 = 1.875, asla eficiencia sera = 100%.

    A pesar de que el codigo Huffman es optimo en el sentido de que entrega palabras con unlargo medio mnimo, presenta dos grandes problemas en su implementacion:

    1. El diseno del codigo depende fuertemente de las probabilidades (estadsticas), las que sedebe saber con anterioridad. Esto implica que el codigo Huffman se debe realizar en dospasos: primero se estiman las estadsticas de la fuente de informacion y luego se realiza lacodificacion en si.

    2. El otro problema que presenta el codigo Huffman es que se disena sobre bloques de lafuente de largo uno, solo emplea variaciones en la frecuencia de las salidas de la fuentey no la memoria. Si se quisiera utilizar tambien la memoria de la fuente, se requerirautilizar bloques de largo 2 o mas, lo que incrementa en forma exponencial la complejidaddel algoritmo.

    2.3.2 Codigo Lempel-Ziv

    El algoritmo de Lempel-Ziv pertenece a la clase de algoritmos de codificacion de fuente uni-versales, es decir, algoritmos que son independientes de las estadsticas de la fuente. Para unaristra de bits, el algoritmo se procede como sigue

    1. Se identifican frases del mnimo largo que no hayan aparecido anteriormente en la ristra.

    2. Mientras la nueva salida de la fuente despues de la ultima frase coincida con una de lasexistentes, no se introduce una nueva frase y se considera una nueva letra de la fuente.

    3. Apenas la nueva salida sea diferente de las frases previas, se reconoce como una nuevafrase y se codifica. En terminos intuitivos se puede notar entonces que la nueva frasecorresponde a una frase previa mas algun bit de innovacion.

    4. La codificacion se realiza concatenando la posicion de la frase previamente encontrada conel bit de innovacion.

    Ejemplo 2.10 - Codigo Lempel-Ziv.Codifique mediante Lempel-Ziv la ristra dada por

    01000011000010100000101000001100000101000010 .

    28

  • CAPITULO 2. TEORIA DE LA INFORMACION

    Sol. En base a las reglas anteriores, se debe realizar la separacion en frases diferentes, luego

    0|1|00|001|10|000|101|0000|01|010|00001|100|0001|0100|0010 ,

    que involucra tener 15 frases, con lo que, para representar cada salida de la fuente de informacion,se requieren 4 bits por frase mas el bit de innovacion. Entonces, se genera la tabla de asignacionde posiciones para determinar la codificacion que se muestra a continuacion:

    Ubicacion Contenido Codigo1 0001 0 0000 02 0010 1 0000 13 0011 00 0001 04 0100 001 0011 15 0101 10 0010 06 0110 000 0011 07 0111 101 0101 18 1000 0000 0110 09 1001 01 0001 110 1010 010 1001 011 1011 00001 1000 112 1100 100 0101 013 1101 0001 0110 114 1110 0100 1010 015 1111 0010 0100 0

    Por lo que el problema se considera resuelto.

    La representacion obtenida en el ejemplo, dificilmente se pueden considerar como compresionde datos ya que 44 bits fueron mapeados en una secuencia de 75 bits. Sin embargo al momentode trabajar con ristras de bits mucho mas grandes, la compresion se torna mas evidente.

    Un problema que presenta la codificacion LZ es con respecto a que numero de frases se debenelegir, ya que cualquier numero fijo de frases eventualmente sera insuficiente para una fuentecontinua de bits, produciendose overflow. Una forma de solucionarlo es que el par codificador-decodificador debe eliminar de sus diccionarios las frases obsoletas y substituirlos por nuevoselementos.

    La decodificacion, se realiza simplemente considerando que en la ubicacion 0 siempre iranlos dgitos binarios 0 o 1 y el bit de innovacion determinara a cual corresponde. Posteriormentese realiza la recuperacion traduciendo la mezcla ubicacion + bit de innovacion para armar laristra original de bits.

    El algoritmo LZ es ampliamente utilizado en la practica para comprimir archivos. Loscomandos compress y uncompress del sistema operativo UNIX, as como tambien programasde compresion (zip, gzip, etc) son implementaciones de diferentes versiones de este algoritmo.

    29

  • CAPITULO 2. TEORIA DE LA INFORMACION

    2.3.3 Codigo ASCII

    ASCII son las siglas de American Standar Code for Information Interchange. Su uso primordiales facilitar el intercambio de informacion entre sistemas de procesamiento de datos y equiposasociados y dentro de sistemas de comunicacion de datos.

    En un principio cada caracter se codificaba mediante 7 dgitos binarios y fue creado para eljuego de caracteres ingleses mas corrientes, por lo que no contemplaba ni caracteres especialesni caracteres especficos de otras lenguas. Esto hizo que posteriormente se extendiera a 8 dgitosbinarios. El codigo ASCII se resume en la Tabla 2.1.

    Tabla 2.1: Codigo ASCII0 1 2 3 4 5 6 7

    0 NUL DLE SPC 0 @ P p1 SOH DC1 ! 1 A Q a q2 STX DC2 2 B R b r3 ETX DC3 # 3 C S c s4 EOT DC4 $ 4 D T d t5 ENQ NAK % 5 E U e u6 ACK SYN & 6 F V f v7 BEL ETB 7 G W g w8 BS CAN ( 8 H X h x9 HT EM ) 9 I Y i yA LF SUB * : J Z j zB VT ESC + ; K [ k {C FF FS , < L \ l |D CR GS - = M ] m }E SO RS . > N n F SI US / ? O o DEL

    30

  • CAPITULO 2. TEORIA DE LA INFORMACION

    Tabla 2.2: Codigo ASCII (continuacion)NUL Null, or all zeros DC1 Device Control 1SOH Start of heading DC2 Device Control 2STX Start of text DC3 Device Control 3ETX End of text DC4 Device Control 4EOT End of transmision NAK Negative acknowledgeENQ Enquiry SYN Synchronous idleACK Acknowledge ETB End of trasmision blockBEL Bell o alarma CAN CancelBS Backspace EM End of mediumHT Horizontal tabulation SUB SubstituteLF Line feed ESC EscapeVT Vertical tabulation FS File separatorFF Form feed GS Group separatorCR Carriage Return RS Record separatorSO Shift out US Unit separatorSI Shift in SP SpaceDLE Data link escape DEL Delete

    Ejemplo 2.11 - Codigo ASCII.Considere que se quiere enviar la palabra HOLA! usando el codigo ASCII de 8 bits. Se pideencontrar la representacion en dgitos 32-arios y sus respectivas formas de onda.Sol. Conforme a la Tabla 2.1, se tiene que H:84x0, O:F4x0, L:C4x0, A:14x0 y !:12x0, entonces en

    binario, el mensaje sera

    H 10000100

    O 11110100

    L 11000100

    A 00010100

    ! 00010010 . As, si se considera que

    se quiere utilizar dgitos 32-arios, entonces la secuencia de dgitos sera 16,19,26,12,8,5,9,18.

    2.4 Representacion de Canales

    En esta seccion, se estudiara el canal de comunicacion que es uno de las partes mas importantesde las comunicaciones pues resulta ser el factor limitante a la hora de lograr una buena tasa detransmision.

    Como se dijo anteriormente, un canal de comunicacion corresponde a cualquier medio sobreel cual puede ser transmitida informacion, o en el que informacion puede ser almacenada. As,ejemplos de canales de comunicaciones seran: cables coaxiales, propagacion por la ionosfera,espacio libre, fibra optica, discos magneticos u opticos, etc. Lo que resulta comun en estosejemplos, es que ellos reciben senales en sus entradas y entregan senales en sus salidas en untiempo posterior (almacenamiento) o en otra ubicacion (transmision). Por lo mismo, los canalesde comunicacion son modelados mediante la relacion entrada-salida que tengan; en este sentido,un canal de comunicacion puede ser considerado como un sistema.

    Existen variados factores que producen que la salida de un canal de comunicacion sea difer-

    31

  • CAPITULO 2. TEORIA DE LA INFORMACION

    ente a su entrada, tales como atenuacion, nolinealidades, limitaciones de ancho de banda, ruido,etc. Todo esto contribuye a una relacion entrada-salida bastante compleja, que generalmentetiene que ser considerada como una relacion estocastica.

    Al considerar el canal como un sistema con entrada X y salida Y , las probabilidades condi-cionales p(Y |X) y p(X|Y ) son conocidas como Probabilidad de Transicion y Probabilidadde Union, respectivamente. A su vez, la entropa de entrada H(X) corresponde a la incer-tidumbre promedio de la fuente de informacion y la entropa de la salida H(Y ) corresponde ala incertidumbre promedio de la recepcion de un smbolo. Para el caso de las entropas condi-cionales, se tiene queH(Y |X) corresponde a la incertidumbre promedio respecto de que el smboloque se recibe, dado que se ha transmitido X. La entropa H(X|Y ) sera la Entropa de Equivo-cacion, que corresponde a la incertidumbre promedio de que smbolo sera transmitido despuesde haber recibido un smbolo X. La entropa conjunta H(X, Y ) es la incertidumbre promediodel sistema de comunicaciones como un todo.

    Considere un canal sin memoria, lo que implica que la salida depende de la entrada en esemomento y no de las previas a el. Este tipo de canales, estan definidos por un conjunto deprobabilidades condicionadas que relacionan la probabilidad de cada estado a la salida, con laprobabilidad de la entrada. Suponga un canal con dos entradas x1 y x2, y con tres salidas y1,y2 e y3, como lo muestra la Fig 2.2.

    Fig. 2.2: Canal de comunicaciones de 2 entradas y 3 salidas modelado como un sistema.

    Las rutas entrada-salida se indican como una probabilidad condicional Pij = P (yj|xi), repre-sentando la probabilidad de obtener a la salida yj, dado que a la entrada xi. Esta probabilidadrecibe el nombre de Probabilidad de Transicion del Canal.

    Fig. 2.3: Rutas entrada-salida para el canal de comunicaciones de 2 entradas y 3 salidas.

    A menudo, se prefiere especificar al canal por su Matriz de Probabilidades de Tran-sicion, denotada por P(Y|X) = [P (yj|xi)], que para el caso particular que se esta evaluandoestara dada por:

    P(Y|X) =[P (y1|x1) P (y2|x1) P (y3|x1)P (y1|x2) P (y2|x2) P (y3|x2)

    ].

    32

  • CAPITULO 2. TEORIA DE LA INFORMACION

    Por otra parte, cada una de las entradas debe siempre conducir a una salida, por lo que lasuma de cada fila de la matriz debe ser igual a 1. En smbolos,

    P (y1|x1) + P (y2|x1) + P (y3|x1) = P (y1|x2) + P (y2|x2) + P (y3|x2) = 1 .

    La Matriz del canal es util para encontrar probabilidades de salida de acuerdo a las probabil-idades de entrada. Considere la matriz fila de n entradas dada por P(X) = [P (x1) P (xn)].Para una matriz de transicion dada por P(Y|X), la matriz de m salidas estara dada por

    P(Y) = P(X) P(Y|X)

    Resulta interesante mencionar que si la matriz P(X) es escrita en forma diagonal, el productodado por diag[P(X)]P(Y|X) define la Matriz de Union de Probabilidades y es denotadapor P(X,Y). En palabras simples, el termino P (xi, yj) representa la probabilidad de union detransmitir xi y recibir yj. Matematicamente la matriz de union esta dada por:

    P(X,Y) =

    P (x1) 0 0

    0 P (x2) 0...

    .... . .

    ...0 0 0 P (xn)

    P (y1|x1) P (y2|x1) P (ym|x1)P (y1|x2) P (y2|x2) P (ym|x2)

    ......

    . . ....

    P (y1|xn) P (y2|xn) P (ym|xn)

    .

    Ejemplo 2.12 - Representacion de Canales.Considere un canal binario de dos entradas y dos salidas, en donde la fuente es equiprobable yla matriz de transicion esta uniformemente distribuda al transmitir sin error. Se pide encontrarla matriz de transicion, la matriz de salida, la matriz de union y la probabilidad de error.Sol. Dada la equiprobabilidad de la fuente, la matriz de entrada esta dada por P(X) =[0.5 0.5]. Considerando que P (1|0) = P (0|1) = , la matriz de transicion estara dada por

    P(Y|X) =[

    1 1

    ]. As, la matriz de salida sera P(Y) = [0.5 0.5]. La matriz de union

    sera P(X,Y) =

    [0.5 00 0.5

    ]P(Y|X) = 0.5 P(Y|X). La probabilidad de transmision con error

    estara dada por P (E) = P (0r, 1t) + P (1r, 0t) = P (1)P (0|1) + P (0)P (1|0) = 0.5+ 0.5 = .

    2.4.1 Canales con Ruido Aditivo Gaussiano

    Cuando se habla de canales de comunicacion, se puede hacer referencia a cualquiera de lasmuchas formas en que se puede realizar una transmision de datos tanto digitales como analogos.Por ejemplo se habla de cablados, fibras opticas, canales inalambricos por ondas electromagneticaso incluso canales subacuaticos por ondas acusticas.

    Resulta evidente entonces, que los canales reales agregan siempre componentes de ruido queno dependen de los datos que se esten transmitiendo. La principal componente que se da entodo canal es el ruido aditivo, que tiene caracter aleatorio en el tiempo.

    Entonces, considere que la senal transmitida se representa por s(t) y que se contamina por unproceso aleatorio de ruido aditivo n(t). Si este ruido es introducido por los elementos presentes,

    33

  • CAPITULO 2. TEORIA DE LA INFORMACION

    entonces se habla de Ruido Termico. El ruido termico esta determinado por el movimientoaleatorio de los portadores dentro de cualquier elemento electronico en general producido porla influencia de agentes externos. En terminos mas tecnicos, el ruido termico recibe el nombrede rudo Johnson. El voltaje aleatorio producido a traves de los terminales en circuito abiertodel dispositivo, tiene una distribucion Gaussiana con media nula.

    Entonces, el modelo matematico que describe al canal de comunicacion con ruido aditivogaussiano esta determinado por

    r(t) = s(t) + n(t) , (2.9)

    en donde es la atenuacion del canal y r(t) es la senal recibida a la salida del canal.

    Ejemplo 2.13 - Canal Gaussiano.Considerando que se envia una senal s(t) con funcion de autocorrelacion dada por Rs() =2 exp(| |) a traves de un canal Gaussiano, se pide encontrar la potencia de la senal recibida.Sol. Se sabe con anterioridad que la funcion de autocorrelacion de un proceso AWGN esRn() =

    2(), siendo () la funcion impulso unitario. Entonces, la funcion de autocorrelacionde la senal recibida, r(t) = s(t) + n(t), esta determinada por:

    Rr() = E {r(t)r(t+ )}= E {[s(t) + n(t)][s(t+ ) + n(t+ )]}= E {s(t)s(t+ )}+ E {s(t)n(t+ )}+ E {n(t)s(t+ )}+ E {n(t)n(t+ )}= Rs() + Rn()

    = 2e| | + 2() .

    As, la potencia de la senal recibida sera Rr(0) = 2 + 2, en donde 2 es la varianza del ruido

    Gaussiano.

    2.4.2 Canales con Ruido y Filtro

    Por otra parte, al trabajar con lneas telefonicas se debe incluir el uso de un filtro lineal para noexceder las limitaciones de ancho de banda, por lo que al ruido se suma la presencia de dichofiltro.

    Considerese que el filtro tiene una respuesta a entrada impulso dada por c(t), entonces elmodelo matematico que describe la salida del canal es

    r(t) = s(t) c(t) + n(t) , (2.10)

    en donde representa la convolucion de senales.En general, la respuesta impulso del filtro no es invariante en el tiempo por lo que se debe

    incluir una variable de edad, . As, se tiene que la respuesta es c(t, ). Por ejemplo, un buenmodelo para multitrayectorias (ionosfera f < 30MHz, canales de radio celulares en moviles,etc) es de la forma

    c(t, ) =Li=1

    ai(t) (t i) ,

    34

  • CAPITULO 2. TEORIA DE LA INFORMACION

    en donde ai(t) son las posibles atenuaciones variantes en el tiempo, y i corresponden a losretardos de cada una de dichas trayectorias. Por lo tanto, para este caso particular, el modelomatematico a utilizar esta determinado por

    r(t) =Li=1

    ai(t) s(t i) + n(t) .

    2.5 Capacidad del Canal

    Ya se ha discutido que H(X) define el lmite fundamental de la tasa a la que una fuente discretapuede ser codificada sin errores en su reconstruccion, y tambien se comento en un principio deque el canal posee su propio lmite fundamental para la transmision de informacion a traves deel.

    Evidentemente, el objetivo principal cuando se transmite informacion sobre cualquier canalde comunicacion es la confianza, la que puede ser medida por la probabilidad de una recepcioncorrecta en el receptor. Un resultado muy importante de la teora de la informacion, es quelas comunicaciones confiables Se entiende por comunicacion confiable como aquella en quela transmision se logra con una probabilidad de error inferior a un valor pre-establecido sonposibles sobre canales ruidosos, mientras la tasa de transmision sea menor que cierto valor,llamado Capacidad del Canal. Este importante resultado, fue dado a conocer inicialmentepor Shannon (1948) y es conocido como el Noisy Channel Coding Theorem . Este teoremaenuncia que la limitacion basica que el ruido provoca en un canal de comunicacion no es en laconfiabilidad de la comunicacion, sino en la velocidad de dicha comunicacion.

    Se definio anteriormente un canal discreto como un sistema con alfabeto de entrada X,alfabeto de salida Y , y matriz de probabilidades de transicion P(Y|X), que expresa la proba-bilidad de observar un smbolo y a la salida, dado que se envio un smbolo x. Un canal se dicesin-memoria si la distribucion de probabilidades de la salida depende solo de la entrada en esetiempo y es condicionalmente independiente de las entradas o salidas anteriores.

    As, se define la Capacidad del Canal de informacion de un canal discreto y sin memoria(DMC) mediante la relacion:

    C = maxp(x)

    I(X;Y ) (2.11)

    en donde el maximo es tomado sobre todas las posibles distribuciones de la entrada p(x). Sedebe entender por esta definicion que corresponde al maximo valor de la informacion mutua, quees la informacion promedio maxima por smbolo que puede ser transmitido a traves del canal.Notese entonces, que si la tasa de transmision, R, es menor que la capacidad del canal, C,entonces la comunicacion confiable a una tasa R es posible; por otro lado, si R > C, entoncesuna comunicacion confiable a una tasa R es imposible. Tanto la tasa como la capacidad semiden en bits por transmision, o bits por uso del canal.

    La maximizacion que se debe hacer, es con respecto a las probabilidades de la fuente, puestoque las probabilidades de transicion son fijadas por el canal. Sin embargo, la capacidad de canales una funcion solamente de las probabilidades de transicion del canal, puesto que el proceso dela maximizacion elimina la dependencia de sobre las probabilidades de la fuente.

    35

  • CAPITULO 2. TEORIA DE LA INFORMACION

    Ejemplo 2.14 - Capacidad del Canal Binario.Encuentre la capacidad del canal para un canal binario simetrico, en donde la probabilidad derecepcion erronea es p y la probabilidad de que se envie un cero es .Sol. Para calcular la capacidad del canal, se maximiza I(X;Y ) = H(Y )H(Y |X). La entropacondicional esta determinada por H(Y |X) =

    i

    j p(xi, yj) log p(yj|xi) = (1 p) log(1

    p)(1)p log pp log p(1)(1p) log(1p) = H(p), considerando la definicion de H(p)dada en el Ejemplo 2.4. As I(X;Y ) = H(Y ) H(p). Entonces, la informacion mutua seramaxima cuando la entropa de Y sea maxima, caso que se da para una distribucion uniforme delos smbolos. En pocas palabras, H(Y ) 1, por lo que I(X;Y ) 1H(p), y C = 1H(p).

    Considerando este ultimo ejemplo, los resultados obtenidos implican que si p = 0 o p = 1 lasalida del canal esta completamente determinado por la entrada, y la capacidad sera de 1 bitpor smbolo. Por otro lado, si p = 0.5, un smbolo en la entrada nos lleva a cualquier salida conigual probabilidad y la capacidad del canal es nula. Ademas, la probabilidad del error estaradeterminada por

    PE =i

    p(xi, e) =i

    p(xi)p(e|xi) = [p(x1) + p(x2)]p = p

    lo que establece que la probabilidad de error no condicional PE, es igual a la probabilidad deerror condicional p(yj|xi), i 6= j.

    Ejemplo 2.15 - Capacidad del Canal DMC sin ruido.Encuentre la Capacidad del Canal para un DMC sin ruido.Sol. Para un canal sin memoria y sin ruido, las probabilidades de error son nulas, lo que equivalea decir que la conexion es uno-a-uno entre las entradas y salidas. Luego p(xi|yj) = 0 i 6= j y porlo mismo p(xi|yj) = 1 i = j. Considerando que H(X|Y ) =

    Ni=1

    Nj=1 p(xi, yj) log p(xi|yj),

    se tiene que H(X|Y ) = 0. As, la informacion mutua sera I(X;Y ) = H(X)H(X|Y ) = H(X).Para maximizar la entropa de la fuente, anteriormente se dijo que todos los smbolos de la fuentedeban ser equiprobables, entonces C = Imax(X;Y ) = Hmax(X) =

    Ni=1

    1N

    log 1N

    = logN , endonde N es el numero de smbolos de la fuente.

    2.5.1 Capacidad de Canal Gaussiano

    La relacion entrada-salida para un canal Gaussiano discreto con potencia limitada esta dadapor

    Y = X + Z ,

    en donde Z es una variable aleatoria Gaussiana de media cero y varianza 2Z . Shannon demostroque el numero de mensajes que pueden ser confiablemente transmitidos esta determinado porla razon que existe entre los volumenes de hiperesferas, y llego al resultado que la capacidad delcanal Gaussiano esta determinada por

    36

  • CAPITULO 2. TEORIA DE LA INFORMACION

    C = W log

    (1 +

    P

    N0W

    )bits/seg. , (2.12)

    en donde W es el ancho de banda del canal, P es la potencia de la senal y N02

    es la densidadespectral de potencia del ruido del canal.

    37

  • Captulo 3

    Modulacion en Banda Base

    3.1 Introduccion

    Como se menciono en el Captulo 1, la transmision de informacion es mejor realizarla en formadigital que hacerlo de forma analoga, por lo que el transformar una senal analoga en una digitales un tarea de vital importancia en el curso. Para realizar esta tarea, se deben realizar tresetapas: La senal analoga debe ser muestreada en el tiempo, por lo que se genera una senal detiempo discreto y amplitud continua. Se dice que la amplitud es continua pues su valor puedetener cualquier numero real dentro del rango en el que se mueve la senal analoga original. Lasiguiente etapa corresponde a la cuantizacion de estos valores reales a un numero finito deposibles valores, con el fin de poder representarlos mediante numeros binarios. Ambas etapasfueron introducidas en el Captulo 1 de este curso.

    La tercera etapa en el proceso de conversion analogo-digital es la codificacion, en dondeuna secuencia de bits es asignada a cada uno de los diferentes valores posibles de la salida delcuantificador, como se estudio en el Captulo 2. Dado que el numero de salidas es finito, cadamuestra puede ser representada por un numero finito de bits; por ejemplo 256 valores posiblespodran ser representados por 8 bits (256 = 28), razon por la cual se utiliza un numero de nivelesque sea potencia de dos. A continuacion se retomaran los conceptos de muestreo, cuantizaciony codificacion, ahondando mas en ellos y presentando alternativas que materializan esta labor.

    3.2 Muestreo de Senales

    3.2.1 Recuperacion de Senales Muestreadas

    Si se considera que la senal x(t) es de espectro acotado con ancho de banda W , y se elige lafrecuencia de muestro como fs = 2W , cada una de las replicas estara separada de sus vecinaspor una banda de frecuencias exactamente igual a fs [Hz], tal como se observa en la Fig. 1.4(f).

    Resulta entonces evidente, que si la frecuencia de muestreo es fs < 2W , los espectros setraslaparan y la reconstruccion de la senal original sera imposible. Esta distorsion es conocidacomo aliasing. Si se garantiza una frecuencia de muestreo superior al doble del ancho de banda,este fenomeno no ocurre y la reconstruccion de la senal se puede realizar facilmente con el filtroapropiado, ya que las replicas espectrales se alejan entre s. Cuando se utiliza exactamente el

    38

  • CAPITULO 3. MODULACION EN BANDA BASE

    doble del ancho de banda de la senal, se dice que se trabaja con la Frecuencia de Muestreode Nyquist.

    En efecto, para recuperar la senal original, basta que el filtro tenga una respuesta dada por

    H(f) =

    {Ts , | f |< W0 , | f | fs W

    (3.1)

    Para el rango W | f |< fs W , el filtro puede tener cualquier caracterstica que permita unafacil implementacion, siendo un filtro pasabajos ideal el metodo menos practico en terminos desimplicidad, pero el mas sencillo para realizar un estudio de desempeno. Entonces, considereseque el filtro tiene una respuesta en frecuencia dada por

    LPF (f) = Ts

    (f

    2W

    )con W como ancho de banda y que satisface la relacion W W < fs W . Ahora bien, lareconstruccion de la senal se lograra tomando la convolucion entre la senal discreta y dicho filtroen el tiempo, por lo tanto en el plano de la frecuencia se tiene,

    X(f) = Xs(f) Ts

    (f

    2W

    ).

    Tomando la transformada de Fourier inversa, se tiene:

    x(t) = xs(t) 2W Ts sinc(2W t) =

    n=

    2W Ts x(t) sinc(2W(t nTs)) (3.2)

    en donde sinc(t) = sintt

    . La relacion dada por la Ecuacion (3.2), demuestra que la recon-struccion de la senal puede ser perfectamente hecha al utilizar la funcion sinc() para la inter-polacion.

    En sistemas practicos, el muestreo siempre se realiza a frecuencias superiores a la tasa deNyquist, lo que a su vez implica un diseno de filtro mucho mas relajado. En dichos casos ladistancia entre dos espectros replicados, que esta dada por (fsW )W = fs2W es conocidacomo banda de guarda. Por lo tanto, en sistemas con banda de guarda, la frecuencia demuestreo esta dada por fs = 2W +WG, en donde W es el ancho de banda de la senal de bandalimitada. Al observar la Fig. 1.4(f), se puede notar que para el ejemplo, la banda de guardasera de WG = 70[Hz].

    3.2.2 Errores en el Muestreo

    De acuerdo a lo visto hasta ahora, una senal x(t) puede ser perfectamente recuperada de susmuestras siempre cuando esta