Introducción - uncor.edu

28
SIST Procesamiento Digital de Se Introducción: Los sistemas adaptativos tienen - Varían sus característica externa. - Se auto-ajustan para log Esto implica que los sistemas ada no lineal. En un sistema no linea combinación de las salidas que s Los sistemas adaptativos presen - Se adaptan automáticam - Requieren un proceso de - No necesitan un proceso - Después de entrenarse p relativamente bien ante - Pueden repararse a si m - Son más complejos de a - Luego de un período de puede considerar “sistem Clasificación: Según la forma en que se realiza abierto y sistemas a lazo cerrado TEMAS ADAPTATIVOS eñales – FCEFyN – UNC SISTEMAS ADAPTATIVO particularidades respecto a su comportamiento, as en el tiempo, ya sea por variaciones en la entra grar una performance específica aptativos son no lineales. La figura 1 muestra el c al, al combinarse las entradas la salida no es nece se producirían las entradas individuales. Figura 1 – Sistema no lineal ntan las siguientes características mente a condiciones y/o requerimientos cambian e “entrenamiento” o de síntesis riguroso. Se “auto-diseñan” para un número de señales o patrones acotado, p e nuevos patrones. mismo, adaptándose por ejemplo a la falla de una analizar que los sistemas no-adaptativos. adaptación, y si las señales / patrones de entrad mas adaptativos lineales”. a la adaptación los sistemas adaptativos se clasific o. Página 1 de 1 FCEFyN Universidad Nacional de Cordoba OS , principalmente ada u otra perturbación concepto de un sistema esariamente una ntes (no-estacionarias) pueden comportarse de sus partes da no cambian, se los can en sistemas a lazo

Transcript of Introducción - uncor.edu

Page 1: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

Introducción:

Los sistemas adaptativos tienen particularidades respecto a su comportamiento, principalmente

- Varían sus características en el tiempo, ya sea por variaciones en la entrada u otra perturbación

externa.

- Se auto-ajustan para lograr una performa

Esto implica que los sistemas adaptativos son

no lineal. En un sistema no lineal, al combinarse las entradas la salida no es necesariamente una

combinación de las salidas que se prod

Los sistemas adaptativos presentan las siguientes características

- Se adaptan automáticamente a condiciones y/o requerimientos cambiantes (no

- Requieren un proceso de “entren

- No necesitan un proceso de síntesis riguroso. Se “auto

- Después de entrenarse para un número de señales o patrones acotado, pueden comportarse

relativamente bien ante nuevos patrones.

- Pueden repararse a si mismo, adaptándose por ejemplo a

- Son más complejos de analizar que los sistemas no

- Luego de un período de adaptación, y si las señales / patrones de entrada no cambian, se los

puede considerar “sistemas adaptativos lineales”.

Clasificación:

Según la forma en que se realiza la adaptación los sistemas adaptativos se clasifican

abierto y sistemas a lazo cerrado.

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

sistemas adaptativos tienen particularidades respecto a su comportamiento, principalmente

Varían sus características en el tiempo, ya sea por variaciones en la entrada u otra perturbación

ajustan para lograr una performance específica

Esto implica que los sistemas adaptativos son no lineales. La figura 1 muestra el concepto de un sistema

no lineal. En un sistema no lineal, al combinarse las entradas la salida no es necesariamente una

combinación de las salidas que se producirían las entradas individuales.

Figura 1 – Sistema no lineal

Los sistemas adaptativos presentan las siguientes características

Se adaptan automáticamente a condiciones y/o requerimientos cambiantes (no

Requieren un proceso de “entrenamiento”

No necesitan un proceso de síntesis riguroso. Se “auto-diseñan”

Después de entrenarse para un número de señales o patrones acotado, pueden comportarse

relativamente bien ante nuevos patrones.

Pueden repararse a si mismo, adaptándose por ejemplo a la falla de una de sus partes

Son más complejos de analizar que los sistemas no-adaptativos.

Luego de un período de adaptación, y si las señales / patrones de entrada no cambian, se los

puede considerar “sistemas adaptativos lineales”.

la forma en que se realiza la adaptación los sistemas adaptativos se clasifican

abierto y sistemas a lazo cerrado.

Página 1 de 1

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

sistemas adaptativos tienen particularidades respecto a su comportamiento, principalmente

Varían sus características en el tiempo, ya sea por variaciones en la entrada u otra perturbación

. La figura 1 muestra el concepto de un sistema

no lineal. En un sistema no lineal, al combinarse las entradas la salida no es necesariamente una

Se adaptan automáticamente a condiciones y/o requerimientos cambiantes (no-estacionarias)

Después de entrenarse para un número de señales o patrones acotado, pueden comportarse

la falla de una de sus partes

Luego de un período de adaptación, y si las señales / patrones de entrada no cambian, se los

la forma en que se realiza la adaptación los sistemas adaptativos se clasifican en sistemas a lazo

Page 2: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

La figura 2 muestra un sistema adaptativo a lazo abierto. En este caso,

las características de la señal de entrada y “otras”

ambiente.

Figura 2 – Sistema adaptativo a lazo abierto a) Concepto b) Esquema

La figura 3 muestra un sistema adaptativo a lazo cerrado.

de performance esperado para la salida (“Performance feedback”). El operador puede no conocer el

sistema. Este esquema es el más usado

Las principales ventajas del sistema a lazo cerrado son

- No se requiere conocer el sistema.

- Los componentes del sistema

- Se adaptan a fallas de componentes del sistema, adaptando las componentes que funcionan

para lograr optima performance.

- Mayor confiabilidad del sistema

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

La figura 2 muestra un sistema adaptativo a lazo abierto. En este caso, La adaptación se hace

de entrada y “otras” señales como por ejemplo características del medio

Sistema adaptativo a lazo abierto a) Concepto b) Esquema

La figura 3 muestra un sistema adaptativo a lazo cerrado. La adaptación se realiza

esperado para la salida (“Performance feedback”). El operador puede no conocer el

s usado.

Las principales ventajas del sistema a lazo cerrado son

se requiere conocer el sistema.

sistema pueden variar físicamente.

Se adaptan a fallas de componentes del sistema, adaptando las componentes que funcionan

para lograr optima performance.

Mayor confiabilidad del sistema

Página 2 de 2

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

La adaptación se hace basada en

características del medio

Sistema adaptativo a lazo abierto a) Concepto b) Esquema

realiza basada en un criterio

esperado para la salida (“Performance feedback”). El operador puede no conocer el

Se adaptan a fallas de componentes del sistema, adaptando las componentes que funcionan

Page 3: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

Figura 3 – Sistema adaptativo a lazo cerrado. a) Con

Por otro lado las desventajas son:

- Pueden tener varias soluciones “optimas”

- Pueden ser inestables (como los sistemas de control a lazo cerrado)

- Pueden diverger en lugar de converger luego del proceso de aprendizaje.

Sistemas adaptativos a lazo cerrado:

La mayor utilidad de los sistemas adaptativos se da cuando funcionan a lazo cerrado. La figura 4 muestra

el esquema general de un sistema adaptativo a lazo cerrado

En la figura se ven las principales señales del sistema

x: entrada

y: salida

d: salida deseada (other data)

e: error

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

Sistema adaptativo a lazo cerrado. a) Concepto b) Esquema

Por otro lado las desventajas son:

Pueden tener varias soluciones “optimas”

Pueden ser inestables (como los sistemas de control a lazo cerrado)

r en lugar de converger luego del proceso de aprendizaje.

lazo cerrado:

La mayor utilidad de los sistemas adaptativos se da cuando funcionan a lazo cerrado. La figura 4 muestra

el esquema general de un sistema adaptativo a lazo cerrado

En la figura se ven las principales señales del sistema

d: salida deseada (other data)

Página 3 de 3

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

cepto b) Esquema

r en lugar de converger luego del proceso de aprendizaje.

La mayor utilidad de los sistemas adaptativos se da cuando funcionan a lazo cerrado. La figura 4 muestra

Page 4: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

Figura 4 – Sistema adaptativo a lazo cerrado con todas sus señales.

Dependiendo como se toman las entradas al sistema adaptativo se logran diferentes efectos, como se

muestra en la figura 5, a saber:

a) Predicción: El sistema debe “predecir”

y lo más parecida posible a la entrada

Usos: Codificación. Reducción de ruido

b) Identificación: El sistema debe “identificar” la planta y copiar su respuesta a la señal de

Se debe disponer de la entrada y la salida. El sistema copia la planta y sus variaciones en el

tiempo.

Usos: Estudio de suelos, supresión de eco en comunicaciones, etc

c) Modelado Inverso: Se retrasa la señal deseada para dar tiempo a que pase por

sistema adaptativo. Puede agregarse ruido a la salida de la planta. El sistema adaptativo ecualiza

o “deconvoluciona” la entrada para anular los efectos de la planta.

Usos: Ecualización de ISI de un canal.

d) Cancelador de interferencia: La

sistema adaptativo dispone de una señal distinta pero correlacionada de la interferencia. Actúa

logrando que el error se parezca a la señal limpia (deseada).

Usos: Cancelador adaptativo de ruid

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

Sistema adaptativo a lazo cerrado con todas sus señales.

Dependiendo como se toman las entradas al sistema adaptativo se logran diferentes efectos, como se

El sistema debe “predecir” el comportamiento de una señal, produciendo una salida

lo más parecida posible a la entrada.

Usos: Codificación. Reducción de ruido

Identificación: El sistema debe “identificar” la planta y copiar su respuesta a la señal de

Se debe disponer de la entrada y la salida. El sistema copia la planta y sus variaciones en el

, supresión de eco en comunicaciones, etc

Se retrasa la señal deseada para dar tiempo a que pase por

sistema adaptativo. Puede agregarse ruido a la salida de la planta. El sistema adaptativo ecualiza

o “deconvoluciona” la entrada para anular los efectos de la planta.

Usos: Ecualización de ISI de un canal.

Cancelador de interferencia: La señal de entrada esta corrupta por interferencia o ruido, y el

sistema adaptativo dispone de una señal distinta pero correlacionada de la interferencia. Actúa

logrando que el error se parezca a la señal limpia (deseada).

Usos: Cancelador adaptativo de ruido o interferencia.

Página 4 de 4

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

Sistema adaptativo a lazo cerrado con todas sus señales.

Dependiendo como se toman las entradas al sistema adaptativo se logran diferentes efectos, como se

, produciendo una salida

Identificación: El sistema debe “identificar” la planta y copiar su respuesta a la señal de entrada.

Se debe disponer de la entrada y la salida. El sistema copia la planta y sus variaciones en el

Se retrasa la señal deseada para dar tiempo a que pase por la planta y el

sistema adaptativo. Puede agregarse ruido a la salida de la planta. El sistema adaptativo ecualiza

señal de entrada esta corrupta por interferencia o ruido, y el

sistema adaptativo dispone de una señal distinta pero correlacionada de la interferencia. Actúa

Page 5: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

Figura 5

La figura 6 muestra la evolución típica de las diferentes señales de un sistema adaptativo.

En la medida que avanzan las iteraciones (k) se produce el proceso de aprendizaje y el sistema

se adapta de tal modo que la salida se parezca lo más posible a la entrada. Mientras exista una

señal de error de determinada magnitud el sistema se auto

cuando la señal de error disminuye a un valor residual.

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

Figura 5 – Diferentes esquemas adaptativos

La figura 6 muestra la evolución típica de las diferentes señales de un sistema adaptativo.

En la medida que avanzan las iteraciones (k) se produce el proceso de aprendizaje y el sistema

dapta de tal modo que la salida se parezca lo más posible a la entrada. Mientras exista una

señal de error de determinada magnitud el sistema se auto-corregirá. Este proceso se detiene

cuando la señal de error disminuye a un valor residual.

Página 5 de 5

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

La figura 6 muestra la evolución típica de las diferentes señales de un sistema adaptativo.

En la medida que avanzan las iteraciones (k) se produce el proceso de aprendizaje y el sistema

dapta de tal modo que la salida se parezca lo más posible a la entrada. Mientras exista una

corregirá. Este proceso se detiene

Page 6: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

Funcionamiento de un sistema adaptativo

Para la parte siguiente adoptaremos las siguientes notaciones:

- Una letra mayúscula negrita

- Una letra mayúscula A para un vector fila

- Una letra minúscula a para una variabl

- El subíndice k para indicar evolución temporal de cualquiera de las anteriores.

- El subíndice i para indicar la posición dentro de una matriz o vector.

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

Figura 6 – El proceso de adaptación

Funcionamiento de un sistema adaptativo:

Para la parte siguiente adoptaremos las siguientes notaciones:

Una letra mayúscula negrita A para una matriz

para un vector fila

para una variable, un escalar, o un elemento de una matriz o vector.

para indicar evolución temporal de cualquiera de las anteriores.

para indicar la posición dentro de una matriz o vector.

Página 6 de 6

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

e, un escalar, o un elemento de una matriz o vector.

para indicar evolución temporal de cualquiera de las anteriores.

Page 7: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

- Un círculo con un valor simboliza a un multiplicador

una flecha.

- Un círculo con el signo + o

- Un cuadrado con una T o

La configuración básica de un sistema ad

muestra en la figura 7. Está claro que la palabra “lineal” se refiere a que su salida es el resultado

de una suma de productos, más que significar que el sistema es lineal en sí, como vimos en la

introducción.

Figura 7

En el esquema de la figura podemos reconocer los siguientes vectores

Vector de Pesos (taps):

Entradas múltiples:

Vector de entrada

Salida

Entradas única:

Vector de entrada

Salida

La figura 7 muestra un combinador adaptativo lineal de

esquema se aplica tanto para el caso

para el caso en que hay una única entrada cuyas

por el combinador adaptativo lineal

idénticos para cualquiera de los dos casos.

Una neurona es un ejemplo de un combinador adaptativo lineal

biología. En la figura 8 se muestran las dendritas, que son las entradas al sistema. Cada dendrita

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

Un círculo con un valor simboliza a un multiplicador. Si el valor es variable, el círculo presenta

Un círculo con el signo + o ∑ indica un sumador.

Un cuadrado con una T o ��� indica una demora temporal de un período de muestreo.

configuración básica de un sistema adaptativo se llama “combinador adaptativo lineal”

muestra en la figura 7. Está claro que la palabra “lineal” se refiere a que su salida es el resultado

de una suma de productos, más que significar que el sistema es lineal en sí, como vimos en la

Figura 7 – El combinador adaptativo lineal

el esquema de la figura podemos reconocer los siguientes vectores

�� � �� �� … … �� � Vector de entrada �� � ��� ��� … … ��� �

�� � ∑ ���������

Vector de entrada �� � ��� ���� … … ���� �

�� � ∑ ����������

7 muestra un combinador adaptativo lineal de L + 1 pesos o coeficientes adaptativos. Este

esquema se aplica tanto para el caso de L+1 señales de entrada diferentes (entradas múltiples) cuanto

para el caso en que hay una única entrada cuyas L+1 muestras temporales más recientes

combinador adaptativo lineal (entrada única). El análisis que sigue y sus conclusiones son

los dos casos.

Una neurona es un ejemplo de un combinador adaptativo lineal de entradas múltiples

biología. En la figura 8 se muestran las dendritas, que son las entradas al sistema. Cada dendrita

Página 7 de 7

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

. Si el valor es variable, el círculo presenta

indica una demora temporal de un período de muestreo.

binador adaptativo lineal”, y se

muestra en la figura 7. Está claro que la palabra “lineal” se refiere a que su salida es el resultado

de una suma de productos, más que significar que el sistema es lineal en sí, como vimos en la

pesos o coeficientes adaptativos. Este

(entradas múltiples) cuanto

muestras temporales más recientes son recordadas

. El análisis que sigue y sus conclusiones son

de entradas múltiples en el campo de la

biología. En la figura 8 se muestran las dendritas, que son las entradas al sistema. Cada dendrita

Page 8: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

presenta una señal al núcleo, con una in

base a prueba y error (por ejemplo para

que le transfieren las dendritas, y el resultado es pasado al Axon, que en su otro extremo pu

como estímulo para las dendritas de otra neurona.

neuronales”. De hecho se ha encontrado un gran grado de similitud con muchos

de otros campos con los circuitos digitales a

Figura 8 – La neurona como combinador adaptativo lineal

Otro ejemplo práctico de un sistema adaptativo de entradas m

producen en las capas geológicas de en un terreno a estudiar, o las múltiples trayectorias que puede

tomar una onda al reflejar en el suelo entre el transmisor y el receptor.

Por otro lado un buen ejemplo de un combinador lineal adaptativo con entrada única puede ser un

transversal cuyos coeficientes se adaptan para

referencia. La figura 9 muestra ese circuito.

En este caso las entradas al combinador lineal son muestras

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

presenta una señal al núcleo, con una intensidad (peso) que depende de un proceso de aprendizaje, en

por ejemplo para hablar, caminar, etc). El núcleo suma los estímulos “pesados”

que le transfieren las dendritas, y el resultado es pasado al Axon, que en su otro extremo pu

como estímulo para las dendritas de otra neurona. Es común llamar a los sistemas adaptativos

”. De hecho se ha encontrado un gran grado de similitud con muchos

circuitos digitales adaptativos que combinan elementos suma

La neurona como combinador adaptativo lineal de multiples entradas.

Otro ejemplo práctico de un sistema adaptativo de entradas múltiples puede ser las reflexiones que se

ológicas de en un terreno a estudiar, o las múltiples trayectorias que puede

tomar una onda al reflejar en el suelo entre el transmisor y el receptor.

Por otro lado un buen ejemplo de un combinador lineal adaptativo con entrada única puede ser un

ransversal cuyos coeficientes se adaptan para “aprender” o seguir la evolución de una entrada o

referencia. La figura 9 muestra ese circuito.

Figura 9 – El filtro transversal adaptativo

En este caso las entradas al combinador lineal son muestras temporales de una única señal de entrada

Página 8 de 8

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

que depende de un proceso de aprendizaje, en

hablar, caminar, etc). El núcleo suma los estímulos “pesados”

que le transfieren las dendritas, y el resultado es pasado al Axon, que en su otro extremo puede actuar

Es común llamar a los sistemas adaptativos “redes

”. De hecho se ha encontrado un gran grado de similitud con muchos sistemas biológicos o

daptativos que combinan elementos suma-producto.

de multiples entradas.

últiples puede ser las reflexiones que se

ológicas de en un terreno a estudiar, o las múltiples trayectorias que puede

Por otro lado un buen ejemplo de un combinador lineal adaptativo con entrada única puede ser un filtro

“aprender” o seguir la evolución de una entrada o

de una única señal de entrada.

Page 9: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

Análisis matemático:

Haciendo explícita la respuesta deseada

de la figura 9 podremos comenzar el análisis del comportamiento del combinador adaptativo lineal.

La figura 10 muestra el circuito en cuestión

Figura 10

Escribiendo la salida del circuito de la figura 10, que es un escalar, en forma vectorial tenemos

�� � ����� � ���y escribiendo el error, que es también un escalar como

�� � �� � �� � �Para independizarnos del signo del error o

��� � ��� � 2 ������Si �� , �� y �� son estadísticamente estaciona

tiempo, podemos escribir el valor esperado del error cuadrático medio

��� � ����� � E!�Si definimos la matriz R como la autocorrelación de la señal de entrada, es decir

" � E� ����� � #$$$$%����������

y definimos también a la correlación cruzada entre la respuesta deseada

como el vector columna P siendo

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

Haciendo explícita la respuesta deseada �� del combinador lineal con entrada única (Filtro Transversal)

de la figura 9 podremos comenzar el análisis del comportamiento del combinador adaptativo lineal.

La figura 10 muestra el circuito en cuestión

Figura 10 – El filtro transversal y la señal de referencia

Escribiendo la salida del circuito de la figura 10, que es un escalar, en forma vectorial tenemos

���

y escribiendo el error, que es también un escalar como

�� � ����� � �� � �����

Para independizarnos del signo del error obtenemos el error cuadrado en el instante

��& ����������

son estadísticamente estacionarias, y suponiendo que �� � �, es decir, ya no varía en el

tiempo, podemos escribir el valor esperado del error cuadrático medio (Mean Square Error)

!��� � 2E� �����'� & ��E������ �

como la autocorrelación de la señal de entrada, es decir

#$$$$%

�� ������ ������ … … ���������� ���� ������ … … ������………����� ������ ������ … … ���� ())

))*

mos también a la correlación cruzada entre la respuesta deseada �� y el vector de entrada

siendo

Página 9 de 9

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

del combinador lineal con entrada única (Filtro Transversal)

de la figura 9 podremos comenzar el análisis del comportamiento del combinador adaptativo lineal.

Escribiendo la salida del circuito de la figura 10, que es un escalar, en forma vectorial tenemos

[1]

[2]

btenemos el error cuadrado en el instante k como

[3]

, es decir, ya no varía en el

(Mean Square Error) como

[4]

( [5]

el vector de entrada ��

Page 10: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

+ � E����� � E� ��entonces

��� � ����� � E��La ecuación [7] tiene la forma de un hyperparaboloide de

forma de la ecuación [7], podemos reducirla a só

obtenemos un paraboloide. La figura 11 muestra la forma del

Figura 11 – La superficie del

En la figura 11 se ve que existe un punto específico del valor de los coeficientes donde el

mínimo teórico posible. Ese será el objetivo de nuestro sistema adaptativo.

Minimizando el MSE:

Si cortamos el paraboloide de la figura 11 con planos verticales para graficar el

de los pesos o coeficientes del filtro (

Aunque la figura muestra el caso de un solo coeficiente, está claro que es similar en el caso general con

L+1 dimensiones.

Una forma efectiva de llegar al valor mínimo del

una situación inicial w0 y “viajando

del MSE hasta llegar al valor óptimo para ese coeficiente

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

���� ����� … … … … ����� ,

��� � 2+��& ��" �

forma de un hyperparaboloide de L+1 dimensiones. Para poder imaginar la

forma de la ecuación [7], podemos reducirla a sólo 2 dimensiones (pesos o coeficientes)

un paraboloide. La figura 11 muestra la forma del MSE con solo dos coefic

La superficie del MSE para el caso de dos coeficientes

En la figura 11 se ve que existe un punto específico del valor de los coeficientes donde el

mínimo teórico posible. Ese será el objetivo de nuestro sistema adaptativo.

Si cortamos el paraboloide de la figura 11 con planos verticales para graficar el MSE

de los pesos o coeficientes del filtro (wk) obtenemos una parábola como se muestra en la figura 12.

o de un solo coeficiente, está claro que es similar en el caso general con

Una forma efectiva de llegar al valor mínimo del MSE para ese peso o coeficiente,

viajando” (k, k+1, k+2, etc) en dirección opuesta al gradiente de la superficie

hasta llegar al valor óptimo para ese coeficiente -, como se muestra en la figura 12.

Página 10 de 10

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

[6]

[7]

Para poder imaginar la

lo 2 dimensiones (pesos o coeficientes) en cuyo caso

con solo dos coeficientes.

para el caso de dos coeficientes

En la figura 11 se ve que existe un punto específico del valor de los coeficientes donde el MSE es el

MSE en función de uno

) obtenemos una parábola como se muestra en la figura 12.

o de un solo coeficiente, está claro que es similar en el caso general con

para ese peso o coeficiente, es partiendo desde

ección opuesta al gradiente de la superficie

, como se muestra en la figura 12.

Page 11: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

Figura 12 – La superficie del

Es por eso que muchos algoritmos de adaptaci

se obtiene de expandir las componentes de

. � /012/3 � � /012/4Para encontrar el punto de mínimo MSE, llamado

. � 0 � 2"�- – y asumiendo que R es no-singular (se puede invertir)

�- � "��+

que se llama vector de pesos óptimo

coeficientes se llama Filtro de Wiener

Método de Newton:

El algoritmo de Newton deriva directamente de la solución de Wiener, ya que si multiplicamos al

gradiente . de la ecuación [8] por

�� "��. .� �� "��. 2entonces

�- � � � �� "��

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

La superficie del MSE para el caso de un coeficiente

Es por eso que muchos algoritmos de adaptación se basan en el gradiente del MSE

se obtiene de expandir las componentes de W en la ecuación [7] y luego diferenciar.

/012/48 /012/49 … … /012/4: � � 2"� – 2+

Para encontrar el punto de mínimo MSE, llamado �- en la figura 11, hacemos

– 2+

singular (se puede invertir)

vector de pesos óptimo o de vector de pesos Wiener. Un filtro transversal con ese vector de

Filtro de Wiener.

El algoritmo de Newton deriva directamente de la solución de Wiener, ya que si multiplicamos al

de la ecuación [8] por �� "�� tenemos

2"� � �� "��. 2+ � � � "��. + � � � �-

�.

Página 11 de 11

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

para el caso de un coeficiente

MSE, que es un vector que

en la ecuación [7] y luego diferenciar.

[8]

[9]

[10]

. Un filtro transversal con ese vector de

El algoritmo de Newton deriva directamente de la solución de Wiener, ya que si multiplicamos al

[11]

[12]

Page 12: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

Que da la forma en que se pasa de un valor inicial del vector coeficientes

coeficientes �-en un solo paso, como se muestra en la figura 13 para el caso de solo dos coeficientes.

Nótese que en este caso se parte del paraboloide de la figura 11 pero se lo corta en planos horizontales

de MSE constante, resultando en elipses concéntricas.

Figura 13 – Obten

En la figura 13 está claro que el gradiente

valor óptimo �- directamente, ya que los cortes son elipses

perpendicular a esas elipses y no apunta al valor óptimo

Newton justamente al multiplicarse el gradiente por

Método de Máxima Pendiente

Tanto la solución de Wiener, cuanto el algoritmo de Newton

paso) el valor de todos los coeficientes (pesos)

a) Requiere que las señales sean estacionarias, lo que generalmente es un problema ya que las

condiciones de generación de la señal o las características del canal de transmi

variar con muchos factores (carga, temperatura, alinealidades, etc). Además, sería muy útil

disponer de un filtro que se adapte justamente a cambios de las condiciones de la señal de

entrada dentro de ciertos límites.

b) Puede resultar complicado

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

Que da la forma en que se pasa de un valor inicial del vector coeficientes � al vector óptimo de

paso, como se muestra en la figura 13 para el caso de solo dos coeficientes.

Nótese que en este caso se parte del paraboloide de la figura 11 pero se lo corta en planos horizontales

de MSE constante, resultando en elipses concéntricas.

Obtención del valor óptimo por el método de Newton

En la figura 13 está claro que el gradiente . en un punto determinado �� no necesariamente apunta al

directamente, ya que los cortes son elipses y no círculos. El gradiente se presenta

y no apunta al valor óptimo. Este efecto se “corrige” en el mé

Newton justamente al multiplicarse el gradiente por "��, permitiendo la corrección en un solo paso.

Máxima Pendiente:

Tanto la solución de Wiener, cuanto el algoritmo de Newton pueden calcular directamente

de todos los coeficientes (pesos) óptimos, pero tienen las siguientes limitaciones:

Requiere que las señales sean estacionarias, lo que generalmente es un problema ya que las

condiciones de generación de la señal o las características del canal de transmi

variar con muchos factores (carga, temperatura, alinealidades, etc). Además, sería muy útil

disponer de un filtro que se adapte justamente a cambios de las condiciones de la señal de

entrada dentro de ciertos límites.

Puede resultar complicado computacionalmente realizar la inversa de la matriz

Página 12 de 12

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

al vector óptimo de

paso, como se muestra en la figura 13 para el caso de solo dos coeficientes.

Nótese que en este caso se parte del paraboloide de la figura 11 pero se lo corta en planos horizontales

ción del valor óptimo por el método de Newton

no necesariamente apunta al

l gradiente se presenta

. Este efecto se “corrige” en el método de

, permitiendo la corrección en un solo paso.

directamente (en un solo

, pero tienen las siguientes limitaciones:

Requiere que las señales sean estacionarias, lo que generalmente es un problema ya que las

condiciones de generación de la señal o las características del canal de transmisión pueden

variar con muchos factores (carga, temperatura, alinealidades, etc). Además, sería muy útil

disponer de un filtro que se adapte justamente a cambios de las condiciones de la señal de

computacionalmente realizar la inversa de la matriz R.

Page 13: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

Por esto se suele preferir algún método de cálculo recursivo, que si bien demora más en llegar al valor

óptimo, podrá continuar adaptándose permanentemente, produciendo los seguimientos deseados,

además de ser más fácil de calcular.

Expresando en general esa adaptación progresiva desde

opuesta al gradiente, podemos escribir la forma recursiva

��;� � �� & <=Donde < regula el paso o velocidad de cada adaptación recursiva, y

actualización se calcula nuevamente

La figura 14 muestra las elipses resu

nuevos ejes de coordenadas >�, coordenadas coincida con la solución de Wiener. La figura muestra además los ejes

una rotación adicional de modo que las elipses queden perpendiculares a los ejes

llaman “ejes principales”.

Figura 14 – Cortes con

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

Por esto se suele preferir algún método de cálculo recursivo, que si bien demora más en llegar al valor

óptimo, podrá continuar adaptándose permanentemente, produciendo los seguimientos deseados,

más de ser más fácil de calcular.

Expresando en general esa adaptación progresiva desde W a �- siguiendo como dijimos la dirección

opuesta al gradiente, podemos escribir la forma recursiva

=�.�?

regula el paso o velocidad de cada adaptación recursiva, y .� expresa que en cada

nuevamente el gradiente.

La figura 14 muestra las elipses resultantes de los cortes a MSE=cte de la figura 13, >� que son los originales �, � trasladados de modo que el centro de

oordenadas coincida con la solución de Wiener. La figura muestra además los ejes

rotación adicional de modo que las elipses queden perpendiculares a los ejes

Cortes con MSE=cte muestran los ejes trasladados y rotados

Página 13 de 13

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

Por esto se suele preferir algún método de cálculo recursivo, que si bien demora más en llegar al valor

óptimo, podrá continuar adaptándose permanentemente, produciendo los seguimientos deseados,

siguiendo como dijimos la dirección

[13]

expresa que en cada

ltantes de los cortes a MSE=cte de la figura 13, pero introduce

trasladados de modo que el centro de

oordenadas coincida con la solución de Wiener. La figura muestra además los ejes >�@ , >�@ que incluyen

rotación adicional de modo que las elipses queden perpendiculares a los ejes. Estos últimos se

=cte muestran los ejes trasladados y rotados

Page 14: Introducción - uncor.edu

Página 14 de 14

FCEFyN

Universidad Nacional de Cordoba

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

Trasladando entonces el centro de coordenadas a >�, >� y volviendo al espacio multidimensional de L+1

coeficientes o pesos, la traslación a los nuevos ejes V se escribe como

A � � � �- [14]

Utilizando [12] obtenemos el gradiente en función de las nuevas coordenadas como

.� 2A" [15]

y entonces podemos escribir la ecuación recursiva en los ejes trasladados partiendo de la ecuación [13]

y restando �-a ambos miembros como

��;� � �� � 2<"A�

��;� � �- � �� � �- � 2<"A�

A�;� � A� � 2<"A�

A�;� � =B � 2<"?A� [16]

donde I es el vector unidad. La expresión [16] aún es de difícil solución computacional ya que A� está

relacionada con R que no es una matriz diagonal (tiene componentes “cros-relacionados”). Para evitar

esto debemos hacer una rotación de A�para expresarla en función de los ejes principales. Para lograr esa

rotación debemos operar sobre R expresándola en función de cada uno de sus L vectores propios (o

eigenvectors) CD y de sus n valores propios (o eigenvalues) ED, con n=0,1,2…

Los valores propios y los vectores propios de una matriz (en este caso R) se determinan mediante su

“ecuación homogénea” �" � EF CD � 0 que tiene solución no trivial si det�" � EF � 0 (esta última

llamada “ecuación característica” de R) cuyas soluciones son los valores propios ED que reemplazados

en la ecuación homogénea definen los vectores propios CD de R. Entonces, de la ecuación homogénea

evaluada en los valores propios y vectores propios despejamos

"CD � EDFCD

" � C� C� … … C� � � C� C� … … C� JE�0…00E�…0

…………00…E�

K � "L � LM [17]

donde los vectores propios se han agrupado en la matriz Q y los valores propios en la matriz M.

Despejando R de la ecuación [17] se obtiene la forma normal de R como

" � LML�� [18]

Page 15: Introducción - uncor.edu

Página 15 de 15

FCEFyN

Universidad Nacional de Cordoba

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

Geométricamente los vectores propios de la matriz de correlación de la entrada R definen los ejes

principales de la hyperelipse que representa al MSE. Para el caso de dos coeficientes representan los

ejes >�@ , >�@

Es decir que hemos aplicado al espacio de los coeficientes (pesos) del combinador lineal (filtro

transversal) las siguientes transformaciones

- Traslación: A � � � �-

- Rotación: A@ � LNA � L�OA ya que se puede demostrar que LN � L�O [19]

Podemos ahora expresar la ecuación iterativa [16] rotada a los ejes principales de R despejando V de la

[19], es decir

A�;� � LA�;�@ � =B � 2<"?LA�@ Multiplicando por L�O los dos últimos términos de la igualdad tenemos

A�;�@ � L�O=B � 2<"?LA�@ � PL�OBL � 2<L�O"LQA�@ y utilizando [18] obtenemos

A�;�@ � =B � 2<M?A�@ [20]

Nótese que ya no necesitamos computar R sino solamente conocer sus valores propios. Obteniendo

finalmente el algoritmo de máxima pendiente. Expresado el mismo como L ecuaciones

A�;�@ � J=1 � 2<E�? 0…00=1 � 2<E�? …0

…………00… =1 � 2<E�?K A�@ [21]

El algoritmo de máxima pendiente también puede escribirse en función del valor inicial A�@, y de aplicar k

veces la fórmula [20] de la siguiente manera

A�@ � =B � 2<M?�A�@ [22]

lo que se grafica en la figura 15.

De la ecuación [21] queda claro que para que el algoritmo converja debemos tener

|B � 2<M| T B

Entonces cada uno de los componentes de la matriz de la ecuación [21] y por lo tanto los valores propios

deben cumplir

Page 16: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

|1 � 2<λV| T 1

0 T < T �WX y en particular, tomamos el peor caso como condición para

grande

0 T < T �WYZ[

Figura 15 – Convergencia del método de máxima pendiente.

Tomando entonces un número suficiente de ite

tendremos

0 � lim�_`=B � 2<Por lo que

lim�_` � � �-

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

y en particular, tomamos el peor caso como condición para < que se dará con el valor propio más

Convergencia del método de máxima pendiente.

Tomando entonces un número suficiente de iteraciones que cumplan [23] y usando [22], [19], y [14]

<M?� � lim�_` A�@ � lim�_` L�OA� � lim�_` L

Página 16 de 16

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

que se dará con el valor propio más

[23]

raciones que cumplan [23] y usando [22], [19], y [14]

L�O =� � �-?

Page 17: Introducción - uncor.edu

Página 17 de 17

FCEFyN

Universidad Nacional de Cordoba

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

Es decir que sin la complicación de tener que multiplicar por R en las coordenadas principales, aplicando

la ecuación [22] un número suficiente de veces, hemos logrado que en las coordenadas naturales (sin

trasladar ni rotar), se converge al valor óptimo de Wiener.

El algoritmo LMS:

Si bien el algoritmo de máxima pendiente de la ecuación [20] permite obtener los valores de A�;�@

partiendo de A�@ utilizando solamente los valores propios λV de la matriz R, y a partir de ellos volver a las

coordenadas naturales W, el cálculo puede ser complejo en ciertas ocasiones.

El algoritmo LMS (Least Mean Square) se basa en el algoritmo de máxima pendiente, pero introduce una

simplificación radical: utiliza directamente el valor de ��� en lugar del ��� � ����� para calcular el

gradiente. De esa forma sólo logra una estimación del gradiente (.a), cuyas consecuencias analizaremos

a continuación.

Recordando la ecuación [2]

�� � �� � �� � �� � ����� � �� � ����� [24]

Calculando el cuadrado y utilizándolo directamente (sin calcular el valor más esperado) para estimar el

gradiente .a tenemos

.bc�#$$$$$%/def/48/def/49……/def/4:()

))))* � 2��

#$$$$$% /de/48/de/49……/de/4:())

)))*

� �2���� [25]

Reemplazando la [25] en la ecuación recursiva [13]

��;� � �� & <=�.a? [26]

��;� � �� & 2<���� [27]

La ecuación [27] describe el algoritmo LMS. Está claro que se trata solamente de una estimación del

gradiente, por lo cual será útil calcular valor esperado de esa estimación, para ver su efecto una vez

convergido (�� constante = W) usando [25] y [24]

�! .a ' � �2������ � �2�!���� � ������' � 2P������� & �!�����'�Q

y recordando las definiciones de R, P y . de [5], [6], y [8]

Page 18: Introducción - uncor.edu

Página 18 de 18

FCEFyN

Universidad Nacional de Cordoba

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

�! .a ' � 2="� � +? � . [28]

Por lo que deducimos que una vez convergido, en valor esperado, la estimación del gradiente es igual al

gradiente verdadero. Esto significa que la estimación no estará “polarizada” o “corrida” respecto del

valor verdadero, y solamente presentará un “ruido” con valor medio cero sobre el valor del gradiente

verdadero.

Partiendo de la ecuación [27] podemos ver el efecto de la estimación del gradiente durante el proceso

de convergencia como

����;� � ���� & 2<������ Y utilizando el mismo criterio que en [28] para ������ tenemos

����;� � ���� & 2<=+ � "���� ?

Aplicando ahora factor común ���� y recordando la definición del vector de coeficientes de Wiener

[10] tenemos

����;� � =B � 2<"?���� & 2<"�- [29]

Realizando primero traslación y luego rotación de coordenadas del mismo modo que al deducir las

ecuaciones [16] y [22], se llega al mismo resultado, solo que con el valor más esperado para la solución

de vectores, es decir

��A�@ � =B � 2<M?�A�@ [30]

Por lo que el valor más esperado de los coeficientes en los ejes principales será el mismo que en el

algoritmo de máxima pendiente, y el LMS convergirá siempre y cuando se cumpla la ecuación [23].

Ya que hemos simplificado el método de cálculo de la adaptación mediante la estimación del gradiente

del algoritmo LMS, sería deseable también simplificar la ecuación [23] para calcular el valor de < de

modo de no depender de los valores propios de R, los que a veces son difíciles de obtener. La traza de R

es la suma de sus valores propios, por lo tanto será siempre mayor que el valor individual Eghi. Por lo

tanto usando la traza de R en [23] tendremos un valor más “seguro” para <. Tomando la ecuación [5]

vemos que la traza de R será L+1 veces ����� es decir L+1 veces la potencia de la señal de entrada, que

es un valor más fácil de estimar o conocer que los valores propios de R. Por lo tanto una versión más

fácil de utilizar y más conservadora de < puede escribirse como

0 T < T �=�;�?=jkdDl�h md n? [31]

El algoritmo LMS presenta las siguientes características:

Page 19: Introducción - uncor.edu

Página 19 de 19

FCEFyN

Universidad Nacional de Cordoba

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

- No requiere de cálculos complicados con matrices

- No requiere la espera/almacenado de N muestras para poder sacar conclusiones estadísticas

(cálculo del gradiente, por ejemplo) para adaptar los coeficientes

- Utiliza una estimación del gradiente como los demás métodos, pero lo hace de una manera más

sencilla.

- En valor más esperado todos los parámetros importantes convergen a los valores de los

métodos exactos (como Newton y máxima pendiente)

- Es robusto frente al ruido, errores de cuantificación y efectos de aritmética finita.

Por todo esto el algoritmo LMS es uno de los preferidos para el diseño de sistemas adaptativos.

Performance de los algoritmos adaptativos:

Todos los algoritmos adaptativos (incluso el de Newton si se lo hace por pasos) que producen su proceso

de aprendizaje basados en incrementos pequeños partiendo de la situación anterior, tendrán una

performance que se suele medir principalmente con dos factores: el tiempo de convergencia o tiempo

de aprendizaje o012 y el desajuste D.

Tiempo de aprendizaje:

Analicemos primero el proceso de aprendizaje. Si observamos la evolución desde el valor inicial hasta el

valor óptimo de Wiener tanto para el algoritmo de máxima pendiente (ver ec [22]) cuanto para el LMS

(ver ec. [30]) el término que regula el aprendizaje es

=B � 2<M?� � J=1 � 2<E�?� 0…00=1 � 2<E�?� …0

…………00… =1 � 2<E�?�K [32]

Indicando que cada valor propio E�controlará el aprendizaje de cada uno de los L+1 coeficientes, cuyo

efecto conjunto, se ve en la figura 16

La forma de la figura 16 es la típica exponencial con forma p � �qrs que para la proyección de la primera

iteración tenemos

p � �q9s � 1 � �t & ��!tf � �v!tw & x y 1 � �t [33]

Además el “ratio geométrico” que implica la ecuación [32] para cada valor propio indica

p� � 1 � 2<E� [34]

Page 20: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

Figura 16 – Proceso de aprendizaje de un sistema adaptativo.

y como se trata del mismo proceso, combinamos [33] y [34] para obtener

z � ��{|} Que es la constante de tiempo para el aprendizaje del coeficiente i

Por otro lado al ser MSE cuadrático, tendremos el mismo proceso pero al cuadrado, es decir

p012 � p� � que por lo tanto tendrá una constante de tiempo

z012� � �~{|} Que es la constante de tiempo con que cae el MSE por efecto del coeficiente i

El tiempo de aprendizaje para los

necesario para cada cálculo, la cantidad de coeficientes

o012 � 2=� &

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

Proceso de aprendizaje de un sistema adaptativo.

y como se trata del mismo proceso, combinamos [33] y [34] para obtener

constante de tiempo para el aprendizaje del coeficiente i.

Por otro lado al ser MSE cuadrático, tendremos el mismo proceso pero al cuadrado, es decir

�qfs � � q9s f� � � q9s���

por lo tanto tendrá una constante de tiempo z012 � t� es decir

constante de tiempo con que cae el MSE por efecto del coeficiente i.

El tiempo de aprendizaje para los L+1 coeficientes está relacionado con el número de muestras

necesario para cada cálculo, la cantidad de coeficientes L+1 y la velocidad de adaptación

= & 1?�z012� � =�;�?��{|}

Página 20 de 20

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

[35]

Por otro lado al ser MSE cuadrático, tendremos el mismo proceso pero al cuadrado, es decir

[36]

[37]

nado con el número de muestras N

y la velocidad de adaptación <.

[38]

Page 21: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

La ecuación [38] indica que el tiempo de aprendizaje total de

muestras (N) necesite el algoritmo para producir cada adaptación, de cuantos coeficientes se deban

adaptar=� & 1?, y de la constante de tiempo de la curva de aprendizaje en si debido a cada coeficiente

(z012�).

La ecuación [38] aplica al algoritmo de máxima pendiente, pero para LMS donde cada muestra produce

una adaptación se tiene

o012 � z012�Lo que muestra que LMS es claramente más rápido que el algoritmo de máxima pendien

dado.

Desajuste:

Todos los algoritmos basados en el gradiente producen una estimación del mismo, basada en

diferencias más que en derivadas exactas. La figura 17 muestra ese efecto.

Figura 17 – Efecto de estimar el gradiente con diferenci

Una vez que el sistema adaptativo convergió al valor de mínimo

“ruido de gradiente”, es la principal causa de desajuste. En la figura 18 se ve en la parte de abajo como

los coeficientes varían alrededor de los valores óptimos con las diferentes iteraciones

convergido, fruto del ruido de gradiente. La figura muestra también la curva de la superficie de error

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

La ecuación [38] indica que el tiempo de aprendizaje total de un algoritmo dependerá de cuántas

) necesite el algoritmo para producir cada adaptación, de cuantos coeficientes se deban

, y de la constante de tiempo de la curva de aprendizaje en si debido a cada coeficiente

ecuación [38] aplica al algoritmo de máxima pendiente, pero para LMS donde cada muestra produce

� �~{|}

Lo que muestra que LMS es claramente más rápido que el algoritmo de máxima pendien

Todos los algoritmos basados en el gradiente producen una estimación del mismo, basada en

diferencias más que en derivadas exactas. La figura 17 muestra ese efecto.

Efecto de estimar el gradiente con diferencias y no con derivadas.

Una vez que el sistema adaptativo convergió al valor de mínimo MSE, esta estimación, también llamada

“ruido de gradiente”, es la principal causa de desajuste. En la figura 18 se ve en la parte de abajo como

rededor de los valores óptimos con las diferentes iteraciones

convergido, fruto del ruido de gradiente. La figura muestra también la curva de la superficie de error

Página 21 de 21

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

un algoritmo dependerá de cuántas

) necesite el algoritmo para producir cada adaptación, de cuantos coeficientes se deban

, y de la constante de tiempo de la curva de aprendizaje en si debido a cada coeficiente

ecuación [38] aplica al algoritmo de máxima pendiente, pero para LMS donde cada muestra produce

[39]

Lo que muestra que LMS es claramente más rápido que el algoritmo de máxima pendiente para un <

Todos los algoritmos basados en el gradiente producen una estimación del mismo, basada en

as y no con derivadas.

, esta estimación, también llamada

“ruido de gradiente”, es la principal causa de desajuste. En la figura 18 se ve en la parte de abajo como

rededor de los valores óptimos con las diferentes iteraciones k, luego de haber

convergido, fruto del ruido de gradiente. La figura muestra también la curva de la superficie de error

Page 22: Introducción - uncor.edu

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales

MSE graficada vs las coordenadas V. Queda claro en la figura 18 que las v

producen una variación del valor de

Ese “exceso de MSE” produce un desajuste que se define como

� � 2�012 �012012�}�y representa el efecto que produce sobre el

de las iteraciones k debido al ruido de gradiente.

Figura 18 – Efecto de las variaciones residuales de los coeficientes.

La tabla siguiente resume las ecuaciones para las

aprendizaje o012 y el desajuste �Para el desajuste se toma el valor promedio

SISTEMAS ADAPTATIVOS

de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

graficada vs las coordenadas V. Queda claro en la figura 18 que las variaciones de los coeficientes

producen una variación del valor de MSE, en exceso del valor mínimo ���g�D.

” produce un desajuste que se define como

012�}��}�

to que produce sobre el MSE la continua adaptación de los coeficientes con el paso

debido al ruido de gradiente.

Efecto de las variaciones residuales de los coeficientes.

La tabla siguiente resume las ecuaciones para las constantes de tiempo z012�, los tiempos de � para los algoritmos de máxima pendiente ([35], [36]) y LMS ([37]).

Para el desajuste se toma el valor promedio Eh� de todos los valores propios E�

Página 22 de 22

FCEFyN

Universidad Nacional de Cordoba

UNC SISTEMAS ADAPTATIVOS

ariaciones de los coeficientes

[40]

la continua adaptación de los coeficientes con el paso

Efecto de las variaciones residuales de los coeficientes.

, los tiempos de

para los algoritmos de máxima pendiente ([35], [36]) y LMS ([37]).

Page 23: Introducción - uncor.edu

Página 23 de 23

FCEFyN

Universidad Nacional de Cordoba

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

MAXIMA PENDIENTE LMS

Desajuste � � =� & 1?�8+o012h� � � =� & 1?<Eh�

Tiempo de convergencia en función

del nro de iteraciones z012� � 14<E� z012� � 14<E�

Tiempo de convergencia en función

del nro de muestras o012 � =� & 1?�2<E� o012 � 14<E�

Implementación en DSP

Los algoritmos adaptativos tienen una estructura de multiplicar/acumular que la hacen apropiada para

su implementación en chips DSP. La figura 19 muestra el esquema de un filtro transversal FIR (en negro)

cuyos coeficientes son adaptados mediante el algoritmo LMS (en naranja). Se presenta una foto

temporal al momento n, donde hay N elementos del vector de entrada en el filtro.

Figura 19 – Filtro FIR y coeficientes adaptativos.

Ya se han visto rutinas en C y assembler de DSP de la familia DSP56F8XXX para realizar filtros FIR

idénticos a los dibujados en negro en la figura 19.

Para programar y simular el comportamiento de un sistema adaptativo completo como el de la figura

19, es común utilizar un lenguaje de alto nivel como C de modo de poder tomar conclusiones

����

���� ���� ����;� ����;� ��

+ - �� ��

+

�D

µ

����

T ��

T ����

� T

����;�

���

����;�

���

T

+

Page 24: Introducción - uncor.edu

Página 24 de 24

FCEFyN

Universidad Nacional de Cordoba

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

importantes como ajustar la velocidad de convergencia y calcular el desajuste remanente. A tal efecto

se podría utilizar una rutina como la siguiente, donde la parte adaptativa se ha resaltado en amarillo:

/* Adapttative Filter */ float mu; int L; /* L = filter order */ float y; /* y = filter output */ int x[L]; /* x = FIR state*/ float w[L]; /* w = FIR coef*/ float LMSfir(int L, int xin, float d); /* LMS adaptive fir.c - FIR filter in direct form */ /* Usage: y = LMS_fir(L, xin, mu, d); */ /* xin=input sample */ float LMSfir(int L, int xin,float d) { int i; y=0; for (i=L-1; i>=1; i--) x[i] = x[i-1]; /* update input history */ x[0] = xin; /* read input */ for (i=L-1; i>=0; i--){ y += w[i] * x[i]; /* compute current output samp le y */ } for (i=L-1; i>=0; i--){ w[i] += mu*(d-y)*x[i]; /* update coef with LMS */ } return y; } Una vez que el programador ha comprobado los algoritmos y definido las principales variables de

diseño, si las condiciones de memoria o tiempo disponible son ajustadas, es hora de preocuparse por la

eficiencia del código generado. Está claro que el código anterior, si bien es simple y directo en cuanto a

los algoritmos que pretende realizar, seguramente podrá ser optimizado en eficiencia de uso de

memoria de programa y de tiempo de ejecución.

Para realizar la rutina anterior en un DSP, se deben tener en cuenta algunas cosas a fin de garantizar la

eficiencia, más allá de la tarea del compilador, como por ejemplo:

1. En la rutina se presentan vectores de muestras x[i] y de coeficientes w[i], cuyos índices son

resultados de cálculo (x[i-1]). Pero en la práctica, los coeficientes y las muestras de la señal de

entrada se guardan siempre en lugares consecutivos de memoria, y se acceden siempre en una

secuencia continua de posiciones (nunca se acceden aleatoriamente). Los DSP se diseñan

teniendo en cuenta esto, brindando registros punteros con aritmética dedicada para

incrementar, decrementar, etc. Para que la rutina en C refleje este hecho deberían reemplazarse

los vectores por punteros.

2. Para realizar la secuencia Multiplicar/Acumular en una sola instrucción, siguiendo la rutina C

anterior, se deberían acceder en forma simultánea dos operandos de entrada, el valor anterior

Page 25: Introducción - uncor.edu

Página 25 de 25

FCEFyN

Universidad Nacional de Cordoba

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

de la función, y al valor calculado almacenarlo en memoria. Es decir cuatro accesos a memoria

en paralelo. Para evitar esto los DSP tienen registros intermedios y registros de resultado que

evitan, por ejemplo, que los resultados intermedios tengan que volver a memoria. Por ejemplo,

en la rutina C se podría usar el tipo de datos “register” para almacenar el valor de y.

3. Es muy probable que los distintos lazos de la rutina puedan ser combinados.

Por las razones anteriores, muy frecuentemente los programadores prefieran programar las partes

críticas en cuanto a performance tiempo / espacio en memoria directamente en assembler.

Para realizar el filtro de la figura 19 en assembler de chip DSP debemos definir el mapa de memoria

donde se encuentran los elementos del vector de entrada y de coeficientes, y los punteros usados

para direccionarlos. Esto se ve en la figura 20, que muestra además el uso de los registros de la ALU

de un DSP de la familia DSP56F8XXX.

��

����

����

……………

����;�

……………

……………

……………

���

Figura 20 – Mapa de memoria del DSP con coeficientes de precisión simple, y uso de los

registros para la adaptación de coeficientes.

Memoria X

R0

R3,R1

L-1

X0

X1

Y0

Y1 u*e

A

X +

*R0

*R3

*R1

Page 26: Introducción - uncor.edu

Página 26 de 26

FCEFyN

Universidad Nacional de Cordoba

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

A continuación se presenta el código en lenguaje assembler de la familia DSP56F8XXX correspondiente a

la situación de la figura 20.

Lab Opcode Operands Data bus w_cnt5 Cycles Comment

PUSH M01 ; 2 2 save addr mode state MOVE #X_Vec7,R0 ; 2 2 start of X MOVE #L_-1,M01 ; 2 2 modulo L MOVE M01,Y1 ; 1 1 initialize REP loop count MOVE #-2,L ; 1 1 adjustment for filtering MOVEP X:InputValue,Y0 ; 1 1 get input sample MOVE #Coeff,R3 ; 2 2 start of coefficients CLR A Y0,X:(R0)+ ; 1 1 save input in x(i),in cr R0 MOVE X:(R3)+,X0 ; 1 1 X0=w[0] and incr R3 REP Y1 ; 1 3 do fir MAC Y0,X0,A X:(R0)+,Y0 X:(R3)+,X0 ; 1 1 accum & update x[i] and w[i] MACR Y0,X0,A ; 1 1 last tap MOVEP A,X:Output ; 1 1 output fir if desired

; (Get d(k), subtract fir output, multiply by “u”, put the result in Y1. ; This section is application dependent.)

MOVE #Coeff,R3 ; 2 2 start of coefficients MOVE R3,R1 ; 1 1 start of coefficients MOVE X:(R0)+,Y0 ; 1 1 Y0=x(k) and incr R0 MOVE X:(R3)+,A ; 1 1 a=w[0] and incr R3 DO #NTaps,EndDO1_7_1 ; 2 3 update coefficient s MACR Y1,Y0,A X:(R0)+,Y0 X:(R3)+,X0 ; 1 1 A=w[i] *x[n-i] Y0=x[k-i-1]

; X0=w[i+1] TFR X0,A A,X:(R1)+ ; 1 1 A=w[i+1], save w[i] *x[k-i]

_COEFF_UPDATE1_7_1: EndDO1_7_1:

MOVE X:(R0)+L,Y0 ; 1 1 Y0=x(k-L+1) and updat e R0 POP M01 ; 1 1 restore previous addr mode

; __________ ; Total:28 N+2NTaps+27 (L=size of X_VECTOR)

El mismo filtro adaptativo de la figura 19 puede implementarse con mayor precisión en los coeficientes.

La figura 21 muestra el mapa de memoria para coeficiente de doble precisión.

Page 27: Introducción - uncor.edu

Página 27 de 27

FCEFyN

Universidad Nacional de Cordoba

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

��

����

����

……………

����;�

……………

……………

�H

�L

�H

�L

……………

���H

���L

Figura 21 – Mapa de memoria del DSP con coeficientes de precisión doble.

Cuyo código en lenguaje assembler de la familia DSP56F8XXX podría ser el siguiente.

Lab Opcode Operands Data bus w_cnt5 Cycles Comment

PUSH M01 ; 2 2 save addr mode state MOVE #X_Vec7,R0 ; 2 2 start of X MOVE #L_-1,M01 ; 2 2 modulo L MOVE M01,Y1 ; 1 1 initialize REP loop count MOVE #2,L ; 1 1 adjustment for filtering MOVEP X:InputValue,Y0 ; 1 1 get input sample MOVE #Coeff,R3 ; 2 2 start of coefficients CLR A Y0,X:(R0)+ ; 1 1 save input in x(k),in cr R0 MOVE X:(R3)+L,X0 ; 1 1 X0=w[0,H] and incr R3 DO Y1,Do_FIR ; 2 3 do fir MAC X0,Y0,A X:(R0)+,Y0 ; 1 1 accum & update x [i] MOVE X:(R3)+L,X0 ; 1 1 update w[i,H]

Do_FIR: MACR X0,Y0,A ; 1 1 last tap

R0

R3,R1

L-1 Y0

Y1

u*e

X +

*R0

X0

Y1

*R3

*R3

A0

A1

*R1

*R1

Page 28: Introducción - uncor.edu

Página 28 de 28

FCEFyN

Universidad Nacional de Cordoba

SISTEMAS ADAPTATIVOS

Procesamiento Digital de Señales – FCEFyN – UNC SISTEMAS ADAPTATIVOS

MOVEP A,X:Output ; 1 1 output fir if desired ; (Get d(n), subtract fir output, multiply by “u”, put the result in X0. ; This section is application dependent.)

MOVE #Coeff,R3 ; 2 2 start of coefficients MOVE R3,R1 ; 1 1 start of coefficients MOVE X:(R0)+,Y0 ; 1 1 Y0=x(k) and incr R0 MOVE X:(R3)+,A ; 1 1 a=w[0,H] and incr R3 MOVE X:(R3)+,A0 ; 1 1 a0=w[0,L] and incr R3 DO #NTaps,EndDO1_7_2 ; 2 3 update coef. MAC X0,Y0,A X:(R0)+,Y0 ; 1 1 u*e(k)*x(i)+c; f etch x(i) MOVE A,X:(R1)+ ; 1 1 save updated w[i,H] MOVE A0,X:(R1)+ ; 1 1 save updated w[i,L] MOVE X:(R3)+,A ; 1 1 fetch next w[i,H] MOVE X:(R3)+,A0 ; 1 1 fetch next w[i,L]

_COEFF_UPDATE1_7_2: EndDO1_7_2:

MOVE #-2,N ; 1 1 adjustment for filtering MOVE X:(R0)+N,Y0 ; 1 1 update R0 POP M01 ; 1 1 restore previous addr mode

; ___________ ; Total:35 2N+5NTaps+28 (L=size of X_Vec