Tema 5. El aprendizaje estmulo-respuesta
Cuestiones para reflexin
funciona igual, a nivel neural, el
condicionamiento clsico que el
instrumental?
Qu reas del cerebro
intervienen en estos
aprendizaje?
qu informacin se adquiere en
un aprend. E-R?
Tema 5. El aprendizaje estmulo-respuesta
1. Introduccin
2. El condicionamiento clsico
3. El condicionamiento instrumental
4. Aprendizaje motor
5. Los ganglios basales y la memoria implcita
Aprendizaje estmulo-respuesta:
Aprender a dar automticamente una respuesta
determinada ante un estmulo determinado.
Condicionamiento Clsico Condicionamiento Instrumental/operante
EI
RI
EC
RC
Refuerzos
Castigo
Introduccin
Condicionamiento Clsico Condicionamiento Instrumental/operante
EI
RI
EC
RC
Refuerzos
Castigo
Introduccin
Respuesta automticas
(reflejos)
Secuencia de movimientos
aprendidos anteriormente
Asociacin entre dos estmulos. Implica Respuestas automticas o
tpicas de especie
El condicionamiento clsico
Un E no significativo adquiere las propiedades de un E significativo
Implica una asociacin entre dos E.
El condicionamiento clsico
El condicionamiento clsico
Eric Kandel Nobel Medicina 2000 Video: Eric Kandel: Aprendizaje y memoria (Aplysia)
El condicionamiento clsico
El condicionamiento clsico
Respuesta de parpadeo condicionado a un tono. Implica una respuesta automtica, tpica de la especie: EI: soplo de aire RI: parpadeo EC: Tono Asociacin: EC+EI El EC provoca la RC.
El condicionamiento clsico
Cmo funciona? 1.-Las neuronas del sistema motor emiten potenciales de accin 2.-Esto refuerza todas las sinapsis activas. 3.-Diferentes emparejamientos e incrementos en la fuerza de las sinptica de los EC llegan a ser suficientemente fuertes como para, por si mismo, activar una motoneurona.
El condicionamiento clsico
Aprendizaje estmulo-respuesta:
soplo
Tono 1000Hz Parpadeo
Sinapsis fuerte
Sinapsis dbil
Principio de Hebb: La base del aprendizaje celular implica el fortalecimiento de una sinapsis que se activa repetidamente cuando
descarga la neurona post-sinptica. (REFUERZO CONEXIONES)
Si una sinapsis se activa repetidamente al mismo tiempo que la neurona post-sinptica emite un potencial de accin, tendr
lugar una serie de cambios en la estructura o en la
neuroqumica de la sinapsis responsables de que esa sinapsis
sea reforzada
D.O. Hebb, 1949
El condicionamiento clsico
RESPUESTA EMOCIONAL CONDICIONADA
Conjunto de respuestas fisiolgicas y conductuales producidas por un estmulo condicionado que ha sido asociado con un estmulo aversivo
Experimentacin: Asociacin de un tono con una descarga en las patas.
El condicionamiento clsico
RESPUESTA EMOCIONAL CONDICIONADA
Experimentacin: Asociacin de un tono con una descarga en las patas.
El tono pasa a ser un EC, provoca respuestas: 1.-conductuales (inmovilidad) 2.-Autnomas (incremento de la presin arterial) 3.-Hormonales (secrecin de cortisol)
El condicionamiento clsico
RESPUESTA EMOCIONAL CONDICIONADA
Cmo se produce?: 1.-El estmulo doloroso activa las sinapsis fuertes del NGM y de la amgdala lateral, y las neuronas del ncleo central de la amgdala emite potenciales de accin evocando la R emocional (RI) 2.-Si el E doloroso es emparejado con un tono, las sinapsis dbiles del NGM y de la amgdala son reforzadas por el principio de Hebb.
El condicionamiento clsico
Ncleo Central de la Amgdala
Aprender a sentir miedo (respuesta emocional condicionada)
Es. Aversivo (EI) Tono (EC)
Ncleo Lateral de la Amgdala
Sinpsis fuerte, Reforzada por emparejamiento (HEBB)
Neuronas piramidales
PLP
Receptores NMDA:
*Dificulta Adquisicin (ifenoprodilo: bloquea)
*Extincin (AP5 antagonista NMDA) (condicionamiento
no se extingue)
NMDA: N-metil D-aspartato
RESPUESTA EMOCIONAL CONDICIONADA
Video: Cerebro emocional: Amigdala
El condicionamiento clsico Condicionamiento aversivo al sabor
Tipo particular de CC para el gusto o sabor de un alimento que ha causado indigestin o malestar gastrointestinal, genera en el futuro aversin y rechazo del alimento. Experimentacin: El animal recibe un alimento (un sabor nuevo) con una infusin (o inyeccin) de cloruro de litio, provocando en el futuro rechazo a esta comida.
El condicionamiento clsico Condicionamiento aversivo al sabor
Caractersticas: 1.-Una nica experiencia o ensayo es suficiente para establecer este CC. 2.-Presenta una fuete determinacin biolgica: Solamente los estmulos de naturaleza qumica parecen ser asociados a al malestar, protegiendo al animal de la ingestin de veneno o comida en mal estado.
El condicionamiento clsico Condicionamiento aversivo al sabor
4.-Lesiones del Ncleo Parabraquial (lugar de confluencia de informacin gastroinstestinal y gustativa) o rea postrema impiden este CC.
Caractersticas: 3.-No es necesario que el consumo del alimento y el malestar consecuente se manifiesten inmediatamente en el tiempo.
El condicionamiento instrumental
Implica conductas aprendidas.
Requiere la asociacin entre una respuesta y un estmulo.
Permite que un organismo adapte su conducta en funcin de las consecuencias de sta:
Consecuencias favorables (E reforzantes) incrementan la frecuencia de la conducta.
Consecuencias desfavorables (E punitivos) la disminuyen.
Es el medio mediante el cual se saca provecho de la experiencia.
El refuerzo causa cambios en el SN que incrementan la probabilidad de que un determinado estmulo provoque una determinada respuesta.
El condicionamiento instrumental
Presionar la palanca
Comida
Incrementa la probabilidad de emitir la respuesta de presionar la palanca.
Ver la palanca es el estmulo que provoca la respuesta
Caja de Skinner
Video: Operant conditioning
Video: B.F. Skinner: Condicionamiento operante (0701)
El condicionamiento instrumental
El refuerzo establece conexiones entre los circuitos neurales involucrados en la percepcin (ver la palanca) y los circuitos involucrados en el movimiento (presionar la palanca).
Se inicia en diferentes regiones de la corteza de asociacin sensorial (percepcin) y finaliza en la corteza de asociacin motora del lbulo frontal (movimiento)
Caja de Skinner
El condicionamiento instrumental
Experiencia CONDICIONAMIENTO
INSTRUMENTAL Aprendizaje
ESTMULO CIRCUITO
NEURAL
CIRCUITO
NEURAL DE
CONTROL DE
CONDUCTA
CONDUCTA
ESTMULO REFORZANTE
SISTEMA DE REFUERZO
MODELO NEURAL SIMPLE DEL COND. INSTRUMENTAL
El condicionamiento instrumental
ESTMULO CIRCUITO
NEURAL
CIRCUITO
NEURAL DE
CONTROL DE
CONDUCTA
CONDUCTA
ESTMULO REFORZANTE (ej: comida)
SISTEMA DE REFUERZO
Sist. Perceptivo (C. Asociacin sensorial)
Sist. Motor (C. Asociacin motora)
Se refuerza esta conexin
Experiencia CONDICIONAMIENTO
INSTRUMENTAL Aprendizaje
MODELO NEURAL SIMPLE DEL COND. INSTRUMENTAL
(ej: palanca) (ej: presionar palanca)
El condicionamiento instrumental
CORTEZA DE ASOCIACIN (PERCEPCIN)
CORTEZA DE ASOCIACIN MOTORA
CONEXIONES TRANSCORTICALES
DIRECTAS
CONEXIONES VA GANGLIOS BASALES Y
TLAMO
2 VAS DE CONEXIN
CI: Fortalecimiento de conexiones entre los circuitos neuronales que detectan
un Es con los que producen una determinada Rs
El condicionamiento instrumental
CONEXIONES TRANSCORTICALES DIRECTAS
Involucradas en:
La MCP
La adquisicin de memorias episdicas
Adquisicin de conductas complejas que conllevan deliberacin, instruccin, seguir unas reglas u observacin (aprender a conducir).
A medida que las conductas aprendidas se vuelven automticas son transferidas a los
ganglios basales
El condicionamiento instrumental CONDICIONAMIENTO
INSTRUMENTAL
CONEXIONES TRANSCORTICALES DIRECTAS Corteza sensorial de asociacin Corteza motora de asociacin
CONEXIONES VA GANGLIOS BASALES Y TLAMO
(automatismos y rutinas)
MCP Memoria episdica (hipocampo)
Conductas de deliberacin o conocimiento
Al automatizarse
El condicionamiento instrumental
CONEXIONES VA GANGLIOS BASALES Y EL TLAMO
Los GB (neoestriado= ncleo caudado y putamen) reciben informacin:
Sensorial (neocorteza). De los movimientos
planificados o en curso (lbulos frontales)
El condicionamiento instrumental
CONEXIONES VA GANGLIOS BASALES Y EL TLAMO
Los GB (neoestriado=ncleo caudado y putamen) envan informacin:
Al globus palidus
Tlamo
Corteza frontal
reas premotoras y motoras suplementarias (planificacin del movimiento) y a la corteza motora primaria (ejecucin del movimiento)
El condicionamiento instrumental CONDICIONAMIENTO
INSTRUMENTAL
CONEXIONES VA GANGLIOS BASALES Y TLAMO (automatismos y rutinas)
El condicionamiento instrumental CONEXIONES VA GANGLIOS BASALES Y TLAMO
(automatismos y rutinas)
GB: afectan al CI, no otras formas de aprendizaje.
EVIDENCIAS
Animales
-Gaffan et al., 1987; 1995: Lesin conexiones cortezas asociacin sin efecto en CI
aprendido.
-Packard et al., 1989; McDonald y White 1993: Memoria episdica (hipocampo);
asociacin E-Refuerzo (amgdala); aprend E-R (N.Caudado y putamen)
-Levy et al., 1997: Autorradiografa 2DG
Aprendizaje info espacial E (corriente dorsal de info visual)= Cabeza Ncleo caudado
Aprendizaje info identidad E (corriente ventral de info visual)= cuerpo del Ncleo caudado.
-Packard y Teather 1997: Bloqueo de receptores NMDA (AP5) dificulta PLP.
Humanos
-Enf. de Parkinson (bajo rendimiento en aprendizaje)
-Enf. de Huntington (dificultad aprendizaje secuencia)
Video: Parkinson: Estimulacin cerebral profunda
El condicionamiento instrumental CONDICIONAMIENTO
INSTRUMENTAL
CONEXIONES VA GANGLIOS BASALES Y TLAMO (automatismos y rutinas)
Corteza premotora:
La mayora de la eferencias de los GB
se dirigen, a travs del tlamo, hacia la
corteza premotora y el rea motora
suplementaria.
El condicionamiento instrumental CONEXIONES VA GANGLIOS BASALES Y TLAMO
(automatismos y rutinas)
rea motora suplementaria: EVIDENCIAS
Chen et al 1995 (lesiones); Shima y Tanji et al., 1998 (anestesia): lesiones o
anestesiado del rea premotora suplementaria altera las R o secuencia de R
auto-iniciadas (pj: tirar de una palanca y despus girar a la izquierda). No
afecta movimiento de brazos en respuesta a seales.
Hikosaka et al. 1996: Aprender una serie de R activa neuronas de la regin
anterior de rea motora suplementaria. Ejecutar la tarea aprendida activa
neuronas de la regin posterior del rea motora suplementaria.
Corteza premotora: EVIDENCIAS
-Kuraka y Hoffman 1994: R a informacin arbitraria (Luz ver=mano a la
izquierda) pero no a info no arbitraria (posicin de luz izquierda= movimiento
de mano hacia izq.)
El condicionamiento instrumental
Cules son las funciones de un sistema de refuerzo? Qu reas se encuentran implicadas en cada una de sus funciones? Cules son las funciones de cada una de esas reas implicadas? Cmo interviene (a nivel fisiolgico) el sistema de refuerzo en el aprendizaje E-R?
Video: Aprendizaje: El refuerzo (0913)
El condicionamiento instrumental
Cules son las funciones de un sistema de refuerzo? Qu reas se encuentran implicadas en cada una de sus funciones? Cules son las funciones de cada una de esas reas implicadas? -rea Tegmental Ventral. -Ncleo Accumbens. -Amgdala. -Cortex prefrontal. -Hipotlamo lateral. Cmo interviene (a nivel fisiolgico) el sistema de refuerzo en el aprendizaje E-R?
El condicionamiento instrumental MECANISMOS DE REFUERZO
Autoestimulacin elctrica intracraneal
Experimento de Miller (1954)
La estimulacin elctrica de la Formacin Reticular incrementa el arousal y el aprendizaje?
El animal prefera estar en el lugar en el que se le haba producido la descarga electrica
Se haba estimulado correctamente la FR?
Estimulacin en el hipotlamo.
Implantaron electrodos en diferentes reas y permitieron que los animales se autoadministrasen descargas.
El condicionamiento instrumental MECANISMOS DE REFUERZO
Autoestimulacin elctrica intracraneal
Experimento de Miller (1954)
El condicionamiento instrumental MECANISMOS DE REFUERZO
Autoestimulacin elctrica intracraneal
Experimento de Miller (1954)
CARACTERSTICAS: Rpida adquisicin. Tasas de respuesta muy altas. El intervalo de tiempo entre la conducta y el refuerzo es muy breve. Es muy difcil transferir sus propiedades reforzantes. Se extingue muy rpido.
El condicionamiento instrumental MECANISMOS DE REFUERZO
CIRCUITOS NEURALES IMPLICADOS EN EL REFUERZO
HAZ PROSENCEFLICO MEDIAL (HPM)
El HPM es un fascculo de axones que viajan siguiendo un eje rostro-caudal desde el mesencfalo hasta la zona rostral del procencfalo basal. El HPM atraviesa el hipotlamo lateral, lugar en el que la mayora de los investigadores colocan los electrodos para estudios de estimulacin elctrica en estudios de refuerzo.
El condicionamiento instrumental MECANISMOS DE REFUERZO
DOPAMINA Y REFUERZO
HAZ PROSENCEFLICO MEDIAL
DOPAMINA
Sistema Nigroestriatal
Sistema Mesolmbico
Sistema Mesocortical
El condicionamiento instrumental
Sistema Mesolmbico
Sistema Mesocortical
rea Tegmental
Ventral (ATV)
Amgdala, Hipocampo, Ncleo Accumbens
C. Prefrontal, Corteza lmbica e hipocampo
REFUERZO
N. Accumbens: responsable de los efectos reforzantes de la estimulacin elctrica
El condicionamiento instrumental EVIDENCIAS
Estimulantes de DA Microdilisis y ref. naturales Neuroimagen (humanos)
NCLEO ACCUMBENS
El condicionamiento instrumental EVIDENCIAS
Estimulantes de DA Bloqueo de receptores de DA Microdilisis y ref. naturales Neuroimagen (humanos)
NCLEO ACCUMBENS
El condicionamiento instrumental SISTEMA DE REFUERZO
FUNCIONES DEL SISTEMA DE REFUERZO: La AEIC es reforzante porque activa los mismos sistemas que son estimulados por reforzadores naturales: Un sistema de refuerzo debe realizar dos funciones:
1. Detectar la presencia de un E reforzante.
2. Fortalecer las conexiones entre neuronas que detectan los E discriminatorios y las neuronas que producen las R instrumentales.
El condicionamiento instrumental
SISTEMA DE REFUERZO
1. Deteccin de estmulo reforzante
Activacin del ATV (DA)
Estmulos inesperados activa N. Accumbens
Reforzadores naturales (p.e. agua) y condicionados (p.e. dinero, elogios)
El condicionamiento instrumental SISTEMA DE REFUERZO
1. Deteccin de estmulo reforzante
Activacin del ATV (DA)
Amgdala Hipotlamo lateral C. Prefrontal Aferencias
Deteccin de E Reforzantes. Evidencias:
Animal hambriento actividad neuronas Hipotlamo Lateral.
Discurrir, Planificar, evaluar progresos.
Reforzar la estrategia?
Aprendizaje reforzadores secundarios Evidencias: Lesion amgdala no emparejamiento tono-luz-comida. Estmulacin= +DA N.Acc
El condicionamiento instrumental SISTEMA DE REFUERZO
2. Fortalecer conexiones que detectan estos estmulos
comida
Tono 1000Hz
Sinapsis fuerte
Sinapsis dbil
REFUERZO (+)
DOPAMINA-PLP
Los estmulos reforzantes activan mecanismos de refuerzo (liberacin de DA), y stos fortalecen las
sinapsis entre los botones terminales que acaban de estar activos y las motoneuronas que acaban de
responder. La DA modula la PLP en la corteza prefrontal y en el ncleo accumbens
El condicionamiento instrumental SISTEMA DE REFUERZO
2. Fortalecer conexiones que detectan estos estmulos
N. Accumbens: El bloqueo de la transmisin de DA dificulta la expresin de las conductas reforzadas por estmulos naturales. La liberacin de DA activa las respuestas reforzadas. AP5 bloqueo de receptores NMDA (interferencia aprendizaje) DA y NMDA combiandos (aprendizaje)
Dnde se producen los cambios sinpticos?
El condicionamiento instrumental SISTEMA DE REFUERZO
2. Fortalecer conexiones que detectan estos estmulos
Sistemas motores: El N. Accumbens enva seales a reas motoras (globus palidus, ganglios basales, ncleo dorsomedial del tlamo, corteza prefrontal, rea motora suplementaria y corteza premotora). Lesiones de los ganglios basales alteran la conducta aprendida mediante condicionamiento instrumental, especialmente las respuestas automaticas. La corteza prefrontal es el rgano de actuacin (DA) y la estimulacin elctrica favorece el aprendizaje de lugar.
Dnde se producen los cambios sinpticos?
Sistema de refuerzo debe:
Detectar la presencia de estmulo reforzante
Fortalecer las conexiones
Cmo se detectan los Es reforzantes?
Qu funcin tiene la liberacin de DA?
Dnde ocurren estos cambios sinpticos?
Video: Adicciones y dopamina
ATV
AMGDALA
HIPOTLAMO LATERAL
CORTEZA PREFRONTAL
(idear estrategias, hacer planes, ...)
NEUROMODULADOR DE LA PLP FORTALECER LAS SINPSIS AUMENTAR LA TASA DE RESPUESTA DE LOS POTENCIALES
N. ACCUMBENS -Conexiones con
regiones implicadas en el movimiento (GB,
corteza premotora)
SISTEMAS MOTORES (GB, Cprefr.)
El condicionamiento instrumental
N. Acc
El aprendizaje motor
Aprende 2 respuestas dinmicas de 5 movimientos
encadenados y emparejalos con dos estmulos diferentes.
Repite 25 veces cada una.
Comprueba el grado de automatizacin que has conseguido.
Elige una de las dos respuestas y reprodcelas en orden
inverso.
2
4
5
1
3
)))
Qu estructuras crees que han participado en las primeras repeticiones de
los movimientos?Y cuando se automatizaron los movimientos?
Qu ha ocurrido cuando tuviste que dar la respuesta en orden inverso?
Qu estructuras participaran principalmente durante las primeras
repeticiones en inverso?
Tardaste el mismo tiempo en aprender la respuesta inversa? Por qu?
El aprendizaje motor
Es una forma especial de aprendizaje E-R.
No puede darse sin la gua del entorno.
En animales superiores la mayor parte de la conducta motora (caminar, comer, conducir, nadar, escribir, hablar) se
aprende y se perfecciona con la prctica.
Inicialmente los movimientos son voluntarios, conscientes y torpes, pero con la prctica se vuelven automticos,
inconscientes y precisos.
El aprendizaje motor
reas motoras
reas sensoriales
CORTEZA SENSORIAL DE ASOCIACIN
GANGLIOS BASALES (tlamo)
CORTEZA PREMOTORA
AREA MOTORA SUPLEMENTARIA
APRENDIZAJE MOTOR
El aprendizaje motor Implica cambios en:
rea motora suplementaria: Responsable de aprendizaje de secuencias. - Lesiones provocan prdida de capacidad para realizar movimientos voluntarios intencionados, pero no para realizar movimientos automticos. - Muscimol (inactiva regin) - TEP (aprendizaje de secuencias en humanos)
Corteza Premotora: Responsable de programar movimientos complejos y utiliza la informacin sensorial. -Lesiones alteran la planificacin de la accin y la iniciacin espontanea de nuevas secuencias de conducta motora. - registro de actividad de neuronas (lugar donde tiene que hacerse el movimiento) - inactivacin regin (monos y aprendizaje arbitrario)
El aprendizaje motor Implica cambios en:
Estructuras subcorticales, cerebelo, tronco enceflico y medula: Responsable de acciones automticas. Con la prctica, las actividades subcorticales (cerebelo y ncleos estriados) aumentan su actividad, mientras la actividad cortical disminuye. -TEP (aprendizaje de secuencias en humanos).
Video: Aprendizaje motor: Plasticidad cerebral infantil (0749)
Video: Plasticidad cerebral motora: El violinista ms rpido del mundo (Ben Lee) (16 notas/seg) (0901)
Los ganglios basales y la memoria implcita
CONEXIONES VA GANGLIOS BASALES Y TLAMO (automatismos y rutinas)
Los GB tienen un papel en el aprendizaje automtico y en la memoria implcita. A medida que las conductas se vuelven automticas son transferidas a los GB.
Cuando realizamos una conducta compleja los GB reciben informacin de los E presentes y de las R que hacemos (son observadores pasivos)
Tras la repeticin, los GB se encargan de todo.
Los GB son un estadio entre las regiones corticales sensoriales y las regiones frontales premotoras. Cuando un individuo efecta una respuesta correcta, la red de neuronas activa en los GB quedara reforzada (gracias a la DA de la sustancia negra), aumentando la probabilidad de producir esta respuesta nuevamente.
Los ganglios basales y la memoria implcita
CONEXIONES VA GANGLIOS BASALES Y TLAMO (automatismos y rutinas)
ENFERMEDAD
PARKINSON
(dficits motores)
FALLOS EN MEMORIAS
AUTOMTICAS?
FALLOS EN RECORDAR EN CMO
SE HACE ALGO?
PIENSAN EN EL MOVIMIENTO?
DIFICULTAD DE APRENDIZAJE
DE RESPUESTAS
AUTOMTICAS.
Tareas:
- secuencias
- prediccin con cartas
Fallo en las memorias automticas (ej: dificultad para levantarse de una silla). Dificultades en el aprendizaje de R automticas.
Los ganglios basales y la memoria implcita
CONEXIONES VA GANGLIOS BASALES Y TLAMO (automatismos y rutinas)
ENFERMEDAD PARKINSON
Los ganglios basales y la memoria implcita
CONEXIONES VA GANGLIOS BASALES Y TLAMO (automatismos y rutinas)
ENFERMEDAD PARKINSON
Conclusiones
Diferentes aprendizajes dependen de
distintas vas neurales.
Se ha comprobado que lesiones en:
Formacin hipocampal: alteran el aprendizaje episdico
Amgdala: disrupcin capacidad para aprender a asociar Es con el Refuerzo.
N. Caudado y putamen: capacidad para aprender tarea CI
Corteza Prefrontal
Recuerdo de Es acabados de percibir.
Respuestas que estn a punto de ser ejecutadas
Aprendizaje motor planificacin y ejecucin de movimientos-.
Bibliografa
Carlson, N.R. (2008). Fisiologa de la conducta (pp. 480-494)