003 AGENTES Von Der Becke MFRM

61
Cap 2 r&n Cap 2 r&n Agentes inteligentes Agentes inteligentes Diapositivas de C H von der Becke parcialmente sobre ideas de los prof. Stuart Russell, Peter Norvig, Bamshad Mobasher, Tralvex Yeep y Hyacynth Nwana Inteligencia Artificial 1

Transcript of 003 AGENTES Von Der Becke MFRM

Page 1: 003 AGENTES Von Der Becke MFRM

Cap 2 r&nCap 2 r&nAgentes inteligentesAgentes inteligentes

Diapositivas de C H von der Becke parcialmente sobre ideas de los prof. Stuart Russell, Peter Norvig,

Bamshad Mobasher, Tralvex Yeep y Hyacynth Nwana Inte

ligen

cia

Art

ifici

al 1

Page 2: 003 AGENTES Von Der Becke MFRM

2

Temas principales del Capítulo 2 PaMA

Percepciones acción Meta Ambiente

Funciones y Programas de Agentes Clasificación de agentes – apéndice 2 “agentes de soporte lógico

(Nwana)”. Tipos de Ambientes – apéndice 3 “Tostada (Agre y Horwill).

Page 3: 003 AGENTES Von Der Becke MFRM

3

2.1

2.1Introducción

Page 4: 003 AGENTES Von Der Becke MFRM

4

Agentes

Un agente ⇒ lo que se puede interpretar como que percibe el ambiente y que actúa sobre dicho ambiente.

Ejemplos: Sistema de diagnóstico médico Análisis de imágenes satelitales Robot ensamblador de partes Controlador de una refinería

Page 5: 003 AGENTES Von Der Becke MFRM

5

Un agente inteligente

Comprensión/intencionalidad

Comportamiento

VéOyeTocaGustaHuele

ENTRADAS Procesos INTERNOS

SALIDAS

Sensor del ambiente

Razona

Conoce

Page 6: 003 AGENTES Von Der Becke MFRM

6

Tipificando a un agente inteligente

AMBIENTEAGENTE

?

EFECTORES

SENSORES

PERCEPCIONES

ACCIONES

Page 7: 003 AGENTES Von Der Becke MFRM

7

2.2

2.2Agentes inteligentes

racionales autónomos

Page 8: 003 AGENTES Von Der Becke MFRM

8

Qué es un agente inteligente Un agente inteligente es cualquier cosa que pueda

percibir un mundo perceptual en que esté anidado (“ambiente”) mediante SENSORES y

actuar sobre ese mundo mediante EFECTORES (o actuadores)sinónimo de ambiente es “espacio de problema”sinónimo de agente inteligente es “operador que transforma un input en

output dentro del espacio de problema”

META de la IA ⇒ Diseñar un agente inteligente/racional que opere o actúe adecuadamente en sus ambientes.Discusión sobre “adecuadamente”

Fijar alguna medida del buen éxitoTener en cuenta el PRR ⇒ Principio de Racionalidad Restringida

de Herbert Simon

Page 9: 003 AGENTES Von Der Becke MFRM

9

Qué es un agente racionalPensante racionalmente

Captura de un proceso racional correcto Proceso “ Irrefutable” Metodología

Desarrollar un modelo formal - LÓGICA FORMAL - que siempre conduzca a la respuesta correcta

Implementar ese modelo Cómo sabemos si lo hicimos bien

cuando podemos probar que el razonamiento programado fue correcto la lógica de primer orden fue completa

Actuante racionalmente Actuar de forma de lograr las metas deseadas “El enfoque del agente racional” - a ser encarado en esta disciplina. Imagine usted mismo como se hacen las decisiones correctas

a veces pensando racionalmente (enfoque europeo) otras teniendo reflejos racionales (enfoque turqués)

Page 10: 003 AGENTES Von Der Becke MFRM

10

Qué es un agente racional

El que actúa maximizando el valor esperado de la medida de buen éxito (función de utilidad) en el logro de su meta esta no es la definición habitual de racionalidad ideal basada en la lógica

teórica

Racional no es omniscienteRacional no es clarividenteRacional ideal en conflicto con el PRR

diapositivas 15 y 16

Page 11: 003 AGENTES Von Der Becke MFRM

11

Racionalidad

Satisfacción de restriccionesDepende de

LA SECUENCIA DE PERCEPCIONES - TODO LO QUE EL AGENTE HA PERCIBIDO HASTA AHORA (GESTIÓN DE LA MEMORIA). No se puede criticar a un agente por no saber lo que nunca supo

LA MEDIDA DE BUEN ÉXITO ELEGIDA función de utilidad

CUÁNTO CONOCE EL AGENTE DEL AMBIENTE EN QUE OPERALista de hipótesis de cómo es el mundo

LAS ACCIONES QUE EL AGENTE ESTÉ EN CONDICIONES DE REALIZAR

Page 12: 003 AGENTES Von Der Becke MFRM

12

AGENTE INTELIGENTE IDEAL

El agente inteligente ideal es el que, para cualquier secuencia arbitraria de percepciones, logre con su ACCION maximizar la medida de su buen éxito.

Para ello usasu conocimiento internalizadosu secuencia de percepciones

Page 13: 003 AGENTES Von Der Becke MFRM

13

Mapeo idealpercepciones ⇒ acciones

El diseño o mapeo ideal especifica qué acciones debe encarar el agente ideal en respuesta a cualquier secuencia arbitraria de percepciones

Se concreta con una tabla real o virtual

Ejercicio de la racionalidad ⇒Sandwich Percepciones ⇒ Razonamiento ⇒ Acciones

Page 14: 003 AGENTES Von Der Becke MFRM

14

Programa con tabla y un ejemplo

Table (Percept Sequence,Action) Action := Function(Percept Sequence) If (Percept Sequence) then do Action

Ejemplo - Glóbulos vivos finitos predictores - de Dewdney - ingresar iterativamente 010011010011010011

Contrajemplo : ingresar 011000010110

Cita bibliogr. - Inv y Ciencia, ene 1986, p94

Page 15: 003 AGENTES Von Der Becke MFRM

15

PRR (Herbert Simon)El Principio de la Racionalidad Restringida alega que la

racionalidad óptima ideal NO es el buen éxito perfecto. Ningun ser humano apela a una mayor racionalidad que

la justo necesaria para sus fines prácticos.Las limitaciones de un agente

con los SENSORES que tiene con los EFECTORES que tiene ycon la POTENCIA COMPUTACIONAL

– disponible y – (en algunos casos) óptima económica

conducen a que la racionalidad ideal seaimposible eimpráctica.

Page 16: 003 AGENTES Von Der Becke MFRM

16

Algo más (Herbert Simon)

La razón es solamente un instrumento porque

no nos puede predecir hacia donde ir - no nos propone metas

a lo sumo nos ayuda a decidirnos cómo llegar a una meta (a través del análisis de medios y fines)

Page 17: 003 AGENTES Von Der Becke MFRM

17

Algo más (Randall Beer) Los navegantes europeos aplican la planificación a su

derrotero ⇒ lo trazan en el mapa y se sujetan a él, corrigiendo los desvíos.

Los navegantes turqueses aplican toda su atención a todos los detalles ⇒ de las olas, los vientos, las aves y las corrientes de cada momento y llegan a su destino de una manera práctica.

A la hora de explicar por qué hicimos lo que hicimos, ¿no seremos truqueses disfrazados de europeos? Los agentes racionales suelen mostrar inteligencia académica, pero hay otra inteligencia mucho más adaptiva, mostrada por los agentes

autónomos, que los ayuda en la meta de sobrevivir.

Page 18: 003 AGENTES Von Der Becke MFRM

18

Agentes autónomos La “parábola” de los navegantes Europeos y los Turqueses

Unos aplican su inteligencia a planear por adelantado toda su conducta futura y corregir cualquier defecto en el rumbo planeado

En el otro caso, aplican su inteligencia a PERCIBIR atentamente todo lo que está pasando y aplicarla a tender hacia la meta adaptándola a las contingencias cuidadosamente correlacionadas.

De nuevo ¿seremos turqueses que nos disfrazamos de europeos a la hora de dar explicaciones de nuestra conducta?

Son agentes autónomos los que no se guían por reglamento externo impuesto alguno.

Dos tipos CONDUCTA DETERMINADA POR SU PROPIA EXPERIENCIA CONDUCTA AUTOORGANIZADA A PARTIR DE SU RED NEURAL

(caso del Periplaneta computatrix de Beer)

Page 19: 003 AGENTES Von Der Becke MFRM

19

Teoría de la completitud NP La completitud NP se refiere a algoritmos polinómicos no

determinísticos. Algunos problemas, como quizás el clásico del viajante de

comercio, es probable que sean imposibles de resolver en cualquier computadora arbitraria

De ello se deduce que ya sea la inteligencia natural o la inteligencia artificial

NO son ilimitadas en sus capacidades. De ello se vuelve a deducir que la racionalidad práctica resulta

estar restringida. ⇒ Nadie debe esmerarse por aplicar la racionalidad más allá de

sus necesidades prácticas. ⇒ PRR Caso límite ⇒ el termóstato con sus dos reglas - Alto nivel de conocimiento.

Page 20: 003 AGENTES Von Der Becke MFRM

20

Grado de Racionalidad - Nivel de Conocimiento - Newell

Grado de racionalidad ⇒ grado con el cual el agente pensante y actuante maximiza su medida de buen éxito en lograr su meta, sujeta a su disponibilidad de sensores, efectores, potencia de cómputo y

conocimiento internalizado.

Allen Newell define el nivel de conocimiento por el número de reglas usadas respecto de su disponibilidad total de reglas. Ningun bot es responsable por no usar reglas que no conoce.

…a un termostato le han dado dos reglas y las usa…

Page 21: 003 AGENTES Von Der Becke MFRM

21

2.3

2.3Estructura de los Agentes

Inteligentes

SECCIÓN 18.1Estructura de Agentes aprendices

(Programas o arquitecturas de agentes)

Page 22: 003 AGENTES Von Der Becke MFRM

22

Cometido de la IAEl cometido de la IA es el diseño de un Programa de agente : una función que permita implantar el mapeo del agente para pasar por el “sandwich” de percepciones a acciones. Este programa se ejecutará en algún tipo de dispositivo de cómputo, al que se denominará arquitectura (puede ser una computadora sencilla o hardware especial). En alguno ámbitos se utilizan agentes de software (o robots de software o softbots). Agente = arquitectura + programa

Page 23: 003 AGENTES Von Der Becke MFRM

23

Funciones y programas de agentes El agente queda completamente especificado con la función del

agente que mapea lo que describe la ecuación– a = f (P,M,A)

sobre todo el componente principal a = f (P) en principio uno puede suministrar cualquier secuencia perceptual posible para ver

qué sucede - una tabla que resuma esa información podría ser inmensa

donde la función del agente es “f”una función de agente es racional

aplicar al glóbulo vivo finito de Dewdney El programa de agente trata de implementar la función de

agente en forma concisa Un programa de agente toma una percepción singular como

input y mantiene el estado interno

Page 24: 003 AGENTES Von Der Becke MFRM

24

PaMAEn el diseño de un agente inteligente la

primera tarea es ubicarnos en el panoramaa = f(datos)a = f(P,M,A)

Ejemplo - Tachero new age: piloto automático (taximetrero reemplazado por un agente inteligente )

Percepciones ??acciones ??Metas ??Ambiente ??

Analizar los casos presentados en este enlace.

Page 25: 003 AGENTES Von Der Becke MFRM

25

PaMA Para identificar a un agente debemos analizar su PaMA:

Ejemplos de descripciones PaMA de un dado agente ttípicoP-percepcióna-acciónM-metaA-ambiente

Page 26: 003 AGENTES Von Der Becke MFRM

26

Análisis PaMA La meta de la IA es la construcción de agentes inteligentes: En cualquier

algoritmo aplicado a un tema de IA debemos reconocer cómo cada parte contribuye a dicha meta.

Analicemos las máquinas (limitadas) de la IA como agentes inteligentes. La meta planteada por la medida del buen éxito de ese agente suele ser

combinación de varias submetas. Las técnicas para combinar submetas o multiobjetivos tienen un EJEMPLO muy

instructivo en el APH de Thomas Saaty. El análisis PaMA es un ejemplo de

la estrategia general de la ingeniería de “dividir para conquistar” ⇒ P+a+M+A ⇒ cada sumando es más fácil que la suma ponderada.

la aplicación del ANÁLISIS DE REQUISITOS , que resuelve un problema analizando qué es obtenible como input y qué es deseado como output. Otro Ejemplo: al analizar un sistema de imágenes satelitales,

percepciones: pixels de intensidad y longitud de onda variables acciones: mover la cámara, cambiar el filtro, imprimir letreros como ”tanque82" metas: identificación cercana a la realidad de todos los objetos de la imagen ambiente: imágenes distorsionadas provenientes de una cámara satelital

Page 27: 003 AGENTES Von Der Becke MFRM

27

Tachero new age⇒piloto automáticoPercepciones

– video– acelerómetro, instrumental del tablero– sensores del motor – teclado

acciones – gestión del volante– acelerar y frenar– bocina– hablar/graficar

Metas– seguridad, llegar a destino, maximizar ganancias, obedecer las leyes,

satisfacción del cliente

Ambiente– calles urbanas, avenidas, tráfico, peatones, clima, tipo de cliente

Page 28: 003 AGENTES Von Der Becke MFRM

28

Estructura de un agente inteligente Como todos los agentes tienen una estructura básica o mínima o

esquelética igual, se puede investigar cuál es ella. Resulta así un AGENTE ESQUELÉTICO:

Desde un punto de vista estricto, no es necesario que el agente guarde en su memoria las percepciones entrantes ⇒ depende del dominio. Un dominio es un fragmento del mundo acerca del que deseamos adquirir conocimiento.

El agente esquelético no incorpora la medida de buen éxito en su meta ⇒ se entiende que ella está siendo aplicada externamente.

function Skeleton-Agent(percept) returns action static: memory, the agent's memory of the world memory ← Update-Memory(memory, percept) action ← Choose-Best-Action(memory) memory ← Update-Memory(memory, action) return action

function Skeleton-Agent(percept) returns action static: memory, the agent's memory of the world memory ← Update-Memory(memory, percept) action ← Choose-Best-Action(memory) memory ← Update-Memory(memory, action) return action

Page 29: 003 AGENTES Von Der Becke MFRM

29

Código en Lisp del agente esquelético \code{\func{Skeleton-Agent}{{\ts}\var{percept}}{action} \firststatic{memory}{the agent's memory of the world} \bodysep \setq{\var{memory}}{\prog{Update-Memory}

(\var{memory{\ac}percept})} \setq{\var{action}}{\prog{Choose-Best-Action}(\var{memory})} \setq{\var{memory}}{\prog{Update-Memory}(\var{memory{\ac}action})}

\key{return} \var{action}}

Page 30: 003 AGENTES Von Der Becke MFRM

30

IDEAL: DISPONER DE UNA TABLA Lo básico de un agente tabla-intensivo:

¿Por qué fracasa el ideal de disponer de una tabla de consulta? Esta arquitectura adolece de

tamaño excesivo (no factible) falta de adaptación.

¿Qué tamaño tendría que tener la tabla? (Caso límite, el termóstato) El agente ¿podría aprender de sus errores? ¿De dónde podría provenir dicha table en primera instancia?

function Table-Driven-Agent(percept) returns action static: percepts, a sequence, initially empty table, a table indexed by percept sequences, initially fully specified

append percept to the end of percepts action ← LookUp(percepts, table)return action

function Table-Driven-Agent(percept) returns action static: percepts, a sequence, initially empty table, a table indexed by percept sequences, initially fully specified

append percept to the end of percepts action ← LookUp(percepts, table)return action

Page 31: 003 AGENTES Von Der Becke MFRM

31

Tipos de Agentes Tabla-intensivos

para encontrar la acción siguiente ⇒ usar una tabla en memoria del tipo “secuencia de percepciones”/acción. Se trata de una tabla bastante voluminosa para repetir la acción ya experimentada antes.

Agentes reflejos con un único estado (simples) se basan en reglas condición/acción y se implementan con un sistema de

PRODUCCIÓN. Carecen de memoria referente a estados pasados del mundo.

Bien informados de lo que pasa Agentes con memoria

con un estado interno usado para seguirle la pista a los estados pasados del mundo.

Agentes meta-intensivos además de disponer de información sobre el estado, tienen una clase de información

sobre la meta que describe situaciones deseables. Agentes de este tipo tienen bajo consideración eventos del futuro.

Utilidad-intensivos basan su decisión en la teoría axiomática clásica de la utilidad para actuar racionalmente.

Page 32: 003 AGENTES Von Der Becke MFRM

32

.

¿Qué es un agente reactivo simple? Agente reflejo simple

Am

bien teA

mbien te

Reglas Si-Reglas Si-EntoncesEntonces

Qué acción deboQué acción debohacer en este hacer en este

momentomomento

cambioscambios

conocimientoconocimiento

EfectoresEfectores

Sensores

Cómo es el mundo en este momento

Agente

Page 33: 003 AGENTES Von Der Becke MFRM

33

¿Qué es un agente reactivo simple?

function Simple-Reflex-Agent(percept) returns action static: rules, a set of condition-action rules

state ← Interpret-Input(percept) rule ← Rule-Match(state, rules) action ← Rule-Action[rule] return action

function Simple-Reflex-Agent(percept) returns action static: rules, a set of condition-action rules

state ← Interpret-Input(percept) rule ← Rule-Match(state, rules) action ← Rule-Action[rule] return action

Las reglas condición-acción permiten establecer la conexión entre percepción y acción.

A la derecha del agente se indica el estado interno, único en un momento dado del proceso decisional.

A la derecha está la base de conocimiento en forma de reglas de producción.

El sencillo programa del agente aparece más abajo

Interpret-input genera una descripción abstracta del estado mostrado por la percepción

Rule-match produce una regla del conjunto que satisface la percepción

Page 34: 003 AGENTES Von Der Becke MFRM

34

.

¿Qué es un agente reactivo cuasi-pro-activo?

Am

bien teA

mbien te

Reglas Si Reglas Si - Entonces- Entonces

Qué acción deboQué acción deboHacer en esteHacer en este

momentomomentoconocimientoconocimiento

Cómo evoluciona el mundoCómo evoluciona el mundo

Qué producen mis acciones

Estado

Cómo es el mundo en este momento

Sensores

Agente

Efectores

Page 35: 003 AGENTES Von Der Becke MFRM

35

¿Qué es un agente reactivo cuasi-pro-activo? Agentes bien informados de lo que pasa

function Reflex-Agent-With-State(percept) returns action static: rules, a set of condition-action rules state, a description of the current world

state ← Update-State(state, percept) rule ← Rule-Match(state, rules) action ← Rule-Action[rule] state ← Update-State(state, action) return action

function Reflex-Agent-With-State(percept) returns action static: rules, a set of condition-action rules state, a description of the current world

state ← Update-State(state, percept) rule ← Rule-Match(state, rules) action ← Rule-Action[rule] state ← Update-State(state, action) return action

La actualización del estado interno requiere dos tipos de conocimiento codificado conocimiento acerca de la forma

como el mundo cambia - independiente de las acciones del agente.

conocimiento acerca de la forma en que el mundo cambia con motivo de la acción del agente

Pero el conocimiento del estado interno no siempre es suficiente para elegir entre rutas decisionales

alternativas(en una intersección ¿doblar o no doblar el volante del coche?)

pues se requiere conocer la meta a lograr

Page 36: 003 AGENTES Von Der Becke MFRM

36

.

¿Qué es un agente orientado a metas?

Am

bien teA

mbien te

Hilera de Hilera de metasmetas

Qué acción deboQué acción debohacer en estehacer en este

momentomomento

Cómo evoluciona el mundoCómo evoluciona el mundo

Qué producen mis acciones

Estado

Cómo es el mundo en este momento

Sensores

Agente

Efectores

¿Qué sucedería si emprendo la acción A?

Page 37: 003 AGENTES Von Der Becke MFRM

37

Agentes Meta-Intensivos

Razonando acerca de acciones un agente reflejo solo actúa basado en conocimientos precomputados (reglas) la búsqueda y la planificación ayudan a razonar acerca de cuál acción logra la meta el agente es menos eficiente pero más adaptativo y flexible

Qué argumentar acerca de acciones alternativas que llegan a la meta hay que maximizar la utilidad de las acciones, esto es, elegir aquélla que logra la meta

mejor que otras.

Page 38: 003 AGENTES Von Der Becke MFRM

38

Arquitectura General de Agentes Meta-Intensivos

Los agentes simples no tienen acceso a su medida de buen éxito En ese caso el diseñador elige la meta y la incorpora por diseño a su agente

Similarmente, los agentes tontos no pueden formular su propio problema en cuyo caso dicha formulación tambien se debe incorporar al diseño

El bucle “while” (mientras) - ver arriba - es la fase de ejecución de la conducta de este tipo de agentes Nótese que en esta arquitectura se sobreentiende que para la fase de ejecución no

importa monitorear el ambiente.

Input perceptstate ← Update-State(state, percept)goal ← Formulate-Goal(state, perf-measure)search-space ← Formulate-Problem (state, goal)plan ← Search(search-space , goal)while (plan not empty) do action ← Recommendation(plan, state) plan ← Remainder(plan, state) output actionend

Input perceptstate ← Update-State(state, percept)goal ← Formulate-Goal(state, perf-measure)search-space ← Formulate-Problem (state, goal)plan ← Search(search-space , goal)while (plan not empty) do action ← Recommendation(plan, state) plan ← Remainder(plan, state) output actionend

Page 39: 003 AGENTES Von Der Becke MFRM

39

.

¿Qué es un agente utilidad-intensivo?

Am

bien teA

mbien te

Reglas Si Reglas Si - Entonces- Entonces

Qué acción deboQué acción debohacer en estehacer en este

momentomomentoconocimientoconocimiento

Cómo evoluciona el mundoCómo evoluciona el mundo

Qué producen mis acciones

Estado

Cómo es el mundo en este momento

Sensores

Agente

Efectores

¿Qué sucedería si emprendo la acción A?

Page 40: 003 AGENTES Von Der Becke MFRM

40

Agentes Utilidad-Intensivos

Función Utilidad es un mapeo de estados bajo la forma de números reales lleva a decisiones racionales en dos tipos de situaciones

evaluación de trueques entre metas en conflictoevaluación de metas en conflicto

Page 41: 003 AGENTES Von Der Becke MFRM

41

Agentes basados en utilidad Las metas no bastan para generar una conducta de alta calidad.

Las metas permiten establecer una distinción entre estados “felices” e “infelices”.

Si se prefiere un estado en lugar de otro, se dice que ese estado ofrece mayor “utilidad” al agente.

Utilidad Función que caracteriza el grado de satisfacción En temas venideros se mencionará frecuentemente el

PRINCIPIO DE MAXIMA UTILIDAD ESPERADA

Page 42: 003 AGENTES Von Der Becke MFRM

42

AHP analytical hierarchy process

Thomas Saaty, que además de ser talentoso programador es un humorista con muchos libros de buen humor publicados, ha salpimentado su demo que presenta su contribución matemática para la resolución de problemas multiobjetivos, tan frecuentes con los agentes inteligentes meta-intensivos..

El demo está en Internet en nuestro portal Razonando sobre el demo, los costos tienen una importancia del

50 % en la metodología usada.

Page 43: 003 AGENTES Von Der Becke MFRM

43

.

18.1 ¿Qué es un agente aprendiz?A

mbien te

Am

bien te

Elemento deElemento deaprendizajeaprendizaje

ElementoElementode desempeñode desempeño

cambioscambios

conocimientoconocimiento

Estándar de desempeñoEstándar de desempeño

DiferenciaDiferenciao erroro error

Retroali- mentación

EfectoresEfectores

SensorSensor

Generador deGenerador deproblemaproblema

Meta deaprendiz

Page 44: 003 AGENTES Von Der Becke MFRM

44

En la gráfica previa se estudia un modelo general de agente aprendiz, modelo novedoso con respecto a lo ya estudiado.

Comparado con los tres diagramas del capítulo 2 de r&n (Agentes inteligentes), este cuarto diagrama tiene diferencias.

Aparece una entrada adicional (en rojo) ajeno al agente, que es el “estándar de desempeño” que está marcado aparte por el diseñador si se trata de un agente aprendiz autónomo o no supervisado, o bien corresponde a un “maestro” en el aprendizaje supevisado. El “error” debe irse corrigiendo.

La zona de conección directa entre sensores y efectores está regulada por un elemento de procesamiento del desempeño en el futuro inmediato, influible por maquinaria auxiliar de aprendizaje, maquinaria corregida por el “error” detectado.

Las metas del aprendiz pueden tener distintos significados. Estudiaremos algunos de estos módulos en detalle.

18.1 Un modelo novedoso

Page 45: 003 AGENTES Von Der Becke MFRM

45

* El “ejemplo” gatilla al “elemento de aprendizaje”. Éste detecta que la maniobra negativa ya realizada estaba autorizada por el conjunto de reglas (estaba clasificada como positiva, permitida, buena), siendo así que debiera haber estado prohibida (era un ejemplo positivo falso). Hay que desaprender lo mal aprendido y de esa tarea se encarga el algoritmo de aprendizaje, p. ej., el de mejor hipótesis del momento. Es un real bucle de retroalimentación. Las modificaciones van hacia el elemento de desempeño en forma de reglas más complicadas que las previas.

El generador de problemas actúa respondiendo a una de las metas del aprendizaje, en este caso el de optimizar el recorrido a hacer. En base a ese objetivo el “error” o crítico observa que hay mucho retardo en la ruta tentativa empleada (lo cual tambien puede provenir del elemento de desempeño) y gatilla al elemento de aprendizaje que a su vez deriva el inconveniente al generador de problemas para que diseñe un experimento por otra ruta, que una vez encarado es comunicado al elemento de desempeño (enlace sesgado).

18.1 Un modelo novedoso caso de un aprendiz de taximetrero automático (cont.)

Page 46: 003 AGENTES Von Der Becke MFRM

46

2.4

2.4Ambientes

Page 47: 003 AGENTES Von Der Becke MFRM

47

Propiedades de los Ambientes Accesible/Inaccesible

Si los sensores proporcionan todo lo que hay que saber sobre el estado completo del ambiente - necesario para elegir una acción - entonces el ambiente es accesible al agente. Esos ambiente resultan convenientes, ya que liberan al agente de la tarea de mantener actuallizado su inventario del mundo.

Determinístico/No-determinístico (estocástico) Si el estado siguiente del ambiente está determinado plenamente por el estado

presente del mismo, y por la acción del agente - se trata de un ambiente determinístico. Así el agente escapa de la incertidumbre.

Episódico/No-episódico Un ambiente episódico implica que los episodios siguientes no dependen de las

acciones que ocurrían en episodios previos (como en las clásicas cadenas de Markov). Esto le autoriza al agente que no se deba preocupar por la planificación de lo que puede ocurrir.

Page 48: 003 AGENTES Von Der Becke MFRM

48

Propiedades de los Ambientes (2) Estático/Dinámico

Será estático todo ambiente que no cambie mientras el agente está pensando. No tiene importancia el tiempo que se usa en pensar y no necesita monitorear el mundo mientras piensa. El tiempo carece de valor mientras se computa una buena estrategia. En el otro caso será dinámico.

Discreto/Continuo Discreto - con escaso número de percepciones y acciones en el ambiente. Continuo - el otro caso.

Sin adversario/con adversarios racionales Sin adversario - ausencia de otros agentes racionales adversarios: la

consecuencia es que el agente se libera de la preocupación de la estrategia de dichos adversarios en el mismo juego.

Los ambientes ingenieriles suelen ser sin adversario. Los ambientes sociales y económicos aumentan en su complejidad por la

presencia de interacciones entre uno o más adversarios (por ejemplo en la Bolsa).

Page 49: 003 AGENTES Von Der Becke MFRM

49

Tipos de ambientes y sus características Solitario Chaquette o backgammon Taxi

Accesible ?? Determinístico ?? Episódico ?? Estático ?? Discreto ??

Page 50: 003 AGENTES Von Der Becke MFRM

50

Tipos de ambientes y sus características Solitario sí - sí - no - sí - sí Chaquette o backgammon sí - no - no -semi -sí Taxi no - no -no - no - no

Accesible Determinístico Episódico Estático Discreto

Page 51: 003 AGENTES Von Der Becke MFRM

51

Ambientes en Internete_mailGrupos de noticiasWWWFTPJuegos en líneaForosBuscadores con diversos agentesAmbiente apto para minería de datosBibliotecas virtuales (p.ej., de IA)

Page 52: 003 AGENTES Von Der Becke MFRM

52

Tipos de ambientes y sus características

Page 53: 003 AGENTES Von Der Becke MFRM

53

34

An Agent Portfolio

Broker-Corredor de comercio---Spider-Buscador, literal araña.

Page 54: 003 AGENTES Von Der Becke MFRM

54

Programa básico para el ambienteprocedure Run-Environment(state, Update-Fn, agents, termination) input: state, the initial state of the environment Update-Fn, function to modify the environment agents, a set of agents termination, a predicate to test when we are done

repeat for each agent in agents do Percept[agent] ← Get-Percept(agent, state) end for each agent in agents do Action[agent] ← Program[agent](Percept[agent]) end state ← Update-Fn(actions, agents, state) until termination(state)

procedure Run-Environment(state, Update-Fn, agents, termination) input: state, the initial state of the environment Update-Fn, function to modify the environment agents, a set of agents termination, a predicate to test when we are done

repeat for each agent in agents do Percept[agent] ← Get-Percept(agent, state) end for each agent in agents do Action[agent] ← Program[agent](Percept[agent]) end state ← Update-Fn(actions, agents, state) until termination(state)

Programa básico simulador ambiental proporciona las percepciones a los agentes anidados en ese ambiente absorbe una acción de cada agente en la unidad de tiempo actualiza el ambiente para cada unidad de tiempo

Page 55: 003 AGENTES Von Der Becke MFRM

55

Simulador de ambiente al tanto de las medidas de buen éxito de los agentes

function Run-Eval-Environment(state, Update-Fn, agents,termination, Performance-Fn) returns scores

local : scores, a vector the same size as agents, initially all 0

repeat for each agent in agents do Percept[agent] ← Get-Percept(agent, state) end for each agent in agents do Action[agent] ← Program[agent](Percept[agent]) end state ← Update-Fn(actions, agents, state) scores ← Performance-Fn(scores, agents, state) until termination(state) return scores

function Run-Eval-Environment(state, Update-Fn, agents,termination, Performance-Fn) returns scores

local : scores, a vector the same size as agents, initially all 0

repeat for each agent in agents do Percept[agent] ← Get-Percept(agent, state) end for each agent in agents do Action[agent] ← Program[agent](Percept[agent]) end state ← Update-Fn(actions, agents, state) scores ← Performance-Fn(scores, agents, state) until termination(state) return scores

Casi siempre, los agentes se han diseñado para satisfacer una cierta clase de ambiente medición de buen éxito en ese ambiente, definido por un estado inicial singular

y una función de actualización particular.

Page 56: 003 AGENTES Von Der Becke MFRM

56

2.5

2.5Resumen

Page 57: 003 AGENTES Von Der Becke MFRM

57

ResumenLas principales preocupaciones del capítulo 2.

Un agente percibe y actúa en un cierto ambiente, posee una dada arquitectura y está implementado a través de un programa de agente.

Un agente ideal (omnisciente) siempre elige aquella acción mediante la cual se maximiza su logro esperado, sujeta a la secuencia de percepciones recibida hasta ese momento.

Un agente autónomo usa su experiencia propia en lugar de usar conocimiento incorporado por su diseñador referente al ambiente.

Un programa de agente mapea la ruta entre percepción y acción y actualiza el estado interno de dicho agente.

Un agente reflejo (o reactivo) responde de inmediato a las percepciones (jugador de ping pong).

Page 58: 003 AGENTES Von Der Becke MFRM

58

ResumenOtras preocupaciones del capítulo 2.

Un agente meta-intensivo (o basado en metas) actúa de tal manera de obtener el logro de su meta internalizada. El estudioso debe tratar de hacerse la imagen mental que las metas están apiladas como la pila de libros del logo de arriba.

Un agente utilidad – intensivo (o basado en utilidad) maximiza su propia función de utilidad.

Poder representar el conocimiento (y a veces lograr que ese conocimiento pueda ser legible por el humano) es importante para que el diseño tenga buen éxito.

Los ambientes cambian y se presentan como dramaticamente más difíciles para el agente que otros. Los más difíciles son los ambientes inaccesibles, no-determinísticos, no-episódicos, dinámicos y continuos. Uno fácil es el de un robot encargado de hacer tostadas.

Page 59: 003 AGENTES Von Der Becke MFRM

59

Resumen y conclusiones razonadas La inteligencia artificial se ha presentado como la tecnología de la

construcción de agentes inteligentes, con lo cual se unifican temas que no tenían relación con otros enfoques (caso de la robótica y la visión).

Quedó evidente que el hilo conductor es el de ir complicando gradualmente los programas de agente (5), las funciones de agente (3, utilidad,, actualización y desempeño) y los programas de ambiente (2, información básica y detallada).

Para el apéndice 2, Agentes de soporte lógico, las conclusiones aparecen en los parágrafos 18 y 19. Cabe indicar que el porvenir estará en los agentes que se comunican, que abarcan numerosos ejemplos de los siete presentados en la serie de diapositivas.

El apéndice 3. “Tostada”, tiene sus conclusiones al final de la glosa principal·. Hay que pensarlas a la luz de lo que figura en la glosa sobre Ian Horswill.

Obviamente la noción de agente aglutina en una meta clara a toda la inteligencia artificial, la cual, sin embargo, al estar enlazada con los ambientes, pierde – por suerte – toda posibilidad de ser una disciplina auto-contenida, pasando a tener condición de multi-disciplinaria.

Page 60: 003 AGENTES Von Der Becke MFRM

60

Resumen y conclusiones razonadas

Las principales preocupaciones del capítulo 2 tienen mucho que ver con los principales desafíos de la IA enumerados en el Capítulo 1, Sección 1.4 (modificada) - esto muestra la condición dinámica de estos intentos.

Comparar los lenguajes de programación clásicos de base numérica (con vectores de entrada, operadores de transformación que son matrices y vectores de salida)

con estos relativamente distintos programas lógicos e iterativos de la inteligencia artificial Criticar ⇒

Clase 4 FASTA - - - - - - - - - - - - - - - - - - - - - - - -- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -- - - - - - - - - - - - - - - - - - - - - - - -Foundations of Artificial Intelligence

3

Temas principales del Capítulo 2 PaMA

Percepciones acción Meta Ambiente

Funciones y Programas de Agentes Clasificación de agentes – apéndice 2 “agentes de soporte lógico

(Nwana)”. Tipos de Ambientes – apéndice 3 “Tostada (Agre y Horswille”.

Page 61: 003 AGENTES Von Der Becke MFRM

61

CONTINÚA: Lectura fundamental: http://personales.upv.es/ccarrasc/doc/2003-2004/websemag/agentes.htm

http://www.angelfire.com/oh4/ohcop/ClaseJive.ppt http://www.angelfire.com/oh4/ohcop/ClaseJive.ppt http://www.angelfire.com/oh4/ohcop/ClaseJive.ppt

BIBLIOGRAFIA DEL TEMA: http://www.angelfire.com/oh4/ohcop/ayuda22.html http://www.angelfire.com/oh4/ohcop/ayuda22.html http://www.angelfire.com/oh4/ohcop/ayuda22.html