CURSO DE VERANO Ciberseguridad y protección de...

Esteban García-Cuesta

Profesor y director del grupo de investigación Data Science Lab – Universidad Europea de Madrid

Ciberseguridad y protección de datosCURSO DE VERANO

“Inteligencia Artificial y Ciberseguridad: aplicaciones y ética”

Esteban García Cuesta – [email protected]

Profesor e investigador – Universidad Europea de MadridDirector del grupo de investigación Data Science Lab:• Machine Learning and data mining• Affective computing• Dimensionality reduction and latent spaces• Social miningInformación de contacto:Email: [email protected]: egarciacuestaTel: +34 912115163

PhD. en Ciencias de la Informática y Tecnología (Inteligencia Artificial) por la Universidad Carlos III de Madrid http://projectbasedschool.universidadeuropea.es/dsl/

mailto:[email protected]

http://projectbasedschool.universidadeuropea.es/dsl/


¿Cuántas veces os habéispreguntado que pasaría silas máquinas gobernarán?3

Esteban García Cuesta – [email protected] Hawking (1942-2018)(1) https://www.bbc.com/news/technology-30290540 , 2014(2) Web Summit, Lisboa 2017

No estáis solos…“La inteligencia artificial podría significar el fin de la raza humana” (1)

“Con la inteligencia artificial estamos convocando al demonio”Elon Musk, Tesla CEO, 2014

“Las computadoras pueden, en teoría, emular la inteligencia humana e inclusoexcederla. La creación exitosa de una IA efectiva podría ser el evento más grande en la

historia de nuestra civilización. O el peor. Simplemente no lo sabemos. Por lo tanto, nopodemos saber si seremos infinitamente asistidos por la IA, o si seremosignorados y marginados, o posiblemente destruidos por ella” (2)

https://www.bbc.com/news/technology-30290540


Inteligencia Artificial y Ética


¿Qué es Inteligencia Artificial?6

El estudio de las facultades mentales mediante el uso de modelosco putacio ales (Charniaky McDermott, 1985).IA (…) está relacionada con conductas inteligentes en artefactos(Winston, 1992).El estudio de cómo lograr que los computadores realicen tareas que,por el momento, los humanos hacen ejor (Rich y Knight, 1991).El desarrollo por parte de una máquina de la capacidad de entender,asimilar, elaborar información y utilizarla adecuadamente.

Esteban García Cuesta – [email protected] 7Informática

PsicologíaLingüística IA¿Qué es Inteligencia Artificial?


¿Por qué nospreocupa ahora?


Perspectiva histórica• Fundamentos (400 a.c.)

• Aristóteles ‐ a.c.) Entendimiento a través de la razón.• Formalización de los algorit os de al‐Kho araz i s. IX)• primeras máquinas de cálculo de Pascal (s. XVII) y Charles Babagge (s.XIX)

• Primeros computadores (sobre 1940)• Z‐ fue i e tado por Ko rad Zuse e . E el Rei o U ido, el pri er sistema de Alan Turing en 1940, y el Colossus en 1943. En estados Unidos, el ABC entre 1940 y 1942 por John Atanasoff

• ENIAC 1946(Electronic Numerical Integrator and Computer). 9


Perspectiva histórica• Génesis (19 ‐19 )

• McCulloch y Pitts han sido reconocidos como los autores del primer trabajode IA,en 1943, proponiendo un modelo constituido por neuronas artificiales• Primeros programas de juego del ajedrez desarrollados por Shannon y Turingentre 1950• Primeros sistemas de traducción automática, como el experimento

Georgeto ‐IBM

10Seminario de Darmouth 1956 origen deltérmino inteligencia artificial

Biblioteca Bake, Universidad de Darmouth.


Perspectiva histórica• Entusiasmo inicial, grandes esperanzas (1952‐1969)

• Gran éxito tanto a nivel de universidad como de empresas y centros deinvestigación• Desarrollo de herramientas como el lenguaje de programación LISP

• Crisis / redimensionamiento de problemas (1966‐1973)• Limitaciones computaciones y de hardware no son el único problema• Decremento de la financiación y se interrumpen un gran número deproyectos

11


Perspectiva histórica• Resurgimiento centrado en sistemas basados en el conocimiento(1969‐1979)

• Surge un renovado interés por sistemas expertos y basados en el conocimientoaplicado a dominios como diagnóstico médico o control de plantas• La industria de la IA (1980 hasta el presente)

• Sistemas expertos comienzan a reportar beneficios en sus diversas aplicaciones (p.ej.DEC sistemas de pedidos)• Comienzan a desarrollarse nuevos aspectos de IA como la minería de datos otecnología semántica• Sistemas de análisis y aprendizaje en tiempo real y ubicuos para adaptarse a lasvariabilidades y necesidades del entorno (Big Data). 12

Esteban García Cuesta – [email protected] LearningÁrea que estudia como proveer a los ordenadores con la capacidadde aprender sin ser programados de manera explícita. " Arthur Samuel(Pioneer in the field of computer gaming and artificial intelligence 1959-1990)

Perspectiva histórica (Machine Learning)


• 2012: Google libera el motor de búsqueda Knowledge Graph• 2013: Facebook libera Graph Search• 2013: Proyecto BRAIN 3 Billion $ para hacer ingeniería inversa delcerebro humano (igual pasó en Europa)• 2014: Un chatbox por primera vez es capaz de convencer al 33% deljurado que era humano (Test de Turing severo)• 2016:…Perspectiva histórica


Alpha Go (DeepMind)Silver, D., Huang, A., Maddison, C. J., Guez, A., Sifre, L., van den Driessche, G., Schrittwieser, J., Antonoglou, I., Panneershelvam, V., Lanctot, M., Dieleman, S., Grewe, D., Nham, J., Kalchbrenner, N., Sutskever, I., Lillicrap, T., Leach, M., Kavukcuoglu, K., Graepel, T. & Hassabis, D. (2016). Mastering the Game of Go with Deep Neural Networks and Tree Search. Nature, 529, 484--489. doi: 10.1038/nature16961

Árbol de búsqueda Monte Carlo + redes de neuronas profundas para la predicción del resultado

Esteban García Cuesta – [email protected]¿Qué queremos decir cuando hablamos de ética en Inteligencia Artificial?


1. Queremos asegurarnos de que las máquinas nohacen daño a los humanos ni física ni moralmente2. Establecer los criterios morales de las máquinas(Inteligencia Artificial General)

¿Qué características creéis que son deseables?


¿Qué queremos decir cuando hablamos de ética en la Inteligencia Artificial?Que los sistemas/algoritmos inteligentes tengan:1. Transparencia• Necesidad de recolección de logs• Descripción del comportamiento de los modelos• Posibilidad de ser inspeccionados y auditados2. Un comportamiento predecible• Pruebas unitarias de funcionamiento3. Robustez frente a manipulación• Ciberseguridad tradicional• Nuevos tipo de ataques

Esteban García Cuesta – [email protected] Chessell is an IBM Distinguished Engineer, Master Inventor and member of the Academy Leadership Team.

Qué se puede hacer legalmenteQué le gustaría hacer a la organizaciónQué podemos hacer técnicamente

• Esteban García-Cuesta - Departamento de Ciencias y Tecnologías de la Información

Ética de IA en las organizaciones


• Machine learning (pronto la IA) esta siendo pervasivo• El mundo high-tech lo está adoptando• Infraestructuras escalables y a bajo coste

• Las empresas están deseando poner el producto en el mercado• Es bastante costoso en tiempo y en dinero desarrollar una solución demachine learning• Una carencia de conocimiento puede llevar a impactos no intencionados

• Por lo tanto el riesgo de consecuencias no deseadas también se incrementa y debe gestionarse cuidadosamenteÉtica de IA en las organizaciones


ES UNA TEORÍA QUE USAECUACIONES MATEMÁTICAS PARAPREDECIR EL NIVEL DE IMPACTOSOCIAL CREADO POR UNASITUACIÓN SOCIAL ESPECÍFICABibb Latané ,Center for Human Science director

¿Qué suecede si la fuente de influencia es una máquina?Impacto Social

https://en.wikipedia.org/wiki/Bibb_Latan%C3%A9


• Usa algoritmos de clasificación automática de imágenes para etiquetar nuevas fotos• Que sucede: algunas son clasificadas erróneamente• Además algunos de estos errores eran ofensivos:

• Un hombre negro fue taggeado como un mono • Auschwitz fue taggeado como un centro deportivoThe Guardian link (los blancos también )


http://www.theguardian.com/technology/2015/may/20/flickr-complaints-offensive-auto-tagging-photos


• También tiene un sistema de etiquetado automático de fotos similaral de Flickr• Igualmente un hombre negro se le etiquetaba como gorilla• Reproduce el mismo error no se considera o entiende el impactode posibles errores en el contexto social y públicoLink to the piece of news


http://blogs.wsj.com/digits/2015/07/01/google-mistakenly-tags-black-people-as-gorillas-showing-limits-of-algorithms/


• Un estudio reciente realizado por investigadores de CMU mostró que elecosistema de Google Ads discriminaba por el género del usuario• El estudio simulaba a usuarios hombre y mujer con una información de perfilidéntica y también en el histórico de navegación• Después, un tercer anunciante muestra anuncios de Google a los usuarios con unratio de 1 a 6 para posiciones ejecutivas senior para los hombres que para lasmujeres que se han creado artificialmente

• El algoritmo de emparejamiento sólo entiende los bits y señales que analiza,pero los resultados discriminan en base al genero• Millones de personas pueden verse afectadas aunque es extremadamentecomplicado de demostrar!!Enlace al estudio


http://www.andrew.cmu.edu/user/danupam/dtd-pets15.pdf


Otros contextos• Un banco que usa un algoritmo de aprendizaje automático para recomendar una hipoteca o una inversión• Un hospital que decide a quien atender antes en la UVI en función de los parámetros del enfermo• ¿Otros?


Inteligencia Artificial, Ciberseguridad y Ética


REGLAMENTO (UE) 2016/679 DEL PARLAMENTOEUROPEO Y DEL CONSEJO de 27 de abril de 2016 relativoa la protección de las personas físicas en lo que respectaal tratamiento de datos personales y a la librecirculación de estos datos y por el que se deroga laDirectiva 95/46/CE (Reglamento general de protecciónde datos).


Conflicto entre el derecho al honor y la libertad de expresión• Teoría de los seis grados (Hungaro Frigyes Karinthy en 1929)• Retransmisión de imágenes y videos sin consentimiento a través de redes sociales• No existe una jurisprudencia al efecto sino aislados pronunciamientos judiciales• Pugna entre el derecho al honor, la intimidad y la propia imagen frente a la libertad de información y expresión


Inteligencia Artificial y Ciberseguridad• La Inteligencia Artificial va a ser ubicua• Tres tipos de amenazas:1. Debidas a la propia inteligencia y autonomía desarrollada por un sistema deIA2. Debidas a fallos ingenieriles de programación o malfuncionamiento3. Debidas al entorno que los rodea


Inteligencia Artificial y Ciberseguridad• La seguridad tiene que ir enfocada a mantener la propiedad de la robustez de los sistemas de IA • Necesidad de utilizar la ciberseguridad para securizar los sistemas inteligentes que ya no van a estar aislados (IoT, sensores, máquinas autónomas, etc.)

• Agentes de banca inteligentes que pueden tomar malas decisiones• Vehículos autónomos que pueden colisionar• Chat-box que pueden ser racistas

• Utilización de técnicas similares a las actuales pero en zonas más abiertas y accesibles


Inteligencia Artificial y Ciberseguridad• Aparecerán nuevos tipos de ataques • U ue o tipo de hackers Hacking de datos• Téc icas de e gaño a los siste as de IA p.ej. odifica do la for a de los objetos)• …

• La seguridad a menudo utiliza las publicaciones de las investigaciones como un modo de proteger las infraestructuras• El intercambio de información proporciona un balance en el ecosistema cyber• Esto no existe en IA todavía diseño de sistemas AI malévolos (similar al concepto de virus actual)


Retos de Europa en IA1. Proporcionar guías éticas de IA a las que compañías,organizaciones, individuos, instituciones, y cualquier otra entidadpueda adherirse voluntariamente, y2. Desarrollar la regulación y recomendaciones de inversion, queofrezcan consejo sobre como abordar los retos relacionados con lainteligencia artificial, y como asegurar que Europa sea altamentecompetitive y un agente global de la IA.

Reflexiones

• Hoy en día la tecnología de machine learning está avanzando rápidamentey no siempre los ingenieros, científicos, ni managers están realmentepreparados.• Puede que haya un gran número de casos ética cuestionables que esténsucediendo y no se estén detectando con un impacto muy alto en lasociedad• Actualmente hay aproximadamente unos 10.000 investigadores trabajandoen IA en el mundo y sólo 100 están investigando como resolver fallos ensistemas IA (sólo unos 12 tienen formación específica).


ReflexionesExisten algunos mitos que extralimitan la realidad:• Esteban García-Cuesta - Departamento de Ciencias y Tecnologías de la Información

1. La IA complementará a las habilidades humanas en los trabajos2. La IA permitirá tomar mejores decisiones3. La IA mantendrá la privacidad a través de su regulación4. La IA se diseñará evitando el sesgo y los abusos5. La IA se esforzará en hacernos un buen sándwich1. La IA destruirá la mayoría de trabajos2. La IA convertirá a los humanos en estúpidos3. La IA destruirá la privacidad de las personas4. La IA aumentará el sesgo y los abusos5. La IA eventualmente destruirá la humanidadRobert D. Atkinson (President of Information Technology and Innovation Foundation , It s going to killus! And other myths about the future of Artificial Intelligence, June 2016

• En el caso de Google Ads ¿se genera un malestar intencionado?Reflexiones

Todo ello parece estar confirmado, tanto por los individuos enparticular, como por los propios legisladores: efectivamente,ellos castigan y toman represalias de los que han cometidomalas acciones sin haber sido llevados por la fuerza o por unaignorancia de la que ellos mismos no son responsables…Incluso castigan el mismo hecho de ignorar, si el delincuente parece responsable de su ig ora cia…Ética a Nicómaco, Aristóteles (384 a.C. 322 a.C)

¿Como sabemos que una acción es creativa?

Alpha Go (DeepMind)


Que el miedo y las dudas nos sirvan para reflexionar pero no para detenernos…¡Muchas gracias!


Note to the users of provided slides: We would be delighted if youfound this our material useful in giving your own lectures or talks.Feel free to use these slides verbatim, or to modify them to fit yourown needs. If you make use of significant portion of these slides inyour own lecture or talk, please include this message andauthorship according to CC BY license (powerpoint is available underdemand via email).

CURSO DE VERANO Ciberseguridad y protección de...

Documents

Transcript of CURSO DE VERANO Ciberseguridad y protección de...