Perspectivas de la Computación Científica. Clusters, Grids...

Universidad Nacional, Bogotá, Enero 2013

Computación científica

1

Perspectivas de la Computación Científica. Clusters, Grids y Clouds. Desarrollos y retosRaúl Ramos PollánUniversidad Nacional de Colombia



2

Computación Científica

“La Ciencia e Ingeniería Basada en la Simulación ha alcanzado hoy día un nivel de capacidad predictiva que complementa sólidamente los pilares tradicionales de teoría, experimentación y observación … Muchas tecnologías críticas … están en un horizonte que no pueden ser entendidas, desarrolladas o usadas sin simulación por computador”.

http://www.wtec.org/sbes/



3

Computación Científica

Algoritmos/Aplicaciones

Infraestructura de cómputo

Recurso humano/ Comunidades científicas

Datos



4

Aplicaciones – Fine grained parallelism

Descomposición en elementos finitos

Predicción climáticaDocking de proteínas



5

Aplicaciones – Coarse grained parallelism

Simulación Montecarlo

Particiones de datos

Data scans / aggregations / summaries

Summatory query form over data

Logs processing, index generation �

Map/reduce, Hadoop



6

AplicacionesCoarse computation for fine grained parallelism

Barridos de parámetros

(ejemplo Stellerator TJ-II en la Grid)

Simulate

device

conf 1

Simulate

device

conf 2

Simulate

device

….

Simulate

device

conf n

Generate

configurations

Evaluate

configurations



7

Paralelización de algoritmos

• Naturaleza de los algoritmos



8

Paralelización de algoritmos

• Recurso computacional disponible (GPUs, Cluster, Grids,

Clouds, …)

• Topología interconexión unidades de cómputo

• Estrategias para explotar recursos computacionales

Por paralelización intrínseca del algoritmo

Por barrido de parámetros

Por partición de datos



9

Ejemplos de algoritmos

Procesamiento de imágenes � operaciones en regiones (i.e. contraste)

� �and perform n iterations



10


Particionamiento no trivial � por algoritmo

(otra estrategia � por datos para muchas imágenes, pero cada una

tiene que caber en memoria)



11


Particionamiento no trivial



12

Paralelización de KMeans

� Paralelizar asignación y el cálculo de la media para cada centroide

…

…

…



13

Map-reduce, Hadoop



14

Map-reduce, Hadoop



15

Escalabilidad• Ley de Amdahl

N: Núm. nodos paralelos P: Proporción paralelizable del código S(N): speedup máximo



16

Infraestructuras de computación

• Clusters

• Supercomputadores

• Clouds

• Grids

• GPUs

• Computación oportunista



17

Top500, distribución histórica (www.top500.org)



18

Top500, distribución histórica (www.top500.org)



19

Clusters• Planificación de tareas � Batch jobs

• Sistema compartido de archivos

• Fast inter-networking for inter-process communication

Shared storage



20

Supercomputadores• Planificación de tareas � Batch jobs

• Memoria compartida

• Procesos multi-nodo



21

Grids• Redes de datacenters

• Particiones de procesos independientes

• Heterogéneos

• Federación vs distribución

• Middleware propio



22

Clouds

• Desacoplamiento infraestructura física

• Modelo de cómputo no fijo: IaaS, PaaS, SaaS



23

Computación oportunista

• Sobre recursos no propios

• Computación voluntaria, labs de escuelas, etc.



24

GPUs

• Computación matricial

• Procesadores simples y masivos



25

Datos científicos

• Colecciones de datos

• Adquisición de datos

• Colisiones LHC, secuenciaciones, digitalizaciones, bancos

de imágenes, mapas



26

Datos científicos

• Orígenes

• Distribución

• Estándares y formatos

• Propiedad y responsabilidades



27

Datos científicos

• Orígenes

• Distribución

• Estándares y formatos

• Propiedad y responsabilidades



28

Big Data

• manejo de datasets de tamaño >> capacidad de las

herramientas tradicionales de bases de datos

• según la tecnología avanza con el tiempo, el tamaño de

los conjuntos de datos a los que denomina el término

también crecerán, si cabe, a un aún ritmo mayo

• Requiere nuevo modelo (no sirven BBDD tradicionales,

paquetes estadísticos/visualización desktop)

• Objetivo � Escalabilidad «trivial»



29

Bases de datos NoSQL

• Expresividad SQL vs. Escalabilidad

• Tablas: filas de keys + lista no fija de columnas/valores

• Operaciones simples:

Scan por key

Acceso directo por key

Transacciones mínimas (check&put)

No joins, no SQL language

• Big table, Hbase, DynamoDB, Azure, Cassandra, etc.



30

Arquitectura HBase



31

La GenteCientíficosIngenieros

ProgramadoresGestores de proyecto

Administrativos



32

Formación multidisciplinar

Conclusión 1: El mundo de la computación es plano, cualquiera puede acceder. Lo que nos distinguirá del resto del mundo es nuestra habilidad para hacerlo mejor y explotar las nuevas arquitecturas que desarrollamos antes de que dichas arquitecturas sean universalmente usadas.

Conclusión 2: La educación y formación inadecuadas de la siguiente generación de científicos computacionales amenaza el crecimiento global de la Ciencia e Ingeniería Basadas en Simulación. Esto es particularmente urgente [...]; a no ser que preparemos a los investigadores para desarrollar y usar la próxima generación de algoritmos y arquitecturas de computadores, no seremos capaces de explotar sus capacidades para cambiar las reglas del juego.

http://www.wtec.org/sbes/



33

Escenarios y Retos

Código sucio o poco estructurado

Falta de documentación

Procesos de desarrollo informal

Procesos de desarrollo informal

Arquitecturas de software y datos

espontáneas

Comunidades científicas tradicionales

Código mezclado (paralelo, seq, …)



34

DecisionesCloud? Grid?

GPU?

Modificar algoritmos?

Contribuir al software?

Comprar hardware?

Adaptarse al hardware

disponible?

Duplico datasets?

Comunidad científica?

Me dedico a otra cosa?



35

SOLOS NO SOMOS NADA

Mantener hardware es caro

Portar aplicaciones es caro

Criterios científicos, técnicos y organizacionales

Cambios generacionales



36

A corto plazo

Medir el alcance del sw/hw disponible

Medir recurso humano disponible

Afinar objetivos y esfuerzo

Adaptar objetivos científicos a posibilidades



37

A medio/largo plazo

Construir equipos multidisciplinares

Cultura HPC en la ciencia y Cultura científica en ingeniería

Iniciar procesos de planificación de software

Regeneración generacional

Actualizar programas de capacitación (BSc Msc PhD)

Generar frameworks y modelos de computación

Generar frameworks y modelos de computación

Estrategias transnacionales



38

Conclusiones

• La computación científica es un reto tecnológico,

científico y organizacional

• Científicos e ingenieros computacionales se necesitan

mutuamente � equipos multidisciplinares

• Tecnología vs. Modelos de computación vs.

Disponibilidad de recursos (humanos + técnicos)

• Conciliar estrategias a corto, medio y largo plazo

EL USO DEL CÓMPUTO CIENTÍFICO ES INEVITABLE

CAMBIO DE PARADIGMA �� EVITAR OBSOLESCENCIA



39

Perspectivas de la Computación Científica. Clusters, Grids...

Documents

Transcript of Perspectivas de la Computación Científica. Clusters, Grids...