Redes: clúster Beowulf

24
Redes de computadores Clúster Beowulf Angel Vázquez-Patiño [email protected] Departamento de Ciencias de la Computación Universidad de Cuenca 30 de noviembre de 2016

Transcript of Redes: clúster Beowulf

Page 1: Redes: clúster Beowulf

Redes de computadores

Clúster Beowulf

Angel Vázquez-Patiñ[email protected]

Departamento de Ciencias de la ComputaciónUniversidad de Cuenca

30 de noviembre de 2016

Page 2: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 2/24

Objetivos

1.Conocer lo que es un clúster

2.Conocer la arquitectura

3.Conocer herramientas para la implementación

4.Implementar un clúster Beowulf

Page 3: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 3/24

Contenido

Qué es un clúster

Clasificación

Clúster Beowulf

Beneficios

Pila de SW para HPC

Elementos

Implementación

Page 4: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 4/24

Qué es un clúster

Page 5: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 5/24

Qué es un clúster● Conjunto de computadores (commodities) que

se comportan como uno solo para el usuario final

Reto principal● Diversidad de equipos

● La diversidad es característica de un clúster● Servidores, workstations, mainframes o

supercompudoresImagen: https://goo.gl/kZmFOP

Page 6: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 6/24

Qué es un clúster

Necesidad● Modelización

● Dos o muchas máquinas pequeñas para que, interconectados mediante una red, puedan servir como un solo sistema que sea capaz de manejar gran cantidad de operaciones con un bajo costo

● Se utiliza un orquestador, Cluster Middleware

Page 7: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 7/24

Qué es un clúster

Clasificación● HPC: High Performance Clusters (rendimiento)

– Ejecuta programas con algoritmos paralelos

● HAC: High Availability Clusters (disponibilidad)– Redundancia conmutación por error (fail-over)

– Fiabilidad con mínimo tiempo de inactividad

● HTC: High Throughput Clusters (eficiencia)– Usado en estudios paramétricos (mismo programa

ejecutado muchas veces con diferentes parámetros)

Page 8: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 8/24

Qué es un clúster

High Performance Clusters● Tareas que requieren de gran capacidad

computacional, grandes cantidades de memoria, o ambos a la vez

● El llevar a cabo estas tareas puede comprometer los recursos del clúster por largos periodos de tiempo

Page 9: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 9/24

Clúster Beowulf

Popular● Relación precio-desempeño● Flexibilidad de configuración y actualización● Escalabilidad para proveer un sistema muy robusto

Arquitectura● Computadores comúnmente personales● No diseñados con el fin de utilizarlos para nodos● Conectado a red estándar● Software libre u open source

Page 10: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 10/24

Clúster Beowulf

Beneficios● Rentable

– Componentes baratos

– Amplia disponibilidad

● Al día con las tecnologías– Componentes del mercado de masas, es fácil emplear las

últimas tecnologías de SW y HW

● Escalabilidad– Cuando aumenta el requerimiento de potencia de

procesamiento, el rendimiento y el tamaño puede ser fácilmente ampliado añadiendo más nodos de computación

Page 11: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 11/24

Clúster Beowulf

Beneficios● Alta disponibilidad

– Cada nodo de cálculo es una máquina individual

– La falla de uno no afecta a otros o la disponibilidad de todo el clúster

● Compatibilidad y portabilidad– Gracias a la estandarización y a la amplia disponibilidad

de la interfaces de paso de mensajes (MPI y PVM), la mayoría de las aplicaciones paralelas utilizan estos middlewares estándar

– Aplicación MPI puede ser portada de IBM RS/6000 SP2 o Cray T3E a un clúster Beowulf

Page 12: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 12/24

Clúster Beowulf

Pila de SW para HPC● Tres principales para eliminar la complejidad

de administración, mientras se provee el SW necesario para la ejecución de las aplicaciones (complejas)

1)Herramientas de programación

2)Sistema de administración del clúster

3)Base, SO

Page 13: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 13/24

Clúster BeowulfCapa de aplicación

Aplicacionessecuenciales

Aplicacionesparalelas

Entorno de programación paralela

Cluster middlewareLibrerías GNU

Librerías MPI, PVMHerramientas del clúster, Software de administración

Provisionamiento, Sistema de archivos

Imagen del sistema

PCWorkstation

Software decomunicaciónInterfaz de red

(Hardware)

Bus de datosRed de alta velocidad, switch

Gigaethernet

PCWorkstation

Software decomunicaciónInterfaz de red

(Hardware)

PCWorkstation

Software decomunicaciónInterfaz de red

(Hardware)

Depende de laaplicaciónGNU/Linux

Interacción conusuarioManejo decomputadoresfísicosindependientesConexiones de redde alta velocidad

Desarrollo

Page 14: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 14/24

Clúster Beowulf

Administración● Calendarización (scheduling) de trabajos (jobs)

– MPI, procesos en varios nodos pero un solo programa

– OpenPBS, Condor, Lava y Torque

● Monitoreo– Información de disponibilidad y operación de los

componentes HW y SW

– Cluemon, Nagios, PARMON, Supermon y Ganglia

Page 15: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 15/24

Clúster Beowulf

Desarrollo de software● Cómo escribir y qué librerías se necesitan

Estándares● PVM (Máquina Virtual Paralela)

– Interfaz de paso de mensajes: C, C++ o Fortran

– Máquinas heterogéneas como un sólo clúster

● MPI– OpenMPI, MPICH y LAM/MPI: C, C++ o Fortran

Page 16: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 16/24

Clúster Beowulf

Implementación● Suit que integra todo

– Warewulf: escalabilidad, configuración, administración, provisión, instalación y monitoreo

Red● Un nodo maestro como front-end del sistema

– La mayoría de configuración se hace aquí

● Nodos de cómputo como fuerza computacional● Red local (alta velocidad) para la interconexión

Page 17: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 17/24

Clúster Beowulf

Pruebas● Herramientas de benchmarking

Topología● Nodo maestro con dos tarjetas de red

Page 18: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 18/24

Clúster Beowulf

Page 19: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 19/24

Clúster BeowulfCapa de aplicación

Aplicacionessecuenciales

Aplicacionesparalelas

Entorno de programación paralela

Cluster middlewareLibrerías GNU

Librerías MPI, PVMHerramientas del clúster, Software de administración

Provisionamiento, Sistema de archivos

Imagen del sistema

PCWorkstation

Software decomunicaciónInterfaz de red

(Hardware)

Bus de datosRed de alta velocidad, switch

Gigaethernet

PCWorkstation

Software decomunicaciónInterfaz de red

(Hardware)

PCWorkstation

Software decomunicaciónInterfaz de red

(Hardware)

Page 20: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 20/24

Tarea● Averiguar

herramientas a utilizar en la implementación de un clúster Beowulf

● Desarrollar una aplicación con MPI

● Implementar una herramienta para paralelizar y utilizar en el clúster

Imagen: https://goo.gl/omvXQS

Page 21: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 21/24

Conceptos y términos importantes

Page 22: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 22/24

Conceptos y términos importantes● Clúster● Beowulf● Sistemas de administración● Lenguajes de programación● Topología● Velocidad de red● Nodos heterogéneos● Nodo master y nodos de cómputo● Traslado del SO a los nodos de cómputo

Page 23: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 23/24

Referencia● Gualán, R., Vázquez-Patiño, A., Vega, F., 2013. Una primera

aproximación a la implementación de un clúster para la ejecución de un modelo de predicción climática. Galileo 42-48, https://goo.gl/Pvepha

Artículos relacionados● Análisis de rendimiento y profiling del modelo WRF en un clúster

HPC, https://goo.gl/RZWmni● Multi-GPU implementation of the Horizontal Diffusion method of the

Weather Research and Forecast Model, https://goo.gl/qMyXIh● Grid Platform for Medical Federated Queries Supporting Semantic

and Visual Annotations, https://goo.gl/g2RaFz● GPU Acceleration of the Horizontal Diffusion Method in the Weather

Research and Forecasting (WRF) Model, https://goo.gl/vxN3Ym

Page 24: Redes: clúster Beowulf

30/11/16 Angel Vázquez-Patiño 24/24

Preguntas