Optimització d’E/S per aplicacions paral·leles
description
Transcript of Optimització d’E/S per aplicacions paral·leles
![Page 1: Optimització d’E/S per aplicacions paral·leles](https://reader036.fdocuments.ec/reader036/viewer/2022082506/56814ccf550346895db9d748/html5/thumbnails/1.jpg)
CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament d’Arquitectura de Computadors
(Seminaris de CASO)
Autors
Optimització d’E/S per aplicacions paral·leles
Iván Corvillo
Jordi Rovira i Boent
![Page 2: Optimització d’E/S per aplicacions paral·leles](https://reader036.fdocuments.ec/reader036/viewer/2022082506/56814ccf550346895db9d748/html5/thumbnails/2.jpg)
Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS
Departament. d’Arquitectura de Computadors - UPC
2
Context Gràcies als sistemes paral·lels, el que limita moltes
aplicacions ja no és el temps de CPU: tenim tants CPUs com volem.
El que limita moltes aplicacions paral·lelitzades és ara les operacions d’entrada i sortida.
![Page 3: Optimització d’E/S per aplicacions paral·leles](https://reader036.fdocuments.ec/reader036/viewer/2022082506/56814ccf550346895db9d748/html5/thumbnails/3.jpg)
Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS
Departament. d’Arquitectura de Computadors - UPC
3
Solucions existents Optimització del codi en temps de compilació, reordenant
les operacions d’E/S, i fer servir llibreries especialitzades. (PASSION)
Sistemes de fitxers paral·lels, que fragmenten i distribueixen les dades per poder fer accés paral·lel, reduint la necessitat de sincronitzar un fitxer. (VESTA)
![Page 4: Optimització d’E/S per aplicacions paral·leles](https://reader036.fdocuments.ec/reader036/viewer/2022082506/56814ccf550346895db9d748/html5/thumbnails/4.jpg)
Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS
Departament. d’Arquitectura de Computadors - UPC
4
Què és? ViPIOS (Vienna Parallel Input/Output System) (1998)
intenta aprofitar les ventatges d’aquests dos camins. Optimitza l’entrada i sortida aprofitant la informació tant de
temps de compilació com de temps d’execució, reaccionant dinàmicament.
![Page 5: Optimització d’E/S per aplicacions paral·leles](https://reader036.fdocuments.ec/reader036/viewer/2022082506/56814ccf550346895db9d748/html5/thumbnails/5.jpg)
Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS
Departament. d’Arquitectura de Computadors - UPC
5
Arquitectura Separar el mòdul
d’entrada/sortida de l’aplicació
Llibreria per les aplicacions (interfície d’E/S).
Servidors cooperant (amb MPI) per fer les operacions d’E/S.
![Page 6: Optimització d’E/S per aplicacions paral·leles](https://reader036.fdocuments.ec/reader036/viewer/2022082506/56814ccf550346895db9d748/html5/thumbnails/6.jpg)
Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS
Departament. d’Arquitectura de Computadors - UPC
6
Com funciona? Les operacions arriben al
servidor El fragmentador les divideix i les
envia als altres servidors si fa falta. També pren decisions sobre la distribució de les dades sobre els discs.
El gestor de memòria fa de cache de fragments recents i també pot fer pre-fetching.
![Page 7: Optimització d’E/S per aplicacions paral·leles](https://reader036.fdocuments.ec/reader036/viewer/2022082506/56814ccf550346895db9d748/html5/thumbnails/7.jpg)
Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS
Departament. d’Arquitectura de Computadors - UPC
7
Com funciona?
Les dades es distribueixen dinàmicament per tots els dics, per adaptar-se a l’execució.
Tot això ha de ser transparent a l’aplicació.
![Page 8: Optimització d’E/S per aplicacions paral·leles](https://reader036.fdocuments.ec/reader036/viewer/2022082506/56814ccf550346895db9d748/html5/thumbnails/8.jpg)
Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS
Departament. d’Arquitectura de Computadors - UPC
8
Bibliografia
Bibliografia– “ViPIOS: The Vienna Parallel Input/Ouput System”, Erich
Schikuta, Thomas Fuerle, Helmut Wanek– “PASSION: Parallel and ScalableSoftware for Input Output”, Alod
Choudhary, et al.– “The Vesta Parallel File System” Peter F Corbett Drod, et al.