Post on 19-Sep-2018
El Supercómputo en la Explotación del PetróleoEscuela de Modelación y Métodos Numéricos
CIMAT, Guanajuato, Junio 2009
Luis M. de la Cruz
Unidad de Investigación en Cómputo Aplicado–DGSCAUniversidad Nacional Autónoma de México
k: luiggi@unam.mx | web : www.dci.dgsca.unam.mx/lmcs
19 Junio 2009
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Colaboradores
Dr. Ismael Herrera, Instituto de Geofísica – UNAM
Dr. Martín Díaz Viera, Instituto Mexicano del Petróleo
Dr. Dennys López Falcón, Instituto Mexicano del Petróleo
LMCS Escuela de Modelación y Métodos Numéricos 2 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Contenido
1 MMCProblemas de gran retoProceso general de la MMCModelos físicosModelos matemáticosModelos discretosSolución de las ecuaciones
2 Cómputo de Alto Desempeño (HPC)HPCVisualización y análisis de los resultados
3 Integración
4 Conclusiones
LMCS Escuela de Modelación y Métodos Numéricos 3 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Modelación Matemática y Computacional
La MMC (cómputo científico) ha tenido un desarrollo muy significanteen los últimos años.
Desarrollo de nuevas arquitecturas.Desarrollo de nuevos métodos.Desarrollo de algoritmos eficientes.
Se ha convertido en una herramienta indispensable en casi todas lasdisciplinas científicas.Es particularmente útil en la solución de problemas que son “insolubles”analíticamente o cuyo experimento es “imposible”
difíciles, lentos, caros y peligrosos.
LMCS Escuela de Modelación y Métodos Numéricos 4 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Problemas de gran reto
El Federal High Performance Computing and Communications Program(HPCC) establecido en 1991, en EE.UU, definió una clase de problemasconocidos como Grand Challenge Problems(GCP).
Un GCP es un problema fundamental de ciencia y/o ingeniería, NOresuelto en la actualidad, con muchas aplicaciones y cuya soluciónrequiere del uso de grandes recursos de cómputo, los cuales estarándisponibles en un futuro cercano.
La solución de un GCP tendría un gran impacto económico y socialsignificante.
Uno de esos problemas es la recuperación eficiente de hidrocarburos.
LMCS Escuela de Modelación y Métodos Numéricos 6 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Proceso general de la MMC
La modelación matemática y computacional (MMC) consiste de la construcción demodelos matemáticos de fenómenos que ocurren en la naturaleza y en procesosindustriales, y de la solución de éstos mediante el uso de técnicas numéricas ycomputacionales
LMCS Escuela de Modelación y Métodos Numéricos 8 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Modelo Físico
Un yacimiento petrolero está constituido de un material sólido y poroso(la matriz), cuyos huecos están llenos de fluidos que se separan en tresfases: agua, aceite y gas. En la fase agua sólo hay H2O, pero tanto en lafase de aceite como en la fase de gas hay muchos hidrocarburos dedistinta composición
LMCS Escuela de Modelación y Métodos Numéricos 10 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Modelo Físico
En la simulación de yacimientos petroleros (SYP)Rasgos geológicos y estructurales del yacimiento.
Fallas, delimitación de unidades geológicas, tipos de rocas y su distribución,etc.
Distribución de las propiedades petrofísicas de roca y fluidos.Porosidad, permeabilidad, saturación, etc.
Tipo de modeloUna, dos o tres fases (petróleo, agua, aceite).ComposicionalModelos térmicos.Reacciones químicas
LMCS Escuela de Modelación y Métodos Numéricos 11 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Modelo Matemático: petróleo negro
Ecuaciones de balance global
dMw(t)dt
=
ZB(t)
gwdx
dMo(t)dt
=
ZB(t)
godx
dMdg(t)dt
=
ZB(t)
“gdg + go
g
”dx
dMg(t)dt
=
ZB(t)
“gdg + gg
o
”dx
Ecuaciones diferenciales de balance
∂(φSwρw)
∂t+∇ · (φSwρwvw) = gw
∂(φSoρo)
∂t+∇ · (φSoρovo) = go
∂(φSoRSρo)
∂t+∇ · (φSoρdgvo) = gdg + go
g
∂(φSgρg)
∂t+∇ · (φSgρgvg) = gg + gg
o
Sw + So + Sg = 1 y gog + gg
o = 0
Las gα corresponden a la extracción de cada fase; gog es la masa de gas que se
disuelve en la fase aceite; ggo es la masa de gas disuelto que se volatiliza
pasando a la fase gas.LMCS Escuela de Modelación y Métodos Numéricos 13 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Modelo Matemático: petróleo negro
Usando la velocidad de Darcy (uα = φSαvα, α = w, o, g ):
∂(φSwρw)
∂t+∇ · (ρwuw) = gw
∂(φSoρo)
∂t+∇ · (ρouo) = go
∂φ(Sgρg + SoRSρo)
∂t+∇ · (ρgug + ρoRSuo) = gg + RSgo
uα = −kkrα
µα
`∇pα + ραγ
´
ρdg = RSρo; Sw + So + Sg = 1; pcgo(Sg) = pg − po; pcow(Sw) = po − pw
9 ecs. por nodo de la malla y el mismo número de incógnitas,(ρw, ρo, ρg, Sw, So, Sg, uw, uo, ug).
LMCS Escuela de Modelación y Métodos Numéricos 14 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Modelos discretos
Dado que en general no existe solución analítica de los modelomatemáticos, se recurre a métodos numéricos simular los fenómenos queocurren en la extracción de petróleo.El problema se transforma en un modelo discreto:
1 Discretización del espacio
2 Discretización de las ecuaciones matemáticas continuas.
LMCS Escuela de Modelación y Métodos Numéricos 16 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Modelos discretos: espacio
En los métodos numéricos tradicionales se requiere de la construcción deuna malla sobre el dominio físico de estudio.En SYP la generación de la malla es un proceso muy complejo, pues lasmallas son irregulares y con fallas.
LMCS Escuela de Modelación y Métodos Numéricos 17 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Modelos discretos: ecuaciones
Métodos numéricos más usados:Diferencias finitas (MDF)Volumen finito (MVF)Elemento finito (MEF),
En años recientes el método de MVF, originalmente desarrollado paramallas estructuradas, ha sido adaptado a mallas no estructuradas parageometrías complejas.Debido a esto el MVF ha sido utilizado en SNY, y de acuerdo con variosautores, es actualmente una buena opción a MDF y MEF.
Menos grados de libertadConservativoMás fácil de implementar que MEF.Menos esfuerzo computacional que MEF.Más preciso que MDF.
LMCS Escuela de Modelación y Métodos Numéricos 18 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Solución de las ecuaciones
Modelo composicional: 2× Nc + 9 ecuaciones en cada nodo, con elmismo número de incógnitas. Nc es el número de componentes.Para 80,000 nodos:
Composicional: Nc = 5;≈ 1,5× 106.
Los sistemas son dispersos y es en este paso donde se consume el mayortiempo de cómputo.Algoritmos de solución:
Directos (Gauss, LU)Iterativos (Jacobi, Gauss-Seidel, PCGM, GMRES, ORTHOMIN)
LMCS Escuela de Modelación y Métodos Numéricos 20 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Ley de Moore
En 1965 Gordon Moore se dió cuenta que el número de transistores enun circuito integrado se podía duplicar cada 18 meses.
LMCS Escuela de Modelación y Métodos Numéricos 22 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Ley de Moore en la práctica
LMCS Escuela de Modelación y Métodos Numéricos 23 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Velocidad de una computadora
Proporcional al número de transistores por unidad de área.
FLOPS : FLoating point Operations Per Second.
Nombre Símbolo FLOPS
Mega FLOPS MFLOPS 106
Giga FLOPS GFLOPS 109
Tera FLOPS TFLOPS 1012
Peta FLOPS PFLOPS 1015
Exa FLOPS EFLOPS 1018
Zetta FLOPS ZFLOPS 1021
Yotta FLOPS YFLOPS 1024
Xera FLOPS XFLOPS 1027
LMCS Escuela de Modelación y Métodos Numéricos 24 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Requerimientos en un GCP
SYN: Modelo composicionalSe consideran Nc componentes de hidrocarburos.
Fases: agua, aceite y gas.
2× Nc + 9 ecuaciones e incógnitas por nodo.
En una simulación típica se requieren ≈ 106 nodos.
Total de incógnitas para Nc = 5 es ≈ 2× 107.
Simulación de 5 años, resultados cada día. : ≈ 3,6× 1010
Double ≈ 4 Bytes.
Total requerido : ≈ O(1011).Este tipo de simulaciones se repiten muchas veces.
Escalamiento (Upscaling) : reducción del número de nodos.
LMCS Escuela de Modelación y Métodos Numéricos 25 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Cómputo de Alto desempeño (HPC)
High-performance computing (HPC) Provee de recursoscomputacionales con más de un orden de mágnitud de podercomputacional que una PC de escritorio. Estos recursos agrupados en unmainframe se suele llamar supercomputadora, aunque también es posibletener el mismo poder mediante el arreglo de computadoras o clusters.Las supercomputadoras y/o clusters son usados para resolver problemascomplejos de gran escala (GCP).
El uso efectivo de HPC requiere de aprender a desarrollar estas técnicasdentro de un código.
LMCS Escuela de Modelación y Métodos Numéricos 26 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Top 500
Lista de supercomputadoras más poderosas en el mundo.
1.- Roadrunner, LANL, USA, 122,440 cores, 1026.00 TFLOPS (1PFLOP).1261.- Kanbalam, UNAM, MX, 1,368 cores, 7.1 TFLOPS.
1Noviembre, 2006LMCS Escuela de Modelación y Métodos Numéricos 27 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Ley de Moore vs HPC
LMCS Escuela de Modelación y Métodos Numéricos 28 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Top 10
LMCS Escuela de Modelación y Métodos Numéricos 29 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Desempeño hasta 2009
LMCS Escuela de Modelación y Métodos Numéricos 30 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Desempeño proyectado hast 2019
LMCS Escuela de Modelación y Métodos Numéricos 31 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Desarrollo de Software
I. Jacobson, G. Booch, and J. Rumbaugh.
LMCS Escuela de Modelación y Métodos Numéricos 32 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Desarrollo de software en MMC
LMCS Escuela de Modelación y Métodos Numéricos 33 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
TUNA::FVM – Arquitectura
LMCS Escuela de Modelación y Métodos Numéricos 34 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
TUNA::FVM – Paquetes
Ecuación general de transporte:∂ψ
∂t+∇ · (vψ) = ∇ · τ + g
Versión discreta usando FVM:
aPψP = aWψW + aEψE + aSψS + aNψN + aBψF + aBψB + Su.
LMCS Escuela de Modelación y Métodos Numéricos 35 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Desarrollo de software en MMC
Bibliotecas de código abierto, paralelos y escalables:TOPS : Toward Optimal Petascale Simulation[http://www.scalablesolvers.org/]
HYPRE [ http://acts.nersc.gov/hypre/ ]PETSc : Portable, Extensible Toolkit for Scientific Computation[http://www.mcs.anl.gov/petsc/]SUNDIALS [ http://acts.nersc.gov/sundials/index.html ]SuperLU [ http://crd.lbl.gov/ xiaoye/SuperLU/ ]Toolkit for Advanced Optimization [ http://www-unix.mcs.anl.gov/tao/ ]The Trilinos Project [ http://trilinos.sandia.gov/ ]
Métodos de Descomposición de Dominio.Herrera, I and Yates, R., “Unified Multipliers-Free Theory of Dual-PrimalDomain Descomposition Methods”, Numerical Methods For PartialDifferenctial Equations, Wiley InterScience, 2008.
LMCS Escuela de Modelación y Métodos Numéricos 36 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
HPC
Aprender HPC requiere de mucho esfuerzo.
Con HPC se puede mejorar un código para que en vez de 1 día se ejecuteen 1 hr.
¿Por qué no esperar 1 día?Respuestas:
HPC nos da lo que no se obtiene en ningún otro lugar: hacer ciencia másgrande, más rápido y más emocionante.Si un código corre más rápido significa que puede resolver problemas másgrandes que los comunes en la misma cantidad de tiempo.Lo que pasa hoy en HPC será lo que se tenga en una PC de escritorio en 5o 10 años.Cualquier experiencia en HPC nos da una visión del futuro.
LMCS Escuela de Modelación y Métodos Numéricos 37 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Visualización y análisis
¿Que hacer con miles y miles de números ?
Visualización científica: mapear números en dimensiones perceptuales parahacer la información entendible.
Visual, auditiva y táctil.
Nuevas tecnologías
estereoscopíadespliegues amplios e interfaces.cluster’s gráficos con GPUs de última generación (ATI, nVidia, etc.)programación de la GPU.
Visualización en paralelo [http://www.scidac.gov/viz/viz.html]
The Institute for Ultrascale VisualizationThe Visualization and Analytics Center for Enabling Technologies(VACET)The Scientific Data Management Center for Enabling Technologies
LMCS Escuela de Modelación y Métodos Numéricos 39 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Integración
¿Como integrar todas las técnologías para modelar la recuperaciónmejorada de hidrocarburos?Telecomunicaciones.
GRID e Internet 2.Ejemplo: ResGRID
Center for Computation and Technology, Louisiana State University(LSU).Craft & Hawkins Departament of Petroleum Engineering, LSU.Dept. of Computer Science, LSU.
Objetivos:1 Manejo de datos de gran escala2 Realización de cientos o miles de simulaciones.3 Herramientas fácil de usar integradas (a través de web).
LMCS Escuela de Modelación y Métodos Numéricos 40 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
ResGrid : escenario de uso
LMCS Escuela de Modelación y Métodos Numéricos 41 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
ResGrid : manejo de datos
LMCS Escuela de Modelación y Métodos Numéricos 42 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
ResGrid : manejo de las simulaciones
LMCS Escuela de Modelación y Métodos Numéricos 43 / 44
MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones
Conclusiones
La modelación matemática y computacional de la recuperación eficientede hidrocuarburos es un problema de gran reto.
Los modelos físicos y matemáticos son complejos.La generación de las mallas no es trivialLos métodos numéricos generan sistemas de ecuaciones muy grandes.Requiere de grandes recursos de cómputo (HPC).
CPUMemoriaAlmacenamientoAnálisis
El uso de HPC es de vital importancia.El uso de la Ingeniería de software en combinación con POO y PPayudan a ordenar los desarrollos.Una manera de integrar las nuevas tecnologías es a través del uso deGRID.Se requiere de personal especializado en muchas áreas del conocimiento.
LMCS Escuela de Modelación y Métodos Numéricos 44 / 44