El Supercómputo en la Explotación del Petróleo - Escuela de ...

El Supercómputo en la Explotación del PetróleoEscuela de Modelación y Métodos Numéricos

CIMAT, Guanajuato, Junio 2009

Luis M. de la Cruz

Unidad de Investigación en Cómputo Aplicado–DGSCAUniversidad Nacional Autónoma de México

k: [email protected] | web : www.dci.dgsca.unam.mx/lmcs

19 Junio 2009

MMC Cómputo de Alto Desempeño (HPC) Integración Conclusiones

Colaboradores

Dr. Ismael Herrera, Instituto de Geofísica – UNAM

Dr. Martín Díaz Viera, Instituto Mexicano del Petróleo

Dr. Dennys López Falcón, Instituto Mexicano del Petróleo

LMCS Escuela de Modelación y Métodos Numéricos 2 / 44


Contenido

1 MMCProblemas de gran retoProceso general de la MMCModelos físicosModelos matemáticosModelos discretosSolución de las ecuaciones

2 Cómputo de Alto Desempeño (HPC)HPCVisualización y análisis de los resultados

3 Integración

4 Conclusiones



Modelación Matemática y Computacional

La MMC (cómputo científico) ha tenido un desarrollo muy significanteen los últimos años.

Desarrollo de nuevas arquitecturas.Desarrollo de nuevos métodos.Desarrollo de algoritmos eficientes.

Se ha convertido en una herramienta indispensable en casi todas lasdisciplinas científicas.Es particularmente útil en la solución de problemas que son “insolubles”analíticamente o cuyo experimento es “imposible”

difíciles, lentos, caros y peligrosos.



Problemas de gran reto

El Federal High Performance Computing and Communications Program(HPCC) establecido en 1991, en EE.UU, definió una clase de problemasconocidos como Grand Challenge Problems(GCP).

Un GCP es un problema fundamental de ciencia y/o ingeniería, NOresuelto en la actualidad, con muchas aplicaciones y cuya soluciónrequiere del uso de grandes recursos de cómputo, los cuales estarándisponibles en un futuro cercano.

La solución de un GCP tendría un gran impacto económico y socialsignificante.

Uno de esos problemas es la recuperación eficiente de hidrocarburos.



Proceso general de la MMC

La modelación matemática y computacional (MMC) consiste de la construcción demodelos matemáticos de fenómenos que ocurren en la naturaleza y en procesosindustriales, y de la solución de éstos mediante el uso de técnicas numéricas ycomputacionales



Modelo Físico

Un yacimiento petrolero está constituido de un material sólido y poroso(la matriz), cuyos huecos están llenos de fluidos que se separan en tresfases: agua, aceite y gas. En la fase agua sólo hay H2O, pero tanto en lafase de aceite como en la fase de gas hay muchos hidrocarburos dedistinta composición



Modelo Físico

En la simulación de yacimientos petroleros (SYP)Rasgos geológicos y estructurales del yacimiento.

Fallas, delimitación de unidades geológicas, tipos de rocas y su distribución,etc.

Distribución de las propiedades petrofísicas de roca y fluidos.Porosidad, permeabilidad, saturación, etc.

Tipo de modeloUna, dos o tres fases (petróleo, agua, aceite).ComposicionalModelos térmicos.Reacciones químicas



Modelo Matemático: petróleo negro

Ecuaciones de balance global

dMw(t)dt

=

ZB(t)

gwdx

dMo(t)dt

=

ZB(t)

godx

dMdg(t)dt

=

ZB(t)

“gdg + go

g

”dx

dMg(t)dt

=

ZB(t)

“gdg + gg

o

”dx

Ecuaciones diferenciales de balance

∂(φSwρw)

∂t+∇ · (φSwρwvw) = gw

∂(φSoρo)

∂t+∇ · (φSoρovo) = go

∂(φSoRSρo)

∂t+∇ · (φSoρdgvo) = gdg + go

g

∂(φSgρg)

∂t+∇ · (φSgρgvg) = gg + gg

o

Sw + So + Sg = 1 y gog + gg

o = 0

Las gα corresponden a la extracción de cada fase; gog es la masa de gas que se

disuelve en la fase aceite; ggo es la masa de gas disuelto que se volatiliza

pasando a la fase gas.LMCS Escuela de Modelación y Métodos Numéricos 13 / 44


Modelo Matemático: petróleo negro

Usando la velocidad de Darcy (uα = φSαvα, α = w, o, g ):

∂(φSwρw)

∂t+∇ · (ρwuw) = gw

∂(φSoρo)

∂t+∇ · (ρouo) = go

∂φ(Sgρg + SoRSρo)

∂t+∇ · (ρgug + ρoRSuo) = gg + RSgo

uα = −kkrα

µα

`∇pα + ραγ

´

ρdg = RSρo; Sw + So + Sg = 1; pcgo(Sg) = pg − po; pcow(Sw) = po − pw

9 ecs. por nodo de la malla y el mismo número de incógnitas,(ρw, ρo, ρg, Sw, So, Sg, uw, uo, ug).



Modelos discretos

Dado que en general no existe solución analítica de los modelomatemáticos, se recurre a métodos numéricos simular los fenómenos queocurren en la extracción de petróleo.El problema se transforma en un modelo discreto:

1 Discretización del espacio

2 Discretización de las ecuaciones matemáticas continuas.



Modelos discretos: espacio

En los métodos numéricos tradicionales se requiere de la construcción deuna malla sobre el dominio físico de estudio.En SYP la generación de la malla es un proceso muy complejo, pues lasmallas son irregulares y con fallas.



Modelos discretos: ecuaciones

Métodos numéricos más usados:Diferencias finitas (MDF)Volumen finito (MVF)Elemento finito (MEF),

En años recientes el método de MVF, originalmente desarrollado paramallas estructuradas, ha sido adaptado a mallas no estructuradas parageometrías complejas.Debido a esto el MVF ha sido utilizado en SNY, y de acuerdo con variosautores, es actualmente una buena opción a MDF y MEF.

Menos grados de libertadConservativoMás fácil de implementar que MEF.Menos esfuerzo computacional que MEF.Más preciso que MDF.



Solución de las ecuaciones

Modelo composicional: 2× Nc + 9 ecuaciones en cada nodo, con elmismo número de incógnitas. Nc es el número de componentes.Para 80,000 nodos:

Composicional: Nc = 5;≈ 1,5× 106.

Los sistemas son dispersos y es en este paso donde se consume el mayortiempo de cómputo.Algoritmos de solución:

Directos (Gauss, LU)Iterativos (Jacobi, Gauss-Seidel, PCGM, GMRES, ORTHOMIN)



Ley de Moore

En 1965 Gordon Moore se dió cuenta que el número de transistores enun circuito integrado se podía duplicar cada 18 meses.



Ley de Moore en la práctica



Velocidad de una computadora

Proporcional al número de transistores por unidad de área.

FLOPS : FLoating point Operations Per Second.

Nombre Símbolo FLOPS

Mega FLOPS MFLOPS 106

Giga FLOPS GFLOPS 109

Tera FLOPS TFLOPS 1012

Peta FLOPS PFLOPS 1015

Exa FLOPS EFLOPS 1018

Zetta FLOPS ZFLOPS 1021

Yotta FLOPS YFLOPS 1024

Xera FLOPS XFLOPS 1027



Requerimientos en un GCP

SYN: Modelo composicionalSe consideran Nc componentes de hidrocarburos.

Fases: agua, aceite y gas.

2× Nc + 9 ecuaciones e incógnitas por nodo.

En una simulación típica se requieren ≈ 106 nodos.

Total de incógnitas para Nc = 5 es ≈ 2× 107.

Simulación de 5 años, resultados cada día. : ≈ 3,6× 1010

Double ≈ 4 Bytes.

Total requerido : ≈ O(1011).Este tipo de simulaciones se repiten muchas veces.

Escalamiento (Upscaling) : reducción del número de nodos.



Cómputo de Alto desempeño (HPC)

High-performance computing (HPC) Provee de recursoscomputacionales con más de un orden de mágnitud de podercomputacional que una PC de escritorio. Estos recursos agrupados en unmainframe se suele llamar supercomputadora, aunque también es posibletener el mismo poder mediante el arreglo de computadoras o clusters.Las supercomputadoras y/o clusters son usados para resolver problemascomplejos de gran escala (GCP).

El uso efectivo de HPC requiere de aprender a desarrollar estas técnicasdentro de un código.



Top 500

Lista de supercomputadoras más poderosas en el mundo.

1.- Roadrunner, LANL, USA, 122,440 cores, 1026.00 TFLOPS (1PFLOP).1261.- Kanbalam, UNAM, MX, 1,368 cores, 7.1 TFLOPS.

1Noviembre, 2006LMCS Escuela de Modelación y Métodos Numéricos 27 / 44


Ley de Moore vs HPC



Top 10



Desempeño hasta 2009



Desempeño proyectado hast 2019



Desarrollo de Software

I. Jacobson, G. Booch, and J. Rumbaugh.



Desarrollo de software en MMC



TUNA::FVM – Arquitectura



TUNA::FVM – Paquetes

Ecuación general de transporte:∂ψ

∂t+∇ · (vψ) = ∇ · τ + g

Versión discreta usando FVM:

aPψP = aWψW + aEψE + aSψS + aNψN + aBψF + aBψB + Su.



Desarrollo de software en MMC

Bibliotecas de código abierto, paralelos y escalables:TOPS : Toward Optimal Petascale Simulation[http://www.scalablesolvers.org/]

HYPRE [ http://acts.nersc.gov/hypre/ ]PETSc : Portable, Extensible Toolkit for Scientific Computation[http://www.mcs.anl.gov/petsc/]SUNDIALS [ http://acts.nersc.gov/sundials/index.html ]SuperLU [ http://crd.lbl.gov/ xiaoye/SuperLU/ ]Toolkit for Advanced Optimization [ http://www-unix.mcs.anl.gov/tao/ ]The Trilinos Project [ http://trilinos.sandia.gov/ ]

Métodos de Descomposición de Dominio.Herrera, I and Yates, R., “Unified Multipliers-Free Theory of Dual-PrimalDomain Descomposition Methods”, Numerical Methods For PartialDifferenctial Equations, Wiley InterScience, 2008.



HPC

Aprender HPC requiere de mucho esfuerzo.

Con HPC se puede mejorar un código para que en vez de 1 día se ejecuteen 1 hr.

¿Por qué no esperar 1 día?Respuestas:

HPC nos da lo que no se obtiene en ningún otro lugar: hacer ciencia másgrande, más rápido y más emocionante.Si un código corre más rápido significa que puede resolver problemas másgrandes que los comunes en la misma cantidad de tiempo.Lo que pasa hoy en HPC será lo que se tenga en una PC de escritorio en 5o 10 años.Cualquier experiencia en HPC nos da una visión del futuro.



Visualización y análisis

¿Que hacer con miles y miles de números ?

Visualización científica: mapear números en dimensiones perceptuales parahacer la información entendible.

Visual, auditiva y táctil.

Nuevas tecnologías

estereoscopíadespliegues amplios e interfaces.cluster’s gráficos con GPUs de última generación (ATI, nVidia, etc.)programación de la GPU.

Visualización en paralelo [http://www.scidac.gov/viz/viz.html]

The Institute for Ultrascale VisualizationThe Visualization and Analytics Center for Enabling Technologies(VACET)The Scientific Data Management Center for Enabling Technologies



Integración

¿Como integrar todas las técnologías para modelar la recuperaciónmejorada de hidrocarburos?Telecomunicaciones.

GRID e Internet 2.Ejemplo: ResGRID

Center for Computation and Technology, Louisiana State University(LSU).Craft & Hawkins Departament of Petroleum Engineering, LSU.Dept. of Computer Science, LSU.

Objetivos:1 Manejo de datos de gran escala2 Realización de cientos o miles de simulaciones.3 Herramientas fácil de usar integradas (a través de web).



ResGrid : escenario de uso



ResGrid : manejo de datos



ResGrid : manejo de las simulaciones



Conclusiones

La modelación matemática y computacional de la recuperación eficientede hidrocuarburos es un problema de gran reto.

Los modelos físicos y matemáticos son complejos.La generación de las mallas no es trivialLos métodos numéricos generan sistemas de ecuaciones muy grandes.Requiere de grandes recursos de cómputo (HPC).

CPUMemoriaAlmacenamientoAnálisis

El uso de HPC es de vital importancia.El uso de la Ingeniería de software en combinación con POO y PPayudan a ordenar los desarrollos.Una manera de integrar las nuevas tecnologías es a través del uso deGRID.Se requiere de personal especializado en muchas áreas del conocimiento.


El Supercómputo en la Explotación del Petróleo - Escuela de ...

Documents

Transcript of El Supercómputo en la Explotación del Petróleo - Escuela de ...