INTRODUCCIÓN AL CURSO · 2009-10-22 · ific –valencia 22–23 oct. 2009 computaciÓn y...
Transcript of INTRODUCCIÓN AL CURSO · 2009-10-22 · ific –valencia 22–23 oct. 2009 computaciÓn y...
IFIC – Valencia22–23 Oct. 2009
COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS
TIER2 USER SUPPORT
M. KACIIFIC - VALENCIA
IFIC-VALENCIA, 22 Y 23 DE OCTUBRE DE 2009
INTRODUCCIÓN AL CURSO
IFIC – Valencia22–23 Oct. 2009
COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS
TIER2 USER SUPPORT OVERVIEW
EXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE
COLISIÓN pp ( 14 TeV ) SUCESO
TIPO DE DATOS, FLUJOALMACENAMIENTO, ACCESO …
ATLAS
ATHENA…
C++,PYTHON…
LAPTOP,PC, GRANGA…
RED, RECURSOS,MIDDLEWARE…
ROOT,PROOF
NTUPLES, DPD,AOD, OUTPUTS…
GANGA, PATHENA…
EXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE
IFIC – Valencia22–23 Oct. 2009
COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS
TIER2 USER SUPPORT EL EXPERIMENTO ATLAS (I) : DESCRIPCIÓN
40 MHz
200 Hz320 MB/s( 1.6 PB/año )
TDAQ Control
CERN – Tier0
EXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE
TIER-1 TIER-1TIER-1
TIER-2 TIER-2 TIER-2 TIER-2
TIER-3 TIER-3 TIER-3
P: 7 TeV
P: 7 TeV
LHC 27 km circ. -270° C
ATLAS
CMS
ALICE
LHCb
RE
CU
RS
OS
DE
C
OM
PU
TA
CIÓ
ND
IST
RIB
UID
OS
,C
AN
ALE
S D
E R
ED
IFIC – Valencia22–23 Oct. 2009
COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS
TIER2 USER SUPPORT EL EXPERIMENTO ATLAS (II) : RECURSOS
16232 HEP-SPEC06265 TB disco5562 TB cinta 10 Centros
120904 HEP-SPEC0619864 TB disco14723 TB cinta
39 Centros, federaciones…114160 HEP-SPEC0611241 TB disco
TIER-0 (CERN) TIER-1 TIER-2 TIER-3
Depende de cadainstitución
AMD Opteron2356, 2.3 GHz, 8 cores,
16 (2x8) GB, 4096 kB cache,
SL4 x86_64---------------------------
60 HEP-SEC06
EXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE
CAF
10 Gbps
10 Gbps
~ 270 PCs
1107656387DISCO (TB)
10308( ~ 172 PCs )
5396( ~ 90 PCs )
3500( ~ 58 PCs )
CPU (HEP-SPEC06)
201020092008AÑO
TIE
R-2
ES
10 Gbps 1 Gbps
IFIC – Valencia22–23 Oct. 2009
COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS
TIER2 USER SUPPORT MODELO DE COMPUTACIÓN : DATOS
EXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE
RDO( Raw Data Objects )
1.6 MB/suceso
ESD( Event Summary Data )
1 MB/suceso
reconstrucción resumida con Objetos. Electrones, muones, jets, etc… para análisis
contiene información reducida para análisis específico con ROOT
Base de datos o ficheros ROOT Utilizados para selección rápida de sucesos en AOD/ESD
salida de la granja de adquisición (Event Filter), en formato “byte-stream”
salida de la reconstrucción en formato de objetos (POOL/ROOT)Tracks (y sus hits), Calo Cluster, Calo Cells, etc…
AOD( Analysis Object Data )
150 kB/suceso
DPD( Derived Physics Data )
20 kB/suceso
TAG1 Kb/suceso
El Modelo de Datos de ATLAS define varios formatos :
IFIC – Valencia22–23 Oct. 2009
COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS
TIER2 USER SUPPORT MODELO DE COMPUTACIÓN : FLUJO DE DATOS
TIER-0 (CERN) TIER-1 TIER-2 TIER-3
CAF
- Adquisición yalmacenamiento, - 1ª Calib./alinea., - Reconstrucción - Reprocesado de datos,
- Calib./alinea. mejorada.- Re-reconstrucción,- Guardar ESDs y AOD
para análisis- Correr análisis para
grupos de física y detectores
RDO
RDO, ESD, AOD, TAG
EXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE MC
Modelo Operacional en ATLAS
Distribuir la salida dela reconstrucción ( ESDs, AODs, DPDsy TAGs ) a los Tier-1s
Distribuir la salida de la reconstrucción a los Tie r-2s
-Correr trabajos de análisis ( AOD/DPD )
-Almacenar AODs y muestras de otros tipos de datos en disco para análisis
- Correr simulación de sucesos ( y calib./alinea. cuando proceda )
- Copiar la salida al Tier-1 asociado
- Proporcionar accesoa los recursos Grid,almacenamiento dedatos de usuarios
- Análisis interactivo- Contribuir en CPU
para simulación y análisis cuando es posible
MC
AOD, TAG DPD, TAG
IFIC – Valencia22–23 Oct. 2009
COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS
TIER2 USER SUPPORT
EXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE
MODELO DE COMPUTACIÓN : ALMACENAMIENTO
1RestringidoRestringidoFicheros PopularesHOTDISK
xUsuariosUsuariosDatos de Usuarios en Tier-3
LOCALGROUPDISK
20UsuariosUsuariosDatos de UsuariosSCRATCHDISK
20GroupsRestringidoDPD, etc…GROUPDISK
5RestringidoRestringidoBuffer MCPRODDISK
25RestringidoRestringidoAOD (MC)MCDISK
30RestringidoRestringidoAOD (data)DATADISK
TBSubscrip.Write perm.UtilizaciónSpace Token
TIER-1 TIER-2 TIER-3
MC
MC
CINTA
DISCOES
UNA COPIADE AODs
DISCOPT
UNA COPIADE AODs
UNA COPIA DE AODs
IFAE
UAM
IFIC
LIP-Coimbra
LIP-Lisbon
DISCO
CLOUD España-Portugal
Espacios gestionados con política de ATLAS ( DDM ) :
Sólo se utilizan herramientaslcg-xx y/o lfc-xxx y se registranlos ficheros en el Catalogo
Se utiliza DQ2 ( dq2-xx )
Suscripción de datos
IFIC – Valencia22–23 Oct. 2009
COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS
TIER2 USER SUPPORT SOFTWARE DE ATLAS : ATHENA FRAMEWORK
Tiene estructura en módulos, basada en el modelo de datos de ATLAS
EXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE
AtlasOffline
AtlasAnalysis
AtlasTrigger
AtlasReconstruction AtlasSimulation
AtlasEvent
AtlasConditions
AtlasCore
Gaudi
LCGCMT
AtlasProduction
ATLAS
ATHENA = Gaudi + ATLAS-specific
Es una aplicación software de control en la cualse puede “enchufar” código externo
Proporciona la mayoría de las funcionalidades comunes y comunicaciones entre componentes
Incluye software para
- Simulación de sucesos- Trigger de sucesos- Reconstrucción de sucesos- Herramientas para análisis de física
Desarrollo de software para análisis de datos de ATLAS
IFIC – Valencia22–23 Oct. 2009
COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS
TIER2 USER SUPPORT SOFTWARE DE ATLAS : COMPUTACIÓN GRID
GRID MIDDLEWARE
Sistema Distribuido deGestión de Datos (DDM)
Sistema de ProducciónDistribuido de sucesos
(simulación)
Ganga/pAthena:Herramientas para
Análisis Distribuido
Desarrollo de herramientas de computación distribui da basadas en middleware GRIDEXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE
MonitoringAccounting
Event SimulationEvent Trigger
Event Reconstruction
Physics Analysis Tools
Athena FrameworkCódigo de
UsuarioPython, C++
Ejecución deAthena en
PC, UI,Localmente
OUTPUT
EXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE
EXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE
IFIC – Valencia22–23 Oct. 2009
COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS
TIER2 USER SUPPORT
EXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE
LA TECNOLOGÍA GRID APLICADA A ATLAS
UI
Autenticación: quién eres ? (pasaporte)Autorización: que puedes hacer ? (visado)
CE
SE
RED
RED
SE
CE
Las tecnologías Grid pemiten que los ordenadores compartan a través de In ternet u otras redes de telecomunicacionesno sólo información, sino también poder de cálculo ( Grid Computing ) y capacida de almacenamiento ( Grid Data ).
Red de conexión
Hardware
Sistema operativo
Middleware
Lenguaje de programación
Aplicaciones
Hardware
Sistema operativo
- Recursos remotos- Conexiones de red
rápidas y fiables
CERTIFICADO : Acceso a GridVO ATLAS : Miembro de Atlas
Análisis de datos de Atlas :- utilizar DQ2 para gestión de datos- enviar trabajos a Grid ( Ganga ) ¡ JOBS GO TO DATA !
EN ATLAS
¡ RENOVABLES !
IFIC – Valencia22–23 Oct. 2009
COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS
TIER2 USER SUPPORT
CE
JDL,INPUT-SANDBOX(SUBMITTED)
(WAITING)
GRID CERTIFICATE
STATUS
JDL,BROKERINFO(READY)
(DDM)
OUPUT-SANDBOX(DONE)
OUTPUT-SANDBOX(CLEARED)
QUERIES JOB STATUS : LBQUERIES RESOURCE STATUS : BDII
DATA LOCATION
DATAFILES
DATAREPLICATION
PROXY
EXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE
COMPUTACIÓN GRID : TRABAJOS EN GRID
VOMS
SE
WNs (RUNNING)
IS (BDII)
UI
WMS LB
RB
SE
LFC
STATUS
??
??
LRMS (SCHEDULED)
IFIC – Valencia22–23 Oct. 2009
COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS
TIER2 USER SUPPORT
EXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE
COMPUTACIÓN GRID : INTERFACE GANGA
ATHENASOFTWARE
+PATH TO DATA
( DQ2 )
U I GRID
USUARIO
SUBMIT
STATUS
GET-OUTPUTOUTPUT
PROXY
GANGA
RB
WMS
CE
SE
DQ2 (DDM)
LCG-CR (DDM) SE
CE
JDLSH
IFIC – Valencia22–23 Oct. 2009
COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS
TIER2 USER SUPPORT
Y OTROS, TAL COMO NTUPLEs, DPDsHAY QUE PASAR POR ROOT Y/O PROOF
PARA SU ANALISIS
EXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE
OUTPUTS
SALIDA DE GANGA :
RESULTADOS DIRECTAMENTE UTILIZABLES(HISTOGRAMAS)
IFIC – Valencia22–23 Oct. 2009
COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS
TIER2 USER SUPPORT
PROOF
EXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE
HISTOGRAMASAJUSTES
GRÁFICOS
NTUPLEsDPDs
ANÁLISIS CON ROOT Y/O PROOF
ROOT
IFIC – Valencia22–23 Oct. 2009
COMPUTACIÓN Y ANÁLISIS DE DATOS DE ATLAS :CURSO PARA USUARIOS
TIER2 USER SUPPORT
EXP.
DATA
SOFTWARE
GRID
LOCAL
RESULTS
ANALYSIS
PUB.
USER’sCODE
PAPERS
SOME WRITTEN
AND
MOST TO BE WRITE