NEW HOST GPNRCarga Diaria
Mayo 2012
2
Inicio Presentación
Contexto General
Preparación del ambiente
Estructura
Modelo de Datos
Requerimientos del Sistema
Procesos y Etapas del Sistema
Debug del Sistema
Check List de Diagnostico
3
Descripción del ProcesoBajo el contexto del Proyecto Host, GPNR debe adaptarse a diferencias derivadas de la transición por lo que se decide desarrollar GPNR V2. El nuevo sistema ya no dependerá de BPNR sino de los archivos CDD enviados por Sabre. Se generarán nuevos procesos extracción, transformación y carga en la aplicación, así como también cambios menores en el modelo de datos.
Contexto General
Nombre del Proyecto New Host Gestión PNR V2
Patrocinador Daniela Baytelman
Líder de Frente Sergio Soza
Usuario Líder Jorge Mendoza
Jefe del Proyecto LAN Cristián Abaroa
Jefe de Proyecto Focus
Gastón Navea
4
Preparación de Ambiente
Nro Tareas a realizar
1Validar tabla de Procesos en el modelo de Control (Teradata), el último proceso no debe estar incompleto o erróneo (estado diferente de EX), si esto fuera así, será gatillada automáticamente una recuperación y no se podrá correr un proceso limpio.
2 Deben estar en la carpeta /dsdata/DSNHGPNR/DAT/CARGADIARIA , los archivos CDD necesarios para la ejecución del proceso.
5
Estructura Carpetas Unix y DataStage
6
Tablas nuevas
Modelo de Datos GPNR
Tablas originales
7
Requerimientos de Hardware
Requerimientos Mínima Recomendada Memoria RAM 2.50 [GB] 3.50 [GB] Discos Reservado Áreas de Sort (dsproject) 500 [MB] Áreas de Data 1 [GB] Áreas Temp 2.50 [GB] Áreas de Hash 600 [MB] CPU 4 [CPU] 1.500 [MHz]
Espacio Teradata:
Requerimientos Mínima Recomendada BDD Work 6.00 [GB] 8.00 [GB] BDD Temp 6.00 [GB] 8.00 [GB] BDD Ctrl 1.00 [GB] 2.00 [GB] BDD Logs 1.00 [GB] 1.00 [GB]
8
Ejecución de procesos
N°Nombre proceso
TipoPeriodic
idad
1Control
HistóricoSHELL_PROC_GPNR_CH.sh
(shell-Control M)Mensual
2 RecargaSHELL_PROC_GPNR_RC.sh
(On-Demand)Eventual
3.1 Carga InicialSHELL_PROC_GENERA_ACUMULADO_CI.sh
(Shell – Control M, On-Demand)Eventual
3.2 Carga InicialSHELL_PROC_ASIGNA_BLOQUE_CI.sh
(Shell – Control M, On-Demand)Eventual
3.3 Carga InicialSHELL_PROC_SUBDIVIDE_RES_TEMP.sh
(Shell – Control M, On-Demand)Eventual
3.4 Carga InicialSHELL_PROC_EJEC_PARALELO_CD_DAT.sh
(Shell – Control M, On-Demand)Eventual
4.1Cierre de Vigencias
SHELL_PROC_SEL_CIERRE_VIGENCIA.sh(Shell – Control M, On-Demand)
One-Time
4.2Cierre de Vigencias
SHELL_PROC_UPD_CIERRE_VIGENCIA.sh(Shell – Control M, On-Demand)
One-Time
5 Carga diariaSHELL_PROC_GPNR_CD.sh
(shell- Control M)Diaria
9
Ejecutando la Shell Carga Diaria(SHELL_PROC_GPNR_CD.sh)
Ejecutada la Shell (SHELL_PROC_GPNR_CD.sh ), por pantalla se mostrara información relacionada al status (on line) del proceso, además se genera un archivo log con el detalle de la ejecución. La ejecución es sin parámetros.
10
Entre las validaciones que se realizan durante la ejecución:
◦ REVISION UPTIME DE MAQUINAS◦ REVISION UPTIME BASE DATOS◦ REVISION ESPACIO DISPONIBLE EN MAQUINA DATASTAGE◦ REVISION UPTIME DE SERVICIO DE DATASTAGE
Validaciones de la Shell (SHELL_PROC_GPNR_CD.sh)
11
Etapa 1:Validación (Datastage, Unix): Ejecuta validación de estructura de los archivos CDD, cantidad de columnas, validación de tipo de dato, largo, nulo de columnas, validación de existencia de archivos.
Proceso Carga Daria – Etapas
12
Etapa 1:Validación.
Proceso Carga Daria – Etapas
13
Etapa 2:Extracción (Datastage, Teradata, Oracle, Unix): Ejecuta extracciones de datos desde las bases operacionales de Lan (snapshot) para disponibilizar los datos hacia las posteriores etapas del proceso.
Proceso Carga Daria – Etapas
14
Etapa 2:Extracción.
Proceso Carga Daria – Etapas
15
Etapa 2:Extracción.
Proceso Carga Daria – Etapas
16
Etapa 2:Extracción.
Proceso Carga Daria – Etapas
17
Etapa 2:Extracción.
Proceso Carga Daria – Etapas
18
Etapa 3:Integridad (Datastage, Teradata, Unix): Ejecuta los subprocesos de integridad de PNR’s y transformaciones de datos complementarios.
Proceso Carga Daria – Etapas
19
Etapa 3:Integridad.
Proceso Carga Daria – Etapas
20
Etapa 3:Integridad.
Proceso Carga Daria – Etapas
21
Etapa 3:Integridad.
Proceso Carga Daria – Etapas
22
Etapa 3:Integridad.
Proceso Carga Daria – Etapas
23
Etapa 3:Integridad.
Proceso Carga Daria – Etapas
24
Etapa 3:Integridad.
Proceso Carga Daria – Etapas
25
Etapa 4:Transformación (Datastage, Teradata, Oracle, Unix): Ejecuta los procesos de transformación de PNRs en formato CDD files a Formato GPNR y transformaciones de PFS.
Proceso Carga Daria – Etapas
26
Etapa 4:Transformación.
Proceso Carga Daria – Etapas
27
Etapa 5:Carga Intermedia (Datastage, Teradata, Unix): Ejecuta la carga intermedia de las tablas temporales correspondientes a entidades de PNR, y la carga en modelo productivo de las tablas lookup y PFS.
Proceso Carga Daria – Etapas
28
Etapa 5:Carga Intermedia.
Proceso Carga Daria – Etapas
29
Etapa 5:Carga Intermedia.
Proceso Carga Daria – Etapas
30
Etapa 5:Carga Intermedia.
Proceso Carga Daria – Etapas
31
Etapa 5:Carga Intermedia.
Proceso Carga Daria – Etapas
32
Etapa 5:Carga Intermedia.
Proceso Carga Daria – Etapas
33
Etapa 6: Cálculos complejos (Datastage, Teradata, Unix): Ejecuta las rutinas de cálculo de atributos complejos de PNRs para reservas y segmentos. Agrega la data impactada por PFS.
Proceso Carga Daria – Etapas
34
Etapa 6: Cálculos complejos.
Proceso Carga Daria – Etapas
35
Etapa 6: Cálculos complejos.
Proceso Carga Daria – Etapas
36
Etapa 6: Cálculos complejos.
Proceso Carga Daria – Etapas
37
Etapa 6: Cálculos complejos.
Proceso Carga Daria – Etapas
38
Etapa 6: Cálculos complejos.
Proceso Carga Daria – Etapas
39
Etapa 7: Carga Cálculos Complejos (Datastage, Teradata, Unix): Ejecuta la carga final de entidades temporales en formato GPNR de los PNRs del día.
Proceso Carga Daria – Etapas
40
Etapa 7: Carga Cálculos Complejos.
Proceso Carga Daria – Etapas
41
Etapa 8: Tratamiento de Vigencias (shell, DataStage, Teradata, Unix): Abre y cierra vigencias de los PNRs.
Proceso Carga Daria – Etapas
42
Etapa 8: Tratamiento de Vigencia.
Proceso Carga Daria – Etapas
43
Etapa 9: Carga Final (shell, Teradata, Unix): Carga los datos previamente tratados de por vigencias a las tablas del modelo final.
Proceso Carga Daria – Etapas
44
Etapa 10: Tickets Derivados y Reservas NT (shell, Teradata, Unix): Ejecuta los tickets derivados y las Reservas NT
Proceso Carga Daria – Etapas
45
Etapa 11:Término de Procesos (shell, Teradata, Unix): Mueve los archivos a la carpeta de respaldo y genera informe final.
Proceso Carga Daria – Etapas
46
TIPO PROCESO : CI FECHA ARCHIVOS : 20111201 FECHA INICIO PROCESO : 2012-02-27 15:53:02 FECHA FIN PROCESO : 2012/02/27 18:38:29 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN SEGMENTOS : 553076 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN SEGMENTOS : 0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS : 199999 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS : 0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN TICKET : 293094 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN TICKET : 1018 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS PAX : 328213 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS PAX : 0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN DERIVADAS TICKET: 2284316 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS NT : 969803
Informe Final
47
Revisión tablas de control
Verificar que el número de secuencia de la ultima etapa ejecutada y su estado.
Debug del Sistema
48
Revisión DataStage Director
Verificar todos los jobs de la etapa se encuentren Finished
Debug del Sistema
49
Revisión Archivo Log (/dsdata/DSNHGPNR/LOG/LOG_TMP_$TIPOPROCESO_YYYMMDD.log)
Verificar output de las actividades para validar causa del error.
Debug del Sistema
50
Reintentar ejecución del proceso para verificar output de las actividades para validar causa del error.
Debug del Sistema
51
Top Related