Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica
Transcript of Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica
![Page 1: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/1.jpg)
WebinarImportancia de una estrategia de ETL en
Proyectos de BI y AnalíticaCarlos Moreno – Consultor BI
Yenny Delgado – Consultora BICarlos Marín – Socio Director Noviembre 22 de 2016
![Page 2: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/2.jpg)
www.it-nova.co
Somos una empresa de servicios profesionales de consultoría enfocada en lograr que la tecnología apoye y potencialice los procesos de negocio de nuestros clientes, orientándonos en su satisfacción a través de servicios de calidad para enfrentar y resolver los retos a nivel operativo y estratégico de las organizaciones. Nuestro portafolio de productos y servicios se enfoca en:
Resolvemos sus
preguntas de
negocio
AnalíticaInteligenc
ia de negocios
Integramos la estrategia de su compañía
Quienes somos ?
![Page 3: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/3.jpg)
www.it-nova.co
Servicios Financieros Educación
Servicios
Consumo masivo
Manufactura
Nuestra Experiencia
![Page 4: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/4.jpg)
www.it-nova.co
Sector Público Sector energético Telecom / Media
Sector Salud
Nuestra Experiencia
![Page 5: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/5.jpg)
www.it-nova.co
![Page 6: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/6.jpg)
Nuestra oferta de valor
![Page 7: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/7.jpg)
www.it-nova.co
Estrategia de ETL en Proyectos de BI y
Analítica“Integración de Datos”
![Page 8: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/8.jpg)
www.it-nova.co
¿Qué es un proceso de “ETL”?
ETL son las siglas en inglés de Extraer, Transformar y Cargar (Extract, Transform and Load). Es el proceso que permite a las organizaciones mover datos desde múltiples fuentes, reformatearlos, limpiarlos y llevarlos a otra fuente de datos, en el contexto de BI a una bodega de datos (data mart o data warehouse) para analizarlos o en otro sistema de información para apoyar un proceso de negocio.
![Page 9: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/9.jpg)
www.it-nova.co
Pasos de un proceso de ETL
Extraer de múltiples fuentes como ERP, CRM, sistemas de información que proveen archivos en diferentes formatos (host, csv, XML).
Transformar en la estructura definida en la bodega y considerar validaciones sobre reglas de negocio, técnicas (duplicados, limpieza, integridad, nulos), normalización y homogeneización, cambios de formato, así como procesos de ordenación, filtrados, cruces y agregados.
Cargar en las estructuras de almacenamiento de la bodega. Puede ser realizado en procesos batch y ser de diferentes tipos: por lotes, por registro, totales, deltas incrementales, entre otros.
![Page 10: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/10.jpg)
www.it-nova
Evolución de los procesos de ETL
Es necesario hablar de integración de datos (Data Integration) como evolución de los procesos ETL. Aspectos tan importantes y decisivos para un buen resultado a nivel de sistema como la calidad o el perfil del dato, se han incorporado a la definición de ETL.
![Page 11: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/11.jpg)
www.it-nova.co
La limpieza de datosEs muy recomendable definir la limpieza de datos como una fase específica del proceso de ETL, debido a que esta actividad permite:
•Ahorrar tiempo•Ganar en efectividad•Unificar criterios
“Información consolidada, con datos correctos y con una visión única para todos los usuarios”
![Page 12: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/12.jpg)
Desafíos para los procesos de ETL
• Realizar un examen completo de la validez de los datos (Data profiling / Data quality), identificando las condiciones necesarias para que los datos puedan ser tratados adecuadamente por las reglas de transformación especificadas.
• Lograr que los datos extraídos asíncronamente de orígenes heterogéneos, se integren finalmente en un entorno homogéneo.
• Asegurar la escalabilidad durante su vida útil (volúmen de datos vs tiempo de procesamiento)
“Un sistema ETL mal diseñado, puede provocar importantes problemas operativos en el momento de
analizar la información”
www.it-nova.co
![Page 13: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/13.jpg)
www.it-nova.co
Beneficios de los procesos ETL
• Contar con un repositorio central estandarizado de todos los datos de la organización con sentido de negocio.
• Posibilita a la organización tomar decisiones estratégicas, basadas en el análisis de los datos cargados en bases actualizadas y estandarizadas.
• Integrar sistemas de información, dado que las organizaciones crecen de forma orgánica y cada vez van agregando más fuentes de datos .
• Poder tener una visión global de todos los datos consolidados de la organización.
![Page 14: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/14.jpg)
www.it-nova.co
Evolución de los procesos de ETL: entornos Big Data
Problemática actual•Datos fuente con volúmenes altos•Frecuencia de actualización alta en origen•Datos no estructurados•Datos en diferentes ubicaciones ( Onpremise, Cloud)
Soluciones de las herramientas Big Data•Evita problemas de rendimiento en el ETL, realizando transformaciones en post-procesos (offload)•Mayores capacidades de mapeo de fuentes (tipos de datos complejos o no estructurados)•Arquitectura escalable, se pueden acelerar los procesos ETL de forma sencilla•Su capacidad de almacenamiento permite mantener datos al nivel de granularidad más bajo•Nuevos tipos de datos (datos de redes sociales, blogs, foros, entre otros)
![Page 15: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/15.jpg)
www.it-nova.co
Aspectos importantes: herramientas de ETL
![Page 16: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/16.jpg)
www.it-nova.co
Caso de negocio• ¿Hay alguna relación entre la cartera y el análisis de sentimientos en la gestión de
cartera (call center)?• ¿Cómo se ha comportado la cartera históricamente?
Problemática•Cartera en SAP solo por día•Fuente de datos no relacionadas•Se hacen llamadas de cobro pero no se analizan
• Ejecución diaria consulta de cartera
• Datos no estructurados• Los datos de llamadas se deben
procesar con aplicaciones de analítica cognitiva
•Análisis de información de cartera
![Page 17: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/17.jpg)
Preguntas
![Page 18: Webinario: importancia de una estrategia de ETL en proyectos de BI y Analítica](https://reader036.fdocuments.ec/reader036/viewer/2022062523/58eda12f1a28ab1a658b45c1/html5/thumbnails/18.jpg)
Carlos MarínSocio Director
[email protected] 57 3156483049
John FerroSocio Director
[email protected] 57 3167412231
Contacto