Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014
-
Upload
enrique-puig -
Category
Technology
-
view
398 -
download
4
description
Transcript of Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014
![Page 1: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/1.jpg)
Foro Microsoft Big Data y Analytics
Filtrar > Decidir > AcertarNunca fue más fácil
![Page 2: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/2.jpg)
Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014Enrique Puig [email protected]@epuignousellesBlog: www.sqlserverpasion.comDBA at RipLife Gaming Technologies
![Page 3: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/3.jpg)
Objetivos
• ¿Qué desafíos plantea trabajar con grandes volúmenes de datos?
• ¿Qué técnicas existen para afrontar estos desafíos?
• ¿Qué trae SQL Server 2014 para ayudarnos?
![Page 4: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/4.jpg)
Agenda
• Desafíos de las VLT• Mantenimiento• Rendimiento
• Novedades de SQL Server 2014• Reconstrucción online de Índices particionados• Estadísticas incrementales• Índices columnares / In-Memory DW
![Page 5: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/5.jpg)
Very Large Tables (VLT)
• Gran cantidad de datos• Millones/Billones de filas• Datos estructurados
• OLTP• Aplicaciones de misión crítica
• Sistemas con elevado número de TPS• Sistemas con tracking/Logging
• DataWarehouse• Repositorio histórico de procesos de negocio• Procesos de carga perdiódicos
![Page 6: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/6.jpg)
Desafíos de las VLT (Very Large Tables)
TransaccionalReportes
ÍndicesEstadísticasHistorificación
RendimientoMantenimiento
![Page 7: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/7.jpg)
Desafíos: Mantenimiento de Índices• Imprescindible para evitar fragmentación
• Sobrecarga E/S• Full Scan de las tablas• Escritura intensiva en Log
• CPU• Bloqueos
• Soluciones actuales:• Reorganización vs. Rebuild• Particionado de datos
![Page 8: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/8.jpg)
Desafíos: Mantenimiento de Índices (II)Con SQL Server 2014…• Rebuild Online a nivel de partición• Lock Priority
• Prioridad del proceso• MAX_DURATION• ABORT_AFTER_WAIT
• Reducimos Bloqueos• Mayor control de Bloqueos
![Page 9: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/9.jpg)
Desafíos: Mantenimiento de Estadísticas• Ayudan al optimizador -> Planes de ejecución• Histogramas
• Aconsejable FULLSCAN• Requieren de E/S• Impactan en performance
•Soluciones actuales:• Actualizar estadísticas con muestreos de datos• Estrategia de actualizaciones• Varias ventanas de mantenimiento
![Page 10: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/10.jpg)
Desafíos: Mantenimiento de EstadísticasCon SQL Server 2014…
• Estadísticas Incrementales• Basadas en particionado de datos• Definición explícita
![Page 11: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/11.jpg)
DEMOEstadísticas Incrementales
![Page 12: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/12.jpg)
Desafíos: Rendimiento consultas
Soluciones actuales• Índices de cobertura• Compresión• Particionado de datos• Código T-SQL Eficiente
OLTPInsert/Delete/UpdateSelect by Key (1 row)24 x 7 x 365
DataWarehouseConsultas de negocioGroup By / MAX(), MIN()…Cargas periódicas
Híbridos Cargas de trabajo mixtas Impacto en rendimiento
![Page 13: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/13.jpg)
Desafíos: Rendimiento consultas
Con SQL Server 2014…
• Índices columnares• Mejoras desde 2012• Clustered Columnstore Indexes• Read-Write• Particionado de datos• Nuevo tipo de compresión de datos
![Page 14: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/14.jpg)
DEMOÍndices columnares
![Page 15: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/15.jpg)
Desafíos: Historificación de datos
• Movimiento de datos “no activos”• Almacenamiento de alto rendimiento
• limitado y caro
• Posibles soluciones actuales• Particionado + Compresión• Particionado + Compresión + Tabla Hist• Particionado + compresión + BBDD hist• Particionado + compresión + Servidor hist• Otras….
![Page 16: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/16.jpg)
Particionado + Compresión
<=M-6 M-5 M-2M-3M-4 >= MM-1
Particiones comprimidas (PAGE)Datos “no activos”Filegroup Readonly
Almacenamiento bajo rendimiento
Particiones sin compresiónDatos “activos”
Primary FilegroupAlmacenamiento Alto rendimiento
dbo.Ventas
![Page 17: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/17.jpg)
Particionado + Compresión + Tabla Hist
M-2 >= MM-1
dbo.Ventas
<=M-6 M-5 M-3M-4
dbo.Hist_Ventas
Particiones comprimidas (PAGE)Datos “no activos”Filegroup Readonly
Almacenamiento bajo rendimiento
Particiones sin compresiónDatos “activos”
Primary FilegroupAlmacenamiento Alto rendimiento
Switch IN/OUT
![Page 18: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/18.jpg)
Particionado + Compresión + BBDD Hist
M-2 >= MM-1
dbo.Ventas
STG
dbo.Stg_VentasStep1Switch
OUT
HistBBDD
Step2Movimiento Datos
SSIS/Otros <=M-6 M-5 M-3M-4
dbo.Hist_Ventas
OnPremise/Azure
![Page 19: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/19.jpg)
Particionado + Compresión + Columnar
M-2 >= MM-1
dbo.Ventas
STG
dbo.Stg_Ventas
Particiones comprimidas Columnstore vs. Columnstore_Archive
Datos “no activos”Almacenamiento alto rendimiento
Particiones sin compresiónDatos “activos”
Primary FilegroupAlmacenamiento Alto rendimiento
Step1Switch OUT
<=M-6 M-5 M-3M-4
Step2Switch IN
![Page 20: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/20.jpg)
Resumen
• Relativo a VLT, SQL Server 2014 nos permite…• Flexibilidad en Mantenimiento
• Reduciendo impacto en performance• Consultas analíticas más rápidas
• Reducimos IOPS• Maximizamos memoria• Tablas Read-Write• Reducción de tamaños
• Nuevas capacidades de compresión• COLUMNSTORE_ARCHIVE• Aumentan las posibilidades de historificación
![Page 21: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/21.jpg)
Gracias!
Datos de contacto:Twitter: @epuignousellesBlog Personal: www.sqlserverpasion.comMail: [email protected]
![Page 22: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/22.jpg)
Únete a PASS SpainComunidad Española de SQL Server
• Noticias• Webcasts• Charlas• Foro, dudas…
https://www.facebook.com/PASSspanish
![Page 23: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/23.jpg)
![Page 24: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/24.jpg)
SolidQ Summit Madrid 201420, 21, 22 Mayo 2014• 2 Tracks SQL,BI ,Big
Data• 3 jornadas• 30 sesiones técnicas• Mentores de SolidQ
http://summit.solidq.com http://www.gusenet.org
23 charlas variadasBI, SQL, C#, MVC, angular, Javascript, Kinect, NancyFx, Dev, …
![Page 25: Novedades en el manejo de Grandes volúmenes de datos con SQL Server 2014](https://reader036.fdocuments.ec/reader036/viewer/2022062708/558b72a3d8b42ab11b8b45ae/html5/thumbnails/25.jpg)
¿Preguntas?