06 - Presentación Detección de Planos -...

37
DETECCIÓN DE PLANOS A PARTIR DE NUBES DE PUNTOS 3D CAPTADAS CON EL DISPOSITIVO MICROSOFT KINECT Autores: Lic. Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX 2015

Transcript of 06 - Presentación Detección de Planos -...

Page 1: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

DETECCIÓN DE PLANOS A PARTIR DE NUBES DE

PUNTOS 3D CAPTADAS CON EL DISPOSITIVO

MICROSOFT KINECT Autores:

Lic. Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez

CUBA-MEX 2015

Page 2: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Realidad Aumentada

Page 3: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Dispositivos RGB-D

Microsoft Kinect

Page 4: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Mapa de Profundidad

Page 5: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Nube de Puntos 3D

Page 6: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Problema

Page 7: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Objetivos

• Estudio y comparación de soluciones. • Análisis de efectividad.

Page 8: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Algoritmos Propuestos

•  Transformada de Hough. • RANdom SAmple Consensus. • Segmentación en tiempo real. • Segmentación basada en Kmeans.

Page 9: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Algoritmos Propuestos

•  Transformada de Hough. • RANdom SAmple Consensus. • Segmentación en tiempo real. • Segmentación basada en Kmeans.

Page 10: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Método basado en la Transformada de Hough

• Cada punto vota por varios planos. • Acumular los votos de cada punto. • Extraer planos con más votos.

Page 11: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Algoritmos Propuestos

•  Transformada de Hough. • RANdom SAmple Consensus. • Segmentación en tiempo real. • Segmentación basada en Kmeans.

Page 12: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Método basado en RANSAC • Generar un plano P.

3 puntos 1 punto y su normal

Page 13: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Estimación de la normal – Matriz de Covarianza

Page 14: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Estimación de la normal - Vecindad 2x2

Page 15: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Estimación de la normal – Vecindad Promedio

Page 16: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Estimación de la normal - Vecindad Aleatoria

Page 17: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Método basado en RANSAC • Generar un nuevo plano P. • Calcular la puntación. • Repetir N pruebas. • Escoger el mejor. • Eliminar los puntos. • Repetir si es posible.

3 puntos 1 punto y su normal

Page 18: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Algoritmos Propuestos

•  Transformada de Hough. • RANdom SAmple Consensus. • Segmentación en tiempo real. • Segmentación basada en Kmeans.

Page 19: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Segmentación en tiempo real • A partir de la nube de puntos:

• Estimar normales. • Agrupar normales. • Extraer planos.

Page 20: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Algoritmos Propuestos

•  Transformada de Hough. • RANdom SAmple Consensus. • Segmentación en tiempo real. • Segmentación basada en Kmeans.

Page 21: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Segmentación basada en Kmeans

• Centroides – Planos. • Distancia euclidiana. • Planos – Sistema.

Page 22: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Segmentación basada en Kmeans

•  Inicialización con RANSAC. • Reasignación de los puntos. • Actualización de los planos. • Repetir hasta que no haya cambios.

Page 23: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Comparación

Page 24: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Comparación

Page 25: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Medidas - Detección Correcta

Segmentación Ideal Segmentación Resultante

Page 26: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Detección Correcta

Segmentación Ideal Segmentación Resultante

Page 27: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Medidas – Sobre-Segmentación

Segmentación Ideal Segmentación Resultante

Page 28: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Sobre-Segmentación

Segmentación Ideal Segmentación Resultante

Page 29: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Medidas – Sub-Segmentación

Segmentación Ideal Segmentación Resultante

Page 30: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Sub-Segmentación

Segmentación Ideal Segmentación Resultante

Page 31: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Diseño de Experimentos

Page 32: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Mejores Resultados

Page 33: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Comparación

Regiones

Algoritmos

Page 34: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Mejores Resultados

Page 35: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Comparación

Regiones

Algoritmos

Page 36: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

Conclusiones • El ruido es un gran problema. • Mayor calidad – Transformada de Hough. • Más eficiente – Segmentación en tiempo real. • Competitivo – Segmentación basada en Kmeans.

Page 37: 06 - Presentación Detección de Planos - UNAMlya.fciencias.unam.mx/gfgf/cubamex2015/ponencias/miercoles/Clau… · Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez CUBA-MEX

DETECCIÓN DE PLANOS A PARTIR DE NUBES DE

PUNTOS 3D CAPTADAS CON EL DISPOSITIVO

MICROSOFT KINECT Autores:

Lic. Claudia Paredes Plasencia, MSc. Oscar Luis Vera Pérez

CUBA-MEX 2015