PhD defense Marcos Nieto 23/11/2010

Post on 11-Jun-2015

2.564 views 1 download

description

PhD defense presentation.Marcos Nieto(more info at http://marcosnieto.zymichost.com)

Transcript of PhD defense Marcos Nieto 23/11/2010

Autor: Marcos Nieto

Ingeniero de Telecomunicación - UPM

Director de tesis: Luis Salgado

Profesor titular – UPM

Detección y seguimiento de puntos de fuga en entornos

dinámicos

Presentación de la Tesis Doctoral

E. T. S. Ing. TelecomunicaciónUniversidad Politécnica de Madrid (UPM)

2 / 71

Índice

Introducción

Estimación de puntos de fuga

● Extracción de características

● Función de error

● Clasificación RANSAC

● Refinado EM

Rectificación de planos

● Escenario de la carretera

● Rectificación del plano de carretera

Conclusiones

3 / 71

Índice

Introducción

Estimación de puntos de fuga

● Extracción de características

● Función de error

● Clasificación RANSAC

● Refinado EM

Rectificación de planos

● Escenario de la carretera

● Rectificación del plano de carretera

Conclusiones

4 / 71

Introducción – Motivación

Rectificación del plano

Estimaciónde puntos de fuga

Extracción de características

Extracción de características

Rectificación del plano

Estimación de puntos de fuga

5 / 71

Introducción – Objetivos

Detección y seguimiento de puntos de fuga

● Desarrollo de un detector de características rectilíneas (segmentos)

● Diseño de estrategias robustas de detección de puntos de fuga

Aplicación en la rectificación de planos en entornos dinámicos

● Modelado de la carretera (extracción de características específicas)

● Análisis de alternativas en rectificación de planos

6 / 71

Índice

Introducción

Estimación de puntos de fuga

● Extracción de características

● Función de error

● Clasificación RANSAC

● Refinado EM

Rectificación de planos

● Escenario de la carretera

● Rectificación del plano de carretera

Conclusiones

7 / 71

Extracción de características

Características que definen líneas en imágenes● Píxeles de gradiente

Información de dirección de gradiente a nivel de píxel Puede calcularse eficientemente con aproximaciones como el operador de Sobel

● Segmentos Agrupan información de un conjunto de píxeles Cálculo más complejo y costoso

Método Velocidad Inliers/outliers Parámetros de usuario

Robustez frente a ruido

PPHT Rápido Muy baja Sí Baja

LSD Lento Media No Alta

SSWMS Rápido Alta No Alta

Extracción de características – SSWMS

“Slice Sampling Weighted Mean Shift”

8

Cálculo fdp

Nivel de imagen

MuestreoGeneración

del segmento

Muestreo secuencial

Mean ShiftSlice samplerAutovalores

Método Velocidad Inliers/outliers Parámetros de usuario

Robustez frente a ruido

PPHT Rápido Muy baja Sí Baja

LSD Lento Media No Alta

9 / 71

Extracción de características – SSWMS

Cálculo de ● Composición de funciones

Penaliza zonas homogénas

Penaliza esquinas

Líneas

Esquinas

Zonas homogéneas

10 / 71

Extracción de características – SSWMS

Cálculo de ● Ejemplo

11 / 71

Extracción de características – SSWMS

Muestreo secuencial● Algoritmo “Slice sampling”

12 / 71

Extracción de características – SSWMS

Muestreo secuencial● Mean Shift para refinar la muestra

13 / 71

Extracción de características – SSWMS

Generación de segmentos● Mean Shift refina la posición de los extremos

14 / 71

Extracción de características – SSWMS

Comparación con métodos del estado del arte● Tiempo de procesado

15 / 71

Extracción de características – SSWMS

Comparación con métodos del estado del arte

16 / 71

Extracción de características – SSWMS

Ejecución online

17 / 71

Índice

Introducción

Estimación de puntos de fuga

● Extracción de características

● Función de error

● Clasificación RANSAC

● Refinado EM

Rectificación de planos

● Escenario de la carretera

● Rectificación del plano de carretera

Conclusiones

18 / 71

Retos / Dificultades Estado del arte Contribuciones

Estimación de puntos de fuga

Puntos de fuga en el infinito

Funciones de error lineales (calibradas)

Funciones de error no lineales

Función de error no lineal (eficiencia y versatilidad)

Detección múltiples puntos de fuga

RANSAC

Hough y búsqueda de máximos

RANSAC con optimización no lineal (robustez, precisión)

Seguimiento de puntos de fuga

EM Propuesta modificación RANSAC (rapidez)

Estimación múltiples puntos de fuga y líneas

EM (plano de imagen) EM (plano de imagen) mejorado (robustez, eficiencia)

EM plano proyectivo

19 / 71

Índice

Introducción

Estimación de puntos de fuga

● Extracción de características

● Función de error

● Clasificación RANSAC

● Refinado EM

Rectificación de planos

● Escenario de la carretera

● Rectificación del plano de carretera

Conclusiones

20 / 71

Función de error

Supongamos un conjunto de características alineadas hacia un “punto”● Características ruidosas● Es necesario definir una función de error● Se puede encontrar el “punto” que minimiza la suma del error mediante

métodos de optimización

21 / 71

Función de error

Función de error propuesta● Orientación (O)● Orientación con escala (OS)

Optimización● Ruido gaussiano

● Levenberg-Marquardt (MLE)

22 / 71

Función de error

Evaluación

Error reducidoError elevado

Distancia calibrada punto-línea

Extremos min. Extremos max. Función propuesta

Funciones no linealesFunción lineal

Comparaciones – convergencia ● Se consigue reducir la cantidad de iteraciones de los procesos de

optimización

Función de error

Histogramas acumulados de iteraciones para las 102 imágenes de la YUDB

Extremos min. Extremos max. Método propuesto

24 / 71

Índice

Introducción

Estimación de puntos de fuga

● Extracción de características

● Función de error

● Clasificación RANSAC

● Refinado EM

Rectificación de planos

● Escenario de la carretera

● Rectificación del plano de carretera

Conclusiones

25 / 71

Algoritmo● Para un conjunto de características● Iterativamente

Elegir el “Minimal Sample Set” (MSS) y su punto de fuga

Determinar el “Consensus Set” (CS) del MSS

Evaluar CS:

● Al terminar, obtener el punto de fuga de los “inliers”● Eliminar “inliers” y comenzar de nuevo para buscar más puntos de fuga

RANSAC MSAC MLESAC

Suma de inliers “M-estimator” Verosimilitud

RANSAC

26 / 71

RANSAC

RANSAC + optimización no lineal (OS) ● Definimos el CS mediante la función de error

propuesta● Los puntos de fuga se tratan como direcciones 3D del

espacio

27 / 71

RANSAC

Evaluación● Se han implementado y evaluado diferentes combinaciones● Base de datos YUDB

Función de error Tipo de RANSAC Tasa de det. promedio (%)

OS MSAC 94,35O MSAC 94,01

EP min. MSAC 93,36

EP max. MSAC 91,03

OS MLESAC 90,05

EP min. RANSAC 89,98

O MLESAC 89,70

CPL MSAC 85,38

28 / 71

RANSAC

Seguimiento mediante RANSAC

Segmentos con SSWMS Clasificación MSAC

Estimación direcciones principales (puntos de fuga)

Rectificación del plano

29 / 71

RANSAC

Seguimiento mediante RANSAC

Segmentos con SSWMS Clasificación MSAC

Estimación direcciones principales (puntos de fuga)

Rectificación del plano

30 / 71

Índice

Introducción

Estimación de puntos de fuga

● Extracción de características

● Función de error

● Clasificación RANSAC

● Refinado EM

Rectificación de planos

● Escenario de la carretera

● Rectificación del plano de carretera

Conclusiones

31 / 71

Refinado EM

ObservaciónLas características que se encuentran agrupadas en torno a líneas son menos ruidosas que características aisladas, incluso cuando todas ellas están orientadas hacia el mismo punto de fuga

PropuestaLa estimación de líneas permitiría seleccionar las características menos ruidosas y por tanto obtener estimaciones más precisas de los puntos de fuga

Método Se propone un esquema EM para la estimación simultánea de puntos de fuga y líneas principales

32 / 71

Refinado EM

Líneas principalesS

IN lí

neas

CO

N lí

neas

33 / 71

Refinado EM

“Expectation-Maximization”● Se define un modelo mixto (M líneas principales)

● Esquema iterativo en dos pasos “E-step”: se determina la probabilidad condicional de las características dado el

modelo paramétrico de la iteración anterior

“M-step”: actualiza los parámetros del modelo utilizando el conjunto de características y sus probabilidades

● Requiere inicialización● Se puede utilizar para seguimiento temporal de puntos de fuga, dado que

la estimación del instante t-1 sirve como inicialización para el instante t

Verosimilitud dato i línea j

Parámetros línea

34 / 71

Refinado EM

“Image-plane EM”● Mejora la propuesta de Minagawa et al.

(Eficiencia) Utilizamos la información de orientación (Robustez) Se añade una componente de “outliers”

● Se definen los puntos de fuga en 2D

“Projective-plane EM”● Propuesta innovadora en la literatura relacionada

Se pueden manejar múltiples puntos de fuga, finitose infinitos

Se calculan múltiples líneas principales para cadapunto de fuga

● Se puede utilizar con MSAC-OS

35 / 71

Refinado EM

“Image-plane” EM● Verosimilitud

Posición Orientación

36 / 71

Refinado EM

“E-step”● Calcular la probabilidad condicional de cada muestra con respecto del modelo

● Ejemplo: Tres líneas (j=1, 2, 3) + componente “outliers” Cada característica obtiene 4 probabilidades – clasificación “ponderada”

Posición Posición + orientación

Componente outliers Líneas principales

37 / 71

Pesos

Desviaciones típicas del ruido

Parámetros de las líneas

Punto de fuga

Refinado EM

“M-step”● Obtener los parámetros que maximizan la verosimilitud

38 / 71

Refinado EM

“Image-plane” EM● Ejemplo típico

Características Píxeles de gradiente (umbralizados)

Inicialización modelo Aproximada

Peso “outliers” 0.5

Número de líneas 2

Número de iteraciones hasta convergencia

15

39 / 71

Refinado EM

“Image-plane” EM● Inicialización y convergencia

Inicialización

Resultado

40 / 71

Posición Orientación

Refinado EM

“Projective-plane” EM● Verosimilitudes en coordenadas calibradas● Proyección en la esfera: direcciones 3D (puntos de fuga en el infinito)

41 / 71

Refinado EM

“Projective-plane” EM● Esquema iterativo

E-step(1) Obtener prob. condicional

M-step(1) Obtener Utilizar Levenberg-Marquardt y función de error OS con escala igual a la probabilidad condicional

M-step(2) Recolocar las líneas

E-step(2) Actualizar probabilidad condicional

M-step(3) Obtener parámetros de las líneas

42 / 71

Refinado EM

Resultados - York Urban Data Base (YUDB)

MSAC-OS

EM

Error > 10º

Error ~ 3º

Error < 1º

284 / 301 = 94 %

9 / 301 = 3 % 28 / 301 = 9,3 % 264 / 301 = 87,7 %

43 / 71

Estimación de puntos de fuga

Resumen contribuciones● Función de error OS (eficiencia y versatilidad)● Estimación automática puntos de fuga con RANSAC (robustez y

seguimiento)● Estimación simultánea de puntos de fuga y líneas con EM (precisión y

solución integrada)

Problema / Objetivo Método

Un punto de fuga en la imagen “Image-plane” EM

Seguimiento un punto de fuga en la imagen

“Image-plane” EM

Varios puntos de fuga MSAC-OS

Varios puntos de fuga y líneas MSAC-OS para inicializar “Projective-plane” EM

Seguimiento varios puntos de fuga MSAC-OS con seguimiento

Seguimiento varios puntos de fuga con líneas

“Projective-plane” EM

44 / 71

Índice

Introducción

Estimación de puntos de fuga

● Extracción de características

● Función de error

● Clasificación RANSAC

● Refinado EM

Rectificación de planos

● Escenario de la carretera

● Rectificación del plano de carretera

Conclusiones

45 / 71

Rectificación de planos

Rectificación de planosSe transforma la imagen de un plano mediante un movimiento virtual de la cámara

Z

X

Y

46 / 71

Rectificación de planos

Aplicación en entornos de carretera

Y

Z

Δθ

θ = θ0 - Δθθ0

Y

Z

Δθ

θ = θ0 + Δθθ0

θ0

Y

Z

Rectificacióndel plano

Estimaciónde puntos de fuga

ADAS

Esquema estático Esquema dinámico

Calibración fija Cálculo calibración instantáneo

Rectificación incorrecta Elevado coste

Incoherencia temporal

Nuestra propuesta

Realimentar rectificación

Adaptable

Temporalmente coherente

47 / 71

Índice

Introducción

Estimación de puntos de fuga

● Extracción de características

● Función de error

● Clasificación RANSAC

● Refinado EM

Rectificación de planos

● Escenario de la carretera

● Rectificación del plano de carretera

Conclusiones

48 / 71

Escenario de carretera

ADAS basado en análisis de vídeo

Rectificacióndel plano

Estimaciónde puntos de fuga

ADAS

Clasificador bayesiano

Modelo lineal de carretera

49 / 71

Escenario de carretera – Clasificación bayesiana

Clasificación bayesiana

Pavimento Marcas de carril Objetos oscurosiX

Mediante la regla de Bayes calculamos la probabilidad a posterior de cada clase

Desconocido

La verosimilitud se puede expresarcomo combinación de distintas

fuentes de información

Verosimilitud intensidad píxel (x,y) clase i

Verosimilitud respuesta a detector de líneas de carril

50 / 71

Escenario de carretera – Clasificación bayesiana

Clasificación líneas de carril Marcas de carril

51 / 71

Escenario de carretera – Clasificación bayesiana

Ejemplo

52 / 71

Escenario de carretera – Modelo lineal

Modelo de carretera● De píxeles a carriles● Seguimiento de carriles: filtro de Kalman

Múltiples carriles flexibles Las medidas se pueden tomar usando

el SSWMS sobre los píxeles de carril

Cambio a izquierdas

Cambio a derechas

53 / 71

Escenario de carretera

Aplicación a corrección de la rectificación

Rectificación adaptada Rectificación fija Punto de fuga y líneas (EM)

Punto de fuga fijo

54 / 71

Índice

Introducción

Estimación de puntos de fuga

● Extracción de características

● Función de error

● Clasificación RANSAC

● Refinado EM

Rectificación de planos

● Escenario de la carretera

● Rectificación del plano de carretera

Conclusiones

55 / 71

Rectificación del plano de carretera

Rectificación mediante el cálculo de puntos de fuga● Sistema de coordenadas de la cámara● Sistema de coordenadas de la carretera

Distorsión proyectiva, afín y similar: diferentes tipos de rectificaciones

56 / 71

Rectificación del plano de carretera

Parámetros extrínsecos

● Matriz de rotación: 3 ángulos de rotación (θ,γ,β)

● Vector de traslación: 1 vector de posición c

γ - Guiñada (yaw) θ - Cabeceo (pitch)

β – Alabeo (roll)

57 / 71

Rectificación del plano de carretera – casos

1.- Conociendo los parámetros extrínsecos e intrínsecos de la cámara● Se reduce la proyección de puntos 3D…● … a una homografía entre planos (plano de imagen y plano de carretera)

● Ésta es el método básico: otros métodos se reducen a él si encontramos K, R y c

Caso Conocimiento a priori

Obtener Procedimiento Distorsión eliminada

1 K (θ,γ,β) c -Reducir P a H ProyectivaAfínSimilar

58 / 71

Rectificación del plano de carretera – casos

2.1.- Suponer β =0, con los otros ángulos desconocidos● β =0 si la cámara se instala horizontalmente y permanece estable

● (θ,γ) varían según el coche gira o aparecen cuestas en la carretera● El punto de fuga de las líneas de carril permite calcular estos ángulos

Caso Conocimiento a priori

Obtener Procedimiento Distorsión eliminada

2.1 K β=0 c vz -Calibrar vz

-Obtener (θ,γ) a partir de v’z

-Construir P

ProyectivaAfínSimilar

59 / 71

Rectificación del plano de carretera – casos

2.2.- Suponer β =0, con los otros ángulos desconocidos y c desconocido● Si desconocemos la traslación de la cámara no podemos reconstruir P● No obstante se pueden obtener rectificaciones con distorsión similar

● Si β =0 , la línea del infinito es horizontal, y pasa por el punto de fuga

● Entonces se pueden calibrar el punto de fuga y la línea del inifinito para obtener el segundo punto de fuga de la imagen, correspondiente a la dirección transversal

Caso Conocimiento a priori

Obtener Procedimiento Distorsión eliminada

2.2 K β=0 vz -Obtener l∞ con (vz , β=0)-Calibrar y obtener v’x

-Obtener 4 puntos y DLT

ProyectivaAfín

60 / 71

Rectificación del plano de carretera – casos

2.2.- Suponer β =0, con los otros ángulos desconocidos y c desconocido● Se pueden trazar rectas que pasen por la imagen y seleccionar 4 puntos● Se corresponden con un rectángulo en el plano de carretera

Caso Conocimiento a priori

Obtener Procedimiento Distorsión eliminada

2.2 K β=0 vz -Obtener l∞ con (vz , β=0)-Calibrar y obtener v’x

-Obtener 4 puntos y DLT

ProyectivaAfín

61 / 71

Rectificación del plano de carretera – casos

3.1.- Rotación desconocida● Sin asumir β conocido● Es necesario calcular la línea del infinito además del punto de fuga

Caso Conocimiento a priori

Obtener Procedimiento Distorsión eliminada

3.1 K c (l∞ , vz) -Calibrar (l∞ , vz)-Obtener (θ,γ,β)-Construir P

ProyectivaAfínSimilar

62 / 71

Rectificación del plano de carretera – casos

3.1.- Rotación desconocida● Una forma de hacerlo es mediante la obtención de dos puntos de fuga● Aunque es un método poco robusto

Caso Conocimiento a priori

Obtener Procedimiento Distorsión eliminada

3.1 K c (vx, vz) -Calibrar (vx , vz) y obtener l∞

-Obtener (θ,γ,β)-Construir P

ProyectivaAfínSimilar

63 / 71

Rectificación del plano de carretera – casos

3.2.- Rotación desconocida● Es más eficaz detectar 3 líneas correspondientes a 3 líneas paralelas

equiespaciadas en el plano● Se puede utilizar el método EM propuesto

Caso Conocimiento a priori

Obtener Procedimiento Distorsión eliminada

3.2 K c (l∞ , vz) -Calibrar (l∞ , vz)-Obtener (θ,γ,β)-Construir P

ProyectivaAfínSimilar

64 / 71

Rectificación del plano de carretera – casos

6.- Parámetros extrínsecos e intrínsecos desconocidos● Si no se puede autocalibrar…● … y solo se puede obtener un punto de fuga…● Tendremos distorsión afín

Caso Conocimiento a priori

Obtener Procedimiento Distorsión eliminada

6.1 vz -Asumir vx

horizontal-Obtener 4 puntos y DLT

Proyectiva

65 / 71

Rectificación del plano de carretera – casos

Resumen contribuciones● Análisis opciones siguiendo conceptos de geometría proyectiva● Identificación de soluciones plausibles

● Diseño de varios métodos

Caso Conocimiento a priori

Obtener Procedimiento Distorsión eliminada

2.1 K β=0 c vz -Calibrar vz

-Obtener (θ,γ) a partir de v’z

-Construir P

ProyectivaAfínSimilar

2.2 K β=0 vz -Obtener l∞ con (vz , β=0)-Calibrar y obtener v’x-Obtener 4 puntos y DLT

ProyectivaAfín

3.2 K c (l∞ , vz) -Calibrar (l∞ , vz)-Obtener (θ,γ,β)-Construir P

ProyectivaAfínSimilar

66 / 71

Índice

Introducción

Estimación de puntos de fuga

● Extracción de características

● Función de error

● Clasificación RANSAC

● Refinado EM

Rectificación de planos

● Escenario de la carretera

● Rectificación del plano de carretera

Conclusiones

67 / 71

Conclusiones

Puntos de fuga

● Análisis del problema de detección y seguimiento

● Evaluación de las estrategias existentes

● Identificación de sus problemas

● Propuesta de alternativas así como métodos novedosos

Rectificación de planos

● Análisis geometría proyectiva

● Diseño de alternativas de rectificación

● Aplicación de un esquema recursivo

68 / 71

Conclusiones

Puntos de fuga

● Detector de segmentos (SSWMS) – rápido, automático y fiable

● Función de error (OS) – eficiencia y versatilidad

● Estimación robusta (RANSAC) con optimización no lineal – robustez, seguimiento

● Refinado EM – estimación simultánea de puntos y líneas

Rectificación de planos

● Clasificador Bayesiano – adaptabilidad

● Modelo de carretera – coherencia

● Análisis de rectificación de planos – casos prácticos

69 / 71

Conclusiones

Contribuciones científicas● Como primer autor: 11 (1 revista, 10 congresos)

+ un artículo en revista en proceso de 2º revisión (SSWMS)

● Como coautor: 6 (1 revista, 5 congresos)

Publicaciones destacadas

Año Publicación Tema

2010 Machine Vision and Applications (IF 2009: 0,952) Rectificación del planoClasificador BayesianoModelo de carretera

2010 IEEE International Conference on Image Processing MSAC-OS

2010 IEEE International Conference on Image Processing EM plano de imagen

2010 SPIE Real Time Image & Video Processing MLESAC-OS y seguimiento

2008 IEEE International Conference on Image Processing Estimación de puntos de fugaModelo de carretera

2008 IEEE Intelligent Vehicles Symposium Modelo de carretera

2008 IEEE Context Based Multimedia Indexing Modelo de carretera

2007 IEEE Intelligent Vehicles Symposium Rectificación de planos

2007 Lecture Notes in Computer Science 4768 Estimación de puntos de fuga

70 / 71

Trabajo futuro

Extracción de características

● Aplicar los conceptos del SSWMS para extraer características más complejas (polígonos, formas geométricas, etc.)

Estimación de puntos de fuga

● Incluir relaciones entre puntos de fuga mediante MRF (ortogonalidad)● Integrar seguimiento de puntos de fuga junto con SLAM basado en puntos

Modelo de carretera

● Múltiples cámaras: rectificación de planos alrededor del vehículo para visualizar un entorno 360º

● Autocalibración de la cámara mediante análisis de puntos de fuga

71 / 71

Fin de la presentación

72 / 71

73 / 71

Discusión Capítulo 2

74 / 71

Extracción de características – SSWMS

Cálculo de● Matriz de covarianza y sus autovalores y autovectores

Línea Esquina Homogéneo

75 / 71

Extracción de características – SSWMS

Comparación de ruido● Segmentos vs píxeles de gradiente

Distribution of error between data sample and vertical vanishing point

Lin

e s

egm

ent

sG

rad

ien

t-pi

xels

76 / 71

Extracción de características – SSWMS

Distribution of error between data sample and central vanishing point

Lin

e s

egm

ent

sG

rad

ien

t-pi

xels

Comparación de ruido● Segmentos vs píxeles de gradiente

77 / 71

Extracción de características – SSWMS

Slice sampler

1D

2D

78 / 71

Extracción de características – SSWMS

Weighted Mean Shift

Mean shift vector

79 / 71

Extracción de características – SSWMS

Algoritmo de crecimiento● Proceso iterativo: se crece en la dirección que determina ● Se crece según Bresenham mientras con ● Se evalúa el error de la línea

● Se termina cuando

80 / 71

Extracción de características – SSWMS Complejidad del algoritmo

SSWMS LSDOperations for the whole image, with size N = Width x Height pixels.

Gradients and/or eigenvectors -Sobel for Gx and Gy: O(N)

-Gradient orientation: O(N)

-Eigendecomposition: O(N)

-Sobel for Gx, Gy: O(N)

-Gradient orientation: O(N)

-Gradient module: O(N)Additional operations -Computation of the mean of p(x,: O(N) -Pseudo sorting of gradient magnitudes:

<O(logN)

Total O(N) O(N)Comments Since all the operations are done at pixel level, we can consider that both methods work in linear time operation (the number of required

operations is proportional to the number of pixels in the image).

Operations done for each line segment or cluster

Average number of line segments found (M).

-Small images (320x240) ≈ 100

-Medium images (900x600) ≈ 400

- Small images (320x240) ≈ 100

-Medium images (900x600) ≈ 700

Growing strategy for a line segment of length L

-Bresenham algorithm & Mean Shift: O(L+4.5R)

O(L) refers to the computation of the position of each candidate pixel in the growing strategy.

The operations required are sums and multiplications.

O(3*1.5*R) reflects the execution of 3 Mean Shift procedures, one for setting the starting point of the growing strategy, and one for each end-point to refine its position. Typically MS converges in one or two iterations. In average is 1,5 times checking a window of R=r x r pixels.

The required are sums.

-8-CCA: O(W*L)

The result is a cluster of length L and some width W > 1, in the figures they show in their paper it is exemplified as Width = 3 pixels.

The operations required are sines and cosines of angles.

Other computations -Compute regions mass, inertia moment and NFA: O(W*L)

Total As a result, the complexity of the SSWMS algorithm associated to a single line segment is O(L+4.5R), while it is O(2WL) for the LSD algorithm. Note that O(L+4.5R) < O(2WL).

Example M*(L+3R)

Example: Detected M = 400 line segments, with average length L = 80, R = 9:

Cost = 400*(80+4.5*9) = 48200

M*(2W*L)

Example: Detected M = 400, with average length L=80, Width =3:

Cost = 400*(2*80*3)= 192000

81 / 71

Extracción de características – SSWMS

Parametrización● El ancho de banda de Mean-Shift se puede utilizar para reducir la cantidad

resultante de segmentos● Por defecto, ancho de banda = 3

82 / 71

Extracción de características – SSWMS

Tiempo de ejecución● C++● Core2Duo @ 2.2 GHz

83 / 71

Extracción de características – SSWMS

“Recall” y “Precision”

● Variando el tamaño● Variando la cantidad de ruido● Variando la perspectiva

Recall: “cuántos de los segmentos de ground truth se han detectado”

Precision: “cuántas detecciones son correctas frente a la cantidad total de detecciones”

84 / 71

Discusión Capítulo 3

Función de error

85 / 71

Función de error

Tabla comparativa de funciones de error

86 / 71

Función de error

Evaluación● Los mapas de error permiten comparar diferentes funciones de error● Podemos proyectar los elementos del plano de imagen en una esfera

centrada en el centro óptico

87 / 71

Función de error

Tests datos sintéticos

88 / 71

Discusión Capítulo 3

RANSAC

89 / 71

RANSAC

Parametrización RANSAC● Umbral inlier-outlier

● Función chi-cuadrado

● Máximo error cometido por el SSWMS

● Si

90 / 71

RANSAC

MLESAC● Similar al EM

● Para un conjunto de características● Supongamos un modelo mixto ON-OFF

● 1D EM para calcular las probabilidades a priori

● “Log-likelihood”

91 / 71

Discusión Capítulo 4

92 / 71

Escenario de carretera – Clasificación Bayesiana

Modelo de verosimilitud – nivel de gris

93 / 71

Escenario de carretera – Clasificación Bayesiana

Modelo de verosimilitud – detector de marcas de carril

94 / 71

Escenario de carretera

Estimación de puntos de fuga con EM● El modelo de carretera inicializa las líneas principales● Clasificación Bayesiana + SSWMS = segmentos de marcas viales● Esquema recursivo: la estimación anterior se usa como inicialización

95 / 71

Escenario de carretera – Clasificación Bayesiana

Modelo de verosimilitud – detector de marcas de carril

96 / 71

Escenario de carretera

Modelo de carretera● El resultado del sistema…

Un proceso recursivo que actualiza una correcta rectificación del plano de carretera Un modelo de carretera basado en el clasificador Bayesiano y el filtro de Kalman

97 / 71

Escenario de carretera

98 / 71

Discusión Capítulo 5

99 / 71

Rectificación del plano de carretera – casos

3.2.- Rotación desconocida● Es más eficaz detectar 3 líneas correspondientes a 3 líneas paralelas

equiespaciadas en el plano● Se puede utilizar el método EM propuesto

Caso Conocimiento a priori

Obtener Procedimiento Distorsión eliminada

3.2 K c (l∞ , vz) -Calibrar (l∞ , vz)-Obtener (θ,γ,β)-Construir P

ProyectivaAfínSimilar

100 / 71

Rectificación del plano de carretera – casos

2.2.- Suponer β =0, con los otros ángulos desconocidos y c desconocido● Se pueden trazar rectas que pasen por la imagen y seleccionar 4 puntos● Se corresponden con un rectángulo en el plano de carretera

Caso Conocimiento a priori

Obtener Procedimiento Distorsión eliminada

2.2 K β=0 vz -Obtener l∞ con (vz , β=0)-Calibrar y obtener v’x

-Obtener 4 puntos y DLT

ProyectivaAfín

DLT

101 / 71

Rectificación del plano de carretera – casos

4.- Rotación y traslación desconocidas● Mediante el cálculo de puntos de fuga se puede llegar como mucho a una

rectificación con distorsión similar

● Se trata de buscar 4 correspondencias entre puntos a través del cálculo de dos puntos de fuga

Cálculo directo Cálculo a través de la línea del infinito

Caso Conocimiento a priori

Obtener Procedimiento Distorsión eliminada

4.1 K (vx, vz) -Obtener 4 puntos y DLT ProyectivaAfín

4.2 K (l∞ , vz) -Calibrar y obtener v’x

-Obtener 4 puntos y DLTProyectivaAfín

102 / 71

Rectificación del plano de carretera – casos

5.- Parámetros extrínsecos e intrínsecos desconocidos● Si se desea eliminar la distorsión afín (como los casos anteriores), es

necesario calibrar la cámara● Se puede autocalibrar la cámara mediante el cálculo de al menos 3 pares

de puntos de fuga ortogonales entre sí Tres direcciones ortogonales del espacio Dos direcciones ortogonales durante varias imágenes

Caso Conocimiento a priori

Obtener Procedimiento Distorsión eliminada

5.1 K,(vx, vz) o (l∞ , vz)

-Obtener IAC y descomponer en K-Obtener 4 puntos y DLT

ProyectivaAfín

103 / 71

Rectificación del plano de carretera – casos

6.- Parámetros extrínsecos e intrínsecos desconocidos● Si no se puede autocalibrar…● … y solo se puede obtener un punto de fuga…● Tendremos distorsión afín

Caso Conocimiento a priori

Obtener Procedimiento Distorsión eliminada

6.1 vz -Asumir vx

horizontal-Obtener 4 puntos y DLT

Proyectiva