Estudio comparativo de tecnicas de visi´ on´

95

Transcript of Estudio comparativo de tecnicas de visi´ on´

Page 1: Estudio comparativo de tecnicas de visi´ on´

1

Page 2: Estudio comparativo de tecnicas de visi´ on´

Estudio comparativo de tecnicas de visionartificial y procesamiento de imagenesenfocadas a la deteccion de cambios en

coberturas boscosas

Monica Yolanda Moreno Revelo

Tesis de maestrıa

Director:Ph.D. Juan Bernardo Gomez Mendoza

Co-Director:Ph.D. Diego Hernan Peluffo Ordonez

Universidad Nacional de ColombiaFacultad de ingenierıa y arquitectura, Maestrıa en ingenierıa-Automatizacion industrial

Manizales, Colombia2020

Page 3: Estudio comparativo de tecnicas de visi´ on´

Estudio comparativo de tecnicas de visionartificial y procesamiento de imagenesenfocadas a la deteccion de cambios en

coberturas boscosas

Monica Yolanda Moreno Revelo

Trabajo de grado presentado como requisito parcial para optar al tıtulo de:Magıster en ingenierıa-automatizacion industrial

Director:Ph.D.Juan Bernardo Gomez Mendoza

Co-Director:Ph.D. Diego Hernan Peluffo Ordonez

Lınea de Investigacion:Vision Artificial y procesamiento de imagenes

Grupos de Investigacion:SHAC y SDAS research group

Universidad Nacional de ColombiaFacultad de ingenierıa y arquitectura, Departamento de ingenierıa electronica, electrica y computacion

Manizales, Colombia2020

Page 4: Estudio comparativo de tecnicas de visi´ on´

A mi madre Martha Revelo

Page 5: Estudio comparativo de tecnicas de visi´ on´

AgradecimientosAgradezco a mi director Juan Bernardo Gomez Mendoza y a mi co-director Diego Hernan Pe-luffo Ordonez por su asesoria y apoyo en el desarrollo de este trabajo.

Agradezco a la fundacion Centro de Estudios Interdisciplinarios Basicos y aplicados (CEIBA) porel financiamiento que me proporcionaron para la ejecucion de este trabajo.

Igualmente agradezco a todos mis amigos y familiares por su apoyo.

Page 6: Estudio comparativo de tecnicas de visi´ on´

Contenido

Indice general V

Lista de Figuras IX

Lista de Tablas XI

Lista de Algoritmos XIII

Notacion XIV

Resumen XVI

Abstract XVII

1. Introduccion 11.1. Motivacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2. Planteamiento del problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.3. Contribucion y propuesta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.4. Trabajos relacionados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.5. Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.5.1. Objetivo General . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.5.2. Objetivos especıficos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2. Metodos Utilizados 92.1. Imagenes satelitales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92.2. Tecnicas de Caracterizacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.2.1. Firma espectral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102.2.2. Bases de Hermite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112.2.3. Caracterısticas de textura . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.3. Agrupamiento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142.3.1. k-medias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142.3.2. Agrupamiento basado en densidades . . . . . . . . . . . . . . . . . . . . . 162.3.3. Criterio de inicializacion max-mın . . . . . . . . . . . . . . . . . . . . . . 162.3.4. Algoritmo ACCA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

Page 7: Estudio comparativo de tecnicas de visi´ on´

VI Contenido

2.4. Redes neuronales profundas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212.4.1. Redes neuronales convolucionales . . . . . . . . . . . . . . . . . . . . . . 212.4.2. Redes Neuronales Recurrentes . . . . . . . . . . . . . . . . . . . . . . . . 23

2.5. Tecnicas de post-procesamiento . . . . . . . . . . . . . . . . . . . . . . . . . . . 252.5.1. Tecnica de post-procesamiento 1 . . . . . . . . . . . . . . . . . . . . . . . 252.5.2. Tecnica de post-procesamiento 2 . . . . . . . . . . . . . . . . . . . . . . . 26

2.6. Medidas de eficiencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

3. Experimentos sobre imagenes satelitales de suelo con vegetacion 313.1. Bases de datos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3.1.1. Base de datos Campo Verde . . . . . . . . . . . . . . . . . . . . . . . . . 313.1.2. Base de datos Narino . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

3.2. Pre-procesamiento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343.2.1. Filtrado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343.2.2. Apilamiento de imagenes . . . . . . . . . . . . . . . . . . . . . . . . . . . 343.2.3. Recorte de imagenes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353.2.4. Conversion de niveles digitales . . . . . . . . . . . . . . . . . . . . . . . . 35

3.3. Metodologıa 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373.3.1. Segmentacion de nubes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373.3.2. Caracterizacion de imagenes . . . . . . . . . . . . . . . . . . . . . . . . . 373.3.3. Agrupamiento de datos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

3.4. Metodologıa 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423.4.1. Clasificacion de nubes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463.4.2. Clasificacion de coberturas . . . . . . . . . . . . . . . . . . . . . . . . . . 48

3.5. Comparacion de resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493.6. Deteccion de cambios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

4. Conclusiones y trabajo futuro 594.1. Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 594.2. Trabajo Futuro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

A. Anexo: Experimentos sobre imagenes aereas con uso de suelo urbano 63A.1. Imagen Pavia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63A.2. Pre-procesamiento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64A.3. Metodologıa 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

A.3.1. Caracterizacion de imagenes . . . . . . . . . . . . . . . . . . . . . . . . . 64A.3.2. Agrupamiento de datos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

A.4. Metodologıa 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66A.4.1. Clasificacion de coberturas . . . . . . . . . . . . . . . . . . . . . . . . . . 67A.4.2. Comparacion de resultados . . . . . . . . . . . . . . . . . . . . . . . . . . 67

Page 8: Estudio comparativo de tecnicas de visi´ on´

Contenido VII

Bibliografıa 71

Page 9: Estudio comparativo de tecnicas de visi´ on´
Page 10: Estudio comparativo de tecnicas de visi´ on´

Lista de Figuras

2-1. Firma espectral de diferentes superficies. . . . . . . . . . . . . . . . . . . . . . . . 112-2. Ejemplo matriz de coocurrencia. . . . . . . . . . . . . . . . . . . . . . . . . . . . 132-3. Ejemplo de agrupamiento con k-medias. . . . . . . . . . . . . . . . . . . . . . . . 162-4. Ejemplo arquitectura red neuronal convolucional. . . . . . . . . . . . . . . . . . . 212-5. Ejemplo de convolucion aplicada a una imagen. . . . . . . . . . . . . . . . . . . . 222-6. Ejemplo de pooling usando redes neuronales convolucionales. . . . . . . . . . . . 222-7. Ejemplo arquitectura red neuronal recurrente. . . . . . . . . . . . . . . . . . . . . 232-8. Ejemplo grafico de tecnica de post-procesamiento 1. . . . . . . . . . . . . . . . . 262-9. Ejemplo grafico de tecnica de post-procesamiento 2. . . . . . . . . . . . . . . . . 27

3-1. Diagrama de experimentos realizados sobre imagenes satelitales de suelo con ve-getacion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3-2. Ejemplo de apilamiento de imagenes. . . . . . . . . . . . . . . . . . . . . . . . . 343-3. Recorte aplicado a las imagenes satelitales de Narino. . . . . . . . . . . . . . . . . 363-4. Metodologıa 1 aplicada a bases de datos con vegetacion. . . . . . . . . . . . . . . 373-5. Metodologıa 2 aplicada a bases de datos con vegetacion. . . . . . . . . . . . . . . 423-6. Ejemplo proceso de clasificacion con redes neuronales. . . . . . . . . . . . . . . . 443-7. Mapa de clasificacion obtenido con la 2D-CNN en la Secuencia 2. Campo Verde . 533-8. Mapa de clasificacion obtenido con la 2D-CNN imagen 354 de 2015. Narino . . . 543-9. Mapa de deteccion de cambios. Narino . . . . . . . . . . . . . . . . . . . . . . . . 553-10. Mapa de deteccion de cambios refinado. Narino . . . . . . . . . . . . . . . . . . . 563-11. Interfaz de visualizacion de resultados. . . . . . . . . . . . . . . . . . . . . . . . . 57

A-1. Diagrama de experimentos realizados en la imagen Pavia. . . . . . . . . . . . . . . 63A-2. Metodologıa 1 aplicada a Pavia. . . . . . . . . . . . . . . . . . . . . . . . . . . . 64A-3. Metodologıa 2 aplicada a Pavia. . . . . . . . . . . . . . . . . . . . . . . . . . . . 66A-4. Mapa de clasificacion obtenido con la 2D-CNN en Pavia. . . . . . . . . . . . . . . 70

Page 11: Estudio comparativo de tecnicas de visi´ on´
Page 12: Estudio comparativo de tecnicas de visi´ on´

Lista de Tablas

2-1. Caracterısticas de Resolucion Landsat 8. . . . . . . . . . . . . . . . . . . . . . . . 92-2. Caracterısticas de las bandas Landsat 8. . . . . . . . . . . . . . . . . . . . . . . . 102-3. Combinaciones intensidades para la obtencion de la matriz de coocurrencia. . . . . 132-4. Matriz de confusion biclase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272-5. Matrız de confusion Multiclase . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

3-1. Cultivos de la base de datos Campo Verde. . . . . . . . . . . . . . . . . . . . . . . 323-2. Resultados de la clasificacion de nubes con ACCA. Narino. . . . . . . . . . . . . . 383-3. Conjunto de caracterısticas comparadas. . . . . . . . . . . . . . . . . . . . . . . . 383-4. Resultados de la comparacion de caracterısticas. Campo Verde . . . . . . . . . . . 393-5. Resultados de la comparacion de caracterısticas. Narino . . . . . . . . . . . . . . . 393-6. Metodos de agrupamiento comparados. . . . . . . . . . . . . . . . . . . . . . . . 403-7. Resultados de la comparacion de algoritmos de agrupamiento. Campo Verde. . . . 403-8. Resultados de la comparacion de algoritmos de agrupamiento. Narino. . . . . . . . 403-9. Influencia del agrupamiento por segmentos en los datos. . . . . . . . . . . . . . . 413-10. Influencia del filtrado y de la cantidad de bandas utilizadas de las imagenes. Anali-

sis no supervisado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423-11. Cantidad de muestras utilizadas en el entrenamiento de las redes neuronales. Bases

de datos con vegetacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433-12. Arquitecturas de redes neuronales comparadas. . . . . . . . . . . . . . . . . . . . 453-13. Resultados de la comparacion de redes neuronales en la clasificacion de nubes.

Narino. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463-14. Resultados de clasificacion de nubes con 2D-CNN. Narino . . . . . . . . . . . . . 473-15. Resultados de la comparacion de redes neuronales para clasificacion de coberturas.

Campo Verde . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483-16. Resultados de la comparacion de redes neuronales para clasificacion de coberturas.

Narino. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493-17. Influencia del filtrado y de la cantidad de bandas utilizadas de las imagenes. Anali-

sis supervisado. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493-18. Comparacion de resultados en las diferentes metodologıas. Nubes . . . . . . . . . 503-19. Comparacion de resultados en las diferentes metodologıas. Coberturas . . . . . . . 503-20. Resultados post-procesamiento aplicado a el mapa de clasificacion obtenido con la

2D-CNN. Campo Verde . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

Page 13: Estudio comparativo de tecnicas de visi´ on´

XII Lista de Tablas

3-21. Resultados detallados del post-procesamiento aplicado. Campo Verde . . . . . . . 513-22. Comparacion redes convolucionales con el estado del arte. Campo Verde . . . . . . 52

A-1. Resultados de la comparacion de caracterısticas. Pavia . . . . . . . . . . . . . . . 65A-2. Resultados de comparacion de algoritmos de agrupamiento. Pavia . . . . . . . . . 66A-3. Cantidad de muestras utilizadas en el entrenamiento de las redes neuronales. Pavia 67A-4. Resultados de la comparacion de redes neuronales. Pavia . . . . . . . . . . . . . . 68A-5. Resultados post-procesamiento aplicado al mapa de clasificacion obtenido con la

2D-CNN. Pavia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68A-6. Comparacion redes convolucionales con el estado del arte. Pavia . . . . . . . . . . 69

Page 14: Estudio comparativo de tecnicas de visi´ on´

Lista de algoritmos

1. Pasos basicos del algoritmo k-medias. . . . . . . . . . . . . . . . . . . . . . . . . 152. Pasos basicos del algoritmo NPDBC. . . . . . . . . . . . . . . . . . . . . . . . . . 173. Pasos basicos del algoritmo de agrupamiento por segmentos. . . . . . . . . . . . . 184. Paso 1 del algoritmo ACCA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195. Paso 2 del algoritmo ACCA. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206. Algoritmo de post-procesamiento (Tecnica 1) . . . . . . . . . . . . . . . . . . . . 25

Page 15: Estudio comparativo de tecnicas de visi´ on´

Notacion

Lista de variables

Variable Definicionφi i esima base de Hermite.

X ∈ Rn×m matriz de caracterısiticas.xi i esimo elemento del conjunto X.Gi ∈ Rl×m i esimo grupo de la particion de un conjunto de datos.gi i esimo elemento de un determinado grupo G.Q ∈ Rk×m conjunto de centroides.qi i esimo elemento de la particion Qr.p(ϕ) probabilidad de parzen.I ∈ RR×C×D imagen satelital.Ii,j,z pıxel de la imagen I ubicado en la posicion (i, j, z).∑

matriz de covarianzas.J funcion de costos.σ(t) funcion de activacion de una red neuronal.OA eficiencia promedio total.AA eficiencia individual.f1 f1 score.

Superındices

Superındice Terminom numero de caracterısticas de un conjunto de datos.n numero de elementos totales en un conjunto de datos.l numero de elementos en un grupo.k numero de grupos de un conjunto de datosR Tamano horizontal de una imagen.C Tamano vertical de una imagen.B Numero de bandas de una imagen.

Page 16: Estudio comparativo de tecnicas de visi´ on´

Lista de algoritmos XV

Comparative study of artificial visiontechniques and image processing focused on

changes detection in forest covers.

Page 17: Estudio comparativo de tecnicas de visi´ on´

Resumen

La clasificacion de coberturas a partir del procesamiento de imagenes satelitales puede ser apli-cado en diferentes areas como la clasificacion de cultivos y la cuantificacion de la deforestacion.La clasificacion de cultivos es de gran ayuda en tematicas relacionadas con agricultura, ya que laclasificacion permite monitorear los cultivos con el fin de mejorar los procesos de produccion ydisminuir el impacto ambiental relacionado con ella. Por otro lado, la deforestacion trae conse-cuencias negativas como la emision de mas gases invernadero y la desaparicion de especies quehabitan en bosques. Por lo tanto es importante proponer alternativas que permitan cuantificar ladeforestacion y regeneracion de bosques. Dichas tareas suelen ser llevadas a cabo mediante siste-mas computacionales basados en tecnicas como el agrupamiento no supervisado y agrupamientosupervisado.

La implementacion de un sistema de clasificacion requiere de ajustes constantes para lograr resul-tados cada vez mas consistentes y oportunos. Por ello trabajar en la clasificacion de coberturas enimagenes es aun un problema abierto. Teniendo en cuenta lo anterior, en este trabajo se proponeun enfoque basado en procesamiento de imagenes a partir de algunas tecnicas de agrupamiento nosupervisado y agrupamiento supervisado con etapas de pre-procesamiento y post-procesamiento.Las tecnicas fueron validadas sobre diferentes bases de datos, principalmente una base de datosagrıcola (Campo Verde), y una base de datos de coberturas boscosas (Narino). La metodologıaempleada permitio obtener resultados comparables con los reportados en la literatura.

Palabras clave: deeep learning, imagen satelital, agrupamiento no supervisado, red neuronal convo-lucional, red neuronal recurrente.

Page 18: Estudio comparativo de tecnicas de visi´ on´

Abstract

Coverage classification with imagery satellite processing can be applied to topics such as cropclassification and deforestation quantification. Crop classification is helpful to issues as agriculturesince the classification allows monitoring the crops in order to improve production and lower envi-ronmental impact. On the other hand, deforestation has negative consequences such as greenhousegas emission and species extinction that live in the forests. Therefore, it is important to propose al-ternatives in order to quantify deforestation and regeneration of trees. Those tasks are often carriedout with techniques such as unsupervised grouping and supervised grouping.

A classification system requires constant adjustments in order to achieve results more consistentand timely. That is to say, coverage classification is still an open problem. In view of the above, inthis work we introduce an approach based on supervised and nonsupervised techniques applied onmultispectral satellite imagery using pre-processing and post-processing methods. The techniqueswere evaluated in different databases, an agricultural database (Campo Verde), and a wooded areadatabase (Narino). The methodology allowed us to obtain results comparable with state of the art.

Keywords:deep learning, satellite image, unsupervised clustering, convolutional neural network, re-current neural network.

Page 19: Estudio comparativo de tecnicas de visi´ on´

1. Introduccion

1.1. Motivacion

El procesamiento de imagenes satelitales a partir de tecnicas computacionales como el agrupa-miento no supervisado (clustering) y el aprendizaje profundo (deep learning) ha mostrado ser utilen diferentes ambitos relacionados por ejemplo con la prediccion del clima, la deteccion de cam-bios, la agricultura, el monitoreo y control de la deforestacion, entre otros. Nuestra investigacionfue enfocada principalmente en las dos ultimas aplicaciones mencionadas, debido a la disponibili-dad de las bases de datos y al interes del estado del arte por dichas aplicaciones.

La agricultura es una de las principales actividades economicas en el mundo y considerando elincremento de la poblacion y la limitada disponibilidad de alimentos, es necesario monitorearlas actividades agrıcolas regularmente, con el fin de alcanzar una mejor produccion de alimentosprocurando al mismo tiempo cuidar del medio ambiente [36,41,55,56]. En este contexto, la clasi-ficacion de cultivos puede ser usada para proporcionar informacion sobre la produccion, ası comotambien representar una herramienta significativa para desarrollar planes adecuados y minimizarproblemas de impacto ambiental relacionados con la agricultura [28, 37]. En este sentido, es ade-cuado proporcionar informacion oportuna y confiable de grandes areas de cultivos [51].

Por otro lado, se debe resaltar que los bosques son ecosistemas conformados principalmente porarboles y arbustos, que se caracterizan por desempenar un rol importante en la lucha contra elcambio climatico, ya que, entre otras funciones, regulan el ciclo de agua ayudando a prevenirinundaciones, contribuyen a controlar la erosion de los suelos, generar oxıgeno y albergar granparte de la biodiversidad terrestre [43]. Colombia es el segundo paıs mas bio diverso del mundo, yde acuerdo con el Instituto de Hidrologıa, Meteorologıa y Estudios Ambientales (IDEAM), apro-ximadamente el 53 % del territorio colombiano esta cubierto de bosques [23]. La deforestacion deestos ecosistemas provoca consecuencias negativas como el aumento de las emisiones de los gasesinvernadero y la desaparicion de especies nativas de los bosques, lo que hace necesario proponeralternativas que permitan cuantificar la deforestacion y regeneracion en los ultimos anos; y a partirde ello, predecir sobre posibles cambios futuros que pueden llegar a afectar negativamente el equi-librio del ecosistema.

Page 20: Estudio comparativo de tecnicas de visi´ on´

2 1 Introduccion

1.2. Planteamiento del problema

La implementacion de un sistema de clasificacion de coberturas requiere de ajustes constantes pa-ra lograr resultados cada vez mas consistentes y oportunos, por lo que el trabajar en el tema declasificacion y segmentacion de imagenes es todavıa un problema abierto, especialmente para lostemas relacionados con la agricultura [26].

Nuestro enfoque fue probado sobre dos bases de datos, la primera una base de datos agrıcola quetiene 11 diferentes cultivos (soya, maız, algodon, sorgo, frijoles, cultivos no comerciales o NCC,pasto, eucalipto, suelo, cesped y cerrado) de regiones de Brasil, y la segunda una base de datos decoberturas boscosas de regiones narinenses. Las imagenes de la base de datos agrıcola representanun problema desafiante de clasificacion debido a que fueron adquiridas sobre una region tropical,region en la que tienden a existir areas de cultivos mezclados pequenos y con formas irregulares.Por otro lado, las imagenes de Narino representan un problema desafiante de clasificacion al estarcubiertas en su mayorıa por nubes dificultando el proceso de clasificacion de coberturas.

1.3. Contribucion y propuesta

Motivados por lo descrito anteriormente, nuestro marco experimental consistio en comparar tecni-cas de agrupamiento no supervisado y de deep learning principalmente sobre las dos bases de datosmencionadas. Adicionalmente, con el fin de validar la metodologıa empleada en otro tipo de datos,se presenta tambien un anexo con los resultados preliminares obtenidos sobre una imagen de zonasurbanas (Pavia). En nuestra metodologıa, en primer lugar, se realizo un pre-procesamiento sobrelas imagenes que consistio en un filtrado, conversion a valores de reflectancia y recorte de algunasimagenes. Posteriormente se aplicaron pruebas de agrupamiento no supervisado con los algorit-mos k-medias y un algoritmo no parametrico basado en densidades, y haciendo uso de diferentescaracterısticas como la firma espectral, los coeficientes de Hermite y caracterısticas de textura.Otra de las pruebas que se realizo sobre los datos consistio en aplicar tres diferentes arquitecturasde redes neuronales profundas, una red neuronal convolucional 2D o 2D-CNN 1, una red neuronalrecurrente o RNN 2 y una combinacion de estas dos. Luego de aplicar las anteriores pruebas sedetermino cual de ellas fue la mejor para clasificar cada base de datos; y finalmente, se realizo elpost-procesamiento sobre algunas de las imagenes con el fin de refinar el mapa de etiquetas obte-nido por la prueba que proporciono el mejor resultado.

La metodologıa empleada permitio concluir que, para las bases de datos utilizadas, el mejor resul-tado es obtenido mediante tecnicas de deep learning para todos los casos. Para la base de datos deNarino se obtuvo una eficiencia del 93.23 %, 93.41 %, 93.29 % en termino del ındice f1, eficienciaindividual y eficiencia total respectivamente, mientras que para la base de datos de Campo Verde se

1por sus siglas en ingles (Convolutional Neural Network)2por sus siglas en ingles (Recurrent Neural Network)

Page 21: Estudio comparativo de tecnicas de visi´ on´

1.4 Trabajos relacionados 3

obtuvo una eficiencia de 75.74 %, 88.92 %, 80.79 % en termino del ındice f1, eficiencia individualy eficiencia total respectivamente, logrando superar los resultados reportados hasta el momentopara Campo Verde.

Aunque para Narino no existen trabajos con los cuales se pueda realizar una comparacion, deacuerdo con los resultados obtenidos para Campo Verde se puede decir que la principal contribu-cion de nuestro trabajo fue el aumento de la eficiencia de clasificacion en contraste con trabajosrecientes. Dicho aumento es atribuido al uso de la etapa de post-procesamiento y a la busqueda deparametros a lo largo de las etapas de la metodologıa empleada. Adicionalmente, la investigacionrealizada en el ambito ambiental representa una contribucion para controlar problemas relaciona-dos con la deforestacion y en el ambito agrıcola representa una contribucion para aplicaciones deseguimiento y monitoreo de cultivos. En el ambito investigativo con el presente trabajo se obtuvie-ron dos artıculos cientıficos listados a continuacion:

Artıculo publicado en Revista iberica de sistemas y Tecnologıa de la Informacion (RIS-TI): Satellite-image-based crop identification using unsupervised machine learning techni-ques: Preliminary results. Con este artıculo se participo tambien en el Congreso Internacionalen Ciencias de la Computacion (INCICS) desarrolado en Ibarra-Ecuador.https : //search.proquest.com/openview/07a5294795bdf4c5423a32a23b32a228/1?pq−origsite = gscholarcbl = 1006393

Artıculo sometido a evaluacion en revista applied science (a ser enviado) EnhancedConvolutional-Neural-Network Architecture for Crop Classification.

1.4. Trabajos relacionados

El procesamiento de imagenes ha mostrado ser util en temas relacionados pero no limitados a laagricultura y cuantificacion de la deforestacion [4, 32, 47]. Dichas imagenes pueden ser adquiri-das por sensores aborde de un satelite como el Landsat y Sentinel. Las imagenes obtenidas conSentinel son una buena alternativa al clasificar datos sin nubosidad, como lo hacen en [48]. Sinembargo, a la hora de detectar cambios es recomendable valerse de los datos Landsat, ya que estostienen una mejor resolucion espectral [65]. Las imagenes pueden ser procesadas a partir de tecni-cas computacionales como el clustering y deep learning.

Cuando se cuentan con datos sin anotaciones es recomendable usar tecnicas de agrupamiento nosupervisado o clustering. Uno de los metodos que la literatura reporta es el algoritmo k-medias,cuyo objetivo es agrupar datos de acuerdo con un criterio de disimilitud como por ejemplo la dis-tancia entre diferentes puntos. K-medias ha sido utilizado en diferentes aplicaciones tales como

Page 22: Estudio comparativo de tecnicas de visi´ on´

4 1 Introduccion

el planeamiento territorial a partir de la clasificacion de areas urbanas y rurales [4]; predicciondel clima a partir de la clasificacion de nubes [20]; la cuantificacion de biomasa [5]; y la detec-cion de cambios a partir de la clasificacion de coberturas [3]. En dichas investigaciones, imagenessatelitales de diferentes zonas (Colombia, Indonesia) fueron empleadas, y en algunas de estas in-vestigaciones se presentan comparaciones de algoritmos no supervisados, concluyendo a partir deellas que k-medias puede abarcar ciertas aplicaciones de manera mas eficiente que otros metodoscomo el DBSCAN y el ISODATA.

Otras tecnicas de aprendizaje no supervisado comunmente utilizadas son las basadas en densida-des, como por ejemplo el algoritmo de maxima esperanza gaussiana. Dicho metodo agrupa loselementos de acuerdo con funciones de membresıa y probabilidades de pertenencia, las cualespueden ser calculadas a partir de kernels, como el kernel Gaussiano. En los trabajos de [57] y [53],el metodo se uso con el objetivo de cuantificar deforestacion a partir de la deteccion de cambiosen imagenes satelitales adquiridas en distintas fechas. Las investigaciones de He et al. [21] y Heu-pel [22] tambien aplicaron tecnicas basadas en el agrupamiento por probabilidades, la primera conel fin de segmentar nubes y la segunda cultivos. Mas informacion acerca de algoritmos de tipoprobabilıstico se puede encontrar en la investigacion de [18].

Los trabajos anteriores, y demas investigaciones que aplican tecnicas de clustering, dependen delas caracterısticas utilizadas como entrada para el proceso de clasificacion. Las firmas espectralesson unas de estas caracterısticas, de las cuales se pueden derivar otras como los ındices de vegeta-cion y los coeficientes de Hermite. Estos ultimos han sido ampliamente utilizados en aplicacionesde agrupamiento de senales electroencefalograficas y electrocardiograficas, en las cuales se hanreportado resultados exitosos. Por otro lado, desde el surgimiento del ındice de vegetacion norma-lizada o NVDI 3 en 1974, este ha sido adaptado o modificado a otros ındices. Algunos de ellos, elındice de estres hıdrico o CWSI 4, en 1985, y el ındice de Vegetacion Ajustado al Suelo o SAVI 5,en 1988.

Con el fin de mejorar la eficiencia en la segmentacion de imagenes, los ındices de vegetacion men-cionados anteriormente han sido empleados en diferentes investigaciones. Ası por ejemplo, unadeteccion de cambios fue hecha en trabajos como los de Alphan et al. [2] y Zhang [64]. En elprimero, la deteccion de cambios fue hecha con el fin de cuantificar deforestacion en imagenessatelitales Landsat TM de Turquıa en el periodo de 1984 a 2006, concluyendo a partir de los re-sultados obtenidos que la regeneracion de selva ocurre en zonas altas de la tierra mientras que ladeforestacion ocurre en altitudes mas pequenas. Por otro lado, en la segunda investigacion la de-teccion de cambios se hizo para determinar posibles sequıas. Trabajos como los dados a conoceren [30] y [12] usaron tambien los ındices de vegetacion aplicados a la clasificacion de cultivos en

3por sus siglas en ingles, Normalized Difference Vegetation Index4por sus siglas en ingles, Crop Water Stress Index5por sus siglas en ingles, Soil-Adjusted Vegetation Index

Page 23: Estudio comparativo de tecnicas de visi´ on´

1.4 Trabajos relacionados 5

Canada y Brasil respectivamente.

Tambien en la literatura se reporta el uso de otras caracterısticas como son las caracterısticas detextura [19,56], las cuales pueden ser obtenidas a partir de la matriz de coocurrencia. Dichas carac-terısticas se calculan en un conjunto de pıxeles conectados y proporcionan por lo tanto informacionsobre las variaciones de tono, informacion que permite delimitar diferentes zonas en imagenes. Al-gunos de los estudios que han empleado este tipo de caracterısticas son los de Wan et al. [56] parauna clasificacion de diferentes cultivos en Taiwan y el de Sanchez et al. [47] para una clasificacionde cultivos en Brasil. En esta ultima investigacion el objetivo principal es dar a conocer una basede datos agrıcola construida por los autores del trabajo mencionado.

En casos en los que se dispone de datos anotados respecto a las regiones, es posible aplicar tecnicasde agrupamiento supervisado. Entre uno de los metodos clasicos del agrupamiento supervisado yque ha sido ampliamente reportado en la literatura se encuentran las maquinas de soporte vecto-rial o SVM 6. Entre las investigaciones que han empleado el SVM se encuentran la de Rokni etal. [46] quienes con el fin de contribuir a la prediccion de sequıas, determinaron el cambio dado ensuperficies de agua en imagenes satelitales de Iran. La investigacion de Joshi et al [27] con ayudadel SVM segmento las nubes de un conjunto de imagenes satelitales Landsat 8 para clasificar otrostipos de coberturas como selva y agua en los pıxeles validos de las imagenes. Por otro lado, elSVM tambien ha sido aplicado a la clasificacion de cultivos en trabajos como los referenciadosen [11] y [45]. En este ultimo tambien se uso la base de datos Campo Verde creada por Sanchez etal [47].

Con el pasar de los anos, nuevas tecnicas de clasificacion supervisada han ido surgiendo y hoy endıa el deep learning esta adquiriendo gran importancia en comparacion con tecnicas tradiciona-les, ya que, a diferencia de otros metodos, este no requiere de procesos como la caracterizacion yseleccion de caracterısticas. Con relacion a la cuantificacion de la deforestacion, arquitecturas deldeep learning como las CNNs han sido empleadas en las investigaciones de [1, 24] y [6], estudiosque fueron aplicados a imagenes satelitales adquiridas en Canada, Brasil y Ecuador.

Con respecto a los problemas agrıcolas el deep learning tambien ha resultado ser util, pues hapermitido contribuir a problematicas de monitoreo y seguimiento de cultivos. Algunas de las in-vestigaciones que pueden ser mencionadas referente al tema son las realizadas en [32, 39, 44, 54],donde se clasificaron cultivos sobre diferentes zonas (Ukrania, Dinamarca, Francia y Nigeria res-pectivamente ). La mayorıa de los trabajos hizo uso de imagenes Sentinel, a excepcion del ultimoque utilizo imagenes Worldview. En las investigaciones los autores realizaron comparaciones delas CNNs con otras arquitecturas como las RNNs y con metodos clasicos como los SVM obtenien-do mejores resultados con las CNNs. Ademas, en el trabajo de [44] se resalta que la clasificaciones mas desafiante cuando los cultivos son pequenos, mezclados y con formas irregulares. En la

6por sus siglas en ingles, Support Vector Machine

Page 24: Estudio comparativo de tecnicas de visi´ on´

6 1 Introduccion

base de datos agrıcola Campo Verde, mencionada anteriormente, tambien se ha aplicado tecnicasde deep learning en investigaciones como las de La Rosa et al. [33], Castro et al. [7] y Chamo-rro et al. [8]. Todos los trabajos realizaron una comparacion de diferentes arquitecturas y en lamayorıa de ellos mejores resultados respecto a la eficiencia fueron obtenidos con las CNNs. Adi-cionalmente, en el trabajo de [8] se clasificaron imagenes de la base de datos Hanover que contieneanotaciones de cultivos de regiones de Alemania.

Otra de las areas en las que el deep learning ha sido aplicado es en la clasificacion de imagenesde zonas urbanas, y algunas de las investigaciones que pueden referenciarse como ejemplo de loanterior son las de Lu et al. [38] y Grinias et al. [16], donde se clasificaron diferentes clases (Ca-rretera, edificio, suelo). En [34], Langkvist et al. clasificaron cinco clases diferentes de coberturas(edificios, vegetacion, piedras, suelo desnudo y agua) con imagenes satelitales de Suecia. En estetrabajo se utilizo k-medias para el entrenamiento de los datos, y para determinar los parametros dela CNN se hizo una comparacion con diferentes estructuras, concluyendo que mejores resultadosde clasificacion son obtenidos a mayor pooling y menor tamano del filtro en la convolucion. Otrabase de datos urbana en la que tecnicas de deep learning han sido aplicadas es la imagen Pavia, lacual fue adquirida en Italia y que en conjunto con arquitecturas como las CNNs se ha empleado enlos trabajos de [42,58,61]. Finalmente, otras de las investigaciones que vale la pena mencionar sonlas de [35,49,62] donde se clasificaron la base de datos aerea conocida como UCM21 con el fin decontribuir en asuntos de planeamiento territorial. En algunos de los trabajos se menciona que paradisponer de mas datos de entrenamiento para las arquitecturas de deep learning se uso transferen-cia de aprendizaje y transformaciones geometricas de las imagenes (rotaciones y traslaciones).

Para obtener mas informacion acerca del deep learning se recomienda estudiar la revision de [28].Esta se enfoca particularmente en temas de agricultura, dando a conocer los avances de diferentesarquitecturas del deep learning en esa area, informacion de bases de datos, problemas de clasifi-cacion de cultivos, entre otros. Igualmente, para obtener mas informacion de las CNNs y su usoen diferentes ambitos se recomienda estudiar la revision de [17]. En esta ultima se especifica quelas CNNs han sido las arquitecturas mas usadas dentro del deep learning; y en [10], se dan a co-nocer diferentes trabajos acerca del sensado remoto, proporcionando informacion desde metodosclasicos hasta arquitecturas modernas como el deep learning.

Page 25: Estudio comparativo de tecnicas de visi´ on´

1.5 Objetivos 7

1.5. Objetivos

1.5.1. Objetivo General

Desarrollar una metodologıa con base en tecnicas de vision artificial que permita resaltar las ca-racterısticas en imagenes para facilitar la deteccion de cambios de coberturas boscosas.

1.5.2. Objetivos especıficos

Implementar y evaluar tecnicas de registro de imagenes con datos provenientes de imagenessatelitales, en cuanto a la precision y robustez frente a la presencia de artefactos en lasimagenes. Este primer objetivo no fue realizado en vista de que las imagenes satelitales deNarino se encuentran referenciadas al sistema de informacion geografica EPSG (EuropeanPetroleum Survey Group) 3857, y por lo tanto no se requiere un proceso de registro.

Implementar y evaluar tecnicas de segmentacion de imagenes satelitales, de caracteriza-cion y de clasificacion de patrones, cuyo uso haya sido reportado exitoso en aplicacionessemejantes. Dicho objetivo fue realizado mediante dos metodologıas correspondientes a unanalisis no supervisado y a un analisis supervisado.

Integrar las tecnicas evaluadas en un aplicativo orientado a facilitar la deteccion de cam-bios y valorar su rendimiento para la aplicacion. Para dicho objetivo se compararon lasmetodologıas del objetivo 2 con el fin de identificar el metodo con mejor desempeno en laclasificacion de coberturas boscosas y aplicarlo en la cuantificacion de la deforestacion.

Page 26: Estudio comparativo de tecnicas de visi´ on´
Page 27: Estudio comparativo de tecnicas de visi´ on´

2. Metodos Utilizados

En esta seccion se describen las tecnicas utilizadas en la metodologıa del presente trabajo. Empe-zando por las imagenes satelitales (Seccion 2.1), siguiendo con tecnicas de caracterizacion (Sec-cion 2.2), posteriormente con las tecnicas de agrupamientos (Seccion 2.3) y de deep learning (Sec-cion 2.4) y finalmente con las tecnicas de post-procesamiento (Seccion 2.5) y las medidas deeficiencia (Seccion 2.6).

2.1. Imagenes satelitales

Las imagenes satelitales son representaciones visuales de diferentes coberturas (arboles, edificios,rıos) que son adquiridas por un sensor a bordo de un satelite. Entre los satelites mas conocidos seencuentran la serie Landsat (Landsat 8 el mas reciente) y Sentinel [40]. La calidad de resolucionespectral, espacial, radiometrica y temporal de las imagenes depende del satelite con el que hayansido adquiridas.

Resolucion espacial: Corresponde al tamano que tiene el pıxel de la imagen.

Resolucion espectral: Corresponde a la longitud de onda que representan las imagenes ad-quiridas por un determinado satelite.

Resolucion radiometrica: Corresponde al numero de niveles digitales utilizados para expre-sar los datos recogidos por el satelite.

Resolucion temporal: Corresponde a la frecuencia con que las imagenes son adquiridas porel satelite.

Tabla 2-1.: Caracterısticas de Resolucion Landsat 8.

Resolucion Valor

Espacial15 m para banda 830 m para las demas bandas

Espectral 0.43-12.51 µmRadiometria 16 bitsTemporal 16 dıas

Page 28: Estudio comparativo de tecnicas de visi´ on´

10 2 Metodos Utilizados

Tabla 2-2.: Caracterısticas de las bandas Landsat 8.

Banda Corresponde Longitud de onda (µm)

Banda 1 Coastal aerosol 0.43-0.45Banda 2 Azul 0.45-0.51Banda 3 Verde 0.53-0.59Banda 4 Rojo 0.64-0.67Banda 5 Infrarojo cercano 0.85-0.88Banda 6 SWIR 1 1.57-1.65Banda 7 SWIR 2 2.11-2.29Banda 8 Pancromatica 2 0.5-0.68Banda 9 Cirrus 1.36-1.38Banda 10 TIRS 1 10.6-11.19Banda 11 TIRS 2 11.50-12.51

En la Tabla 2-1 se dan a conocer las principales caracterısticas de resolucion del satelite Landsat8, uno de los mas utilizados por la comunidad cientıfica debido a su resolucion espectral y a ladisponibilidad de las imagenes adquiridas por el mismo. De acuerdo con la literatura, las image-nes de Landsat son las mas recomendadas para estudios relacionados con deteccion de cambios yagricultura [65].

La cantidad de bandas que tiene una imagen Landsat 8 depende de los sensores con los que hayasido adquirida; ası, si los datos son adquiridos con los sensores OLI (Operational Land Imager)y TIRS (Thermal Infrared Sensor), se dispone de 11 bandas; y si son adquiridas unicamente conel sensor OLI, se dispondra de 8 bandas. Para la serie Landsat 8 se dispone ademas de una bandaadicional conocida como banda de calidad (BQ). Esta permite evaluar la calidad de los pıxeles delas imagenes, proporcionando, por ejemplo, informacion de nubosidad. En la Tabla 2-2 se puedeapreciar la longitud de onda que abarca cada una de las bandas de Landsat 8.

2.2. Tecnicas de Caracterizacion

2.2.1. Firma espectral

La firma espectral de una superficie es definida como la radiacion reflejada por dicha superficie enfuncion de la longitud de onda [25]. Cada tipo de material, suelo, vegetacion, agua, etc., refleja laradiacion incidente de forma diferente, lo que permite distinguirlo de los demas. En la Figura 2-1tomada de [14], se puede apreciar la firma espectral de diferentes materiales.

En el caso de una imagen satelital Landsat 8 adquirida con el sensor OLI, se tienen ocho valores

Page 29: Estudio comparativo de tecnicas de visi´ on´

2.2 Tecnicas de Caracterizacion 11

de reflectancia para cada pıxel de la imagen, a lo largo de la longitud de onda; de tal manera quecada pıxel de una imagen puede ser representado por su firma espectral.

Figura 2-1.: Firma espectral de diferentes superficies.

2.2.2. Bases de Hermite

El modelo parametrico de Hermite es una expresion matematica que puede utilizarse para repre-sentar informacion de puntos de diferentes senales. Los coeficientes de Hermite han sido usadosmayormente en aplicaciones relacionadas con el estudio de senales electrocardiograficas y electro-encefalograficas obteniendo resultados exitosos. Teniendo en cuenta lo anterior, dichos coeficientespueden tambien utilizarse al considerar una imagen satelital como un conjunto de firmas espectra-les.

Los coeficientes de Hermite son una solucion de la ecuacion diferencial:

ϕ′′(t)− 2tϕ′(t) + 2uϕ(t) = 0, (2-1)

donde u es un entero no negativo.

Page 30: Estudio comparativo de tecnicas de visi´ on´

12 2 Metodos Utilizados

De tal manera que los polinomios de Hermite se pueden definir como:

Hi(t) = (−1)net2 di

dtie−t

2

. (2-2)

Ası, los tres primeros polinomios de Hermite son: H0(t) = 1, H1(t) = 2t, H2(t) = 4t2 − 2.

Con una funcion de peso e−t2 , los polinomios de Hermite se caracterizan por formar un conjuntoortogonal, de tal forma que:∫ ∞−∞

HiHje−t2 =

{2ii!√π si i 6≡ j

0 si i = j= 2ii!

√πδij, (2-3)

donde δij es el delta de Kronecker.

Pero teniendo en cuenta que las bases de Hermite ortonormales representan informacion indepen-diente de las caracterısticas de la senal, se debe encontrar una funcion ψ, tal que:

∫ ∞−∞

ψuψv = δuv. (2-4)

La funcion que cumple estas caracterısticas esta definida por:

φi(t) =Hi(t)e

−t22√

2ii!√π. (2-5)

Haciendo t = t/ϑ en 2-5.

φi(t) =Hi(t/ϑ)e

−t22ϑ2√

2iϑi!√π. (2-6)

A la expresion dada por la Ecuacion 2-6 se le conoce como el modelo parametrico de Hermite y apartir de el pueden ser obtenidas caracterısticas de acuerdo a la Ecuacion 2-7

X = φiX, (2-7)

donde X corresponde al conjunto de firmas espectrales obtenidas de la imagen.

2.2.3. Caracterısticas de textura

La textura de una imagen es una cuantificacion de la variacion espacial de valores de tono, la ma-nera mas comunmente utilizada para medir matematicamente la textura de una imagen es a partir

Page 31: Estudio comparativo de tecnicas de visi´ on´

2.2 Tecnicas de Caracterizacion 13

de la matriz de coocurrencia. Esta matriz describe la frecuencia de los niveles de grises dentro deuna ventana deslizante centrada en un pıxel de referencia de la imagen [56].

A continuacion, se presenta un ejemplo del calculo de la matriz de coocurrencia de una imagen(ver Figura 2-2).

Figura 2-2.: Ejemplo matriz de coocurrencia.

1. Se tiene una ventana deslizante de tamano 7×7.

2. El pıxel de referencia actual es el pıxel resaltado en color violeta y el o los posibles pıxelesvecinos estan resaltados en rojo.

3. En este ejemplo se toma como pıxel vecino el ubicado a la izquierda del pıxel de referencia.En el ejemplo se toma solo un pıxel vecino, sin embargo, mas pixeles pueden ser tomadosen cuenta.

4. En la ventana hay tres diferentes valores de intensidades (0, 1, 2), de tal manera que existennueve posibles combinaciones como se muestra en la Tabla 2-3.

Tabla 2-3.: Combinaciones intensidades para la obtencion de la matriz de coocurrencia.

Pixelreferencia

Pixel vecino0 1 2

0 6 5 21 4 4 72 6 5 2

El tamano de la matriz de coocurrencia (CT) para el pıxel de referencia es de 3×3. Elvalor CT0,1 es cinco, porque existen cinco posibilidades de encontrar, dentro de la ventana

Page 32: Estudio comparativo de tecnicas de visi´ on´

14 2 Metodos Utilizados

deslizante, un pıxel de referencia con valor cero que tiene a su izquierda un pıxel vecino convalor igual a 1.

Una vez construida la matriz de coocurrencia, y teniendo en cuenta que pi,j es la probabilidad delvalor i, j de la matriz de coocurrencia, y N es a la cantidad de filas o columnas de la matriz, sepuede calcular para el pıxel central de la ventana deslizante caracterısticas de textura como:

Homogeneidad: Una imagen es homogenea si los valores de la diagonal principal de lamatriz de coocurrencia son altos y se calcula mediante la Ecuacion 2-8.

N∑i=1

N∑j=1

pi,j1 + (i− j)2

. (2-8)

Contraste: el contraste ajusta la diferencia entre los colores mas claros y los mas oscuros deuna imagen y se define por la Ecuacion 2-9.

N∑i=1

M∑j=1

pi,j(i− j)2. (2-9)

Energıa: Esta medida da valores altos cuando en la matriz de coocurrencia tiene pocas entra-das de gran magnitud, y es baja cuando todas las entradas son similares y esta definida porla Ecuacion 2-10.

N∑i=1

M∑j=1

(pi,j)2. (2-10)

2.3. Agrupamiento

2.3.1. k-medias

Es el algoritmo mas conocido dentro de los metodos de agrupamiento particionales; es decir, agru-pa patrones similares a partir de una particion inicial de los datos que se refina, comunmente demanera iterativa. En la Figura 2-3 se puede apreciar un ejemplo de este metodo; hay tres centroi-des (q1, q2 y q3) alrededor de los cuales se agrupan los puntos mas cercanos a ellos formando tresgrupos.

En la Figura 2-3 se trata de clasificar un conjunto de datos formado por dos caracterısticas, loselementos del conjunto son asignados a su centroide mas cercano mediante el calculo de la distan-cia euclidiana, ası se forman tres grupos para el ejemplo. En el Algoritmo 1 se describe los pasosbasicos del algoritmo k-medias.

Page 33: Estudio comparativo de tecnicas de visi´ on´

2.3 Agrupamiento 15

Algoritmo 1 Pasos basicos del algoritmo k-medias.Entrada: Numero de grupos (k), Numero de iteraciones (iter), Particion inicial (G0), Centroides

iniciales (Q0).

Salida: Particion Gr

1: mientras r < iter hacer2: para i = 1 Hasta k hacer3: Actualizar los centroides.

Qri =

1

|Gri |∑

gj∈Gri

gj,

j = 1, 2, ..., l

4: Calcular la nuevas particiones a partir de un criterio de distancia, como por ejemplo ladistancia euclideana entre dos puntos (a y b) de S dimensiones.

D =

√√√√ S∑s=1

(as − bs)2.

5: Calcular el cambio de la funcion objetivo.

Jj,i =∥∥qri − gj

∥∥2 − ∥∥qr−1i − gj∥∥2 .

6: si Ji,j > 0 ∀ i, j entonces7: El proceso termina y la solucion es Gr

8: si no9: r=r+1.

10: fin si11: fin para

12: fin mientras

Page 34: Estudio comparativo de tecnicas de visi´ on´

16 2 Metodos Utilizados

q1

q2

q3

Grupo 1

Grupo 2

Grupo 3

Figura 2-3.: Ejemplo de agrupamiento con k-medias.

2.3.2. Agrupamiento basado en densidades

El algoritmo de maxima esperanza gaussiana es uno de los metodos basados en densidades o pro-babilidades, ya que en este algoritmo la asignacion de un elemento a un determinado grupo lodetermina una funcion de membresıa. Cuando la probabilidad de pertenencia a un determinadogrupo es calculada de forma no parametrica con las ventanas de Parzen, por ejemplo, se consi-gue una variante del algoritmo de maxima esperanza gaussiana conocido como algoritmo no pa-rametrico basado en densidades (NPDBC). Este algoritmo consiste en el calculo de distribucionesgaussianas de tamano h centradas en el elemento ψi (Ecuacion 2-11). El NPDBC es implementadopara el presente trabajo como lo explica el Algoritmo 2.

p(ϕ) =1

s

s∑i=1

K(ψ, ψi, h), (2-11)

donde: K(ψ, ψi, h) = 1√2πh

e−‖ψ−ψi‖2

2h2 .

2.3.3. Criterio de inicializacion max-mın

Como se puede observar, los algoritmos anteriores necesitan una inicializacion de centroides quepor lo general se hace de manera aleatoria. Ası metodos de inicializacion de centroides comomax-mın deben utilizarse con el fin de generar mejores particiones que las obtenidas por unainicializacion aleatoria. En este algoritmo, el primer centroide q1 se escoge de manera aleatoria;el segundo centroide es el mas alejado del primero q2, y los centroides restantes son elegidos deacuerdo a la Ecuacion 2-12.

Q = maxxi∈X

{mınqj∈Q

∣∣(xi − qj)2∣∣} . (2-12)

Page 35: Estudio comparativo de tecnicas de visi´ on´

2.3 Agrupamiento 17

Algoritmo 2 Pasos basicos del algoritmo NPDBC.Salida: Numero de grupos (k), Numero de iteraciones (iter), Particion inicial (G0), Centroides

iniciales (Q0).Entrada: Particion Gr.

1: mientras r < iter hacer2: para i = 1 Hasta k hacer3: Calcular la probabilidad a priori del grupo i cuyo centroide es qi: p(qi) = l

n.

4: Calcular la probabilidad conjunta p(xj/qi) y la probabilidad p(xj).

p(xj/qi) =1√

2π |∑

i|e−

12(xj−qi)

∑−1(xj−qi)T .

p(xj) =k∑i=1

p(xj/qi)p(qi).

5: fin para6: Estimar la funcion de membresia y calcular las nuevas particiones.

F =p(xj,qi)p(qi)

p(xj).

7: Actualizar los centroides.

Qri =

∑lj=1 Fi,jxj∑lj=1 Fi,j

.

8: Calcular el cambio de la funcion objetivo.

Ji,j =n∑j=1

k∑i=1

pr(xj/qi)pr(qi)−

n∑j=1

k∑i=1

pr−1(xj/qi)pr−1(qi).

9: si Ji,j > 0 ∀ i, j entonces10: El proceso termina y la solucion es Gr.

11: si no12: r=r+1.

13: fin si14: fin mientras

Page 36: Estudio comparativo de tecnicas de visi´ on´

18 2 Metodos Utilizados

Otra mejora que puede ser considerada es el agrupamiento por segmentos (Algoritmo 3), el cualconsiste en agrupar los datos por iteraciones (Ns) en lugar de agruparlos en una sola iteracion.

Algoritmo 3 Pasos basicos del algoritmo de agrupamiento por segmentos.Entrada: Pareja particiones (PA = GA

1 , ..,GAa y PB = GB

1 , ..,GBb ), donde a y b corresponden al

numero de grupos en cada particion; centroides de cada pareja de particiones (qA y qB).Salida: Union de grupos

1: para r = 2 Hasta Nshacer

2: mientras i < a hacer3: mientras j < b hacer4: Calcular la distancia entre los centroides de las particiones.

dis[j] = d(qAi ,qBj ),

5: fin mientras6: Calcular la distancia mınima del conjunto obtenido en el paso 4.

mınimo = mın(dis).7: Calcular el parametro de disimilitud

γ = mın(max(d(qAi ,GAi )),max(d(qApos(mınimo),G

Bpos(mınimo)))).

8: si mınimo < γ entonces9: Unir los grupos y actualizar centroides.

GBj ∪GA

i .

10: si no11: Se forma un nuevo grupo.12: fin si13: fin mientras

14: fin para

2.3.4. Algoritmo ACCA

El algoritmo ACCA (automated cloud cover assessment) se utiliza generalmente para segmentarnubes en imagenes Landsat y consta de dos pasos. En el primero, las imagenes son segmentadasen tres grupos: nubes, no nubes y pıxeles ambiguos (Algoritmo 4). En el segundo paso, los pıxelesambiguos son clasificados como nubes y no nubes (Algoritmo 5).

Page 37: Estudio comparativo de tecnicas de visi´ on´

2.3 Agrupamiento 19

Algoritmo 4 Paso 1 del algoritmo ACCAEntrada: Se requiere de una imagen satelital I.Salida: Imagen clasificada en tres grupos: G1,G2,G3.

1: Calcular el indice de nieve normalizado con las bandas z2 y z5 de la imagen.

F1 =z2 − z5z2 + z5

.

2: Calcular el filtro 2 con las bandas z5 y z6 de la imagen.

F2 = (1− z5)× z6.

3: Calcular el filtro 3 con las bandas z4 y z3 de la imagen.

F3 =z4z3.

4: Calcular el filtro 4 con las bandas z4 y z2 de la imagen.

F4 =z4z2.

5: Calcular el filtro 5 con las bandas z4 y z5 de la imagen.

F5 =z4z5.

6: Estimar los tres grupos del paso 1 de ACCA:

G1 corresponde a los pıxeles libres de nubes.G2 corresponde a los pıxeles ambiguos.G3 corresponde a los pıxeles nublados.

7: si z3(i, j) < 0,08 o z6(i, j) > 300 y F1(i, j) > 0,7 entonces8: Ii,j sera asignado a G1.

9: si no10: si F2(i, j) > 225 o F3(i, j) > 2 o F4(i, j) > 2 o F5(i, j) < 0,83 entonces11: Ii,j sera asignado a G2.12: si no13: Ii,j sera asignado a G3.14: fin si

15: fin sii = 1, 2, ..., R y j = 1, 2, ..., C.

Page 38: Estudio comparativo de tecnicas de visi´ on´

20 2 Metodos Utilizados

Algoritmo 5 Paso 2 del algoritmo ACCA.Entrada: Se requiere como parametros iniciales los grupos obtenidos en el paso 1 del Algoritmo

ACCA.Salida: Imagen clasificada en nubes y no nubes.

1: Asignar a una variable, el valor de los pıxeles ambiguos en algunas de las bandas.v1 = z4, v2 = z5, v3 = z6.

2: Calcular variables estadisticas de la banda z6 en los pixeles nublados de la imagen (desviacionestandar ϑ, sesgo s y el maximo valor mv), y determinar los nuevo umbrales de clasificacion.

3: si s < 0 entonces4: u1 = 0,97×mv, u2 = 0,83×mv.5: si no6: u1 = 0,97×mv + s× ϑ, u2 = 0,83×mv + s× ϑ.7: fin si8: Determinar si el pixel ambiguo es nube o no.9: si v1(i, j) < u1 y v3(i, j) > u2 entonces

10: El elemento Ii,j es asignado al grupo temporal 4.11: si no12: si v3(i, j) < u2 entonces13: El elemento Ii,j es asignado al grupo temporal 5.14: si no15: El elemento Ii,j es asignado a G1.16: fin si17: fin si18: Asignar a una variable el valor de los pıxeles en la banda 6 pertenecientes al grupo temporal 4

y a otra variable los pertenecientes al grupo temporal 5.v4 = z6, v5 = z6.

19: Determinar el porcentaje de pıxeles pertenecientes al grupo temporal 4 (y1) y el porcentaje depıxeles pertenecientes al grupo temporal 5 (y2) y clasificar estos pıxeles dentro de G1 o G3.

20: si y1 > 0,4 y v4(i, j) > 295000 entonces21: El elemento Ii,j es asignado a G1.22: si no23: El elemento Ii,j es asignado a G3.24: fin si25: i = 1, 2, ..., R y j = 1, 2, ..., C

26: Repetir pasos 19 a 24 para v5

Page 39: Estudio comparativo de tecnicas de visi´ on´

2.4 Redes neuronales profundas 21

2.4. Redes neuronales profundas

Las redes neuronales profundas a diferencia de otro tipo de redes se caracterizan por tener grancantidad de capas para procesar datos. Algunas clases de este tipo de redes son las redes convolu-cionales y recurrentes.

2.4.1. Redes neuronales convolucionales

Las redes neuronales convolucionales como su nombre lo indica se encargan de aplicar principal-mente convoluciones sobre un conjunto de imagenes con el fin de obtener mapas de caracterısticasy posteriormente clasificarlas [59,62,63]. La salida de una CNN puede ser de tipo 1D O 2D. En laprimera la clasificacion otorga una unica etiqueta, mientras que en la segunda proporciona un mapade probabilidades de pertenencia a una clase, siendo la 2D-CNN la arquitectura mas comunmenteusada para la clasificacion de imagenes [32, 52]. En la Figura 2-4 se muestra un ejemplo de unared 2D-CNN.

CapasocultasVentana

imagen

Capaconvolucion 1

Pooling

Entrada Extraccion caracterısticas Clasificacion SalidaCapa

convolucion 2

probabilidad clase 1=0.6

probabilidad clase 2=0.3

probabilidad clase 3=0.1

Figura 2-4.: Ejemplo arquitectura red neuronal convolucional.

Como se puede apreciar en la Figura 2-4, la 2D-CNN que esta alimentada por pequenas ventanasde imagenes se compone principalmente por dos bloques: en el primero se realiza la extraccion decaracterısticas a traves de capas de convolucion y de pooling, mientras que en el segundo bloque serealiza la clasificacion de las imagenes por medio de capas completamente conectadas [48,49,61].

1. Capa de convolucion

En esta capa se aplica filtros sobres las imagenes para obtener un conjunto de caracterısticas.En la Figura 2-5 tomada de [31] se puede apreciar como sobre una determinada imagen son

Page 40: Estudio comparativo de tecnicas de visi´ on´

22 2 Metodos Utilizados

aplicados tres filtros para obtener tres mapas de caracterısticas de la misma.

*

Imagen

Filtros Mapa caracterısticas

*

*

σ

σ

σ

Figura 2-5.: Ejemplo de convolucion aplicada a una imagen.

donde ∗ denota la operacion de convolucion.

2. Capa de poolingLa capa de pooling reduce el tamano de los mapas de caracterısticas mediante combinacionesde pıxeles vecinos dentro de una determinada area; es decir, el pooling es un metodo dereduccion de caracterısticas que podrıa aplicarse o no. Generalmente los pıxeles vecinos sonseleccionados de una matriz cuadrada, y el metodo de combinacion aplicado usualmentepuede ser el maximo o mınimo de los pıxeles de la matriz. En la Figura 2-6 tomada de [31]se da un ejemplo de aplicacion de pooling a una imagen de tamano 4×4.

2 4 1 4

5 1 2 1

3 3 5

22 4

2

5

maxpooling

meanpooling

5

4

4

5

3 2

3.53

Figura 2-6.: Ejemplo de pooling usando redes neuronales convolucionales.

3. Capa completamente conectadaA la entrada de la capa ampliamente conectada las matrices se convierten en vectores co-

Page 41: Estudio comparativo de tecnicas de visi´ on´

2.4 Redes neuronales profundas 23

lumna. La clasificacion se hace generalmente mediante una regresion logıstica multinomialcuya salida son probabilidades dadas por la funcion de activacion softmax.

2.4.2. Redes Neuronales Recurrentes

Las redes neuronales recurrentes se diferencian de otras redes en la retroalimentacion que incor-poran en su estructura, es decir, una neurona puede conectarse a neuronas de capas posteriores,anteriores y a ella misma, con lo que se consigue crear una nocion de temporalidad, permitiendo ala red tener memoria. En la Figura 2-7 se puede apreciar un ejemplo de una RNN.

Capas ocultasVentana imagen

Entrada Clasificacion Salida

probabilidad clase 1=0.6

probabilidad clase 2=0.3

probabilidad clase 3=0.1

Figura 2-7.: Ejemplo arquitectura red neuronal recurrente.

Como se puede apreciar en la Figura 2-7 no se realiza una extraccion de caracterısticas como enla CNN, y la fase de clasificacion consta principalmente de capas ocultas; en algunas de las cualeslas neuronas se conectan entre ellas. Estas neuronas son conocidas como celdas de memoria. Estasceldas son las que controlan la forma en como la informacion esta siendo recordada u olvidada.La ventana de la imagen de entrada es arreglada de tal manera que al ingresar a la red ingresa enforma de firmas espectrales.

Las redes neuronales descritas trabajan con un conjunto de funciones y parametros, los cuales sondescritos a continuacion:

Numero de epocas:Es el numero de iteraciones en las que se realiza el entrenamiento de la red.

Numero de lotes:Se refiere a la division de los datos de entrenamiento en c conjuntos, de tal manera que lospesos son actualizados para cada conjunto de datos y no individualmente. Si por ejemplose tiene un numero de lote igual a 16 para un total de 64 datos, los pesos seran ajustados 4veces para cada epoca.

Page 42: Estudio comparativo de tecnicas de visi´ on´

24 2 Metodos Utilizados

Dropout :Es el porcentaje de neuronas que se desactivan en el proceso de entrenamiento. Esto se hacecon el fin de evitar un sobreajuste de los datos.

Funcion de costos:Evalua que tanto se parece el ground true de la imagen a la salida de la red. Entre algunas delas funciones de costo se encuentran el error cuadratico medio y la entropıa.

Optimizador:El optimizador ajusta los pesos de la red neuronal de acuerdo la variacion de la funcion decostos. Entre algunos de los optimizadores mas utilizados se encuentran:

• Gradiente descendiente: La regla de actualizacion de este metodo se puede apreciar enla Ecuacion 2-13.

gt = −α∂J∂β

. (2-13)

donde J representa la funcion de costos; β representa el parametro a actualizar y α esla taza de aprendizaje.

• Adagrad: Sigue la regla de actualizacion dada por la Ecuacion 2-14.

ag = − α√∑Tt=1 gt

gt. (2-14)

donde gt es el gradiente calculado en la iteracion t.

La determinacion de la taza de aprendizaje generalmente se hace de forma manualy esta influye significativamente en la actualizacion de parametros. Un α demasiadopequeno puede ocasionar que al sistema se entrene muy lentamente mientras que unα demasiado grande puede ocasionar que el sistema diverja. En este sentido Adadeltasurge como una mejora de Adagrad, al controlar el valor de α.

• Adadelta: La regla de actualizacion de este metodo esta dada por la Ecuacion 2-15.

ag =

√E(g2)t−1 + ε√E(g2)t + ε

gt. (2-15)

donde E(g2)t representa el gradiente acumulado en la iteracion t y ε es una constanteque mejora las condiciones del denominador de la Ecuacion 2-14.

Funcion de activacion:Entre las funciones de activacion mas conocidas se encuentran la funcion de activacion soft-

Page 43: Estudio comparativo de tecnicas de visi´ on´

2.5 Tecnicas de post-procesamiento 25

max (Ecuacion 2-16), utilizada generalmente a la salida de la red neuronal y la funcionrectified linear unit (ReLu) (Ecuacion 2-17) utilizada para las demas capas de la red [60].

σ(t) =etj∑Kk=1 e

tj. (2-16)

donde tj representa la salida del j-esimo nodo de la red y K representa el numero total denodos de salida.

σ(t) =

{t t >= 0

0 t < 0(2-17)

2.5. Tecnicas de post-procesamiento

Con el fin de refinar los resultados obtenidos, en esta seccion se dan a conocer dos tipos de tecnicasde post-procesamiento que fueron aplicadas a los datos.

2.5.1. Tecnica de post-procesamiento 1

Este metodo consiste en analizar las etiquetas del vecindario alrededor de un pıxel (ver Algorit-mo 6). En la Figura 2-8 se muestra un ejemplo de este tipo de post-procesamiento; en la Figu-ra 2-8(a) nueve pıxeles estan etiquetados con dos diferentes clases representadas por dos coloresdistintos. Se puede observar que alrededor del pıxel central los pıxeles vecinos pertenecen a unaclase distinta y muy probablemente el pıxel central sea de esta clase, por lo anterior se realiza unareasignacion de etiqueta como lo muestra la Figura 2-8(b).

Algoritmo 6 Algoritmo de post-procesamiento (Tecnica 1)Entrada: Una imagen satelital clasificada.Salida: Un mapa de etiquetas refinado.

1: para i = 1 hasta T hacer2: Tomar alrededor del pıxel i de la imagen clasificada una ventana de tamano 3× 3.3: Sin tomar en cuenta el pıxel central de la ventana, determinar la cantidad de cada una de

las muestras presentes en la ventana. Encontrar la clase mayoritaria (A) y la cantidad demuestras de esa clase (B).

4: si B > 6 entonces5: Reasignar la etiqueta del pıxel i a la etiqueta A.6: fin si7: fin para

Page 44: Estudio comparativo de tecnicas de visi´ on´

26 2 Metodos Utilizados

(a) Antes de post-procesamiento (b) Despues de post-procesamiento

Figura 2-8.: Ejemplo grafico de tecnica de post-procesamiento 1.

En el Algoritmo 6, T representa la cantidad total de pıxeles de una imagen.

2.5.2. Tecnica de post-procesamiento 2

En esta tecnica, cada elemento de un mapa de clasificacion es representado por un vector columnaobtenido de la matriz identidad cuyo orden corresponde a la cantidad de coberturas clasificadas(O). Este comportamiento se modela de acuerdo con la Ecuacion 2-18 y es mostrado graficamenteen la Figura 2-9 tomada de [15]. En dicha Figura cada color del mapa de clasificacion correspondea un vector que representa una determinada etiqueta, para el ejemplo cinco clases son mostradasen el mapa de clasificacion.

P r+1 = w(αP 0 + (1− α)(P r ∗Gϑ)), (2-18)

donde P 0 es una matriz de tamanoR×C×O que contiene la informacion de la clasificacion inicialde la imagen I; P r+1 y P r representan el conjunto de etiquetas de las imagenes en la iteracion r+1

y r respectivamente; Gϑ representa una ventana gaussiana con parametro de suavizado ϑ; α es unparametro que establece la influencia de la salida en una determinada iteracion; y w representa unoperador no lineal que genera un vector columna, el cual representa una determinada etiqueta.Para el presente trabajo siguiendo la recomendacion de [15], se aplico un σ = 7,5 y un α = 0,15.

Page 45: Estudio comparativo de tecnicas de visi´ on´

2.6 Medidas de eficiencia 27

sum(∗)

P 0

P 0i,j

sumw

P ri,j

1− α

α

Figura 2-9.: Ejemplo grafico de tecnica de post-procesamiento 2.

2.6. Medidas de eficiencia

Con el fin de evaluar el desempeno de los experimentos realizados sobre la base de datos se utili-zaron medidas de desempeno obtenidas a partir de la matriz de confusion:

Matriz de confusion

Esta es una matriz cuadrada de h× h donde h representa el numero de clases. En las columnas dedicha matriz se contabilizan las predicciones realizadas para cada clase mientras que en las filas secontabiliza la cantidad de muestras para cada una de las clases verdaderas.

En el caso de una clasificacion biclase la matriz de confusion esta dada por la Tabla 2-4.

Tabla 2-4.: Matriz de confusion biclase

Clase verdaderaClase predicha

Clase 1 Clase 2

Clase 1 VP FPClase 2 VN FN

donde VP son los verdaderos positivos o el numero de pıxeles de la clase de interes clasificadoscorrectamente, VN son los verdaderos negativos o el numeros de pıxeles diferentes de la clase deinteres clasificados correctamente, FP son los falsos positivos o el numero de pıxeles diferentes de

Page 46: Estudio comparativo de tecnicas de visi´ on´

28 2 Metodos Utilizados

Tabla 2-5.: Matrız de confusion Multiclase

Clase verdaderaClase predicha

Clase 1 Clase 2 Clase 3 Clase 4

Clase 1 E1,1 E1,2 E1,3 E1,4

Clase 2 E2,1 E2,2 E2,3 E2,4

Clase 3 E3,1 E3,2 E3,3 E3,4

Clase 4 E4,1 E4,2 E4,3 E4,4

la clase de interes clasificados como pıxeles de la clase e interes, FN son los falsos negativos o elnumero de pıxeles de la clase de interes clasificados como pıxeles diferentes de la clase e interes.En el caso de una clasificacion multiclase la matriz de confusion es representada por la tabla 2-5.

En el caso multiclase los VP, VN, FP y FN vienen definidos por: VP son los casos de la clase deinteres clasificados correctamente, es decir la suma de los elementos de la diagonal, VN corres-ponden a la suma de valores de todas las filas y columnas (Excluyendo la fila y columna de laclase de interes), FP corresponden a la suma de valores de la columna de la clase de interes (Exclu-yendo VP), FN corresponden a la suma de valores de la fila de la clase de interes (Excluyendo VP).

Medidas derivadas de la matriz de confusion

A partir de la matriz de confusion fueron obtenidas las medidas descritas a continuacion:

Eficiencia total: Corresponde a la cantidad total de elementos clasificados correctamente.Viene dada por la Ecuacion 2-19.

OA =V N + V P

V P + V N + FP + FN. (2-19)

f1 score: Esta medida es muy util cuando se realiza una clasificacion con datos desbalan-ceados ya que cuantifica que tan bien se ubican los elementos en la diagonal de la matriz deconfusion. Viene dada por la Ecuacion 2-20.

f1 =2× pre× repre+ re

, (2-20)

donde re es la recall dada por 2-21 and pre es la precision dada por 2-22:

re =V P

V P + FN. (2-21)

Page 47: Estudio comparativo de tecnicas de visi´ on´

2.6 Medidas de eficiencia 29

pre =V P

V P + FP. (2-22)

Adicionalmente se evaluaron los resultados con la eficiencia promedio (AA), que es similar a laeficiencia total, pero esta es obtenida individualmente para cada clase.

Con los anteriores metodos se establecio la metodologıa de experimentos dada a conocer en lasiguiente seccion. En dicha metodologıa se realizo una comparacion de las tecnicas de clusteringy deep learning descritas. Todas las medidas de eficiencia fueron tomadas en cuenta pero la deter-minacion del mejor metodo fue realizada mediante f1, por ser una medida mas descriptiva y mascompleta.

Page 48: Estudio comparativo de tecnicas de visi´ on´
Page 49: Estudio comparativo de tecnicas de visi´ on´

3. Experimentos sobre imagenessatelitales de suelo con vegetacion

En la Figura 3-1 se da a conocer la metodologıa empleada para clasificar dos bases de datos deimagenes satelitales de suelo con vegetacion. La aplicacion de la etapa de pre-procesamiento ypost-procesamiento fue diferente para cada base de datos, y la etapa de clasificacion de nubes ydeteccion de cambios solo se realizo en la base de datos de imagenes de Narino.

Base de datos* Filtrado

*Apilamiento

* Conversion

niveles

digitales

Pre-procesamiento

* Firma espectral

* Hermite

* Coocurrencia

ACCA

Segmentacionde nubes

Caracterizacion

* k-medias

* NPDBC

* CNN

* RNN

* CNN-RNN

Segmentacionnubes

Clasificacioncoberturas

Agrupamiento

* CNN

* RNN

* CNN-RNN

Medidas de

eficiencia

Comparacionde resultados

Deteccion decambios

Cuantificacion

deforestacion

Metodologıa 1

Metodologıa 2

Figura 3-1.: Diagrama de experimentos realizados sobre imagenes satelitales de suelo con vege-tacion.

3.1. Bases de datos

3.1.1. Base de datos Campo Verde

Esta base de datos corresponde a una zona del mismo nombre ubicada en Brasil. Dicha zona tieneun area de 4782.118 km2 con una altitud de 736 m y presenta un clima tropical con una tempera-tura promedio de 22,3◦ C.

Page 50: Estudio comparativo de tecnicas de visi´ on´

32 3 Experimentos sobre imagenes satelitales de suelo con vegetacion

La base de datos de Campo Verde contiene imagenes adquiridas con el satelite Sentinel y con elsensor OLI del satelite Landsat 8. Las imagenes fueron tomadas entre octubre de 2015 y julio de2016, conformando un total de 16 imagenes; en los meses de noviembre, enero, abril, mayo, junioy julio se dispone de dos imagenes, mientras que en el resto de los meses de una sola. En nuestrainvestigacion algunas de las imagenes fueron excluidas (dos de enero, una de mayo, una de junio yuna de julio) y la razon por la que se procedio de esta forma fue porque nosotros usamos los datosLandsat unicamente, los cuales tienen gran cantidad de nubes en las imagenes mencionadas. Otrostrabajos consideraron dichas imagenes ya que trabajaron con los datos de Sentinel, los cuales noestan sometidos a la presencia de nubes.

En [47] se da a conocer que, mediante dos trabajos de campo y con ayuda de un interprete exper-to, se etiqueto la base de datos en 11 clases diferentes correspondientes a cultivos de soya, maız,algodon, sorgo, frijoles, cultivos no comerciales o NCC, pasto, eucalipto, suelo, cesped y cerrado.La anotacion se realizo para 513 zonas distribuidas alrededor de la imagen satelital, conformandoun total de 679355 pıxeles. La distribucion de cultivos a lo largo del periodo de adquisicion de lasimagenes puede ser apreciada en la Tabla 3-1, donde se da a conocer la cantidad de pıxeles de laimagen etiquetados como pertenecientes a un determinado cultivo.

Tabla 3-1.: Cultivos de la base de datos Campo Verde.

ClaseMes

Octu-bre

Novi-embre

Dici-embre

Fe-brero

Marzo Abril Mayo Junio Julio

Soya 5015 169313 499584 242589 1115 0 0 0 0Maız 5742 3000 3891 891 100051 237043 243029 160111 84013Algodon 0 0 2022 12965 231635 304300 307872 285923 257101Sorgo 0 0 242 242 242 6638 6396 6396 6396Frijoles 0 1311 1311 0 0 260 260 0 0NCC 14567 48108 40765 892 892 10423 26315 25066 18357Pasto 48688 46623 46623 46623 46623 58323 58323 58323 58323Eucalipto 17239 17239 17239 17239 17239 17239 17239 17239 17239Suelo 570639 376296 50213 340449 264093 27664 2456 108832 220461Cesped 112 112 112 112 112 112 112 112 112Cerrado 17352 17352 17352 17352 17352 17352 17352 17352 17352

3.1.2. Base de datos Narino

Dada la extension territorial de Narino, se decidio enfocar la investigacion sobre una zona es-pecıfica del departamento, el criterio para seleccionar dicha zona se enfoco principalmente en que

Page 51: Estudio comparativo de tecnicas de visi´ on´

3.1 Bases de datos 33

la imagen del area de estudio tuviera en su mayorıa etiquetas relacionadas con la presencia bosquescon el fin de cuantificar deforestacion. Una de las zonas que cumplio dichas caracterısticas es larepresentada por el municipio de Rosario, este municipio tiene un area de 566 m2 con una alturade 1500 m y presenta un clima con una temperatura promedio de 19◦ C.

Las imagenes con las que se trabajo, al igual que en el caso de la base de datos Campo Verde fueronlas Landsat 8; pero esta vez, al ser los datos adquiridos con los sensores OLI y TIRS se dispone de11 bandas para cada imagen. Se trabajo con los datos adquiridos en el periodo comprendido entre2013 a 2019, pero sin anotaciones de coberturas vegetales excepto para el ano 2015, del cual setienen anotaciones que fueron proporcionadas por el proyecto ALTERNAR de la Universidad deNarino. Dichas anotaciones fueron obtenidas por CorpoNarino y para el area de estudio represen-tan un total de 570954 pıxeles etiquetados en seis grupos (vegetacion herbacea, bosques, cultivos,zonas urbanizadas, pastos, zonas sin vegetacion), que en el presente trabajo fueron reducidos a dos,obteniendo 324460 pıxeles etiquetados como bosque y 245356 pıxeles etiquetados como suelo.

Para esta base de datos se realizo una clasificacion de nubosidad, pues, aunque la banda BQ propor-ciona informacion de la ausencia o presencia de nubes, no lo hace para la totalidad de los pıxelesde las imagenes. Considerando la informacion inicial acerca de nubosidad proporcionada por labanda BQ, se descarto del proceso de analisis aquellas imagenes que presentaron un porcentajede nubosidad mayor al 70 %. Por lo cual, se clasificaron un total de 80 imagenes en el periodo deestudio.

Las imagenes que no superaron el umbral del 70 % fueron sometidas en primer lugar a la cla-sificacion de nubes y no nubes en los pıxeles para los cuales BQ no proporciono informacion yposteriormente los pıxeles limpios fueron clasificados en bosques y suelo desnudo. Respecto a laclasificacion de coberturas, dado que solo se dispone de etiquetas para el ano 2015, la evaluacionde la eficiencia de los diferentes metodos en la clasificacion de coberturas (suelo y bosque), serealizo sobre la imagen con menor porcentaje de nubosidad del ano 2015, correspondiente a laimagen del dıa 354.

Tanto en Campo Verde como en Narino para la clasificacion de coberturas unicamente se utilizaronlas siete primeras bandas de las imagenes, ya que las restantes no aportaron informacion relevan-te para dicho objetivo (ver Tablas 3-10 y 3-17). Esta afirmacion puede ser explicada teniendo encuenta que de acuerdo al estado del arte, en las imagenes Landsat 8, las bandas ocho en adelan-te presentan propiedades que mayormente se utilizan en aplicaciones relacionadas con estudiostermicos y de la calidad del agua, y son las siete primeras bandas de Landsat 8 las que aportanmayor informacion para clasificacion de coberturas [5].

Page 52: Estudio comparativo de tecnicas de visi´ on´

34 3 Experimentos sobre imagenes satelitales de suelo con vegetacion

3.2. Pre-procesamiento

El pre-procesamiento aplicado fue diferente para cada base de datos. Las imagenes de CampoVerde, por ejemplo, tienen aplicado un pre-procesamiento inicial, el cual esta relacionado con laconversion de valores de nivel digital a reflectancia, y en la adaptacion de las imagenes a la zonade estudio mediante el recorte y union de las mismas; ademas, los pıxeles etiquetados de dichasimagenes no se encuentran afectados por nubosidad, como si sucede en la base de datos de Na-rino. Teniendo en cuenta tambien que se pretende comparar los resultados obtenidos para CampoVerde con algunos reportados por la literatura, fue necesario realizar un apilamiento de imagenesen la base de datos agrıcola. Ası, el pre-procesamiento aplicado en las imagenes Landsat 8 con lascuales se trabajo consistio de los ıtems enumerados a continuacion:

3.2.1. Filtrado

Dado que el ruido en las imagenes de las bases de datos analizadas presenta un comportamien-to Gaussiano, se aplico un filtro Gaussiano, con un tamano de ventana y parametro de suavizadoque fueron calculados de acuerdo con las caracterısticas de la imagen. Las imagenes filtradas fue-ron utilizadas para la metodologıa de agrupamiento no supervisado, pero no en la metodologıa deagrupamiento supervisado; ya que en esta ultima el filtrado ocasiono la perdida de detalles impor-tantes para las redes neuronales profundas, haciendo que disminuya la eficiencia de las pruebas(ver Tablas 3-10 y 3-17).

3.2.2. Apilamiento de imagenes

El apilamiento es una tecnica que consiste en unir en el eje z las diferentes bandas de un conjuntode imagenes con el fin de obtener una sola que proporcione mas informacion para diferentes algo-ritmos de clasificacion [29, 50] (ver Figura 3-2 tomada de [1]).

Imagen 1

Imagen 2 Apilamiento de imagenes

Figura 3-2.: Ejemplo de apilamiento de imagenes.

Page 53: Estudio comparativo de tecnicas de visi´ on´

3.2 Pre-procesamiento 35

Despues de que en [47] se diera a conocer la base de datos Campo Verde, muchos investigadoresoptaron por dividir Campo Verde en secuencias. Lo anterior debido a que Sanchez probo expe-rimentalmente que la eficiencia de clasificacion aumenta cuando un apilamiento de imagenes esllevado a cabo. Considerando la variacion de la distribucion de los cultivos a lo largo del periodode estudio, la mayorıa de los trabajos recomienda dividir Campo Verde en dos secuencias, unaconformada por las imagenes de octubre de 2015 a febrero de 2016 y la otra conformada por lasimagenes de marzo a julio de 2016. El periodo de cada secuencia coincide ademas con las tem-poradas de verano e invierno de la region. Por lo anterior las dos secuencias mencionadas fueronobtenidas, la primera secuencia contiene un total de cinco imagenes apiladas (una de octubre, dosde noviembre, una de diciembre y una de febrero) y la segunda secuencia un total de seis image-nes apiladas (una de marzo, dos de abril, una de mayo, una de junio y una de julio). Dado quede cada imagen se utilizaron siete bandas, para la primera secuencia se obtuvo una imagen de 35bandas y para la segunda una de 42. Los cultivos clasificados en cada secuencia corresponden alas anotaciones de la ultima imagen de la secuencia, es decir, febrero para la primera y julio parala segunda.

3.2.3. Recorte de imagenes

En la base de datos de Narino se tuvo que realizar un recorte de las imagenes obtenidas de earthexplorer con el fin de adaptarlas a la zona de estudio. Dichas imagenes se extrajeron proporcionan-do el path (trayectoria) y el row (fila) de las mismas, y para cubrir la zona de Rosario fue necesariodescargar imagenes con path de 10 y row de 59. En la Figura 3-3 se resalta en amarillo el recorteque tuvo que realizarse en las imagenes descargadas.

3.2.4. Conversion de niveles digitales

En las imagenes de Narino fue necesario realizar la correccion o conversion de niveles digitales avalores de reflectancia, con el fin de obtener valores de intensidad homogeneos entre imagenes dedistintas fechas, corrigiendo imperfecciones como las generadas por la interferencia de la atmosfe-ra. La reflectancia es calculada como lo indica la Ecuacion 3-1.

R =2Aπd

Ei cos(θ), (3-1)

donde A es la radiancia y A = a1 + a2ND; a1 y a2 son coeficientes de calibracion; ND es el valorde nivel digital; d es la distancia de la tierra al sol; Ei es la irradiancia, y θ es el angulo de flujoinicidente.

Page 54: Estudio comparativo de tecnicas de visi´ on´

36 3 Experimentos sobre imagenes satelitales de suelo con vegetacion

Figura 3-3.: Recorte aplicado a las imagenes satelitales de Narino.

Page 55: Estudio comparativo de tecnicas de visi´ on´

3.3 Metodologıa 1 37

3.3. Metodologıa 1

La metodologıa 1 consistio en la clasificacion de las imagenes de manera no supervisada (Ver Fi-gura 3-4). En esta metodologıa los datos etiquetados unicamente fueron utilizados para validar losresultados y no intervinieron en el proceso de clasificacion.

Base de datos* Filtrado

*Apilamiento

* Conversion

niveles

digitales

Pre-procesamiento

* Firma espectral

* Hermite

* Coocurrencia

ACCA

Segmentacionde nubes

Caracterizacion

* k-medias

* NPDBC

Agrupamiento

Metodologıa 1

Figura 3-4.: Metodologıa 1 aplicada a bases de datos con vegetacion.

3.3.1. Segmentacion de nubes

La clasificacion no supervisada de nubosidad en las imagenes de Narino se realizo mediante elmetodo ACCA descrito en la Seccion 2.3 por los Algoritmo 4 y 5, obteniendo los resultados pre-sentados en la Tabla 3-2. El promedio presentado en la Tabla 3-2 fue el obtenido para toda la basede datos, pero solo para algunas imagenes los resultados detallados son mostrados. En la casilla“imagen” se da a conocer el ano y dıa en el que las imagenes de la zona de estudio de Narino fue-ron adquiridas. Adicional al porcentaje de acierto obtenido en cada medida, en esta tabla y en lassiguientes se especifica tambien la desviacion estandar de los resultados con el fin de que el lectortenga una idea acerca que tanto se alejan las medidas de eficiencia del valor promedio obtenido.Por lo anterior esta desviacion no es especificada para los resultados individuales.

3.3.2. Caracterizacion de imagenes

En esta etapa, para la clasificacion de coberturas se compararon las caracterısticas descritas en laSeccion 2.2, de tal manera que para cada base de datos una matriz de caracterısticas X ∈ Rn×d fueobtenida (ver Tabla 3-3).

La cantidad de caracterısticas obtenida depende de la base de datos con la que se este trabajan-do. En el caso de Campo Verde, en el conjunto 1 se tiene un total de 35 y 42 caracterısticas parala Secuencia 1 y 2, respectivamente. En el conjunto 2, un total de 70 caracterısticas para ambas

Page 56: Estudio comparativo de tecnicas de visi´ on´

38 3 Experimentos sobre imagenes satelitales de suelo con vegetacion

secuencias; y en el conjunto 3, al ser obtenidas tres caracterısticas por cada banda de la imagen,se tiene un total de 105 y 126 caracterısticas para la Secuencia 1 y 2, respectivamente. En el casode Narino, en el conjunto 1 se tiene un total de siete caracterısticas, ya que se trabajo con sietebandas de la imagen para la clasificacion de coberturas; en el conjunto 2 se tiene un total de 40caracterısticas, y en el conjunto 3 un total de 21.

Tabla 3-2.: Resultados de la clasificacion de nubes con ACCA. Narino.

ImagenACCA

f1( %) AA( %) OA( %)

2013-284 47.32±66.9 49.61±70.2 89.812014-255 82.41±10.7 83.71±5.9 85.642015-354 49.23±69.5 49.9±70.6 96.822016-101 91.91±5.3 93.07±1.7 93.672017-023 49.54±70.1 49.95±70.6 98.162018-010 53.91±14.9 73.53±36.6 56.352019-125 18.43±25.4 50.7±70.4 22.38

Promedio 72.12 ±7.4 76.54±5.3 82.21±7.2

Tabla 3-3.: Conjunto de caracterısticas comparadas.

Campo Verde NarinoCaracterısticas Descripcion Caracterısticas Descripcion

Conjunto 1Firma espectral

Conjunto 1Firma espectral

X ∈ Rn×d X ∈ Rn×d

Conjunto 2 Coeficientes de Hermite Conjunto 2 Coeficientes de HermiteX ∈ Rn×d ϑ = 0,35 y bases=70 X ∈ Rn×d ϑ = 0,45 y bases=40Conjunto 3 Matriz de co-ocurrencia Conjunto 3 Matriz de co-ocurrenciaX ∈ Rn×d ventana=3×3 y ve-

cino=[0,1]X ∈ Rn×d ventana=3×3 y ve-

cino=[0,1]

En primer lugar, con el fin de clasificar cultivos en Campo Verde y zonas boscosas en los pıxeleslimpios de la imagen 354 de 2015 de Narino, para las dos bases de datos se realizo una compara-cion de los tres conjuntos de caracterısticas descritos anteriormente. El metodo de agrupamientoutilizado fue el k-medias aplicando agrupamiento por segmentos, con inicializacion max-mın decentroides; obteniendo los resultados promedio de las Tablas 3-4 y 3-5 para Campo Verde y Na-rino, respectivamente.

Page 57: Estudio comparativo de tecnicas de visi´ on´

3.3 Metodologıa 1 39

Tabla 3-4.: Resultados de la comparacion de caracterısticas. Campo Verde

ImagenFirma espectral Bases Hermite Coocurrencia

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

Sec 1 13.49±65.1

24.41±84.6

52.98 13.98±62.6

45.4±109.4

53.18 11.19±64.3

56.36±79.7

51.5

Sec 2 25.11±58.2

39.83±67.7

50.72 25.93±61.2

42.03±49.4

49.22 14.3±55.5

50.27±62.2

40.1

Promedio 19.30±8.2

32.11±10.9

51.85±1.6

19.95±8.4

43.71±2.38

51.20±2.8

12.74±2.19

53.32±4.3

45.8±8.1

Tabla 3-5.: Resultados de la comparacion de caracterısticas. Narino

ImagenFirma espectral Bases Hermite Coocurrencia

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

Bosques 64.87 66.6961.06

63.66 69.3961.77

73.56 58.9760

Suelo 56.32 54.46 59.67 54.67 17.83 77.21

Promedio 60.59±6.1

60.48±8.6

61.06 61.66±2.8

62.03±10.4

61.77 45.69±39.4

68.09±12.8

60

Tanto en la Tabla 3-4 como en la Tabla 3-5 se puede apreciar que en promedio la matriz de co-ocurrencia permitio obtener los mejores resultados en terminos de AA, pero las bases de Hermitepermitieron obtener mejores resultados en terminos de f1. Por lo anterior se determino que, de lastres caracterısticas comparadas, es mejor utilizar las bases de Hermite.

3.3.3. Agrupamiento de datos

Los metodos de agrupamiento no supervisado utilizados para clasificar cultivos en Campo Verde ybosques en Narino corresponden a los descritos en la Seccion 2.3. Los parametros que se empleopara cada metodo de agrupamiento son los especificados en la Tabla 3-6 y las pruebas fueron apli-cadas con la metodologıa de agrupamiento por segmentos descrita por el Algortimo 3.

Teniendo en cuenta que tanto en Campo Verde como en Narino fueron obtenidos mejores resul-tados al utilizar los coeficientes de Hermite como caracterısticas, la comparacion de los metodosde agrupamiento fue realizada con dichos coeficientes; los resultados pueden ser observados en laTablas 3-7 y 3-8 para Campo Verde y Narino, respectivamente.

Page 58: Estudio comparativo de tecnicas de visi´ on´

40 3 Experimentos sobre imagenes satelitales de suelo con vegetacion

Tabla 3-6.: Metodos de agrupamiento comparados.

k-medias NPDBCNumero de grupos (k): 10 para CampoVerde y 2 para narino

Numero de grupos (k): 10 para CampoVerde y 2 para Narino

Inicializacion centroides (Q0): aleatoria ymax-mın

Inicializacion centroides (Q): aleatoria ymax-mın

Particion inicial(C0): k-medias

Tabla 3-7.: Resultados de la comparacion de algoritmos de agrupamiento. Campo Verde.

Imagenk-medias aleato-ria

k-medias max-mın

NPDBC aleato-ria

NPDBC max-mın

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %) f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

Sec 1 9.18±62.1

10.3±58.4

50.2 13.98±62.6

45.4±10.9

53.18 10.69±62.6

11.27±63.6

52.17 16.81±64.5

43.99±10.4

55.04

Sec 2 12.6±61.5

32.07±90.3

43.3 25.93±61.2

42.03±49.4

49.22 17.43±59.2

30.36±72.8

45.2 23.77±54.4

44.96±74.7

45.59

Promedio 10.89±2.4

21.2±15.3

46.75±15.8

19.9±8.4

43.71±2.3

51.2±2.8

14.06±4.7

20.82±13.5

48.68±4.9

20.29±4.9

44.4±0.7

50.31±6.7

Tabla 3-8.: Resultados de la comparacion de algoritmos de agrupamiento. Narino.

Imagenkmedias-aleatoria

kmedias-max-mın

NPDBC-aleatoria

NPDBC-max-mın

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %) f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

Bosques 72.56 56.9456.94

63.66 69.3961.77

72.56 56.9456.94

68.75 65.6262.63

Suelo 0 0 59.67 54.67 0 0 53.53 57.62

Promedio 36.28±51.3

28.47±40.3

56.94 61.06±2.8

62.03±10.4

61.77 36.28±51.3

28.47±40.3

56.94 61.14±10.8

61.62±5.6

62.63

De la Tabla 3-7 se puede observar que en la mayorıa de metodos, Secuencia 1 obtuvo resultadosmas bajos que Secuencia 2 y esto se debe a que en la imagen clasificada en la Secuencia 2 (julio)hay un menor numero de clases que en la imagen clasificada en la Secuencia 1 (febrero). Por otrolado, en la Tabla 3-8 es posible observar que en la base de datos de Narino el bosque fue mejor

Page 59: Estudio comparativo de tecnicas de visi´ on´

3.3 Metodologıa 1 41

clasificado que el suelo y esto se debe a que la cantidad de pıxeles etiquetados como suelo se en-cuentran en menor proporcion con respecto a los etiquetados como bosque. En las Tablas 3-7 y 3-8se puede observar tambien que la inicializacion max-mın mejoro los resultados de la inicializacionaleatoria y aunque fue obtenido un mejor desempeno usando k-medias e inicializacion max-mınpara OA en Campo Verde y para AA en Narino; de las Tablas 3-7 y 3-8 se concluye que los me-jores resultados fueron obtenidos con NPDBC e inicializacion max-mın, pues una mejor f1 fuealcanzada por el metodo mencionado para las dos bases de datos.

De acuerdo a los resultados obtenidos dentro de la metodologıa 1, como aspecto importante es deresaltar que, de los metodos comparados, tanto en Campo Verde como en Narino es mejor utilizarNPDBC con inicializacion max-mın y con coeficientes de Hermite como caracterısticas.

Adicionalmente en la Tabla 3-9 se presenta un ejemplo de comparacion entre el agrupamiento rea-lizado en una sola iteracion y el agrupamiento por segmentos que fue aplicado a todas las pruebasdesarrolladas en la metodologıa 1. Lo anterior con el fin de justificar por que se uso el Algoritmo 3,descrito en la Seccion 2.3. La comparacion hizo uso del algoritmo k-medias con inicializacionmax-mın y con coeficientes de Hermite y como puede ser observado en la Tabla3-9 los resultadosmejoraron notablemente cuando no se realizo el agrupamiento en una sola iteracion.

Tabla 3-9.: Influencia del agrupamiento por segmentos en los datos.

DatosAgrupamiento en una iteracion Agrupamiento por segmentosf1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

CampoVerde

15.95±7.4 14.88±5.6 50.85 19.95±8.4 43.71±2.4 51.2 ±2.8

Narino 36.28±51.3

28.47±40.3

56.94 61.66±2.8 62.03±10.4

61.77

Finalmente, en la Tabla 3-10 se presentan los resultados de las pruebas realizadas con el fin desoportar las afirmaciones hechas en las Secciones 3.2, y 3.1. Todas las pruebas reportadas en laTabla 3-10 hicieron uso del algoritmo k-medias con inicializacion max-mın y con los coeficientesde Hermite como caracterısticas.

En la Seccion 3.2 se menciono que en el caso no supervisado se obtuvieron mejores resultadosal trabajar con datos filtrados y efectivamente esto es observado al comparar los resultados de lasdos primeras columnas de la Tabla 3-10. Por otro lado, en la Seccion 3.1 se menciono que seobtuvieron mejores resultados al trabajar con las siete primeras bandas de las imagenes, lo cuales observado al comparar las dos ultimas columnas de la Tabla 3-10. Se puede observar que engeneral la variacion en los resultados es pequena, especialmente para los datos de Narino.

Page 60: Estudio comparativo de tecnicas de visi´ on´

42 3 Experimentos sobre imagenes satelitales de suelo con vegetacion

Tabla 3-10.: Influencia del filtrado y de la cantidad de bandas utilizadas de las imagenes. Analisisno supervisado

ImagenImagenes filtradas-siete bandas

Imagenes sin filtrar-siete bandas

Imagenes sin filtrar-totalidad bandas

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

CampoVerde

19.9±8.4

43.71±2.3

51.2±2.8

17.66±6.28

43.02±1.4

50.01±8.11

10.45±0.6

35.19±8.9

45.06±8.2

Narino 61.06±2.8

62.03±10.4

61.77 53.22±27.30

62.14±1.9

61.18 53.66±26.9

67.21±14.1

57.41

3.4. Metodologıa 2

La metodologıa 2 (ver Figura 3-5) consistio en la clasificacion de imagenes de manera supervisadamediante las redes neuronales descritas en la Seccion 2.4; adicionalmente se aplico una terceraprueba con una combinacion de la 2D-CNN y la RNN.

Base de datos

*Apilamiento

* Conversion

niveles

digitales

Pre-procesamiento

* CNN

* RNN

* CNN-RNN

Segmentacionnubes

Clasificacioncoberturas* CNN

* RNN

* CNN-RNN

Metodologıa 2

Figura 3-5.: Metodologıa 2 aplicada a bases de datos con vegetacion.

Para la metodologıa 2 se requiere en primer lugar de un conjunto de datos que alimenten las redesneuronales para posteriormente realizar el entrenamiento de las mismas y obtener un modelo declasificacion que pueda ser aplicado en cada una de las imagenes. Ası las siguientes etapas fueronllevadas a cabo.

1. En primer lugar, los datos que alimentaron las redes fueron obtenidos de parches o pequenasventanas de la imagen que en algunos casos no fueron suficientes debido a la poca presencia

Page 61: Estudio comparativo de tecnicas de visi´ on´

3.4 Metodologıa 2 43

de una determinada clase, ası que datos sinteticos fueron adquiridos a partir de transfor-maciones de desplazamiento rıgidas para completar la cantidad de datos necesarios. Estastransformaciones fueron tambien aplicadas en trabajos como el de [13]. Luego de una eva-luacion experimental preliminar, el tamano de los parches fue establecido en 32 × 32 paraCampo Verde y en 22 × 22 para Narino en el caso de la CNN, y fue establecido en 8 × 8 enlas dos bases de datos para las demas arquitecturas, asegurando que cada parche contenga almenos la mitad de los pıxeles pertenecientes a las misma clase.

Para cada una de las bases de datos se extrajeron 1000 parches para cada tipo de cobertura(nubes, cultivos), a excepcion de las coberturas boscosas de Narino, para las cuales se obtu-vieron 10000 parches de cada clase. De los datos anteriores, el 90 % fueron utilizados pararealizar el entrenamiento y el 10 % adicional para la validacion en un esquema de validacioncruzada, mientras que la evaluacion fue realizada sobre los datos restantes de las imagenes.Debido a que en Campo Verde para la Secuencia 1 se tiene un total de diez clases y para laSecuencia 2 un total de nueve clases, se obtuvieron 10000 y 9000 muestras para Secuencia 1y Secuencia 2 respectivamente. Por otro lado, para Narino se tiene que clasificar dos clasestanto en nubes como en coberturas y por ello 2000 y 20000 parches fueron obtenidos paralas nubes y para las coberturas respectivamente. En la Tabla 3-11 se da a conocer con masdetalle la informacion anterior para las diferentes bases de datos 1

Tabla 3-11.: Cantidad de muestras utilizadas en el entrenamiento de las redes neuronales. Basesde datos con vegetacion

ParametroCampo Verde Narino

Sec 1 Sec 2 Nubes Coberturas

Cantidad de muestras para obtenerel modelo de clasificacion.

10000 9000 2000 20000

Cantidad de muestras para entrena-miento.

9000 (90 %) 8100 (90 %) 1800 (90 %) 18000 (90 %)

Cantidad de muestras para valida-cion.

1000 (10 %) 900 (10 %) 200 (10 %) 2000 (10 %)

Cantidad de muestras para evalua-cion

669355 670355 568954 547482

1La cantidad resaltada en la columna 4 de la Tabla 3-11 es una cantidad aproximada porque la evaluacion se realizosobre los datos para los cuales la banda BQ proporciono informacion de nubosidad y esta varıa para cada imagen.La cantidad resaltada en la columna 5 de la misma Tabla corresponde al numero de pıxeles limpios sobre los cualesse aplico la evaluacion.

Page 62: Estudio comparativo de tecnicas de visi´ on´

44 3 Experimentos sobre imagenes satelitales de suelo con vegetacion

2. Posteriormente se llevo a cabo el entrenamiento de las redes neuronales para obtener elmodelo de clasificacion de coberturas. En campo Verde se obtuvo un modelo diferente paracada secuencia y en Narino se obtuvo primero un modelo de clasificacion de nubes para cadaimagen del periodo de estudio y luego de ello un modelo de clasificacion de coberturas conlos datos de la imagen 354 de 2015 (este modelo fue aplicado en las imagenes restantes dela base de datos, pero en ellas no se evaluaron los resultados). La arquitectura de las redesneuronales fue establecida despues de una evaluacion experimental preliminar y de acuerdocon la informacion proporcionada en el trabajo de [34]. En la Tabla 3-12 se dan a conocer losparametros de las redes utilizadas; la variable s representa la cantidad de parches empleadosy las variables a1 y a2 representan el tamano de los parches mientras que a3 corresponde alnumero de bandas de las imagenes. El valor de la variable a3 fue de 7 para la clasificacionde nubes y coberturas en Narino y para Campo Verde fue de 35 y 42 para las Secuencias 1 y2 respectivamente. Para el caso de la RNN los parches de tamano 8× 8×a3 se remodelaronen datos de la forma 64 ×a3 antes de ingresar a la red.

3. Finalmente, con los modelos de clasificacion obtenidos, estos fueron aplicados sobre da-tos etiquetados con el fin de evaluar la eficiencia del modelo. Los modelos se aplicaronrecorriendo la imagen mediante ventanas deslizantes de manera similar a una convolucionusando el pixel 17, 17 como pıxel central y asignandole la etiqueta de clasificacion a dichopıxel. El proceso se repitio hasta que todos los pıxeles de la imagen fueran clasificados (VerFigura 3-6).

Ventana deslizante

Asignacion de la etiqueta

Figura 3-6.: Ejemplo proceso de clasificacion con redes neuronales.

Una vez descritos los parametros en cada una de las etapas anteriores, a continuacion se dan aconocer los resultados de la clasificacion de nubes y coberturas en Campo Verde y Narino.

Page 63: Estudio comparativo de tecnicas de visi´ on´

3.4 Metodologıa 2 45

Tabla 3-12.: Arquitecturas de redes neuronales comparadas.

2D-CNN RNN CNN-RNN

Arquitectura Arquitectura ArquitecturaEntrada: s parches tamanoa1×a2×a3

Entrada: s parches tamano8×8×a3

Entrada: s patches tamano8×8×a3

Conv1: 32 filtros tamano 2×2 Capa1: 32 neuronas ConvRNN1: 32 filtros ta-mano 3×3

Conv2: 64 filtros tamano 2×2 Capa2: 64 neuronas ConvRNN2: 64 filtros ta-mano 3×3

Conv3: 128 filtros tamano2×2

Capa oculta: 100 neuronas MaxPooling: size 2×2

MaxPooling: size 8×8 Capa salida: m clases Capa oculta: 100 neuronasCapa oculta: 100 neurons Capa salida: m clasesCapa de salida: m classes

Funcion de perdida Funcion de perdida Funcion de perdidaEntropıa cruzada Entropıa cruzada Entropıa cruzada

Optimizador Optimizador OptimizadorAdadelta Adadelta AdadeltaTaza de aprendizaje=1 Taza de aprendizaje=1 Taza de aprendizaje=1

Activacion Activacion ActivacionSoftmax en la capa de salida Softmax en la capa de salida Softmax en la capa de salidaReLu en las otras capas ReLu en las otras capas ReLu en las otras capas

Inicializacion de pesos Inicializacion de pesos Inicializacion de pesosAleatoria Aleatoria Aleatoria

Otros parametros Otros parametros Otros parametrosEpocas=32 Epocas= 32 Epocas= 32Lote= 32 para Campo Verde y16 para Narino

Lote= 32 para Campo Verde y16 para Narino

Lote= 32 para Campo Verde y16 para Narino

Dropout 25 % despues poo-ling

Dropout 25 % despues Capa2 Dropout 50 % despues capaoculta

Dropout 50 % despues capaoculta

Dropout 50 % despues capaoculta

Dropout 50 % despues capaoculta

Page 64: Estudio comparativo de tecnicas de visi´ on´

46 3 Experimentos sobre imagenes satelitales de suelo con vegetacion

3.4.1. Clasificacion de nubes

Para la clasificacion supervisada de nubosidad en Narino se obtuvieron los resultados de la Ta-bla 3-13, donde se puede apreciar el promedio obtenido sobre toda la base de datos y los resultadosdetallados obtenidos en algunas de las imagenes para las tres arquitecturas comparadas. Adicio-nalmente en la Tabla 3-14 se da a conocer los resultados obtenidos con la 2D-CNN sobre toda labase de datos.

Tabla 3-13.: Resultados de la comparacion de redes neuronales en la clasificacion de nubes. Na-rino.

Imagen2D-CNN RNN CNN-RNN

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

2013-284 90.24±9.9

93.10±5.8

96.41 83.51±16.1

79.81±27.8

90.66 92.66±5.3

95.42±5.1

93.14

2014-255 91.02±5.8

91.35±4.7

92.89 89.39±6.1

93.04±4.8

88.25 90.32±5.5

93.92±4.6

89.01

2015-354 92.19±10.3

93.85±7.8

99.03 88.42±13.6

97.72±2.1

95.67 89.29±12.5

98.62±1

95.82

2016-101 90.89±6.7

89.14±12.3

93.36 89.87±5.7

94.05±2.5

88.79 91.59±3.5

93.72±6.8

89.85

2017-023 87.49±16

93.15±8.6

99.02 49.41±69.8

50±70.7

97.68 88.41±15.7

98.17±1.7

98.75

2018-010 96.42±3.3

98.36±0.9

97.93 82.19±18.1

97.8±1.6

82.02 81.55±20.8

98.85±0.4

82.07

2019-125 95.98±3.1

97.22±0.2

97.14 59.79±14.5

66.81±16.3

64.39 82.27±18.9

98.29±0.38

79.65

Promedio 95.09±2.1

95.42±2.1

96.12±1.9

83.03±7.5

89.2±4.7

83.14±6.5

91.10±3.2

96.64±1.9

88.34±4.5

Se puede apreciar en la Tabla 3-13 que el uso de una RNN no es recomendable para clasificar lasnubes de Narino, pues el rendimiento es muy bajo en comparacion con los resultados obtenidos porla 2D-CNN, los cuales superan el 90 % mientras que las medidas de la RNN no superan el 80 %. Seevidencia ası que la 2D-CNN permitio obtener mejores resultados que las otras dos arquitecturasy que el metodo no supervisado ACCA de la metodologıa 1.

En la Tabla 3-14 se puede observar que en general, los resultados en la mayorıa de las medidas deeficiencias superaron el 90 %. Con respecto al ındice f1 los mejores resultados fueron obtenidospara la imagen 114 de 2015, mientras que los resultados mas bajos fueron para la imagen 269 de2019. Esto se debe al porcentaje de pıxeles nublados conocidos (proporcionados por la banda BQ).

Page 65: Estudio comparativo de tecnicas de visi´ on´

3.4 Metodologıa 2 47

Tabla 3-14.: Resultados de clasificacion de nubes con 2D-CNN. NarinoImagen f1( %) AA( %) OA( %) Imagen f1( %) AA( %) OA( %)

2013-188 94.91±2.8 96.11±1.4 95.7 2016-085 92.54±3.9 91.55±8.4 93.552013-236 94±2 94.2±5.3 94.89 2016-101 90.89±6.7 89.14±12 93.362013-268 93.76±0.7 93.71±1.6 93.79 2016-165 92.32±3 92.48±1.8 92.832013-284 90.24±9.9 93.10±5.8 96.41 2016-181 95.95±0.1 95.97±1 95.952013-332 92.55±2.7 92.21±4.9 93.06 2016-197 92.93±0.1 92.75±7.5 92.892014-015 92.71±4.1 91.32±9.9 93.88 2016-213 94.55±1.5 94.15±5.1 94.772014-095 94.02±1.9 93.93±2.3 94.35 2016-229 92.05±3.4 91.55±6.2 92.782014-111 92.98±2.5 92.14±8.9 93.42 2016-261 93.21±7.4 93.12±7.5 97.32014-127 93.02±1.4 92.97±2.1 93.05 2016-277 94.58±2.3 94.29±3.8 95.062014-159 95.25±0.3 95.21±1.8 95.26 2016-293 95.03±1.4 94.59±5.5 95.272014-175 90.05±3.1 89.23±14 90.52 2016-357 90.37±4.3 89.1±11.7 91.352014-191 93.71±4.9 95.55±0.5 95.75 2017-023 87.49±16 93.15±8.6 99.022014-223 91.55±3.4 92.73±2.3 92.21 2017-055 92.54±2.7 93.02±0.1 93.0192014-239 93.35±0.1 93.34±1.4 93.35 2017-103 93.38±2.8 93.91±0.3 93.972014-255 91.02±5.8 91.35±4.7 92.89 2017-119 92.65±2.4 92.33±4.8 93.042014-271 94.73±0.2 94.73±3.1 94.73 2017-135 98.09±0.8 98.29±0.3 98.232014-287 96.87±0.1 96.87±1.6 96.86 2017-167 97.97±0.7 97.76±1.9 98.082014-319 91.52±3.1 91.1±5.8 92.09 2017-183 98.33±0.7 98.41±0.4 98.492015-002 97.46±1.3 97.12±2.7 97.81 2017-215 98.69±0.1 98.68±0.4 98.72015-034 98.55±0.5 98.72±0.5 98.64 2017-247 99.05±0.1 99.02±0.6 99.052015-066 98.16±0.7 98.29±0.1 98.31 2017-263 98.19±0.1 98.19±1.5 98.192015-082 98.33±0.5 98.51±0.5 98.42 2017-359 97.38±2.3 97.33±2.4 98.372015-114 99.17±0.5 99.11±0.7 99.3 2018-010 96.42±3.3 98.36±0.9 97.932015-130 98.31±0.5 98.19±1.3 98.4 2018-026 98.25±0.5 98.52±1.2 98.332015-162 92.69±9.4 92.87±9.1 98.72 2018-058 97.42±0.4 97.69±1.8 97.572015-178 97.14±0.8 97.19±0.5 97.26 2018-170 97.99±0.5 97.96±0.7 98.062015-194 96.42±2.5 95.82±4.3 97.24 2018-186 98.22±0.1 98.2±1.8 98.232015-226 98.92±0.4 99.02±0.1 98.99 2018-202 97.37±0.8 97.5±0.1 97.482015-242 94.96±5.4 97.27±1 97.85 2018-218 98.49±0.1 98.45±1.2 98.52015-258 94.57±6.8 97.34±2.4 98.84 2018-234 97.23±1.3 97.83±0.1 97.582015-290 98.16±1.2 98.47±0.1 98.44 2018-250 93.93±1.2 98.12±0.5 98.272015-354 92.19±9.9 93.85±7.8 99.03 2018-266 98.18±1.1 98.01±1.3 98.462016-037 89.45±13 94.72±5.3 98.17 2018-298 98.42±0.6 98.47±0.4 98.542016-053 93.1±0.02 93.05±1.3 93.04 2018-314 97.95±1 97.98±0.9 98.232016-069 94.58±6.1 92.62±3 93.29 2018-362 98.31±0.8 98.08±1.8 98.51

Sigue en la pagina siguiente.

Page 66: Estudio comparativo de tecnicas de visi´ on´

48 3 Experimentos sobre imagenes satelitales de suelo con vegetacion

Imagen f1( %) AA( %) OA( %) Imagen f1( %) AA( %) OA( %)2019-045 97.44±0.4 97.7±2.2 97.48 2019-237 97.94±1.2 97.62±2.4 98.32019-125 95.98±3.1 97.22±0.2 97.14 2019-269 80.64±7.7 84.69±8.8 82.172019-141 95.86±3.2 94.84±6 97.07 2019-285 97.74±1.1 98.08±0.2 98.032019-205 98.09±0.7 97.84±0.9 98.22 2019-301 98.59±0.3 98.57±0.5 98.642019-221 97.42±1.7 97.45±1.6 97.99

3.4.2. Clasificacion de coberturas

Es importante recordar que para la clasificacion de coberturas en Campo Verde, los datos de en-trenamiento fueron obtenidos de la ultima imagen de cada secuencia, es decir de febrero y julio,mientras que para las imagenes de Narino los datos de entrenamiento se obtuvieron de la imagendel dıa 354 de 2015. Ası, se clasificaron diez clases distintas de cultivos en las secuencias evalua-das de Campo Verde, mientras que en Narino dos clases (bosque y suelo desnudo).

En primer lugar, se realizo una comparacion de las tres arquitecturas de redes neuronales descritasanteriormente, obteniendo los resultados de la Tabla 3-15 para Campo verde y de la Tabla 3-16para Narino.

Tabla 3-15.: Resultados de la comparacion de redes neuronales para clasificacion de coberturas.Campo Verde

Imagen2D-CNN RNN CNN-RNN

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

Sec 1 73.63±56.12

92.21±21.84

84.26 49.48±70.4

78.91±73.1

66.93 68.14±64.88

88.93±22.31

79.10

Sec 2 77.86±31.4

85.63±42.59

77.32 60.78±44.4

79.84±48.2

64.11 64.46±68.1

71.29±68.8

67.71

Promedio 75.74±2.9

88.92±4.7

80.79±4.9

55.13±7.9

79.38±0.7

65.52±1.9

66.30±2.5

80.11±12.47

73.41±8.1

En la Tabla 3-15 se puede apreciar que al igual que en la metodologıa 1, Secuencia 2 obtuvo me-jores resultados que Secuencia 1, y la diferencia entre los resultados es mas notaria en la medidadel ınidice f1. Contrario a los resultados obtenidos en metodologıa 1, la clasificacion de suelos enNarino fue mejor que la de bosques en la metodologıa 2 (ver Tabla 3-16) y esto se debe a que elmodelo de clasificacion esta entrenado de manera balanceada. Se puede concluir que los mejoresresultados dentro de la metodologıa 2 fueron obtenidos por la 2D-CNN.

Page 67: Estudio comparativo de tecnicas de visi´ on´

3.5 Comparacion de resultados 49

Tabla 3-16.: Resultados de la comparacion de redes neuronales para clasificacion de coberturas.Narino.

Imagen2D-CNN RNN CNN-RNN

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

Bosques 92.61 94.4593.29

78.09 78.6381.01

81.44 85.5583.21

Suelo 93.86 92.33 83.24 82.81 84.61 81.44

Promedio 93.23±0.9

93.41±1.5

93.29 80.66±3.6

80.72±2.9

81.01 83.06±2.3

83.5±2.9

83.21

Finalmente, en la Tabla 3-17 se presentan los resultados de las pruebas realizadas con el fin desoportar las afirmaciones hechas en las Secciones 3.2 y 3.1, pero esta vez para el caso supervisado.Todas las pruebas reportadas en la Tabla 3-17 hicieron uso la 2D-CNN.

Tabla 3-17.: Influencia del filtrado y de la cantidad de bandas utilizadas de las imagenes. Analisissupervisado.

ImagenImagenes filtradas-siete bandas

Imagenes sin filtrar-siete bandas

Imagenes sin filtrar-totalidad bandas

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

CampoVerde

75.22±0.8

89.03±3.1

80.89±0.9

75.74±2.9

88.92±4.7

80.79±4.9

73.16±9.5

89.22±2.01

80.03±4.9

Narino 90.63±1.7

90.46±4.2

90.79 93.23±0.9

93.41±1.5

93.29 91.34±0.9

91.66±3.4

91.39

En la Seccion 3.2 se menciono que en el caso supervisado se obtuvieron mejores resultados altrabajar con datos sin filtrar y efectivamente esto es observado al comparar los resultados de lasdos primeras columnas de la Tabla 3-17. Por otro lado, en la Seccion 3.1 se menciono que se ob-tuvieron mejores resultados al trabajar con las siete primeras bandas de las imagenes, lo cual esobservado al comparar las dos ultimas columnas de la Tabla 3-17.

3.5. Comparacion de resultados

En la Tabla 3-18 se presenta la comparacion de los resultados obtenidos en la clasificacion de nubespor las metodologıas 1 y 2, comprobando que la 2D-CNN permitio obtener mejores resultados(Ver 3-18).

Page 68: Estudio comparativo de tecnicas de visi´ on´

50 3 Experimentos sobre imagenes satelitales de suelo con vegetacion

Tabla 3-18.: Comparacion de resultados en las diferentes metodologıas. Nubes

ImagenACCA 2D-CNN

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

Narino 72.12±7.4

76.54±5.3

82.21±7.2

95.09±2.1

95.42±2.1

96.12±1.9

Con respecto a la clasificacion de coberturas, recordando que en la metodologıa 1 mejores resul-tados fueron obtenidos con NPDBC y que en la metdologıa 2 mejores resultados fueron obtenidoscon la 2D-CNN, en la Tabla 3-19 se presentan la comparacion de las dos metodologıas, observandoque la tecnica supervisada proporciono mejores resultados para las dos bases de datos.

Tabla 3-19.: Comparacion de resultados en las diferentes metodologıas. Coberturas

ImagenNPDBC 2D-CNN

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

CampoVerde

20.29±4.9

44.4 ±0.7 50.31±6.7

75.74±2.9

88.92±4.7

80.79±4.9

Narino61.14±10.8

61.14±10.8

61.62±5.6

62.63 93.23±0.9

93.41±1.5

93.29

Tabla 3-20.: Resultados post-procesamiento aplicado a el mapa de clasificacion obtenido con la2D-CNN. Campo Verde

ImagenTecnica post-procesamiento 1 Tecnica postprocesamiento 2f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

Sec 1 73.67±56.17

92.23±21.82

84.31 25.21±51.4

40.43±72.4

40.94

Sec 2 78.11±31.07

85.21±42.73

77.98 28.57±43.5

44.09±74.5

40.63

Promedio 75.89±3.3

88.72±4.9

81.15±4.5

26.89±2.4

42.26±2.6

40.78±0.3

Posteriormente y con el fin de mejorar los resultados obtenidos se aplico un post-procesamientosobre el mapa de clasificacion obtenido por la 2D-CNN. Dicho post-procesamiento se aplicounicamente sobre Campo Verde y no sobre Narino ya que en esta ultima base de datos el post-procesamiento se aplico con fines de visualizacion en la etapa de deteccion de cambios descrita

Page 69: Estudio comparativo de tecnicas de visi´ on´

3.5 Comparacion de resultados 51

mas adelante. Las tecnicas utilizadas para refinar los resultados en los mapa de clasificacion deCampo verde fueron las descritas en la Seccion 2.5 y los resultados obtenidos son los presentadosen la Tabla 3-20.

De los resultados presentados en la Tabla 3-20, se determino que la tecnica de post-procesamiento1 funciona mejor que la tecnica de post-procesamiento 2 sobre Campo Verde, pues resultados masaltos fueron obtenidos para todas las medidas de eficiencia. Se puede apreciar tambien que la tecni-ca de post-procesamiento 1 mejoro los resultados obtenidos con respecto a todas las medidas deeficiencia. La mejora obtenida puede ser apreciada mas notablemente en la Tabla 3-21, donde sedescriben los resultados obtenidos para cada una de las clases de la Secuencia 1 y la Secuencia 2con la 2D-CNN.

Tabla 3-21.: Resultados detallados del post-procesamiento aplicado. Campo Verde

Imagen Clase Cantidad

Antespost-procesamiento

Despuespost-procesamiento

f1 ( %) AA ( %) f1 ( %) AA ( %)

Sec 1

Soya 242589 79.76 76.95 79.81 76.96Maız 891 77.91 87.65 77.91 87.65Algodon 12965 78.22 96.13 78.49 96.13Sorgo 242 59.99 100 59.97 100NCC 892 61.11 99.77 61.12 99.77Pasto 46623 84.98 89.85 85.04 89.85Eucalipto 17239 92.85 92.95 92.85 92.95Suelo 340449 87.28 87.37 87.34 87.47Cesped 112 29.71 100 29.71 100Cerrado 17352 84.43 91.49 84.43 91.49

Sec 2

Maız 84013 61.96 80.22 62.33 78.55Algodon 257101 87.43 94.96 87.28 95.94Sorgo 6396 76.56 79.83 78.17 79.83NCC 18357 78.63 87.63 76.96 83.62Pasto 58435 89.15 89.79 90.01 90.51Eucalyipto 17239 90.49 97.77 90.67 97.67Suelo 220461 65.54 50.01 65.99 50.47Cesped 112 65.68 100 66.46 100Cerrado 17352 85.26 90.46 84.99 90.35

En la Tabla 3-21 se observa que en general los resultados mejoraron para cada una de las clases

Page 70: Estudio comparativo de tecnicas de visi´ on´

52 3 Experimentos sobre imagenes satelitales de suelo con vegetacion

y es posible observar tambien que a nivel de clases tanto en la Secuencia 1 como en la Secuencia2 el eucalipto obtuvo mejores resultados de clasificacion a nivel del ındice f1 y que los peoresresultados en terminos de esta medida fueron para los NCC en la Secuencia 1 y para el maız en laSecuencia 2. Lo anterior se debe a que los cultivos NCC son clases minoritarias en la Secuencia 1,y con respecto al cultivo de maız, la literatura reporta que esta es una de las clases mas difıciles declasificar y tiende a ser confundida con otras.

Dado que para Campo Verde se dispone de investigaciones con las cuales el trabajo realizado pue-de ser comparado; en la Tabla 3-22 se presenta una comparacion de los resultados obtenidos pordichas investigaciones con los obtenidos por la 2D-CNN antes del post-procesamiento, apreciandotambien que la arquitectura propuesta permitio obtener mejores resultados para Campo Verde.

Tabla 3-22.: Comparacion redes convolucionales con el estado del arte. Campo Verde

Imagen2D-CNN La Rosa Sanchez

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

Sec 1 73.63±56.12

92.21±21.84

84.26 NR 79.1 81.7 42 NR 65

Sec 2 77.86±31.4

85.63±42.59

77.32 NR 67.6 74.9 52 NR 62

Promedio 75.74±2.9

88.92±4.7

80.79±4.9

- 73.35±8.13

78.3±4.8

47 ±7 - 63.5±2.1

Dado que la metodologıa empleada solo para Campo Verde pudo ser comparada con el estado delarte, en el Anexo A se presentan los resultados obtenidos al aplicar la metodologıa de las bases dedatos rurales sobre una base de datos urbana (Pavia).

Una vez determinado que el mejor metodo para clasificar las dos bases de datos estudiadas es la2D-CNN, se presentan los mapas de clasificacion obtenidos en Campo Verde y Narino mediantelas Figuras 3-7 y 3-8 respectivamente. En Campo Verde, en la Figura 3-7(a) se puede apreciarel mapa de clasificacion obtenido con la 2D-CNN despues del post-procesamiento, y en la Figu-ra 3-7(b) el mapa de clasificacion original de la Secuencia 2 de la base de datos. Por otro lado, enNarino, en la Figura 3-8(a) se da a conocer el mapa de clasificacion obtenido por la 2D-CNN yen la Figura 3-8(b) el mapa de clasificacion original de la imagen 354 de 2015. Graficamente esposible observar como algunas clases son confundidas con otras (zonas encerradas en cırculos).Por ejemplo, en Campo Verde en algunas regiones el algodon es confundido con maız, pero engeneral, comparando los resultados de las graficas una adecuada clasificacion de coberturas puedeser observada.

Page 71: Estudio comparativo de tecnicas de visi´ on´

3.5 Comparacion de resultados 53

(a) Mapa de clasificacion predicho (b) Mapa de clasificacion original

Figura 3-7.: Mapa de clasificacion obtenido con la 2D-CNN en la Secuencia 2. Campo Verde

Page 72: Estudio comparativo de tecnicas de visi´ on´

54 3 Experimentos sobre imagenes satelitales de suelo con vegetacion

(a) Mapa de clasificacion predicho (b) Mapa de clasificacion original

Figura 3-8.: Mapa de clasificacion obtenido con la 2D-CNN imagen 354 de 2015. Narino

Page 73: Estudio comparativo de tecnicas de visi´ on´

3.6 Deteccion de cambios 55

3.6. Deteccion de cambios

La deteccion de cambios se realizo con el fin determinar un indicio de la deforestacion causada enla zona de analisis de Narino a lo largo de los ultimos anos. Cabe resaltar que los cambios debidosa nubosidad no fueron tomados en cuenta en este analisis.

En esta etapa con el fin de obtener mapas de etiquetas en las diferentes imagenes, el modelo declasificacion de coberturas obtenido por la 2D-CNN (metodo que permitio obtener mejores resul-tados) en la imagen 354 de 2015 fue aplicado a las imagenes restantes para tener un indicio acercade la presencia o ausencia de bosques. Posteriormente, la deteccion se llevo a cabo mediante laresta del conjunto de mapas de etiquetas obtenido para distintas fechas.

(a) Mapa de cambios 2014 (b) Mapa de cambios 2015 (c) Mapa de cambios 2016

(d) Mapa de cambios 2017 (e) Mapa de cambios 2018 (f) Mapa de cambios 2019

Figura 3-9.: Mapa de deteccion de cambios. Narino

Page 74: Estudio comparativo de tecnicas de visi´ on´

56 3 Experimentos sobre imagenes satelitales de suelo con vegetacion

(a) Mapa de cambios 2014 (b) Mapa de cambios 2014 refinadocon tecnica 1

(c) Mapa de cambios 2014 refinadocon tecnica 2

(d) Mapa de cambios 2018 (e) Mapa de cambios 2018 refinadocon tecnica 1

(f) Mapa de cambios 2018 refinadocon tecnica 2

Figura 3-10.: Mapa de deteccion de cambios refinado. Narino

En la Figura 3-9 se presenta un ejemplo de la deteccion de cambios realizada en el municipiode Rosario. Dicha deteccion se realizo para cada ano, desde 2014, hasta 2019 comparando lasimagenes del periodo de tiempo mencionado con la imagen 188 del ano 2013. Las otras imagenesutilizadas fueron la 223 de 2014, 258 de 2015, 261 de 2016, 263 de 2017, 250 de 2018 y 237de 2019. Las anteriores imagenes fueron escogidas de manera que tuvieran un bajo porcentaje denubosidad y teniendo en cuenta que entre la imagen de cada ano existiera aproximadamente 365dıas de diferencia con respecto al ano anterior.

De acuerdo con la Figura 3-9 se tiene un indicio de que los cambios producidos son debidos ma-yormente a deforestacion, la cual se concentra en mayor parte en la zona de Rosario. Tambien

Page 75: Estudio comparativo de tecnicas de visi´ on´

3.6 Deteccion de cambios 57

se observa que en los mapas de clasificacion de 2014 y 2018 se presentan algunos problemas enzonas etiquetadas como zonas de regeneracion, pues estas se encuentran bordeando las nubes y esprobable que pertenezcan a esta clase. Por lo anterior se realizo el refinamiento descrito por lastecnicas de la Seccion 2.5, obteniendo los resultados de la Figura 3-10.

En la Figura 3-10 se observa que el problema presentado anteriormente disminuye y que la mayorıade las zonas etiquetadas como regeneracion en la Figura 3-9 ahora son etiquetadas como nubes.Pero es la tecnica de post-procesamiento 2 la que visualmente permitio obtener mejores resultados.

Para apreciar los resultados de la deteccion de cambios, se diseno un aplicativo en Python (Figu-ra 3-11), en el se puede cargar dos imagenes de una serie de tiempo, las cuales seran clasificadascon la 2D-CNN para posteriormente generar el mapa de cambios entre las imagenes. En la inter-faz se puede visualizar ademas datos de la fecha de adquisicion de las imagenes y un porcentajeestimado de deforestacion en la zona.

(a) Imagen fecha 1 (b) Imagen fecha 2 (c) Mapa de deforestacion

Figura 3-11.: Interfaz de visualizacion de resultados.

Page 76: Estudio comparativo de tecnicas de visi´ on´
Page 77: Estudio comparativo de tecnicas de visi´ on´

4. Conclusiones y trabajo futuro

4.1. Conclusiones

En esta investigacion se realizo una comparacion de diferentes metodos de agrupamiento super-visado y no supervisado principalmente sobre dos bases de datos de imagenes satelitales Landsat8, obteniendo mejores resultados con agrupamiento no supervisado para las dos bases de datosestudiadas.

El ındice f1 es una medida mas completa y descriptiva especialmente para las bases de datos des-balanceadas, y es por ello que en las imagenes clasificadas fue posible observar que en la mayorıade pruebas realizadas el ındice f1 fue mas bajo que otras medidas. Con lo anterior se puede con-cluir que f1 refleja de mejor manera los resultados obtenidos para clases minoritarias.

Las bandas de una imagen Landsat 8 presentan diferentes caracterısticas que de acuerdo con laaplicacion requerida pueden ser utiles o no. Si por ejemplo se requiere de un sistema de un estudiode mapeo termico y humedad del suelo, las bandas ocho en adelante resultan ser de gran utilidad,pero estas mismas bandas no tienen mayor influencia en otras aplicaciones como sucedio en laclasificacion de coberturas hecha en nuestro estudio. Vale la pena recordar que la cuantificacionde la deforestacion se hizo mediante la resta de mapas de clasificacion (es decir con metodo depost-clasificacion), pero en el caso de que la deforestacion se hubiera cuantificado con metodos declasificacion directa, es posible que las bandas 8 en adelante habrıan sido utiles en el proceso yaque la deforestacion implica un cambio climatico.

El filtrado de imagenes puede ser de utilidad y en otros casos bajar el desempeno de una aplicacion.En esta investigacion, por ejemplo, el filtrado resulto ser util con el agrupamiento no supervisado,pero no con el supervisado, debido a que en este ultimo elimino detalles importantes para las redesneuronales. Dado que para nuestro trabajo se obttuvieron mejores resultados con analisis supervi-sado, el filtrado de las imagenes no resulta ser factible para la clasificacion de coberturas vegetales.

Las clases minoritarias son mas difıciles de clasificar dentro de un conjunto de datos, pues estastienden a ser confundidas con las clases mayoritarias. Lo anterior es mas notorio para el caso nosupervisado ya que en el, al no tener conocimiento de la cantidad de muestras de cada clase, re-sulta poco factible aplicar un balanceo de clases como el que se aplica en el entrenamiento para laobtencion de un modelo de clasificacion en el caso supervisado. En el caso de Brasil, por ejemplo,

Page 78: Estudio comparativo de tecnicas de visi´ on´

60 4 Conclusiones y trabajo futuro

los cultivos con menor presencia en las imagenes (NCC, cesped, sorgo) fueron confundidos conotros con mayor presencia como el pasto.

Los coeficientes de Hermite y las firmas espectrales presentan mejor desempeno en tareas de cla-sificacion comparados con otros metodos como las caracterısticas de coocurrencia. Lo anterior seexplica debido a que los coeficientes de Hermite permiten describir las firmas espectrales con mascoeficientes y estas representan a cada uno de los pıxeles de la imagen de manera individual. Porotro lado, las caracterısticas de coocurrencia representan la informacion de un pıxel de acuerdocon el vecindario que lo rodea, lo cual seguramente distorsiona las caracterısticas del pıxel de laimagen. Dicha afirmacion es soportada de acuerdo con los resultados obtenidos en las bases de da-tos, pues en general los coeficientes de Hermite permitieron obtener mejores resultados seguidosde las firmas espectrales y las caracterısticas de coocurrencia.

Los algoritmos basados en umbrales no tienen a funcionar de manera adecuada en algunos datoscomo sucedio en la clasificacion de nubes con ACCA en Narino. Lo anterior se debe a que algunascoberturas diferentes a nubes tienden a tener valores de reflectancia similares a estas ultimas.

Para algunas aplicaciones los metodos de agrupamiento basado en densidades presentan mejordesempeno que los metodos basado en distancias porque las funciones de membresıa tienen encuenta mas factores y variables para la reasignacion de grupos en lugar de solo calcular distancias.Ademas, de acuerdo con los resultados obtenidos los metodos basados en densidades mostraronser menos sensibles a la inicializacion de centroides.

Una forma de asegurar un mejor agrupamiento es utilizar un criterio de inicializacion como max-mın para que se genere una particion inicial adecuada y se asegure una mejor separacion de centroi-des. Ademas de ello un analisis por segmentos contribuye a agrupar de mejor manera los elementosde un conjunto de datos, especialmente las clases minoritarias.

Las redes neuronales 2D-CNN permiten obtener mejores medidas de eficiencia que otras redesneuronales como las RNN. Lo anterior se debe a que las convoluciones extraen mejores carac-terısticas al momento de pasar los datos a las capas ocultas, lo que no es realizado, por ejemplo,con la RNN, pues en ella las firmas espectrales de los parches pasan directamente a las capas ocul-ta. Es por ello que la mayorıa de las pruebas realizadas en nuestra investigacion, las 2D-CNNstuvieron un mejor rendimiento en la clasificacion de coberturas.

Diferentes tecnicas de post-procesamiento funcionan de manera distinta en un conjunto de datos.Ası, por ejemplo, en esta investigacion, la tecnica de post-procesamiento 1 permitio mejorar losresultados de clasificacion obtenidos en Campo Verde lo que no sucedio con la tecnica 2. Por elcontrario, la tecnica de post-procesamiento 2 mejoro los resultados obtenidos para Narino mas ade-cuadamente que la tecnica 1. Lo anterior se debe a que en Campo Verde hay un mayor numero de

Page 79: Estudio comparativo de tecnicas de visi´ on´

4.2 Trabajo Futuro 61

clases para ser clasificado haciendo que la tecnica 2 de post-procesamiento las confunda y tiendaa eliminar zonas correspondientes a clases minoritarias.

4.2. Trabajo Futuro

Como se pudo apreciar en la investigacion, un indicio de la posible deforestacion en algunas zonasdel municipio de Rosario en Narino fue obtenido. Sin embargo, la informacion que permitio obte-ner dichos resultados es limitada y se requiere de mas etiquetas para corroborar de mejor maneralos resultados obtenidos. Por lo anterior, como trabajo futuro se propone realizar trabajos de camposobre la zona estudiada que permita obtener la informacion deseada.

Una vez realizado el trabajo de campo otro posible trabajo futuro podrıa ser aplicar las tecnicasevaluadas en la totalidad de datos disponibles de Narino y obtener un ındice de deforestacion parala totalidad del departamento.

Page 80: Estudio comparativo de tecnicas de visi´ on´
Page 81: Estudio comparativo de tecnicas de visi´ on´

A. Anexo: Experimentos sobreimagenes aereas con uso de suelourbano

Con el fin de validar los metodos utilizados en otro tipo de datos, adicionalmente a las pruebasrealizadas sobre imagenes satelitales de suelo con vegetacion, se aplicaron pruebas en imagenesaereas con uso de suelo urbano. En la Figura A-1 se da a conocer la metodologıa empleada paraclasificar la base de datos urbana Pavia.

Base de datos

Filtrado

Pre-procesamiento * Firma espectral

* Hermite

* Coocurrencia

Caracterizacion

* K-medias

* NPDBC

Clasificacion coberturas

Agrupamiento

* CNN

* RNN

* CNN-RNN

Medidas de

eficiencia

Comparacionde resultados

Metodologıa 1

Metodologıa 2

Figura A-1.: Diagrama de experimentos realizados en la imagen Pavia.

A.1. Imagen Pavia

Esta imagen fue obtenida sobre una zona urbana alrededor de la Universidad de Pavia localizadaen Italia. Dicha imagen fue adquirida por el sensor ROSIS-3 y tiene una resolucion espacial de1.3 m. El tamano de la imagen Pavia es de 610×340 pıxeles y contiene 103 bandas. En el estado

Page 82: Estudio comparativo de tecnicas de visi´ on´

64 A Anexo: Experimentos sobre imagenes aereas con uso de suelo urbano

del arte esta imagen ha sido utilizada para validar metodos de clasificacion de diferentes escenas,pues Pavia esta segmentada en nueves diferentes clases (asfalto, prados, grava, arboles, hojas demetal pintadas, suelo desnudo, alquitran, ladrillos y sombras). Las anotaciones estan distribuidasalrededor de la imagen y representan un total de 42776 pıxeles etiquetados.

A.2. Pre-procesamiento

El pre-procesamiento aplicado a la imagen Pavia consistio en un filtrado de las diferentes bandasde la misma. Al igual que en las bases de datos rurales la imagen filtrada unicamente fue utilizadaen la aplicacion de la metodologıa no supervisada.

A.3. Metodologıa 1

La metodologıa de agrupamiento no supervisado fue aplicada en Pavia de acuerdo a las etapas dela Figura A-2.

Base de datos

* Filtrado

Pre-procesamiento

* Firma espectral

* Hermite

* Coocurrencia

Caracterizacion

* K-medias

* NPDBC

Agrupamiento

Metodologıa 1

Figura A-2.: Metodologıa 1 aplicada a Pavia.

A.3.1. Caracterizacion de imagenes

En primer lugar, se realizo la comparacion de las tecnicas de caracterizacion utilizadas en Narinoy Campo Verde (ver Tabla 3-3 de la Seccion 3.3) pero con diferente cantidad de caracterısticas.Ası, para la firma espectral 103 caracterısticas fueron empleadas, para los coeficientes de Hermite70 y para la matrız de coocurrencia 306. La comparacion de las tecnicas de caracterizacion fuellevada a cabo con el algoritmo k-medias y una inicializacion max-mın obteniendo los resultadosde la Tabla A-1.

Page 83: Estudio comparativo de tecnicas de visi´ on´

A.3 Metodologıa 1 65

Tabla A-1.: Resultados de la comparacion de caracterısticas. Pavia

ImagenFirma espectral Bases Hermite Coocurrencia

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

Asfalto 16.23 96.078 48.61 39.66 23.34 78.8Prados 63.78 47.58 65.69 55.08 62.13 45.07Grava 9.52 100 0 0 0 0Arboles 2.83 100 6.5 100 0 0Hojas demetal pin-tadas

55.72 40.99 47.73 39.15 43.36 49.76 0 0 15.5

Suelodesnudo

11.46 54.66 16.98 30.49 0 0

Alquitran 0 0 0 0 0 0Ladrillos 11.75 33.81 21.61 44.91 0 0Sombras 0 0 48.09 67.75 0 0

Promedio 19.1±67.41

52.6±111.5

47.73 27.4±67.5

42.36±88.73

49.76 9.49±59.9

13.76±80.85

15.5

De la Tabla A-1 se puede observar que los mejores resultados fueron obtenidos para las bases deHermite en funcion del ındice f1 yOA y para la firma espectral en funcion de AA. Por consiguien-te, se concluye que de las caracterısticas comparadas es mejor caracterizar la imagen Pavia con lasbases de Hermite. Al analizar detalladamente los resultados obtenidos para cada una de las claseses posible observar que en general las medidas de eficiencia fueron mejores en la segmentacion deprados y que el bitumen es difıcil de segmentar con las caracterısticas utilizadas.

A.3.2. Agrupamiento de datos

Dado que los datos no se encuentran afectados por nubosidad se procede directamente a clasifi-carlos utilizando un numero de grupos igual a nueve y con los demas parametros descritos en laTabla 3-6 de la Seccion 3.3. Teniendo en cuenta que mejores resultados fueron obtenidos con loscoeficientes de Hermite, la comparacion de los metodos de agrupamiento fue realizada con dichoscoeficientes y los resultados pueden ser observados en la Tabla A-2.

Al comparar los resultados obtenidos en la Tabla A-2, se puede observar que la inicializacionmax-mın mejoro los resultados para los dos metodos de agrupamiento. Ademas NPDBC obtuvomedidas de eficiencia mas altas que k-medias, concluyendo con ello que dentro de los metodos deagrupamiento no supervisado para Pavia es mejor utilizar NPDBC con inicializacion max-mın y

Page 84: Estudio comparativo de tecnicas de visi´ on´

66 A Anexo: Experimentos sobre imagenes aereas con uso de suelo urbano

con los coeficientes de Hermite como caracterısticas.

Tabla A-2.: Resultados de comparacion de algoritmos de agrupamiento. Pavia

Imagen

kmedias-aleatoria

kmedias-max-mın

NPDBC-aleatoria

NPDBC-max-mın

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %) f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

Asfalto 43.85 30.78 48.61 39.65 50.97 46.23 65.89 52.96Prados 64.88 56.75 65.69 55.08 65.85 53.01 71.01 63.96Grava 0 0 0 0 25.58 33.31 2.24 57.14Arboles 0 0 6.5 100 18.63 43.23 10.19 79.14Hojasde metalpintadas

0 0 45.91 39.15 43.36 49.76 0 0 49.86 37.75 56.88 56.3

Suelodesnudo

0 0 16.98 30.49 0 0 0 0

Alquitran 0 0 0 0 0 0 39.45 59.96Ladrillos 17.95 31.53 21.61 44.91 17.47 26.47 44.39 34.09Sombras 0 0 48.09 67.75 10.94 73.68 21.82 74.69

Promedio 14.07±68.4

13.23±59.9

45.91 27.41±67.5

42.36±88.7

49.76 21.05±66.1

30.65±74.8

49.86 32.52±73.5

53.21±67.2

56.3

A.4. Metodologıa 2

La metodologıa de agrupamiento supervisado fue aplicada en Pavia de acuerdo a las etapas de laFigura A-3.

Base de datos

Clasificacion coberturas

* CNN

* RNN

* CNN-RNN

Metodologıa 2

Figura A-3.: Metodologıa 2 aplicada a Pavia.

Page 85: Estudio comparativo de tecnicas de visi´ on´

A.4 Metodologıa 2 67

La arquitectura y demas parametros empleados en cada una de las redes comparadas correspondena los mismos descritos en la Tabla 3-12 de la Seccion 3.4 pero difiere en el tamano de los parchesque alimentaron las 2D-CNN, el cual fue establecido en 22. Por otro lado, la cantidad de parchesutilizada fue de 200 por clase, es decir, 1800 parches en total. De esta cantidad el 90 % fue em-pleado en entrenamiento y el 10 % adicional en validacion, mientras que el testing se aplico sobrelos datos restantes de la imagen es decir 42122 (ver Tabla A-3).

Tabla A-3.: Cantidad de muestras utilizadas en el entrenamiento de las redes neuronales. Pavia

Parametro Imagen Pavia

Cantidad de muestras utilizada para obtener el mo-delo de clasificacion

1800

Cantidad de muestras utilizadas para el entrena-miento

1620 (90 %)

Cantidad de muestras utilizadas para la validacion 180 (10 %)

Cantidad de muestras utilizadas en el testing 42122

A.4.1. Clasificacion de coberturas

En Pavia se clasificaron nueve clases mediante los modelos obtenidos del entrenamiento de lasredes neuronales y se compararon los resultados de las tres arquitecturas (ver Tabla A-4).

En la Tabla A-4 al analizar detalladamente los resultados para cada una de las clases, se puedeobservar que mejores resultados fueron obtenidos para la clase hojas de metal pintadas en todaslas arquitecturas y por otro lado, los mas bajos resultados variaron de acuerdo a la arquitectura. Alcomparar los promedios obtenidos para Pavia, se puede concluir que la 2D-CNN permitio obtenermejores resultados seguida de la CNN-RNN.

A.4.2. Comparacion de resultados

Al comparar los mejores promedios de las Tablas A-2 y A-4 se puede observar que mejores resul-tados fueron obtenidos con la 2D-CNN, al igual como sucedio en las bases de datos con vegetacion.

Posteriormente y con el fin de mejorar los resultados obtenidos, al igual que en Campo Verde seaplicaron las tecnicas de post-procesamiento sobre el mapa de clasificacion obtenido por la 2D-CNN. Los resultados obtenidos son los presentados en la Tabla A-5.

Page 86: Estudio comparativo de tecnicas de visi´ on´

68 A Anexo: Experimentos sobre imagenes aereas con uso de suelo urbano

Tabla A-4.: Resultados de la comparacion de redes neuronales. Pavia

Imagen2D-CNN RNN CNN-RNN

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

Asfalto 84.73 75.13 60.59 50.55 73.59 62.48Prados 96.01 92.56 55.01 43.37 69.74 56.62Grava 82.22 73.17 38.65 50.97 52.74 78.61Arboles 83.36 98.72 40.41 87.72 68.15 94.84Hojas demetal pin-tadas

99.29 99.92 90.95 94.43 89.44 49.2 99.88 99.77 65.18

Suelodesnudo

89.34 98.78 42.23 44.99 54.17 78.94

Alquitran 85.15 97.66 31.15 26.91 66.41 85.03Ladrillos 89.36 97.12 39.12 30.21 50.37 35.17Sombras 93.46 96.66 31.35 93.76 47.87 98.94

Promedio 89.21±16.9

92.19±29.5

90.95 48.11±56.4

57.55±73.3

49.2 64.76±45.8

76.71±61.4

65.18

Tabla A-5.: Resultados post-procesamiento aplicado al mapa de clasificacion obtenido con la 2D-CNN. Pavia

Clase CantidadTecnica 1 Tecnica 2

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

Asfalto 6851 85.31 75.61 60.01 45.69Prados 18686 96.74 93.75 72.34 61.31Grava 2207 84.25 75.94 35.79 35.58Arboles 3436 84.48 98.79 45.86 98.63Hojas demetal pin-tadas

1378 99.29 99.99 91.82 98.89 99.55 64.24

Suelo 5104 91.29 99.46 50.96 48.52Alquitran 1356 84.43 99.09 53.52 89.54Ladrillos 3878 89.52 97.12 86.73 91.42Sombras 1026 93.55 96.62 91.42 96.30

Promedio - 89.91±16.1

92.93±28.02

91.82 66.17±62.7

74.01±73.41

64.24

Page 87: Estudio comparativo de tecnicas de visi´ on´

A.4 Metodologıa 2 69

De los resultados presentados en la Tabla A-5, se determino que la tecnica de post-procesamiento1 funciona mejor que la tecnica de post-procesamiento 2 al igual como sucedio en campo Verde.Ademas, el post-procesamiento 1 mejoro los resultados reportados por la 2D-CNN en la Tabla A-4.

Dado que para Pavia se dispone de investigaciones con las cuales el trabajo realizado puede sercomparado; en la Tabla A-6 se presenta una comparacion de los resultados obtenidos con una in-vestigacion muy similar a la realizada, apreciando tambien que la arquitectura propuesta permitioobtener mejores resultados.

Tabla A-6.: Comparacion redes convolucionales con el estado del arte. Pavia

Clase2D-CNN Chen [9]

f1( %) AA( %) OA( %) f1( %) AA( %) OA( %)

Asfalto 84.73 75.13 - 94.14Prados 96.01 92.56 - 92.78Grava 82.22 73.17 - 80.6Arboles 83.36 98.72 - 83.42Hojas demetal pin-tadas

99.29 99.92 90.95 - 99.13 93.88

Suelo 89.34 98.78 - 95.62Alquitran 85.15 97.66 - 87.31Ladrillos 89.36 97.12 - 98.39Sombras 93.46 96.66 - 63.02

Promedio 89.21±16.9

92.19±29.5

90.95 - 88.19±32.4

93.88

Finalmente, en la Figura A-4 se presentan los mapas de clasificacion obtenidos para Pavia median-te la 2D-CNN luego de aplicar el post-procesamiento. En la Figura A-4(a) se puede apreciar elmapa de clasificacion predicho, y en la Figura A-4(b) el mapa de clasificacion original. Al igualque en el caso de las bases de datos rurales, algunas clases tienden a ser confundidas con otras, enPavia se puede notar como en algunas regiones el asfalto tiende a ser confundido con ladrillos.

Page 88: Estudio comparativo de tecnicas de visi´ on´

70 A Anexo: Experimentos sobre imagenes aereas con uso de suelo urbano

(a) Mapa de clasificacion predicho (b) Mapa de clasificacion original

Figura A-4.: Mapa de clasificacion obtenido con la 2D-CNN en Pavia.

Page 89: Estudio comparativo de tecnicas de visi´ on´

Bibliografıa

[1] ADARME, Mabel O. ; HAPP, Patrick N. ; FEITOSA, Raul Q.: Assessment of an early fu-sion cnn approach applied to the deforestation detection in the brazilian amazon. In: XIXSimposio brasileiro de sensoriamento remoto, Sao Paulo, Brasil, 2017, S. 1217–1220

[2] ALPHAN, Hakan ; DERSE, M A.: Change detection in Southern Turkey using normalized dif-ference vegetation index (NDVI). In: Journal of Environmental Engineering and LandscapeManagement 21 (2013), Nr. 1, S. 12–18

[3] ATASEVER, Umit H.: A novel unsupervised change detection approach based on reconstruc-tion independent component analysis and ABC-Kmeans clustering for environmental moni-toring. In: Environmental Monitoring and Assessment 191 (2019), Nr. 7, S. 447

[4] BANERJEE, Biplab ; BOVOLO, Francesca ; BHATTACHARYA, Avik ; BRUZZONE, Lorenzo; CHAUDHURI, Subhasis ; MOHAN, B K.: A new self-training-based unsupervised satelliteimage classification technique using cluster ensemble strategy. In: IEEE Geoscience andRemote Sensing Letters 12 (2014), Nr. 4, S. 741–745

[5] BASTIDAS, A ; BRAVO, L: Analisis de imagenes satelitales para clasificacion de biomasa enel departamento de Narino, Universidad de Narino, Colombia, Tesis de pregrado, 2017

[6] BRAGILEVSKY, Lior ; BAJIC, Ivan V.: Deep learning for Amazon satellite image analysis. In:2017 IEEE Pacific Rim Conference on Communications, Computers and Signal Processing(PACRIM), Victoria, Canada IEEE, 2017, S. 1–5

[7] CASTRO, Jose B. ; FEITOSA, Raul Q. ; HAPP, Patrick N.: An Hybrid Recurrent ConvolutionalNeural Network for Crop Type Recognition Based on Multitemporal Sar Image Sequences.In: IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium,Valencia, Espana IEEE, 2018, S. 3824–3827

[8] CHAMORRO, Jorge ; CASTRO, Jose ; LA ROSA, Laura ; HAPP, Patrick ; QUEIROZ, Raul: Acomparison of fully convolutional and recurrent networks for multitemporal crop recognitionusing SAR images. In: SBSR 2018-2018 simposio brasileiro de sensoriamento remoto, SaoPaulo, Brasil, 2018, S. 3824–3827

[9] CHEN, Yushi ; ZHU, Kaiqiang ; ZHU, Lin ; HE, Xin ; GHAMISI, Pedram ; BENEDIKTSSON,Jon Atli: Automatic design of convolutional neural network for hyperspectral image clas-

Page 90: Estudio comparativo de tecnicas de visi´ on´

72 Bibliografıa

sification. In: IEEE Transactions on Geoscience and Remote Sensing 57 (2019), Nr. 9, S.7048–7066

[10] CHENG, Gong ; HAN, Junwei ; LU, Xiaoqiang: Remote sensing image scene classification:Benchmark and state of the art. In: Proceedings of the IEEE 105 (2017), Nr. 10, S. 1865–1883

[11] CHENG, Yuqi ; YU, Le ; XU, Yidi ; LU, Hui ; CRACKNELL, Arthur P. ; KANNIAH, Kas-turi ; GONG, Peng: Mapping oil palm plantation expansion in Malaysia over the past de-cade (2007–2016) using ALOS-1/2 PALSAR-1/2 data. In: International Journal of RemoteSensing 40 (2019), Nr. 19, S. 7389–7408

[12] DAMIAN, Junior Melo ; PIAS, Osmar Henrique de C. ; CHERUBIN, Maurıcio R. ; FONSECA,Alencar Zachi d. ; FORNARI, Ezequiel Z. ; SANTI, Antonio Luis: Applying the NDVI fromsatellite images in delimiting management zones for annual crops. In: Scientia Agricola 77(2020), Nr. 1, S. 1–11

[13] DING, Jun ; CHEN, Bo ; LIU, Hongwei ; HUANG, Mengyuan: Convolutional neural networkwith data augmentation for SAR target recognition. In: IEEE Geoscience and remote sensingletters 13 (2016), Nr. 3, S. 364–368

[14] GARCIA, E ; GAREA, E ; GIL, JL ; MARTIN, G ; RIVERO, LB ; PONVERT-DELISLES, DR:Enfoque metodologico para el monitoreo de la salinidad del suelo empleando imagenes desatel. ite”. In: Trabajo presentado en el Congreso de Geomatica, La Habana. S/n p, 2002, S.1–14

[15] GOMEZ-MENDOZA, Juan B.: A contribution to mouth structure segmentation in imagestowards automatic mouth gesture recognition, Lyon, INSA, Tesis de doctorado, 2012

[16] GRINIAS, Ilias ; PANAGIOTAKIS, Costas ; TZIRITAS, Georgios: MRF-based segmentationand unsupervised classification for building and road detection in peri-urban areas of high-resolution satellite images. In: ISPRS journal of photogrammetry and remote sensing 122(2016), S. 145–166

[17] GU, Jiuxiang ; WANG, Zhenhua ; KUEN, Jason ; MA, Lianyang ; SHAHROUDY, Amir ;SHUAI, Bing ; LIU, Ting ; WANG, Xingxing ; WANG, Gang ; CAI, Jianfei u. a.: Recentadvances in convolutional neural networks. In: Pattern Recognition 77 (2018), S. 354–377

[18] GUNGOR, Emre ; OZMEN, Ahmet: Distance and density based clustering algorithm usingGaussian kernel. In: Expert Systems with Applications 69 (2017), S. 10–20

[19] HAMSA, Camalia S. ; KANNIAH, Kasturi D. ; MUHARAM, Farrah M. ; IDRIS, Nurul H. ;ABDULLAH, Zainuriah ; MOHAMED, Luqman: Textural measures for estimating oil palmage. In: International Journal of Remote Sensing 40 (2019), Nr. 19, S. 7516–7537

Page 91: Estudio comparativo de tecnicas de visi´ on´

Bibliografıa 73

[20] HARSONO, Tri ; BASUKI, Achmad u. a.: Cloud Satellite Image Segmentation using MengHee Heng K-Means and DBSCAN Clustering. In: 2018 International Electronics Symposiumon Knowledge Creation and Intelligent Computing (IES-KCIC) IEEE, 2018, S. 367–371

[21] HE, Lili ; OUYANG, Dantong ; WANG, Meng ; BAI, Hongtao ; YANG, Qianglong ; LIU,Yaqing ; JIANG, Yu: A method of identifying thunderstorm clouds in satellite cloud imagebased on clustering. In: Computers, Materials & Continua 57 (2018), Nr. 3, S. 549–570

[22] HEUPEL, Katharina ; SPENGLER, Daniel ; ITZEROTT, Sibylle: A progressive crop-typeclassification using multitemporal remote sensing data and phenological information. In:PFG–Journal of Photogrammetry, Remote Sensing and Geoinformation Science 86 (2018),Nr. 2, S. 53–69

[23] HURTADO, Leonardo: Cuantificacion de la deforestacion de coberturas boscosas a partirdel analisis de vegetacion fotosintetica y modelos automcu. Caso de estudio Orinoquıa deColombia. In: Revista de Topografıa AZIMUT 7 (2016), Nr. 1, S. 15–21

[24] JARAMILLO, LV ; ANTUNES, AF: Deteccion de cambios en la cobertura vegetal medianteinterpretacion de imagenes Landsat por redes neuronales artificiales (RNA). Caso de estudio:Region Amazonica Ecuatoriana. In: Revista de Teledeteccion (2018), Nr. 51, S. 33–46

[25] JEPPESEN, Jacob H. ; JACOBSEN, Rune H. ; INCEOGLU, Fadil ; TOFTEGAARD, Thomas S.:A cloud detection algorithm for satellite imagery based on deep learning. In: Remote Sensingof Environment 229 (2019), S. 247–259

[26] JI, Shunping ; ZHANG, Chi ; XU, Anjian ; SHI, Yun ; DUAN, Yulin: 3D convolutional neuralnetworks for crop classification with multi-temporal remote sensing images. In: RemoteSensing 10 (2018), Nr. 1, S. 75

[27] JOSHI, Pratik P. ; WYNNE, Randolph H. ; THOMAS, Valerie A.: Cloud detection algorithmusing SVM with SWIR2 and tasseled cap applied to Landsat 8. In: International Journal ofApplied Earth Observation and Geoinformation 82 (2019), S. 101898

[28] KAMILARIS, Andreas ; PRENAFETA-BOLDU, Francesc X.: Deep learning in agriculture: Asurvey. In: Computers and electronics in agriculture 147 (2018), S. 70–90

[29] KENDUIYWO, Benson K. ; BARGIEL, Damian ; SOERGEL, Uwe: Higher order dynamicconditional random fields ensemble for crop type classification in radar images. In: IEEETransactions on Geoscience and Remote Sensing 55 (2017), Nr. 8, S. 4638–4654

[30] KHOSRAVI, Iman ; ALAVIPANAH, Seyed K.: A random forest-based framework for cropmapping using temporal, spectral, textural and polarimetric observations. In: InternationalJournal of Remote Sensing 40 (2019), Nr. 18, S. 7221–7251

Page 92: Estudio comparativo de tecnicas de visi´ on´

74 Bibliografıa

[31] KIM, Phil: Matlab deep learning. In: With Machine Learning, Neural Networks and ArtificialIntelligence 130 (2017)

[32] KUSSUL, Nataliia ; LAVRENIUK, Mykola ; SKAKUN, Sergii ; SHELESTOV, Andrii: Deeplearning classification of land cover and crop types using remote sensing data. In: IEEEGeoscience and Remote Sensing Letters 14 (2017), Nr. 5, S. 778–782

[33] LA ROSA, Laura Elena C. ; HAPP, Patrick N. ; FEITOSA, Raul Q.: Dense Fully Con-volutional Networks for Crop Recognition from Multitemporal SAR Image Sequences.In: IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium,Valencia, Espana IEEE, 2018, S. 7460–7463

[34] LANGKVIST, Martin ; KISELEV, Andrey ; ALIREZAIE, Marjan ; LOUTFI, Amy: Classifi-cation and segmentation of satellite orthoimagery using convolutional neural networks. In:Remote Sensing 8 (2016), Nr. 4, S. 329

[35] LI, Yansheng ; TAO, Chao ; TAN, Yihua ; SHANG, Ke ; TIAN, Jinwen: Unsupervised multila-yer feature learning for satellite image scene classification. In: IEEE Geoscience and RemoteSensing Letters 13 (2016), Nr. 2, S. 157–161

[36] LIN, Zhongqi ; MU, Shaomin ; HUANG, Feng ; MATEEN, Khattak A. ; WANG, Minjuan ;GAO, Wanlin ; JIA, Jingdun: A Unified Matrix-Based Convolutional Neural Network forFine-Grained Image Classification of Wheat Leaf Diseases. In: IEEE Access 7 (2019), S.11570–11590

[37] LOTTES, Philipp ; BEHLEY, Jens ; MILIOTO, Andres ; STACHNISS, Cyrill: Fully convolu-tional networks with sequential information for robust crop and weed detection in precisionfarming. In: IEEE Robotics and Automation Letters 3 (2018), Nr. 4, S. 2870–2877

[38] LU, Yan ; PEREZ, Daniel ; DAO, Minh ; KWAN, Chiman ; LI, Jiang: Deep learning withsynthetic hyperspectral images for improved soil detection in multispectral imagery. In:Proceedings of the IEEE Ubiquitous Computing, Electronics & Mobile CommunicationConference, New York, NY, USA, 2018, S. 8–10

[39] NDIKUMANA, Emile ; HO TONG MINH, Dinh ; BAGHDADI, Nicolas ; COURAULT, Domi-nique ; HOSSARD, Laure: Deep recurrent neural network for agricultural classification usingmultitemporal SAR Sentinel-1 for Camargue, France. In: Remote Sensing 10 (2018), Nr. 8,S. 1217

[40] NGO, Long T. ; MAI, Dinh S. ; PEDRYCZ, Witold: Semi-supervising Interval Type-2 FuzzyC-Means clustering with spatial information for multi-spectral satellite image classificationand change detection. In: Computers & geosciences 83 (2015), S. 1–16

Page 93: Estudio comparativo de tecnicas de visi´ on´

Bibliografıa 75

[41] ORYNBAIKYZY, Aiym ; GESSNER, Ursula ; CONRAD, Christopher: Crop type classificationusing a combination of optical and radar remote sensing data: a review. In: internationaljournal of remote sensing 40 (2019), Nr. 17, S. 6553–6595

[42] PAOLETTI, ME ; HAUT, JM ; PLAZA, J ; PLAZA, A: A new deep convolutional neuralnetwork for fast hyperspectral image classification. In: ISPRS journal of photogrammetryand remote sensing 145 (2018), S. 120–147

[43] PERBET, Pauline ; FORTIN, Michelle ; VILLE, Anouk ; BELAND, Martin: Near real-timedeforestation detection in Malaysia and Indonesia using change vector analysis with threesensors. In: International Journal of Remote Sensing 40 (2019), Nr. 19, S. 7439–7458

[44] PERSELLO, C ; TOLPEKIN, VA ; BERGADO, JR ; BY, RA de: Delineation of agricultu-ral fields in smallholder farms from satellite images using fully convolutional networks andcombinatorial grouping. In: Remote Sensing of Environment 231 (2019), S. 111253

[45] PICOLI, Michelle Cristina A. ; CAMARA, Gilberto ; SANCHES, Ieda ; SIMOES, Rolf ; CAR-VALHO, Alexandre ; MACIEL, Adeline ; COUTINHO, Alexandre ; ESQUERDO, Julio ; AN-TUNES, Joao ; BEGOTTI, Rodrigo A. u. a.: Big earth observation time series analysis formonitoring Brazilian agriculture. In: ISPRS journal of photogrammetry and remote sensing145 (2018), S. 328–339

[46] ROKNI, Komeil ; AHMAD, Anuar ; SOLAIMANI, Karim ; HAZINI, Sharifeh: A new ap-proach for surface water change detection: Integration of pixel level image fusion and ima-ge classification techniques. In: International Journal of Applied Earth Observation andGeoinformation 34 (2015), S. 226–234

[47] SANCHES, Ieda D. ; FEITOSA, Raul Q. ; DIAZ, Pedro Marco A. ; SOARES, Marinalva D.; LUIZ, Alfredo Jose B. ; SCHULTZ, Bruno ; MAURANO, Luis Eduardo P.: Campo VerdeDatabase: Seeking to Improve Agricultural Remote Sensing of Tropical Areas. In: IEEEGeoscience and Remote Sensing Letters 15 (2018), Nr. 3, S. 369–373

[48] SCARPA, Giuseppe ; GARGIULO, Massimiliano ; MAZZA, Antonio ; GAETANO, Raffaele: ACNN-based fusion method for feature extraction from sentinel data. In: Remote Sensing 10(2018), Nr. 2, S. 236

[49] SCOTT, Grant J. ; ENGLAND, Matthew R. ; STARMS, William A. ; MARCUM, Richard A. ;DAVIS, Curt H.: Training deep convolutional neural networks for land–cover classificationof high-resolution imagery. In: IEEE Geoscience and Remote Sensing Letters 14 (2017), Nr.4, S. 549–553

[50] SHAO, Zhenfeng ; PAN, Yin ; DIAO, Chunyuan ; CAI, Jiajun: Cloud Detection in Remo-te Sensing Images Based on Multiscale Features-Convolutional Neural Network. In: IEEETransactions on Geoscience and Remote Sensing 57 (2019), Nr. 6, S. 4062–4076

Page 94: Estudio comparativo de tecnicas de visi´ on´

76 Bibliografıa

[51] SIDIKE, Paheding ; SAGAN, Vasit ; MAIMAITIJIANG, Maitiniyazi ; MAIMAITIYIMING,Matthew ; SHAKOOR, Nadia ; BURKEN, Joel ; MOCKLER, Todd ; FRITSCHI, Felix B.: dPEN:deep Progressively Expanded Network for mapping heterogeneous agricultural landscapeusing WorldView-3 satellite imagery. In: Remote sensing of environment 221 (2019), S.756–772

[52] SINGH, Rahul D. ; MITTAL, Ajay ; BHATIA, Rajesh K.: 3D convolutional neural networkfor object recognition: a review. In: Multimedia Tools and Applications 78 (2019), Nr. 12, S.15951–15995

[53] SUMAIYA, MN ; KUMARI, R Shantha S.: Satellite Image Change Detection UsingLaplacian–Gaussian Distributions. In: Wireless Personal Communications 97 (2017), Nr.3, S. 4621–4630

[54] TEIMOURI, Nima ; DYRMANN, Mads ; JØRGENSEN, Rasmus N.: A Novel Spatio-TemporalFCN-LSTM Network for Recognizing Various Crop Types Using Multi-Temporal RadarImages. In: Remote Sensing 11 (2019), Nr. 8, S. 990

[55] USEYA, Juliana ; CHEN, Shengbo ; MUREFU, Mike: Cropland Mapping and Change Detec-tion: Toward Zimbabwean Cropland Inventory. In: IEEE Access 7 (2019), S. 53603–53620

[56] WAN, Shiuan ; CHANG, Shih-Hsun: Crop classification with WorldView-2 imagery usingSupport Vector Machine comparing texture analysis approaches and grey relational analysisin Jianan Plain, Taiwan. In: International Journal of Remote Sensing 40 (2019), Nr. 21, S.8076–8092

[57] WANG, Xuejun ; ZHANG, Yuxing ; YAN, Enping ; HUANG, Guosheng ; CAO, Chunxiang ;NI, Xiliang: Deforestation area estimation in China based on Landsat data. In: 2014 IEEEGeoscience and Remote Sensing Symposium, Quebec, Canada IEEE, 2014, S. 4254–4256

[58] XU, Xiaodong ; LI, Wei ; RAN, Qiong ; DU, Qian ; GAO, Lianru ; ZHANG, Bing: Multi-source remote sensing data classification based on convolutional neural network. In: IEEETransactions on Geoscience and Remote Sensing 56 (2017), Nr. 2, S. 937–949

[59] YANG, Jingyu ; GUO, Jianhua ; YUE, Huanjing ; LIU, Zhiheng ; HU, Haofeng ; LI, Kun:CDnet: CNN-Based Cloud Detection for Remote Sensing Imagery. In: IEEE Transactions onGeoscience and Remote Sensing 57 (2019), Nr. 8, S. 6195 – 6211

[60] YAO, Guangle ; LEI, Tao ; ZHONG, Jiandan: A review of Convolutional-Neural-Network-based action recognition. In: Pattern Recognition Letters 118 (2019), S. 14–22

[61] YU, Shiqi ; JIA, Sen ; XU, Chunyan: Convolutional neural networks for hyperspectral imageclassification. In: Neurocomputing 219 (2017), S. 88–98

Page 95: Estudio comparativo de tecnicas de visi´ on´

Bibliografıa 77

[62] ZHANG, Ce ; SARGENT, Isabel ; PAN, Xin ; LI, Huapeng ; GARDINER, Andy ; HARE,Jonathon ; ATKINSON, Peter M.: An object-based convolutional neural network (OCNN) forurban land use classification. In: Remote sensing of environment 216 (2018), S. 57–70

[63] ZHANG, Peng ; NIU, Xin ; DOU, Yong ; XIA, Fei: Airport detection on optical satelliteimages using deep convolutional neural networks. In: IEEE Geoscience and Remote SensingLetters 14 (2017), Nr. 8, S. 1183–1187

[64] ZHANG, Yongjun ; LIU, Xinyi ; ZHANG, Yi ; LING, Xiao ; HUANG, Xu: Automatic and Un-supervised Water Body Extraction Based on Spectral-Spatial Features Using GF-1 SatelliteImagery. In: IEEE Geoscience and Remote Sensing Letters 16 (2018), Nr. 6, S. 927–931

[65] ZHU, Zhe ; WOODCOCK, Curtis E.: Continuous change detection and classification of landcover using all available Landsat data. In: Remote sensing of Environment 144 (2014), S.152–171