Sistema de reconocimiento de frutas - Universidad de...

Sistema de reconocimiento de frutas

José Joaquín Real Zahino, Bella de los Ángeles Granado Mendoza, Elvira Bravo Pérez y Luciano Del Valle Cano.

Resumen En este artículo se detalla el desarrollo de la implementación de un sistema que, dada una imagen de una fruta, pueda clasificar dentro de un conjunto ya estudiado, dicha fruta. La implementación se realizará usando el sistema Matlab y realiza una serie de tratamientos previos a la imagen para poder ser analizada de manera fiable y aporte una clasificación lo más verídica posible. Key Word: frutas, reconocimiento, segmentación, descriptores, imagen digital

1. Introducción En la actualidad, el uso de las nuevas tecnologías está llegando cada vez a diferentes aspectos de la vida cotidiana, buscando facilitarnos los actos que realizamos diariamente, creando sistemas dirigidos a realizar dichas tareas, tareas que pueden ser, salir de compras, sellar el paro, ver el periódico, etc. Podemos decir que la principal función de las TIC es ofrecer servicios que reduzcan el esfuerzo físico-psicológico necesario para realizar dicho acto, servicio u otra actividad. Existen empresas como Amazon Fresh y Shopping Express que nos ofrecen un servicio de entrega de alimentos a domicilio en un tiempo récord, también se desarrolló un sistema llamado Dash Button, que simplemente es un botón que, al ser pulsado, ordena de manera automática la compra de los artículos vinculados. Llegados a este punto, viendo la facilidad con la cual podemos realizar dichos actos, nos planteamos la idea de un sistema de reconocimiento que pudiera reconocer, interpretar y clasificar diferentes tipos de alimentos. Esto es un tema bastante amplio y ambicioso en el que se tendría que abordar desde diferentes aspectos (software, hardware, convenios con diferentes empresas). Por ello en este proyecto se aborda uno de los temas que podrían, en un futuro, y añadiendo un desarrollo mucho más exhaustivo y dedicado, sería el reconocimiento de frutas. Por lo tanto, este trabajo desarrolla uno de los primeros pasos que tendrían que darse para la implantación de este tipo de sistemas, ofreciendo tanto un software que permita reconocer diferentes tipos de fruta, como un artículo de información, para que posibles personas futuras, con la misma ambición, partan de una base. Como hemos comentado anteriormente este proyecto llevado a su fin, es demasiado ambicioso, por ello nos centramos en la idea de reconocimiento y clasificación a partir de diferentes imágenes.

1

Sistema de reconocimiento de Frutas

La pregunta que tenemos que hacernos para realizar dicha identificación es ¿Cómo podemos diferenciar una fruta de otra? Visualmente es bastante sencillo, diferentes colores, formas, tamaños, pero claro debemos crear un sistema capaz de realizar esta diferenciación, sacando las propiedades requeridas de dichas imágenes y comparándolas con un conjunto de entrenamiento. Para el inicio de dicho proyecto nos hemos guiado de diferentes artículos de investigación, el primero de ellos se trata de un artículo realizado por Christian Montoya Holguin, Jimmi Alexander Cortés Osorio y José Andrés Chaves Osorio, para la parte de reconocimiento de imágenes titulado, “Sistema basado en visión por computador” y otro artículo de investigación realizado por Woo Chaw Seng y Seyed Hadi Mirisaee, “A new method for fruits recognition system. Electrical Engineering and Informatics”. Este primer artículo nos presenta un sistema de reconocimiento capaz de identificar una fruta tropical entre un conjunto establecido en una base de datos, utilizando técnicas de visión por computador. El artículo presenta una comparativa entre dos técnicas de clasificación KNN y bayesiano y los modelos de color RGB y HSV, todo esto unido a diferentes características (descriptores) encontrados en diferentes investigaciones. Finalmente usa el modelo RGB y la longitud de ejes mayor, para la clasificación usa el modelo bayesiano. En el desarrollo del presente proyecto “Sistema de reconocimiento de frutas ” fue de gran ayuda varios de los matices que se plasman en el primer artículo citado, dicho artículo muestra con exactitud y de forma contrastada el proceso de segmentación de la fruta para su binarización, el uso de la capa azul debido a los resultados obtenidos en el histograma, y el uso del método Otsu para su binarización fue de gran utilidad para el desarrollo de nuestro proyecto. El uso de operaciones morfológicas realizados en el documento para eliminar ruido de la imagen, tanto 1a búsqueda de descriptores realizadas, facilitó el trabajo, ayudándonos a tener un punto de partida al cual encontrar una mejora. Al igual que este primer documento, el segundo artículo mencionado, fue de gran utilidad. El método desarrollado en el artículo es capaz de procesar analizar, clasificar e identificar la imagen. Para realizar esta clasificación usa el algoritmo KNN. Finalmente, el método de clasificación que se usó en este proyecto, después de realizar muchas pruebas, fue el KNN. Desde el equipo de trabajo agradecemos a aquellas personas que, de una forma u otra, colaboraron en el desarrollo de esta herramienta, capaz de realizar un correcto tratamiento de la imagen permitiendo así un reconocimiento de la misma.

2


2. Planteamiento teórico

En este apartado encontrará todo el planteamiento teórico usado a la hora de realizar este proyecto. Se realizará una explicación teórica de todos los métodos y operaciones usadas ofreciendo una justificación coherente sobre las mismas.

2.1. Segmentación Tras una correcta carga de imagen en Matlab, es necesario realizar una segmentación de la misma, llegados a este punto nos planteamos una serie de preguntas. Sabemos que al trabajar con el modelo RGB podíamos intentar quedarnos con alguna de las capas de forma generalizada para poder binarizar la imagen de la forma más óptima posible. Aquí tenemos la primera cuestión del proyecto ¿Cuál será la capa correcta? Para resolver esta cuestión realizamos pruebas y sacamos los histogramas de la imagen. Sabemos que con los histogramas es posible ver la distribución de intensidades en una imagen.

La idea es buscar una distribución en la que las intensidades están claramente cercanas a los valores 0 y 255 en nuestra escala de grises, como podemos observar en la imagen.

2.1.1 Binarización Ahora deberíamos realizar la binarización de la imagen, podemos decir que la binarización consiste en una reducción de información en la que los únicos valores posibles son verdadero y falso (1 y 0). El uso de la binarización nos ayuda a la hora del análisis de la imagen, pues nos permite crear una diferencia entre el objeto y su fondo. Para binarizar la imagen usaremos el método Otsu, este método usa la técnica de la umbralización, que se emplea cuando tenemos una clara diferencia entre el objeto y el fondo. Este método se rige por los principios de similitud entre píxeles pertenecientes a un objeto y a sus diferencias respecto al resto. La escena a la que nos enfrentamos es ideal para este método, pues tenemos un fondo uniforme y el objeto claramente diferenciado, ya que elegimos la capa azul para nuestras distintas imágenes, al aplicar el umbral, la imagen en escala de grises quedará binarizada etiquetando con ‘1’ los píxeles correspondientes al objeto y con ‘0’ aquellos que son del fondo.

3


Debemos remarcar las ventajas de usar el método de Otsu, una de ellas y puede que la más interesante planteando el desarrollo futuro de este proyecto, es la capacidad de respuesta que encontramos ante imágenes más cercanas a situaciones reales (imágenes mal iluminadas, ruidosas, con histogramas planos, etc.), este método precisa de automatismo ya que no necesita supervisión alguna.

2.1.2 Operaciones Morfológicas Ya con nuestra imagen binarizada, debemos realizar ciertas operaciones para poder conseguir una binarización más exacta. Para ello usaremos las operaciones morfológicas, estas nos ayudan a simplificar las imágenes conservando las principales características de forma de los objetos. Para conseguir una binarización más exacta, se aplicará la operación morfológica de cierre (se aplica una dilatación seguida de una erosión), ya que elimina detalles oscuros de la imagen, dejando el resto prácticamente igual. esta operación conseguirá para las frutas con irregularidades en su piel evitar que estas generen píxeles de ruido en la imagen a segmentar.

4


5


2.1.3 Normalización Tras esto ya consideraremos la imagen resultante una imagen segmentada. Ahora realizaremos una serie de pasos para contener la imagen en el menor rectángulo posible (BoundingBox) y después, estandarizar todas las imágenes a un mismo tamaño para a partir de aquí comenzar con la obtención de los descriptores. Es importante negar nuestra imagen binarizada, pues el método regionprops utiliza los píxeles ‘on’ como el objeto y los ‘off’ como el fondo. Es necesaria una buena elección de las propiedades que definen a la imagen, a estas las llamaremos descriptores de la imagen. Regionprops se encarga de calcular las propiedades de cada región dentro de una imagen, en nuestro caso al solo existir una región por imagen, solo identificará una región, pero este método identifica tantas regiones como existan en la imagen. Devuelve una matriz de estructura, un elemento por región, cuyos nombres de los campos son las propiedades pedidas al método. Debemos normalizar la imagen, ya que debemos tratar la imagen reescalada al mismo tamaño, pues obtendremos diferentes valores, para los diferentes descriptores de una misma imagen. Regionprops nos devuelve un valor para la bounding box, que nos es más que las coordenadas del borde rectangular que encierra totalmente la imagen. Ahora que tenemos contenida la imagen en este cuadrado mínimo, la recortaremos por las coordenadas dadas y reescalaremos dicha imagen resultante. Debido al resultado obtenido por las pruebas, el cual podrá encontrar en el apartado experimental, decidimos usar una escala de 450x600.

6


2.2 Descriptores Llegados a este punto es necesario definir los descriptores que vamos a usar, los que hemos considerado más importantes para realizar la calificación de las frutas son:

- Área. - Perímetro. - Redondez. - Excentricidad. - Media de las capas RGB.

A continuación, se definen más detalladamente cada uno de los descriptores usados. Área: Regionprops nos devolverá un escalar que especifica el número real de píxeles ‘on’ en la región. Perímetro: Para este caso nos devolverá un escalar que especifica la distancia alrededor del límite de la región. Regionprops obtiene el perímetro calculando la distancia entre cada par contiguo de píxeles alrededor del borde de la región.

Redondez: Esta propiedad no la podemos encontrar en regionprops, por lo que debemos definirla adecuadamente. La intención es que esta propiedad nos devuelve un valor entre 0 y 1, de tal forma que cuanto más cercano a uno sea nuestro valor, más nivel de redondez tendrá nuestro objeto. La fórmula que define esta propiedad es la siguiente:

Excentricidad: La excentricidad es la relación de la distancia entre los focos de la elipse y su longitud del eje principal. El valor está entre 0 y 1. (0 y 1 son casos degenerados. Una elipse cuya excentricidad es 0 es en realidad un círculo, mientras que una elipse cuya excentricidad es 1 es un segmento de línea.) Es cierto que regionprops nos ofrece la propiedad excentricidad, aunque como podemos ver en la fórmula no es más que la raíz cuadrada de las diferencias de los ejes mayor y menor al cuadrado, partido por su eje mayor.

Los ejes mayor y menor los podemos obtener gracias a las propiedades que nos ofrece regionprops ‘MajorAxisLength’ y ‘MinorAxisLength’.

7


Media capas RGB: Este descriptor nos facilitara la tarea de orientar al sistema acerca del color que predomina en la imagen. Para obtener este descriptor se procedió a realizar la media del bounding box de cada una de las capas RGB, esto nos dio las medias de las columnas que al aplicar de nuevo la función mean ya nos dio un valor único para cada una de las capas RGB.

8


2.3. Reconocimiento Llegados a este punto, hemos conseguido extraer de cada imagen una serie de datos (descriptores) que nos podrán ayudar en el proceso de calificación. Tras una correcta clasificación de los datos obtenidos en unas correspondientes tablas de datos, es necesario proceder a la elección de un método de reconocimiento.

2.3.1. KNN El algoritmo K-NN es un algoritmo de clasificación. Dado un conjunto de objetos prototipo de los que ya se conoce su clase, es decir, dado un conjunto de muestras de entrenamiento y dado un nuevo objeto cuya clase no conocemos, se busca entre el conjunto de prototipos los “k” más parecidos al nuevo objeto. A este se le asigna la clase más numerosa entre los “k” objetos prototipo seleccionados.

Vemos como en la imagen tenemos 24 casos ya clasificados en dos posibles valores y que se ha seleccionado k=3. De los 3 casos ya clasificados que se encuentran más cercanos al nuevo caso a clasificar, dos de ellos pertenecen a una misma clase, por tanto, el clasificador 3-NN predice la clase mayoritaria para el nuevo caso. Si el k varía la solución varía. La elección del número adecuado de vecinos k es una tarea que no tiene un procedimiento fijo, y en ocasiones su búsqueda se vuelve un proceso iterativo.

9


3. Resolución Práctica En cuanto a la resolución práctica del sistema, se plantearon diferentes entornos de trabajo que tras una ligera evaluación nos decidimos por el sistema Matlab ya que en el artículo “Sistema basado en visión por computador” se diferenciaban ciertos comandos de este sistema. La elección de Matlab ha facilitado en gran medida la posibilidad de realización de este trabajo ya que muchos de las ideas teóricas que se han referenciado en el punto anterior estaban implementadas en métodos ya incluidos en la API de Matlab. Desde un inicio se decidió abordar el problema dividido en fases, las cuales fueron llevadas a la práctica en métodos independientes [ Segmentación - Obtener Descriptores - Clasificación ] los cuales se proceden a explicar su implementación a continuación:

- Segmentación (Ruta): Este método recibe como parámetro de entrada una ruta de una foto. Carga la imagen en Matlab y separa en capas la imagen, quedándonos con la capa azul que será a la que le apliquemos el procesamiento y la segmentación. Se calcula el umbral de la capa azul para su posterior uso en el método Otsu consiguiendo así una imagen binarizada, pero para su posterior tratamiento invertiremos la binarización. Con esto podemos ya usar el método regionprops que nos identifica en nuestra imagen como valores de una región de interés, aquellos pixeles que están “on”, es decir a ‘1’ y como fondo los píxeles que están “off”, ceros. El método regionprops aportan gran cantidad de valores geométricos de la región de interés, en este caso nos quedaremos con el ‘Bounding Box’ que nos da las coordenadas del cuadrado mínimo que encierra a la región de interés, coordenadas que usaremos con el método incrop para recortar la imagen. Por último, en este método y con vistas a la obtención de unos valores para los descriptores que puedan ser comparables se escalará la imagen para que todas las del sistema tengan una misma escala [800x600].

- Obtener Descriptores: Este método se encargará de una vez la imagen se encuentra ya binarizada y escalada, volvemos a utilizar el método regionprops para obtener descriptores geométricos de la imagen como son: ‘Área’, ‘Perímetro’, ‘Eje mayor’, Eje menor’. El Área y El perímetro serán descriptores además de ayudarnos a obtener la redondez. El eje mayor y menor nos ayudarán a obtener la excentricidad. También para obtener la media de las capas RGB, usaremos las medidas obtenidas en el Bounding Box para recortar cada capa y a cada resultado obtenido, le realizaremos la media a todos los píxeles obteniendo un descriptor por capa [ media_r, media_g, media_b] Todos estos valores se introducen en array en el siguiente orden H = [Área, Perímetro, Redondez, media_r, media_g, media_b, excentricidad]

- Clasificación: Este último método recibe el array H y mediante el método knnclassify que recibe

como parámetros de entrada, el array a analizar (H), Nuestra matriz de entrenamiento (M) y los grupos asociados a cada columna de la Matriz de Entrenamiento

*La Matriz de entrenamiento (M) se ha obtenido de la media de cada descriptor para cada fruta analizada incluida en la tabla que se adjunta más abajo en el apartado de experimentación.

10


4. Parte Experimental En este punto podrá encontrar todo el estudio experimental realizado a la hora de llevar a cabo la realización del proyecto, desde las pruebas que llevaron a su éxito, hasta aquellas que fueron erróneas, explicando los factores que producen este error. Para empezar nuestro estudio experimental, debemos disponer previamente de un conjunto de entrenamiento dado. La primera barrera a la que tenemos que enfrentarnos, es la selección previa de la capa RGB, para poder realizar una correcta segmentación de la imagen. Para poder decidir correctamente la capa a usar realizamos pruebas con diferentes imágenes y diferentes fondos, observando los resultados del histograma. En las siguientes imágenes podrán observar los resultados obtenidos.

[Figura 1]

11


[Figura 2]

Como podemos observar en la figura 1 y 2, si el fondo elegido es blanco, se produce una bifurcación en el histograma de tal forma que obtenemos los picos más altos en los valores 0 y 255, es decir, obtenemos una mayor diferencia entre los píxeles de la imagen, pudiendo llegar a asociar dichos pixeles a valores binarios.

[Figura 3]

12


[Figura 4]

En este caso (Figura 3 y 4) , hemos tratado con imágenes, en la que los fondos se observa una gran variedad de tonalidades y texturas, el histograma obtenido para dichas imágenes, no nos asegura poder generalizar un patrón de elección de capas, pues dependiendo de la tonalidad del fondo, obtendremos diferentes valores en el histograma, y por lo tanto tendríamos que elegir una capa diferente para el tratamiento de cada imagen, dependiendo del color de su fondo. Con los resultados obtenidos al realizar estas pruebas podemos asegurar que tratar con imágenes con el fondo blanco, nos asegura que podremos trabajar siempre con la capa azul, ahora podemos binarizar nuestra imagen para convertirla únicamente en valores 0 y 1, para ello aplicamos el método de Otsu (la explicación de la elección de este método lo podemos encontrar en el apartado teórico). Como era de prever en las imágenes binarizadas podemos observar cierto ‘ruido’, como hemos explicado en el apartado del planteamiento teórico para quitar ese ‘ruido’ debemos usar operaciones morfológicas y al trabajar con escala de grises tenemos operaciones de dilatación, erosión, apertura y cierre. Ya comentamos que este artículo se basó principalmente en el artículo “A new method for fruits recognition system. Electrical Engineering and Informatics” , en dicho artículo usan la operación morfológica de cierre con un elemento estructurado de disco, de tamaño 11. Estábamos seguros de que sería la mejor elección para trabajar con dicho ‘ruido’, sin embargo, indagamos un poco realizando algunas pruebas, por si encontrábamos alguna solución más efectiva. Las pruebas realizadas fueron las siguientes: Para empezar, probamos con el elemento estructural que nos aconseja el documento, disco de tamaño 11.

13


[Figura 5]

[Figura 6]

Ahora realizamos las pruebas con Square tamaño 11:

[Figura 7]

[Figura 8]

14


Cómo hemos decidido la estructura de disco como viene en el documento analizado, hemos probado con diferentes tamaños para saber si el indicado en el documento es el más adecuado. Para empezar, probamos con un tamaño menor del indicado, de 3 píxeles:

[Figura 9]

[Figura 10]

También comprobamos dicha estructura con un tamaño mayor, de 30 píxeles:

[Figura 11]

[Figura 12]

15


Podemos observar que los métodos de dilatación y erosión empeoran la imagen drásticamente y no reducen la sombra producida por la misma, sin embargo, apertura y cierre claramente se ve una mejora en la imagen, observamos que la clausura (cierre) suaviza más la sombra generada por la imagen. Obtenidas todas estas pruebas y analizados sus resultados decidimos trabajar, como nos aconseja el documento mencionado anteriormente, usando la clausura, trabajando con un disco de tamaño 11. Uno de los problemas encontrados a la hora de realizar la obtención de descriptores, fue el hecho de seleccionar un tamaño adecuado, para poder así comparar los resultados obtenidos gracias a los descriptores. Después de realizar la BoundingBox podemos reescalar la imagen a través de la contenida dentro de las coordenadas que nos ofrece la bounding box.Es necesario encontrar un reescalado que no modifique drásticamente la forma de la imagen analizar, para decidir este tipo de reescalado hemos realizado las siguientes pruebas: Para empezar, probamos con un escalado 450X600, como podemos observar obtenemos una imagen muy aproximada a la original.

Reescalado 450X600

Es cierto que las frutas que tengan una imagen más redonda, obtendremos una imagen resultante un poco más ancha, pero despreciable para la obtención de descriptores. Al intentar llegar a un escalado cuadrado 450X450 observamos que, algunas imágenes se nos achican formando una imagen más redonda para aquellas que no tiene esa propiedad.

Reescalado 450X450

16


Este error en el escalado se observa más para imágenes que no son redondas, creando este efecto visual de ‘redondez’. Al realizar un escalado 600X450 obtenemos unas imágenes resultantes que modifican la forma de la imagen original.

Reescalado 600X450

Por último, se realizó una prueba con 500X550, en la tabla adjunta podemos observar que la imagen que obtenemos es muy parecida a la original, al igual que comentamos en el escalado 450X600.

Reescalado 500X550

17


Como comentamos en los párrafos anteriores, tenemos dos conjuntos muy parecidos (visualmente) para realizar el proceso de reconocimiento, ahora se necesitan pruebas cuantitativas para poder elegir qué tipo de normalización se usaría si 450X600 o 550X500, para ello pasamos a realizar pruebas, usando ya los descriptores elegidos (explicado más abajo). Realizando un análisis de todos los datos obtenidos para el escalado de imagen, contrastándolo siempre con el resultado obtenido de los descriptores, llegamos a la conclusión que se obtiene un mayor porcentaje de acierto usando el escalado 450X600. Siendo de un 75% de acierto en el escalado elegido, y de un 70% en el de 550X600. Otro de los grandes dilemas de este proyecto fue la elección de cada uno de los descriptores de la imagen, gracias a estos descriptores de la imagen podremos obtener diferentes valores sobre las propiedades de las imágenes. Como se expone en el procedimiento teórico los descriptores elegidos para realizar nuestra segmentación son: área, perímetro, redondez, excentricidad, y las medias de cada una de las capas RGB. Gracias al conjunto de descriptores que se nombran hemos conseguido tener un buen resultado en el reconocimiento de frutas, obviamente la decisión final de los descriptores a usar lleva su proceso, que explicaremos en las siguientes líneas. La intención es encontrar una serie de propiedades que sean capaces de obtener valores únicos para cada propiedad, de tal forma que, a la hora de comparar dichos valores, exista una única semejanza, entre los valores de nuestro conjunto de entrenamiento y el valor de los descriptores de la fruta a analizar. Los artículos usados para el desarrollo del proyecto usan como descriptores, las propiedades de área, perímetro y redondez, estos descriptores describen vagamente cada una de las imágenes para analizar. Por ese motivo se usó las medias de las capas RGB, de esta forma se conseguía un buen resultado en el reconocimiento de las imágenes, en algunos casos no realizaba una correcta calificación entre las peras y las fresas, por ello tuvimos que pensar en definir un nuevo descriptor. Además, se definió un descriptor que nos ayudará a decidir si la fruta es más redonda o no, se trata de la excentricidad. Para la creación de este descriptor se pasó a definir unas operaciones matemáticas (descritas en el apartado teórico), que gracias a los datos del eje mayor y menor obtenido por regionprops, más adelante obtuvimos directamente el valor de la excentricidad, pero gracias a regionprops. Como podemos observar en la tabla adjunta, tenemos un valor de cada propiedad para cada fruta y su respectivo modelo.

18


En la tabla anterior encontramos todos los descriptores obtenidos para nuestro conjunto de entrenamiento, como hemos comentado, normalizado a 450X600, gracias a estos valores, podemos realizar el reconocimiento y clasificación de diferentes frutas. Ahora que tenemos todos estos descriptores, debemos crear otro conjunto para realizar las pruebas, este conjunto pasara por un proceso de tratamiento de las imágenes, con su calificación final.

Resultados 450X600 Como comentamos anteriormente, el índice de acierto es del 75%, también dejamos adjunta la tabla obtenida para el conjunto de entrenamiento reusado de 550X500, que como podremos observar tiene un índice de acierto más bajo, por lo tanto, verificamos nuestra elección del conjunto correcto.

19


Resultados 500X550

20


5. Manual de Usuario Para el correcto funcionamiento del programa desarrollado, en primer lugar, será necesario tener instalado en el sistema que se desea ejecutar, el programa Matlab, podrá obtenerlo de su página oficial a la cual le aportamos el enlace:

https://es.mathworks.com/products/matlab.html

En esta página podremos encontrar tanto una versión de prueba como la versión de pago ya que Matlab se trata de un sistema que para usarlo deberemos pagar la licencia. Una vez ya tenemos Matlab instalado en el equipo, tenemos dos posibilidades para ejecutar el programa:

- Se ha utilizado la herramienta deploytool de Matlab para crear un ejecutable, el usuario solo tendría que ejecutar el archivo y empezar a disfrutar de la aplicación, siempre y cuando tenga la misma versión de Matlab con la que se creó el ejecutable (MATLAB 2011b).

- Como segunda posibilidad, debemos abrir la herramienta, y copiar en el path de Matlab los archivos que se aportan en el zip incluidos en la carpeta archivos Matlab

Por último, se abrirá el archivo ‘presentación.m’ que nos lanzará la interfaz a través de la cual debemos ir avanzando y completando los pasos que se nos indican para que el sistema sea capaz de clasificar la fruta en cuestión. Como única restricción para la correcta clasificación usando la interfaz gráfica, es pulsar en todos los botones antes de avanzar al siguiente paso o ventana del programa.

Por último, comentar que se incluyen también los métodos de que se desarrollaron durante la creación del sistema con vistas que estos puedan ser usados como comando propios de Matlab, hemos decidido aportar este conjunto de archivos .m ya que la claridad del código en ellos es muchísimo mayor que en la interfaz gráfica además de facilitar la realización de nuevas versiones de este sistema de manera mucho más fácil.

21





6. Manual de Interfaz Gráfica Una interfaz gráfica es el vínculo entre el usuario y un programa computacional, constituida generalmente por un conjunto de comandos o menús, instrumentos y métodos por medio de los cuales el usuario se comunica con el programa durante las operaciones que se desean realizar, facilitando la entrada y salida de datos e información. Por consiguiente, para crear una interfaz gráfica utilizaremos el lenguaje de programación de Matlab. Matlab nos permite realizar GUIs de una manera sencilla usando una herramienta llamada GUIDE. GUIDE es un entorno de programación visual para realizar y ejecutar programas que necesiten ingreso continuo de datos. Para dar comienzo a nuestro proyecto, pulsaremos sobre el icono que se muestra en la figura siguiente:

El cual, nos lleva al siguiente cuadro de diálogo:

Donde se presentan las siguientes opciones:

a) Blank GUI (Default): La opción de interfaz gráfica de usuario en blanco (viene predeterminada), nos presenta un formulario nuevo, en el cual podemos diseñar nuestro programa.

b) GUI with Uicontrols: Esta opción presenta un ejemplo en el cual se calcula la masa, dada la densidad y el volumen, en alguno de los dos sistemas de unidades. Podemos ejecutar este ejemplo y obtener resultados.

c) GUI with Axes and Menu: Esta opción es otro ejemplo el cual contiene el menú File con las opciones Open, Print y Close. En el formulario tiene un Popup menu, un push button y un objeto

22


Axes, podemos ejecutar el programa eligiendo alguna de las seis opciones que se encuentran en el menú desplegable y haciendo click en el botón de comando.

d) Modal Question Dialog: Con esta opción se muestra en la pantalla un cuadro de diálogo común, el cual consta de una pequeña imagen, una etiqueta y dos botones Yes y No, dependiendo del botón que se presione, el GUI retorna el texto seleccionado (la cadena de caracteres ‘Yes’ o ‘No’).

Elegimos la opción Blank GUI, obtenemos la figura siguiente:

La interfaz gráfica obtiene las herramientas siguientes:

● Barra de Menús: Se encuentran las funciones elementales de Edición de GUIs.

● Barra de herramientas:

● Paleta de componentes:

○ Selecciona el objeto deseado.

○ Invoca un evento inmediatamente.

23


○ Usado para representar un rango de valores.

○ Indica una opción que puede ser seleccionada.

○ Indica el estado de una opción o atributo.

○ Caja para editar texto.

○ Muestra un string de texto en una caja.

○ Provee una lista de opciones.

○ Muestra una lista deslizable.

○ Solo dos estados, “on” o “off”.

○ Indica una figura.

○ Agrupa botones como un grupo.

○ Permite exclusividad de selección con los radio button . Cada uno de los elementos de GUI, tiene un conjunto de opciones que podemos acceder con click derecho.

Pulsamos sobre la opción Property Inspector, el cual nos permite personalizar cada elemento.

24


Al hacer clic derecho en el elemento ubicado en el área de diseño, una de las opciones más importantes es View Callbacks , la cual, al ejecutarla, abre el archivo .m asociado a nuestro diseño y nos posiciona en la parte del programa que corresponde a la subrutina que se ejecutará cuando se realice una determinada acción sobre el elemento que estamos editando. Por ejemplo, al ejecutar View Callbacks>>Callbacks en el Push Button , nos ubicamos en la parte del programa:

Una aplicación GUIDE consta de dos archivos: .m y .fig. El archivo .m es el que contiene el código con las correspondencias de los botones de control de la interfaz y el archivo .fig contiene los elementos gráficos. A continuación, comenzaremos con la mostración de los pasos a seguir de nuestra interfaz gráfica. Para la presentación de nuestro programa hemos programado una pantalla donde se ha colocado un tema de nuestro diseño, y una imagen de fondo.

25


El siguiente paso, tras pulsar en el botón “CONTINUAR” se ha realizado nuevos GUIDEs en los cuales se usan Panel, Axes, Static Text y Push Button.

26


27


7. Conclusión Debemos tener en cuenta la importancia del tratamiento de imágenes digitales, gracias a esto podemos realizar diferentes acciones sobre la imagen modelándola para resolver un problema o necesidad. En nuestro caso la necesidad se trata de conseguir tratar imágenes de diferentes frutas, con el fin de su posterior reconocimiento. Pero, como era de prever siempre que te enfrentas a algo nuevo, surgen dudas, dilemas, problemas, por ello debemos dar gracias a todos los proyectos encontrados en la red y sobre todos a aquellos mencionados en nuestra bibliografía. Gracias a las investigaciones realizadas, por todas estas personas y, a las pruebas obtenidas en el desarrollo de nuestro proyecto, conseguimos sacar adelante este trabajo que presentamos ante ustedes. El proceso de tratamiento de las imágenes que se desarrolla sigue una serie de pasos muy importantes para obtener los resultados deseados. El primer objetivo es obtener una imagen segmentada la cual deberíamos binarizar, para ello tomamos la capa más influenciable (AZUL) para distinguir el contorno de la fruta todo por la imagen tener el fondo blanco, binarizarmos la capa y llegados a este punto tenemos una imagen que trabaja con 0 y 1.

28


Sabemos que deberíamos trabajar con un tamaño de imagen igual para todas, pues si no la información obtenida de estas vendría escalada por sus tamaños, para quitarnos esta barrera normalizamos la imagen, ahora podíamos obtener sus descriptores, en este aspecto remarcar que el uso de un tamaño proporcional a 450x600 da mejores resultados que por ejemplo otras normalizaciones probadas en la parte experimental [550x500 o 450x450 600x450]. Ya con estos descriptores en nuestro poder (después de definir bastantes) y usando conocimientos de inteligencia artificial, en este caso en método KNN, podemos llegar a la correcta calificación y reconocimiento de imágenes en el que nos enfrascamos con este proyecto. Esperemos que estas investigaciones puedan ayudar o servir tanto para tema escolar, como para su posible desarrollo futuro en busca de mejoras. Las cuales pueden ser muchísimas, tales como encontrar un método más efectivo de reconocimiento, realizar el reconocimiento para una variedad más amplia de frutas, insertar este reconocimiento en aparatos electrónicos con el fin de convertirlos en lo que ahora se llaman “aparatos inteligentes”. La interfaz aportada podría usarse en centros educativos, pues de forma interactiva muestra paso a paso con explicaciones todo el proceso seguido para poder reconocer diferentes frutas. Dicho todo esto, agradecer una vez más todas las aportaciones recibidas por terceros y el trabajo de las personas implicadas en el proyecto, nuestro equipo tiene el placer de presentaros un sistema de reconocimiento de fruta.

29


8. Bibliografía y Web grafía

● Woo Chaw Seng y Seyed Hadi Mirisaee. A new method for fruits recognition system. Electrical Engineering and Informatics, 2009. ICEEI '09. International Conference on.

● Christian Montoya Holguin, Jimmi Alexander Cortés Osorio y José Andrés Chaves Osorio.

Sistema basado en visión por computador. Ingeniare. Rev. chil, ing. vol.22 no.4 Arica oct. 2014

● Para el método Otsu: https://www.google.es/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3&cad=rja&uact=8&ved=0ahUKEwiQtoHYlIjRAhWDmBoKHfcjDUQQFgguMAI&url=http%3A%2F%2Fwww.ilopez.es%2Fproyectos%2Fmatematicas%2FOtsu.pptx&usg=AFQjCNFsCuT-HeU1Z_5A4Nj9i9y37Fi6vw&sig2=Z1btu3VrZePTmx5cdgsSNw&bvm=bv.142059868,d.d24

● Continuación método Otsu: https://es.wikipedia.org/wiki/M%C3%A9todo_del_valor_umbral

● Uso de la APi de Matlab para la compresión de métodos y opciones: https://es.mathworks.com/

● Para el uso de regionprops: https://es.mathworks.com/help/images/ref/regionprops.html

● Algunas consultas, material de la asignatura: http://asignatura.us.es/imagendigital/

● Crear .exe en Matlab: http://colab-matlab.blogspot.com.es/2012/05/como-realizar-un-ejecutable-de-un-guide.html

● Para obtener las imágenes de las diferentes imágenes de los limones https://www.google.es/search?q=google+imagenes&espv=2&biw=1707&bih=817&site=webhp&source=lnms&tbm=isch&sa=X&sqi=2&ved=0ahUKEwih8tP9kojRAhVMWhQKHe_NDVcQ_AUIBigB#tbm=isch&q=limon

● Para obtener las imágenes de las diferentes imágenes de los plátanos https://www.google.es/search?q=platano&espv=2&rlz=1C1MSNA_enES709ES709&biw=1707&bih=817&source=lnms&tbm=isch&sa=X&ved=0ahUKEwjK7c_Sk4jRAhUFrxoKHTgUANEQ_AUIBigB

● Para obtener las imágenes de las diferentes imágenes de las fresas https://www.google.es/search?q=fresas&espv=2&rlz=1C1MSNA_enES709ES709&biw=1707&bih=817&source=lnms&tbm=isch&sa=X&ved=0ahUKEwjK7c_Sk4jRAhUFrxoKHTgUANEQ_AUIBigB

● Para obtener las imágenes de las diferentes imágenes de las peras https://www.google.es/search?q=peras&espv=2&rlz=1C1MSNA_enES709ES709&biw=1707&bih=817&source=lnms&tbm=isch&sa=X&ved=0ahUKEwibzNKFlIjRAhXEfxoKHWXxCxMQ_AUIBigB

● Para obtener las imágenes de las diferentes imágenes de las naranjas https://www.google.es/search?q=naranja&espv=2&rlz=1C1MSNA_enES709ES709&biw=1707&bih=817&source=lnms&tbm=isch&sa=X&ved=0ahUKEwip3fzxk4jRAhXL2RoKHTNNDccQ_AUIBigB&dpr=1.13

● Plataforma de trabajo: https://drive.google.com/

● Gonzalo Muriel Mora, Fernando José Nieto Villanova, Antonio Rodríguez Baena. “Reconocimiento de Monedas Invariante a Rotaciones”- Manual de interfaz. Ubicado en OPERA

30

https://www.google.es/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3&cad=rja&uact=8&ved=0ahUKEwiQtoHYlIjRAhWDmBoKHfcjDUQQFgguMAI&url=http%3A%2F%2Fwww.ilopez.es%2Fproyectos%2Fmatematicas%2FOtsu.pptx&usg=AFQjCNFsCuT-HeU1Z_5A4Nj9i9y37Fi6vw&sig2=Z1btu3VrZePTmx5cdgsSNw&bvm=bv.142059868,d.d24




https://es.wikipedia.org/wiki/M%C3%A9todo_del_valor_umbral

https://es.mathworks.com/

https://es.mathworks.com/help/images/ref/regionprops.html

http://asignatura.us.es/imagendigital/

http://colab-matlab.blogspot.com.es/2012/05/como-realizar-un-ejecutable-de-un-guide.html

https://www.google.es/search?q=google+imagenes&espv=2&biw=1707&bih=817&site=webhp&source=lnms&tbm=isch&sa=X&sqi=2&ved=0ahUKEwih8tP9kojRAhVMWhQKHe_NDVcQ_AUIBigB#tbm=isch&q=limon



https://www.google.es/search?q=platano&espv=2&rlz=1C1MSNA_enES709ES709&biw=1707&bih=817&source=lnms&tbm=isch&sa=X&ved=0ahUKEwjK7c_Sk4jRAhUFrxoKHTgUANEQ_AUIBigB



https://www.google.es/search?q=fresas&espv=2&rlz=1C1MSNA_enES709ES709&biw=1707&bih=817&source=lnms&tbm=isch&sa=X&ved=0ahUKEwjK7c_Sk4jRAhUFrxoKHTgUANEQ_AUIBigB



https://www.google.es/search?q=peras&espv=2&rlz=1C1MSNA_enES709ES709&biw=1707&bih=817&source=lnms&tbm=isch&sa=X&ved=0ahUKEwibzNKFlIjRAhXEfxoKHWXxCxMQ_AUIBigB



https://www.google.es/search?q=naranja&espv=2&rlz=1C1MSNA_enES709ES709&biw=1707&bih=817&source=lnms&tbm=isch&sa=X&ved=0ahUKEwip3fzxk4jRAhXL2RoKHTNNDccQ_AUIBigB&dpr=1.13



https://drive.google.com/


31


Anexo I

Nombre del recurso Trabajo

Elvira 66,58 horas

Búsqueda de información 2 horas

Buscar artículos de investigación 3 horas

Pro y contra de los artículos buscados 8 horas

Realizar pre-planificación 1 hora

Revisión de la entrega 0,25 horas

Lectura del proyecto asignado. 2 horas

Puesta en común de las respuestas del Test. 1 hora

Presentación del Test en clase y planificación 0,33 horas

Reparto de tareas para el Sprint 3 0,25 horas

Implementación de algoritmos segmentación 3 horas

Testeo y pruebas del método de segmentación 2 horas

Elaboración de informe para presentar en clase. 2 horas

Elaboración de la planificación a alto nivel. 1 hora

Discusión de las herramientas a usar en nuestro proyecto. 0,5 horas

Reparto de las tareas para el Sprint 4 0,25 horas

Reparto de las tareas del Sprint 6 0,5 horas

Búsqueda de nuevos descriptores 0,5 horas

Obtención de los descriptores con la nueva normalización 2 horas

Revisión de los descriptores usados en el artículo correspondiente 1,5 horas

Planteamiento teórico de los descriptores 1,5 horas

Testeo de los descriptores y anotación de los resultados 3 horas

Revisión de las tareas hasta el momento 2 horas

Estudio de los métodos de reconocimiento 3 horas

Testeo de los métodos de reconocimiento 2 horas

32


Valoración de los resultados obtenidos 1 hora

Implementación del descriptor de excentricidad 1 hora

Valoración de los resultados obtenidos 2 horas


Estudio de manuales de interfaz gráfica en Matlab 2 horas

Creación de nuevas GUIDEs 1 hora

Diseño 2 horas

Introducción y planteamiento teórico 2 horas

Documentación de pruebas 3 horas

Conclusiones y bibliografía 1 hora

Anotación de resultados 2 horas

Revisión de la entrega 1 hora

Revisión de la última entrega 2 horas

Últimas modificaciones antes de la entrega 2 horas

33


Anexo II


Luciano 67,83 horas





Búsqueda de proyecto anterior 2 horas





Análisis de algoritmos segmentación 2 horas

Implementación de algoritmos segmentación 2,25 horas


Elaboración de informe para presentar en clase. 2 horas





Planteamiento teórico de los descriptores 1,5 horas

Testeo de los descriptores y anotación de los resultados 3 horas



Testeo de los métodos de reconocimiento 2 horas

Valoración de los resultados obtenidos 1 hora


34


Anotación de los resultados 2 horas



Enlazar todos los GUIDEs 0,5 horas

Configuración de cada GUIDE 1 hora

Introducción y planteamiento teórico 2 horas


Documentación de pruebas 3 horas


Realización del ejecutable de la interfaz gráfica 1 hora




Análisis de los descriptores 2 horas

35


Anexo III


Bella 66,83 horas




Elaboración de los objetivos 2 horas


Búsqueda de proyecto anterior 2 horas



Implementación de algoritmos segmentación 2,25 horas



Análisis de algoritmos segmentación 2 horas


Implementación de los descriptores en Matlab 2 horas








Implementación de los métodos de reconocimiento 3 horas



36



Anotación de los resultados 2 horas



Configuración de cada GUIDE 2 horas

Manual de interfaz 2 horas


Creación del power point 2 horas


Realización del ejecutable de la interfaz gráfica 1 hora



37


Anexo IV


Quino 67,08 horas




Elaboración de los objetivos 2 horas


Realizar pre-planificación 1 hora





Implementación de algoritmos segmentación 3 horas


Elaboración de la planificación a alto nivel. 1 hora



Implementación de los descriptores en Matlab 2 horas


Búsqueda de nuevos descriptores 0,5 horas

Obtención de los descriptores con la nueva normalización 2 horas





Implementación de los métodos de reconocimiento 3 horas

38



Implementación del descriptor de excentricidad 1 hora




Creación de nuevas GUIDEs 1 hora

Diseño 2 horas

Parte experimental 2 horas

Manual de usuario 2 horas

Creación del power point 2 horas





39

Sistema de reconocimiento de frutas - Universidad de...

Documents

Transcript of Sistema de reconocimiento de frutas - Universidad de...