Universidad Católica Andrés Bello » Computación Gráfica » Ciro Durán Computación Gráfica...

Universidad Católica Andrés Bello » Computación Gráfica » Ciro Durán

Computación Gráfica

Semestre 201321CRN

Septiembre 2012 – Febrero 2013

Ciro DuránIngeniero en Computación

[email protected]://www.ciroduran.com

@chiguire

Procesamiento de imágenes

Introducción y ejemplos


Procesamiento de imágenes y Antialiasing

• Un tema entero por sí solo, subyace a la computación gráfica y a la visión computarizada

• Tiene sus propias publicaciones y conferencas– IEEE Transactions on Image

Processing (TIP)– Image and Vision Computing– Journal of Electronic Imaging– IEEE International

Conference on Image Processing (ICIP)

• Estuvo alguna vez más cerca de la teoría de señales y al procesamiento de sonido que a gráficas.

• Comparte hardware con otros aspectos de los gráficos– Procesadores de punto

flotante (FPUs)– Procesadores de señal digital

(DSPs)– Framebuffers– Escáners– Cámaras digitales– Impresoras de color– Convertidores y capturadores

de video.


¿Qué significa una “imagen” para nosotros?

• Un dominio 2D con muestras en puntos regulares (casi siempre una grilla rectilineal)– Puedes tener múltiples muestras por

punto– Significado de las muestras dependen

de la aplicación (rojo, verde, azul, opacidad, profundidad, etc.)

• Unidades también dependen de la aplicación– ej., un int o float a ser mapeados a un

voltaje necesario para mostrar en una pantalla (ej., un archivo BMP)

– Ej., como una medida física de la luz entrante (ej., un sensor de cámara)


¿Qué es un canal?• Un canal es todas las

muestras de un tipo en particular.

• El canal rojo de una imagen RGB es una imagen conteniendo solamente las muestras rojas

• Los canales de TV se sintonizan a diferentes frecuencias de las ondas electromagnéticas– De forma similar, los

canales RGB se “sintonizan” a diferentes frecuencias en el espectro visible.

Imagen original RGB3 muestras por pixel

Canal rojo1 muestra por pixel

Canal azul1 muestra por pixel

Canal verde1 muestra por pixel


El canal alfa• Además de los canales R, G y B de

una imagen, agregamos un cuarto canal llamado α (transparencia/opacidad/translucidez)

• Alfa varía entre 0 y 1– Valor 1 representa un pixel

completamente opaco, uno a través del cual no puedes ver

– Valor 0 es un pixel completamente transparente

– 0 < α < 1 => translucidez

• Útil para mezclar imágenes (blending)– Imágenes con valores alfa más altos

son menos transparentes– Interpolación lineal (αR + (1- α)B) o

algebra completa de composición Porter-Duff.

La caja roja se dibuja encima de la azul usando = 0.8


Modelando una imagen

• Modelar una imagen de un canal de dimensiones como la función de pares de enteros a números reales– y son enteros tales que y

• Asocia cada valor de pixel a una pequeña área alrededor de la ubicación en el dispositivo con coordenadas

• Un pixel aquí parece un cuadrado centrado sobre un punto de muestra, pero es sólo un valor y la verdadera geometría de su apariencia en pantalla varía por dispositivo– En un monitor CRT es aproximadamente

un punto circular– En un panel LCD es un rectángulo


Los pixeles no son solo “cuadrados”

Acercamiento de una pantalla CRT

Acercamiento de una pantalla LCD


Imágenes discretas vs. imágenes contínuas

• Existen dos tipos de imágenes– Imagen discreta– Imagen contínua

• Imagen discreta– Función de a – Como las imágenes son

guardadas en memoria– El tipo de imagenes que

generalmente manejamos como computistas

Imagen discreta

𝑘

𝑛

𝑘

𝑛


Imágenes discretas vs. imágenes contínuas

• Imagen contínua– Función de a – Como las imágenes son en el

mundo real– “Contínuo” se refiere al

dominio, no a los valores (las discontinuidades bien pueden seguir ocurriendo)

• Ejemplo: distribución Gaussiana– y son el centro del

Gaussiano

– ,

– ,

– y (n impar)

– En este caso y

Imagen contínua

𝑘

𝑛

𝑘

𝑛


Las cinco etapas del procesamiento de imágenes

• Las cinco etapas son:– Adquisición de imágenes – cómo obtenemos

imágenes en primer lugar.– Preprocesamiento – cualquier efecto que sea

aplicado antes del mapping (ej. Recortado, enmascarado, filtrado)

– Mapeado – etapa que cubre cualquier transformación o composición de imagen.

– Postprocesamiento – cualquier efecto aplicado después del ampeado (ej. Texturación, remapeado de color)

– Salida – impresión o desplegado en pantalla

• Estas etapas son saltadas a veces• Las etapas intermedias suelen estar

entrelazadas


Etapa 1: Adquisición de la imagen

• Síntesis de la imagen– Imágenes creadas por

computadora– Pintadas en 2D

• Corel Painter• Photoshop

– Renderizadas de geometría 3D• Pixar’s RenderMan• Autodesk’s Maya• Sus proyectos

– Texturados procedimentalmente• Imágenes generadas cuya

intención es imitar cosas naturales

• Ej. Madera procedimental

• Captura de imágenes– Imágenes del “mundo

real”– La información debe

ser digitalizada a partir de una señal análoga

– Métodos comunes de captura:• Cámara digital• Datos satelitales• Escáner de tambor• Escáner de fotos de

cama plana• Fotogramas de un video


Etapa 2: Preprocesamiento

• Cada imagen de fuente se ajusta a un tono, tamaño, figura, etc. dados para que tenga una calidad deseada o para igualarla a otras imágenes.

• Puede hacer que un conjunto de imágenes distintas aparezcan similares (si van a ser compuestas posteriormente), o hacer que partes similares de una imagen parezcan distintas (por ejemplo, para mejorar el contraste).

Original

Curva ajustada de escala de grises


Etapa 2: Preprocesamiento (continúa)

• Las técnicas de preprocesamiento incluyen:– Ajuste de color o de curva de escala de grises

– Recortado (cropping)

– Esmascarado (cortar una par de la imagen)

– Difuminado y afilado (Blurring y Sharpening)

– Detección/mejora de bordes

– Filtrado y antialiasing

– Escalado hacia arriba (super sampling) o hacia abajo (sub sampling)


Etapa 2: Preprocesamiento (continúa)

• Notas:– Blurring, Sharpening y detección de

bordes pueden ser también técnicas de postprocesamiento.

– Algunos algoritmos de preprocesamiento no son seguidos de mapeado, otros que involucran remuestrear la imagen pueden ser entrelazados con mapeado: el filtrado se hace de esta manera.


Etapa 3: Mapeado• El mapeado es una etapa general donde varias

imágenes son combinadas, o se aplican transformaciones geométricas

• Las transformaciones incluyen:– Rotación– Escalamiento– Deformación paralela (shearing)– Distorsión (Warping)– Morph basado en características

• Composición:– Superposición básica de imagen– Blending suavizado con canales alfa– Blending de imagen de Poisson

• Tranfiere “detalles” (como bordes) sin costuras visibles de parte de una imagen a otra.

Blending de imagen de

Poisson

Distorsión de la imagen

Créditos de la imagen: © Evan Wallace 2010


Etapa 4: Postprocesamiento

• Crea efectos globales en toda la imagen o en un área seleccionada

• Efectos artísticos– Posterizado– “Envejecimiento” falso en una imagen– “Desenfoque” falso– Remapeado “impresionista” de pixeles– Texturado

• Efectos técnicos– Remapeado de colores para mejora de contraste– Conversión de color a blanco y negro.– Separación de colores para impresión (RGB a

CMYK)– Retocado de escaneo y balanceo de

color/contraste.

Envejecimiento

Posterizado

Impresionismo


Etapa 5: Salida (Archivado/Despliegue)

• El método escogido para desplegar/archivar puede afectar las etapas anteriores del procesado.– La impresión en color acentúa

algunos colores más que otros.– Los colores en el monitor tienen

diferentes gamuts y valores HSV que los colores impresos• Requiere mapeo

– HSV – hue, saturation, value (matiz, saturación, valor), un sistema de coordenadas cilíndrico para el modelo de color RGB.

– Gamut – conjunto de colores que pueden ser representados por un disposivo de salida/impresora

• Tecnologías de despliegue– Monitor (CRT →

LDC/LED/OLED/AMOLED/Panel de plasma)

– Impresora a color– Film/DVD– Archivos de disco– Mapas de textura

para renderer en 3D


Ejemplos de procesamiento de imágenes


Ejemplo 1: Filtrado de detección de bordes

• Los filtros de detección de bordes miden la diferencia entre pixeles adyacentes

• Una diferencia más grande significa un borde más fuerte

• Se suele aplicar un mínimo para eliminar bordes débiles.

Filtro de detección de bordes de Sobel


Ejemplo 1: Filtrado de detección de bordes (continúa)

• Usado en escaneos de MRI para revelar borden entre diferentes tipos de tejido

• El escaneo MRI es una imagen cuyo nivel de gris representa densidad de tejido

• Se usó el mismo filtro de la lámina anterior

Imagen original de RM de un corazón de

perro

Imagen después de la detección de

bordes


Ejemplo 2: Mejora de imagen para investigaciones forenses

• Extraer evidencia de imagenes aparentemente incomprensibles

• Normalmente, la mejora de la imagen usa muchos pasos de filtrado, y no suelen ser de mapeo

Antes de la mejora

Después de la mejora



• Tenemos un video de una cámara de seguridad con la placa de un carro que fue usado en un robo.

• La imagen es muy oscura y ruidosa para que la policía pueda ver un número de placa.

• Aunque los humanos pueden a menudo distinguir elementos en una imagen de poca calidad, el filtrado puede facilitar a un algoritmo de reconocimiento de patronesel descifrado de los simbolos que allí estén incluidos.– Reconocimiento óptico de

caracteres

• Paso 1: Obtener el fotograma de la cinta de video, digitalizado con un capturador.



• Paso 2: Recortar las cosas que parezcan no interesantes (fuera de los bordes de la placa)

• Este paso puede acelerar el proceso al aplicar los pasos de procesamiento de imágenes con menos pixeles

• No siempre se puede hacer, ya que es posible no poder distinguir cuáles secciones son interesantes sin un poco de procesamiento.



• Paso 3: Usar un filtro de agudizamiento de los bordes para agregar contraste al número de placa.

• Este paso resalta los bordes al maximizar las discontinuidades entre saltos de brillo en la imagen.



• Paso 4: Remapear los colores para mejorar el contraste entre números y la propia placa

• Ahora, puedes imprimir para el archivo, o tan solo copiar el número de placa: YNN-707

• Nótese que los colores finales no tienen por qué parecerse a los colores reales de la placa – las técnicas de mejora han seriamente distorsionado los colores.


Composición multipartes

• La composición de imágenes es popular en el mundo del arte, al igual que en las noticias de tabloide.

• Toma partes de varias imágenes para crear una sola– Lo difícil es hacer que todas las partes calcen naturalmente

• Los artistas pueden usar para crear collages asombrosos y efectos de múltiples capas

• Los periódicos de tabloide los usan para crear “fotos noticiosas” de cosas que nunca han pasado – “Fauxtografia”.– No hay verdad visual en los medios


Fotos trucadas famosas

Tom Hanks y JFK

Foto de la prensa china del tren del

Tibet


Ejemplo de composición de imagen (1/5)

• Lars Bishop, principal asistente docente del curso CS123, que estas láminas traducen, creó una foto noticiosa de él mismo “reunido” con el ex-presidente ruso Boris Yeltsin– Post-Gorbachev y Perestroika. Ejerción

del 10 de julio de 1991 hasta el 31 de diciembre de 1999, cuando renunció a favor de Putin)

• No hace falta decir que Lars Bisgop nunca conoció al Sr. Yeltsin

• Tuvo que obtener las imágenes, cortar las partes que quería, retocarlas, pegarlas juntas y retocar el resultado final.

Foto de Boris (del Internet)

Foto de Lars (de una videocámara)



• Cortó las figuras que queremos de las imágenes originales– Pintó una región alrededor de las

partes importantes de las imágenes (un delineado de la gente) usando Photoshop

– Continuó retocando este delineado hasta que no haya fondo en el borde de la gente

– Usó la herramienta smart lasso que dé con el fondo blanco, y asi seleccionar el sujeto. (La herramienta “Magic Wand” en Photoshop puede lograr esto)



• Filtró las imágenes para que parezcan similares, y luego las pegó juntas– Boris se ha difuminado y

abrillantado para eliminar las líneas de mediotono (debió salir de una foto de revista)

– A Lars se ha difuminado y agregado ruido para que calce la calidad de la imagen a la de Boris

– Las imágenes son redimensionadas para que Boris y Lars estén a la misma escala



• Finalizar imagen

– Creó un fondo simple de dos colores y agregó ruido para que calce con el resto de la imagen, colocó recorte de los dos sujetos encima del fondo.

– Esto deja un halo blanco delgado alrededor de los sujetos, así que usó la herramienta “Rubber Stamp” para estampar patrones de ruido de fondo sobre el halo, haciendo que las costuras sean menos obvias.



• Imagen final (con retocado en bordes)

BISHOP Y YELTSIN EN CONVERSACIONES DE PAZBISHOP: “¡No pude entender una sola palabra de lo que dijo!”


Composición de imágenes - Frankencaras

Aseem Agarwala, Mira Dontcheva, Maneesh Agrawala, Steven Drucker, Alex Colburn, Brian Curless, David Salesin, Michael Cohen. Interactive Digital Photomontage. ACM Transactions on Graphics (Proceedings of SIGGRAPH 2004), 2004. http://grail.cs.washington.edu/projects/photomontage/

http://grail.cs.washington.edu/projects/photomontage/


Análisis de niveles de error

• ¿Ha sido manipulada una imagen? ¿En qué partes?


Análisis de niveles de error

• Fuente de la imagen: http://www.valleygirl.com.au• Mejor explicación: http://www.errorlevelanalysis.com

http://www.valleygirl.com.au/

http://www.errorlevelanalysis.com/


Visión computarizada (1/2)

• La computación gráfica se trata de usar modelos para crear imágenes; la visión computarizada resuelve el problema opuesto – derivar modelos a partir de imágenes

• La computadora debe hacer todo el procesamiento sin intervención humana

• Las técnicas de procesamiento a menudo deben ser rápidas– Un procesamiento lento agregará una latencia de la cámara a la

reacción en el sistema

• Técnicas comunes de preprocesamiento para visión computarizada:– Mejora de bordes– Detección de regiones– Mejora de contraste– Detección de puntos de interés


Visión computarizada (2/2)• El procesamiento de imágenes hace que la información sea más

fácil de encontrar• La detección de patrones y el reconocimiento de patrones son

campos separados por sí mismos– Detección de patrones: buscar características y describir el contenido de

la imagen a un alto nivel– Reconocimiento de patrones: clasificar colecciones de características y

emparejarlas con una libreria de patrones almacenados (ej., caracteres alfanuméricos, tipos de células anormales, o características humanas en el caso de biometría)

– Detección de patrones es un componente importante del reconocimiento de patrones

• La visión computarizada puede ser usada como parte de una interfaz de usuario pasiva, como una alternativa a los aparatosos dispositivos cableados como “mouses espaciales” de 6 grados de libertad, varitas, y guantes de datos, ver siguiente lámina

• Fotografía computacional trae muchas técnicas de la visión.


Ejemplo: Guitarra de aire virtual

• Sistema de visión computarizada en tiempo real– El usuario viste unos guantes

anaranjados– Las “regiones” de los guantes

se extraen en tiempo real

• Reconocimiento de gestos– Cambiar nota con la mano

superior– Pulsar la cuerda con la mano

inferior• Cada vez que la mano cruza el

cuello virtual de la guitarra (línea diagonal en la foto)

– Simular también vibrato y gestos de deslizado

• Ver la demostración.

La guitarra de aire virtual de la Helsinki University of

Technology

Virtual Air Guitar project: http://airguitar.tml.hut.fi/photos.html

http://www.youtube.com/watch?v=FIAmyoEpV5c

http://airguitar.tml.hut.fi/photos.html


Microsoft Kinect

• Usa la visión computarizada para “ver” la forma de tu cuerpo– Extrae múltiples “esqueletos” de

una imagen de profundidad• El cuerpo como controlador• Reconocimiento de gestos

– Reconocimiento facial

• Funciona con hardware barato– Cámara RGB– Sensor de profundidad CMOS

• Proyecta un patrón infrarojo para ver en la oscuridad

– Costo total 150 USD

• Investigaciones actuales usan el Kinect para construir nubes de puntos 3D

Juntas de esqueletos sobre un mapa de profundidades

El Kinect


Procesamiento de imágenes 3D (1/3)

• Imágenes 3D– Los volúmenes de imágenes 3D de

scans de MRI necesitan procesamiento de imágenes

– Las técnicas de procesamiento 2D suelen tener paralelos 3D

– El despliegue se dificulta: los pixeles son reemplazados por voxeles (rendering volumétrico)

– Aumenta la complejidad en tiempo y espacio:• Una imagen 1024x1024 de 4 canales =

4MB• Una imagen de 1024x1024x1024 de 4

canales = 4GB!• Procesamiento se vuelve

Imagen de “Rendering Volumétrico basado en Mecanismos de Manejo de Texturas”, por Durán y Morillo. Universidad Simón Bolívar. 2006.URL: http://www.ldc.usb.ve/~ciro/thesis

http://www.ldc.usb.ve/~ciro/thesis



• Dispositivos 3D– Dispositivos autoestereoscópicos

comienzan a surgir• La mayoría trabaja con ópticas

lenticulares o con efectos de paralaje (parallax)

– Varias compañías ya estan comercializando productos• Philips lanzó el primer TV 3D de alta

definición en 2009, ahora son más populares

• Panasonic, LG, Smasung y Sony ahora tienen también televisores 3D en el mercado

• Hitachi, HTC, LG producen teléfonos móviles 3D

• Nintendo 3DS

Philips 52” WOWvx Display

Hitachi H001 Nintendo 3DS



• zSpace es un dispositivo 3D interactivo y una plataforma de computación– http://z.zspace.com/about-zspace/– Aplicaciones potenciales incluyen

arquitectura, visualización de datos, medicina, arte digital, ingeniería, juegos/entretenimiento, educación

• Tecnología Fujifilm 3D– FinePix REAL3D, lanzado en 2009,

captura videos e imágenes en 3D– Servicio de impresión 3D

http://z.zspace.com/about-zspace/

http://z.zspace.com/about-zspace/

Universidad Católica Andrés Bello » Computación Gráfica » Ciro Durán Computación Gráfica...

Documents

Transcript of Universidad Católica Andrés Bello » Computación Gráfica » Ciro Durán Computación Gráfica...