1. Introduccin a la Multimedia (MPEG7)

2. Revisin del MPEG-7

• • Introduccin: Objetivos del M^PEG-7

• • Alcance del MPEG-7

• • Componentes del MPEG-7

• • Conclusiones

3. Revisin del MPEG-7

• • Introduccin: Objetivo del MPEG-7

• • • Data audiovisual

• • • Tipos de peticiones

• • • Descripcin de ontenidos

• • • Aplicaciones

• • Alcance del MPEG-7: Partes y Plan de trabajo

• • Componentes del MPEG-7

• • Conclusiones

4. Introduccin

• Cada vez ms y ms informacin audiovisual se encuentra disponible en lnea en formato digital.

• • Imgenes fijas, grficos, modelos 3D, audio, voz, video, etc.

• Las aplicaciones y los servicios se estn volviendo multimedia e interactivos.

• Existe un incremento en el material multimedia.

• Se crea una necesidad acerca del contenido para:

• • administrar la informacin

• • encontrar, seleccionar y filtrar los contenidos.

• • utilizar el contenido a travs de sistemas computacionales y agentes.

5. Objetivo del MPEG-7

• Nuevos objetivos del MPEG

• • MPEG-1, -2, y -4 representan el contenido en s

• • • los bits.

• • MPEG-7 representa informacin acerca del contenido.

• • • los bits que hablan de los bits.

• Estandarizar la descripcin basada en contenido para los diferentes tipos de informacin audiovisual.

• • Permitir una bsqueda rpida y eficiente, filtrado e identificacin de contenidos.

• • Describir algunos aspectos del contenido (caractersticas de bajo nivel, estructura, semntica, modelos, colecciones, creacin, etc.)

• • Ser base para las futuras aplicaciones

6. Data Audiovisual

• La mayora de datos de tipo audiovisual son considerados:

• • audio, voz

• • imgenes fijas, video, grficos, modelos en 3D.

• • informacin de como los objetos estn combinadas en las escenas.

• Descripcin independiente del soporte de la data audiovisual (analogua, digital)

• Las descripciones pueden ser asociadas con partes (objetos, segmentos espaciales, segmentos temporales) de la data audiovisual completa.

7. Tipos de peticiones

• Texto (texto libre, vocabularios controlados, keywords)

• • Encontrar material AV con contenido correspondiente a algunos keywords

• Descripcin semntica

• • Encontrar material AV con contenido correspondiente a una semntica especificada

• Audio: unas notas musicales (caractersticas de rtmo y meloda)

• • Encontrar la correspondiente pieza musical o pelcula.

• Video: trayectoria de movimiento (caractersticas de video de bajo nivel)

• • Encontrar video con una trayectoria de un objeto especfica (e.g. movimientos similares de jugadores de futbol)

8. Tipos de peticiones

• Una imagen como ejemplo:

• • Encontar una imagen con caractersticas globales o locales similares.

9. Descripcin de contenido

• Informacin acerca del contenido

• • Ttulo, autor, derechos de autor, condiciones de acceso, perfiles, formato de cdigo, gnero, enlaces a material relacionado, etc.

• Informacin presente en el contenido.

• • Caractersitcas de bajo nivel que permiten la extraccin automtica tal como: (Video) color, textura, forma, posicin, movimiento, y (Audio) tiempo, timbre, emocin, etc.

• • Caractersticas de alto nivel (semntica) relacionadas a la interpretacin del contenido: un nio recogiendo flores para su madre mientras el perro juega a su alrededor, Un crepsculo hermoso visto desde la orilla de una baha, etc.

10. Aplicaciones

• Tocar unas cuantas notas en un teclado y obtener una lista de las piezas musicales similares al tono requerido, o imgenes que contengan las notas en cierta manera, e.g. en trminos de emocin.

• Dibujar unas cuantas lneas en la pantalla y obtener un grupo de imgenes que contengan grficos similares.

• Describir acciones y obtener una lista de escenarios conteniendo esas acciones.

• Usando un extracto de la voz de Pavarotti, se puede obtener una lista sus grabaciones, video clips y material fotogrfico.

11. Tipos de aplicaciones

• Aplicaciones tipo Pull: Explorar y buscar

• • Motores de bsqueda para internet y base de datos multimedia en internet.

• • Motores de bsqueda que trabajen con descripciones estandarizadas.

• Aplicaciones tipo Push : Filtrado y seleccin automtica

• • Agentes inteligentes que filtren descripciones estandarizadas.

• • Agentes inteligentes que tomen decisiones basados en descripciones estandarizadas.

12. reas de aplicacin

• Seleccin de material multimedia de difusin (e.g. radio, TV)

• Arquitectura y diseo de interiores (e.g. para buscar nuevas ideas)

• Servicios culturales (museos de historia, galeras de arte, etc)

• Bibliotecas digitales (e.g. catlogo de imgenes, diccionario de msica, etc)

• E-Commerce (e.g. publicidad personalizada, catlogos en lnea, etc)

• Educacin (e.g. Bsqueda multimedia de material de estudio)

• Edicin multimedia (e.g. servicio de noticias personalizadas)

13. Revisin del MPEG-7

• • Introduccin: Objetivo del MPEG-7

• • Alcance del MPEG-7

• • Componentes del MPEG-7

• • Conclusiones

14. Alcance del MPEG-7

• La generacin de la descripcin (extraccin de caractersticas, indexar procesos, herramientas de anotaciones, etc.) y consumo (motores de bsqueda, herramientas de filtrado, dispositivos de exploracin, etc), son partes no normadas del MPEG-7.

• El objetivo es definir lo mnimo que garantice interoperabilidad.

Description consumption Description Description generation Scope of MPEG-7 Research and future competition

15. Flujo de informacin

• El contenido y su descripcin pueden ser multiplexados

Usuario y sistemas computacionales Storage Browse AV Description Feature extraction Manual / automatico Transmission Codificacin (para transmision) Decodificacin (para almacenamiento) Filter Push Search / query Pull Conf. points

16. reas de trabajo del MPEG-7 Descriptors: (Sintaxis y semntica de la representacin de caracterstica) D7 D2 D5 D6 D4 D1 D9 D8 D10 D3 Tags < scene id=1> < time> .... < camera>.. < annotation Instantiation 10101 1 0 Encoding & Delivery Language Description Definition extension Definition Description Schemes D1 D3 D2 D5 D4 D6 DS2 DS3 DS1 DS4 Structuring

17. Partes del MPEG-7

• ISO / IEC 15938 - 1: Sistemas

• ISO / IEC 15938 - 2: Description Definition Language

• ISO / IEC 15938 - 3: Visual

• ISO / IEC 15938 - 4: Audio

• ISO / IEC 15938 - 5: Multimedia Description Schemes

• ISO / IEC 15938 - 6: Software de referencia

• ISO / IEC 15938 - 7: Conformance

• ISO / IEC 15938 - 8: Extraccin y utilizacin

18. MPEG-7: El Plan de trabajo

• Competicin:

• Trabajo individual

• Definicin de los alcances y los requerimientos

2001 2000 1999 1998 1996

• Colaboracin:

• Trabajo comn

• Experimentacin

• Modelo experimental

• Requerimientos

Call for proposals Working draft Committee draft Draft international standard Final committee draft International standard

19. Revisin del MPEG-7

• • Introduccin: Objetivo del MPEG-7

• • Alcance del MPEG-7: partes y plan de trabajo

• • Componentes del MPEG-7

• • • Herramientas de descripcin

• • • Description Definition Language

• • • Herramientas de sistema

• • • Software de referencia

• • Conclusiones

20. Componentes del MPEG-7

• Herramientas de descripcin

• • Descriptores

• • Esquemas de decripcin

• Description Definition Language

• • Definicin de herramientas de descripcin y extensiones

• • Descripciones textuales codificadas (XML)

• Herramientas del sistema

• • Arquitectura de terminal

• • Descripciones binarias codificadas (BiM)

• Software de referencia

21. Herramientas de descricpcin del MPEG-7 Esquemas de descripcin (estructura) and Descriptores (caractersticas)

22. Elementos bsicos Estructuras matemticas y tipos de datos Anotacin textual Trminos, trminos controlados, y esquemas de clasificacin Lenguaje, persona y lugar Informacin temporal Localizador de media Identificador nico Referencia

23. Herramientas de esquema Mpeg7Main and Mpeg7Unit Video, Audio, Imagen, Descripcion de contenido, Contenido Administracin, coleccin, usuario Estructurado en pa- quetes o carpetas para motores de bsqueda y aplicaciones

24. Administracin de contenido Ttulo, creador, gnero, tema, idioma Revisin de media Material relacionado Aspectos financieros Periodos de disponibilidad Compresion, codificacin y almacenamiento

25. Descripcin del contenido Estrucutura espacial-temporal Ds de bajo nivel audio, y video anotaciones textuales (semntica elemental Objetos y eventos Conceptos abstractos Relaciones

26. Descripcin del contenido: descriptores audiovisuales de bajo nivel

• Color

• Camera motion

• Motion activity

• Mosaic

• Color

• Motion trajectory

• Parametric motion

• Spatio-temporal shape

• Color

• Shape

• Position

• Texture

Video segments Still regions Moving regions Audio segments

• Spoken content

• Spectral characterization

• Music: timbre, melody

27. Navegacin y acceso Soporte eficiente para descubrimiento, exploracin, navegacin, visualizacin. Modos jerrquicos Descomposicin en espacio-tiempo y en frecuencia Resmenes Adaptacin al terminal, a la red o a las preferencias de usuario

28. Organizacin de contenido Contenidos de grupos AV, segmento, eventos u objetos dentro de grupos de coleccin. Elementos de propiedades comunes Herramientas para el modelamiento de atributos y caractersticas del contenido AV. Modelos probabilsticos y analticos

29. Interaccin de usuario Identificacin de usuario para un acceso, presentacin y consumo del contenido AV Historial del consume del contenido AV por un usuario durante un periodo de tiempo Ayuda a determinar las preferencias de usuario

30. Uso de las herramientas de descripcin

• Librera de herramientas de descripcin estandarizadas.

• El DDL puede ser utilizado para manejar necesidades especficas de la aplicacin.

• • Extensiones: Herramientas de descripcin de aplicacin.

31. DDL del MPEG-7

• ... un lenguaje que permite la creacin de nuevos esquemas de descripcin, y posiblemente, descriptores. ste permite adems la extensin y modificacin de los esquemas de descripcin existentes.

• Description Definition Language:

• • Definicin de los Ds y DSs:

• • • Esquema XML (Estructura y tipo de datos) + extensiones MPEG-7

• • Permite definir nuevas entidades.

32. Sistemas del MPEG-7

• Las herramientas del sistema permiten:

• • Transporte y almacenamiento eficiente de descripciones MPEG-7

• • • Binarizacin del DDL para transporte y entrega Error resilience

• • Sincronizacin entre descripcin y contenido

• • Administracin y proteccin de la propiedad intelectual (IPMP)

33. MPEG-7 Arquitectura de terminal

• Entidad que hace uso de las descripciones MPEG-7

• • Capa de entrega

• • • sincronizacin

• • • multiplezacin

• • Corrientes elementales

• • • Unidades de acceso

• • Capas de compresin

• • • informacin de esquema

• • • informacin de descricpcin

34. MPEG-7 eXperimentation Model (XM)

• XM: Software de referencia MPEG-7

• • Plataforma de simulacin para los Ds, DSs, CSs, y DDL del MPEG-7.

• • Componentes no normados

• • • Aplicaciones servidore: extraccion

• • • Aplicaciones cliente: Bsqueda y filtrado

35. MPEG-7 XM Architecture

36. Revisin del MPEG-7

• • Introduccin: Objetivo del MPEG-7

• • Alcance del MPEG-7

• • Componentes del MPEG-7

• • Conclusiones

37. Conclusiones

• MPEG-7: Descripcin de contenido AV para interoperabilidad

• • Herramientas de descripcin: Descriptores y Esquemas de Descripcion

• • • Librera de heramientas de descripcin

• • • Cubre un gran rango de necesidades genricas

• • • Perfiles bajo consideracin

• • Description Definition Language:

• • • Esquema XML Schema mas extensiones

• • • Definicin de herramientas de descripcin MPEG-7

• • Formatos de codificacin

• • • XML: formato textual (flexibilidad)

• • • BiM: formato binario (eficiencia)

• • Otros:

• • • Arquitectura de terminal, unidades de acceso, software de referencia.