Búsqueda semántica de recursos educativos: ontologías, distribución y pedagogía

Miguel-Angel Siciliamsicilia@uah.es

University of Alcalá, Madrid, Spain

La Universidad de Alcalá…

• Fundada por el Cardenal Cisneros, Regente de España en 1499

El grupo Information Engineering

• Grupo reconocido dentro del Dpto. de Ciencias de la Computación

• 4 profesores full-time, 2 part-time, 12+ personas trabajando en proyectos.

Contenidos

I. Introducción: sobre los OA

II. Arquitecturas para la búsqueda semántica de recursos de aprendizaje

III. Sobre la representación del diseño instruccional

I. Introducción: sobre los Objetos de Aprendizaje (OA)

Learning objects: delimitación (i)• Idea básica: dividir el contenido educativo en piezas pequeñas que

puedan reutilizarse.

– “A high quality and fully interactive piece of learning material could be produced for, perhaps, $1,000. If 1,000 institutions share this one item, the cost is $1 per institution. But if each of a thousand institutions produces a similar item, then each institution must pay $1,000, with a resulting total expenditure of $1,000,000. For one lesson. In one course”. (Downes, 2001)

• Algunas definiciones populares:

– Wiley (2001) “cualquier recurso digital que puede ser reutilizado para proporcionar aprendizaje”.

– Polsani (2003) “Una unidad independiente y auto contenida de contenido de aprendizaje que esta predispuesta a ser reutilizada en múltiples contextos de aprendizaje”.

• El reuso (reutilización) aparece de un modo u otro como la característica distintiva

Learning objects: delimitación (ii)

• “Muy bien, pero, ¿no se ha reutilizado siempre?”

– Reuso al “viejo estilo”: fotocopias de libros de texto.

– Reuso al “nuevo estilo”: un software busca en la Web LO con ciertas características.

• Y en el futuro, podría incluso combinarlos automáticamente (!)

• Pero… cuidado con la (dañina) metáfora de LEGO:– Any LEGO block is combinable with any other LEGO block

– LEGO blocks can be assembled in any manner you choose

– LEGO blocks are so fun and simple that anyone can put them together

• Ninguna de las anteriores afirmaciones es cierta para los LO, por dos tipos de motivos: técnicos y pedagógicos.

¿Puede definirse un LO?

• En lugar de definiciones…• … criterios de reusabilidad.• Por ejemplo:

– Forma de la descomposición.– Declaración de la estructura.– Calidad de las meta-descripciones.– …etc.

Things

LearningObject-AsAnything (used in Learning or potentially usable)

LearningObject-AsAnythingDigital (subsumed by identifiable digital elements)

LearningObject-AsAnythingWithEducationalPurpose (described by record(s))

Other specific accounts of learning objects (e.g. SCOs in SCORM)

Learning Objects: descripción• Lenguaje natural:

– “A well done general site on one of traditional China's major epochs, the Song dynasty era. This site covers the economic and social history of the period with special attention to the commercial revolution of the time and the rise of the Mandarin elite”.

• Un campo específico de LOM:

– Coverage: “The time, culture, geography or region to which this learning object applies.”

– Por tanto: LOM.General.Coverage=“(en) the Song dynasty era; China”

• Semántica más estricta (ontologías):

– lo1.coverage=(IndependentCountry)China

– lo1.coverage=(HistoricPeriod)SongDinastyPeriod

Una reflexión sobre la reusabilidad• Comporta tres aspectos al menos:

– Un aspecto técnico de formato.– Un aspecto técnico de interpretación. – Un aspecto de diseño instruccional.

• Deben combinar los conceptos de usabilidad y re-usabilidad.– Una propuesta que las combina de acuerdo a los contextos de

uso “declarados en los metadatos” es la siguiente:

– No obstante, esta es una métrica “a posteriori”.

Una reflexión sobre la reusabilidad

• The reusability/usability tradeoff– Usability definido como “the ability of a learning object

to support or enable […] a very particular concrete cognitive goal” (Feldstein, 2002)

• Ejemplos:– Learning object A se anota con metadatos para un

solo contexto de uso. El índice de reusabilidad oscila entre [-1, 1].

– Learning object B especifica un número más amplio de contextos de uso, digamos 10. El índice de reusabilidad oscila entre [-10, 10].

<p class="example"><br><b>Problem specification example</b>: <span class="problem-specific">Warehouse management software portfolio.<br>The problem statement is contained in pages 19 to 37 of the following report available through the Web: <br><a target="_blank" href="http://www.lrgl.uqam.ca/cosmic-ffp/casestudies/fetcke1999b.pdf">http://www.lrgl.uqam.ca/cosmic-ffp/casestudies/fetcke1999b.pdf</a></span><br><br></p>

II. Arquitecturas para la búsqueda semántica de recursos de aprendizaje

Diferentes necesidades… (en el contexto de organic.edunet)

Necesidades prácticas-Técnicas-Métodos-Buenas prácticas-Restricciones económicas

Información pedagógica:-Learning resource type-Duration-Características del diseño instruccional

Tipos específicos de evidencia:-Experimentos-Meta-estudiosTipos específicos de recursos:- Artículos científicos

…necesitan diferentes soluciones

• Cambio desde el “getting more” al “getting less”?

…beyond Google

• Primer problema: el PageRank no es adecuado para los recursos educativos.– No Google bombing, please!

• “Rich queries”– “I need (interactive) learning objects with group

activities to teach consensus reaching methods”– “I am looking for reflective contents about relevant

historical events during the lifespan of Adam Smith”– “I need learning objects to quickly train my employees

in software project mngmt., which include planning with MS project and estimating with COCOMO-II or similar”

Soluciones hasta ahora• Web search engine (Google)

– Ámbito “universal”, pero limitado por la sobrecarga de información (information overload).

– Calidad como “número (ponderado) de enlaces entrantes”.

• Repositorios de propósito general (Merlot)– Añaden cierto control de calidad y a veces control de

versiones

• Repositorios temáticos (Organic-Eprints)– Añaden control de calidad específico del dominio

• Federación de repositorios (OAI-PMH)– Distribuye ciegamente la misma consulta.

Componentes en las federaciones• Varios repositorios proporcion búsqueda en campos de

metadatos (ej. Merlot, CAREO, dspace, educommons)

RepositoryBroker

• En algunos casos, hay un broker que “ciegamente” distribuye las consultas.

Clienta repository

another repository

ln: fertilizer <dc:title>European Fertilizer Manufacturers Assoc. (EFMA)</dc:title><dc:desc>...</dc:desc>...

http://cms.efma.org/

Problemas y soluciones

• Dos problemas fundamentales:– La búsqueda es esencialmente contraste de

cadenas de caracteres• No hay adaptación al perfil

– La federación simplemente repite y junta los resultados.

• Las necesides:1. Más elaboración en la expresión y contraste de

necesidades de aprendizaje.

2. Brokering inteligente y fusión informada de los ersultados de varias fuentes.

Uso de ontologías• Ontologías: esquemas formales y compartidos – no

releacionados con el léxico o la terminología.– A diferencia de los tesauros, no tienen que ver con la

teminología (lexicon) sino con conceptualizaciones– …con la conceptualización formal que de mejor servicio a la

“ciencia” (Quine)– Puede haber ontologías inconsistentes con otras pero

localmente consistentes.• e.g. para la gestión de las controversias.

– La representación detallada permite anotaciones de grano fino.• La Gene Ontology es una historia de éxito!

• El problema desde el punto de vista teórico:– Representar el conocimiento de un experto (el que selecciona

los recursos) basado en conocimiento del dominio (ontologías)

Un ejemplo…

• Término en un tesauro:– Fertilizer

• ¿Qué entidades representa?– Fertilizer-SubstanceKind– Fertilization-Technique– Fertilization-Action– Fertilizer-ChemicalComponent– Fertilization-OutcomeSituation

Physical resources

BooksPhotocopies

Toys...

Digital resources

CD-ROMFiles

Web resources

LinksSearch engines

StandardsRepositoriesFederation

Metadata

CompositionAutomated selection

Representation

Semantics

Cost of copiesLibrarian catalogues

Printed bibliographies“no computers”

E-cataloguesE-Bibliographies

Propietary formatsEducational languages (LOGO)

“isolated computers”

Web cataloguesText search

Open formatsEase of manual composition

“networked computers”

Metadata searchMetadata based catalogues

“networked computersusing specific technology”

Classifications based on formal representation

Intelligent search/composition“networked computersUsing AI technology”

Crossing the chasm from text to machine semantics

Annotating resources with ontologies• Los recursos (LearningObjects) se representan como

InformationBearingThings, como elementos dentro de la ontología.

• Un cierto número de predicados relaciona las instancias de LearningObject con conceptos o instancias, ej:– LO1 criticizes someTechnique

• Axiomas y reglas:– “Every LO according to CISCO should havePart a ExerciseLearningObject ”

• Por tanto los beneficios son: tipado + predicados con tipo + inferencia

Principios para la “Semantic Learning Technology”

• Especificidad de dominio en la búsqueda y composición de recursos– Un marco (framework), no una aplicación.

• Diferentes estrategias de búsqueda y composición (diferentes expertos) codificados como Query Resolvers (QR).– Para granjeros: focus on techniques (how to do)– Para científicos: focus on research (experiments, studies)– Para estudiantes: consider instructional elements (e.g.

exercises)

• El brokering permite “elegir el(los) experto(s) correctos”• Los “expertos” pueden combinarse y evaluarse.

Client

a repositoryln: fertilizer-application,soil-quality

profile:farmer

Fertilizer-application-method

Soil sampling

Measurement-technique

isA

Variable rate fertilizer application

isA

Soil quality

This as a query string returns

nothing in Intute.

AGR QR for practitioners

http://www.ag.ndsu.edu/pubs/plantsci/soilfert/sf-990.htm

The rest of the components…

What about pedagogy?

Pedagogía, evidencia y diseño instriccional

• “Practicing doctors and teachers are applied professionals.... Doctors and teachers are similar in that they make decisions involving complex judgments. Many doctors draw upon research about the effects of their practice to inform and improve their decisions; most teachers do not, and this is a difference. (p. 407)”

Hargreaves, D. (1997). In defense of research for evidence-based teaching: A rejoinder to Martyn Hammersley. British Educational Research Journal, 23, 405-419.

Learning designs (IMS LD)• Un lenguaje común para la expresión de

secuencuas de aprendizaje basadas en actividades

• Especifica los elementos básicos:– Objectives– Arrangement of activities (sequencing)– Resources (objects, services) used per activity/role

• Permite la distribución automatizada (workflow) de actividades en la Web

• Permite “recordar” las actividades realizadas.

Example: open design requires standards

1. DEFINING OER1. DEFINING OER

Donde está el diseño (instruccional)?

• Por supuesto, empotrado (tácito) en el propio diseño de las actividades.

• Pero no se comparte apenas información sobre el por qué del diseño, por ejemplo.:– Qué teorías instruccionales se utilizaron, – Por qué el diseño de actividades encaja con una

aproximación de diseño instruccional concreta

• Es esto interesante para los profesores?

Where is the design?

• Por qué el “proyecto” es importante?1. “Es tradicional o común en cursos de bases de datos”.2. “El aprendizaje basado en proyectos es bueno para materias

prácticas – todo el mundo lo dice”3. Un método general: “Seguimos el método de Jonassen (1997)”4. Un método específico : “Seguimos las directrices de Grisham, Krasner

and Perry (2006)” Grisham, P. S., Krasner, H., and Perry, D. E. 2006. Data Engineering education with

real-world projects. SIGCSE Bull. 38, 2 (Jun. 2006), 64-68.

Open LMSs and open repositories (e.g. .LRN and Paloma respectively)

What is being shared?

learning needs

instructional design

activity structure

resourcesresources

use in learning situations

IMS LD Unit of Learning

activity structure +reference to LO

and servicesmetadata

Is it possible to represent ID methods?

• Modelos instruccionales (Reigeluth) – “practice-oriented theories offering explicit

guidance on how to help people learn that offer situation-specific methods, that in turn are described in terms of components, and that are know to be effective for learning under some conditions (to some extent)”.

• Es posible representar (parte de ellos) en la forma de: una taxonomía + reglas de restricción

Ontologías y reglas

• “TheoryOne”– “give abundant examples of the concepts treated”– Asumimos una ontología de IMS LD en OWL.– “Example” es uno de los tipos en IEEE LOM metadata

lr:LearningObject(?lo) lr:hasPart(?lo, ?lo2) lr:hasPart(?lo, ?lo3) lr:ExerciseLO(?lo2) lr:ExerciseLO(?lo3) hasAbundantExamples(?lo, true)

lr:LearningObject(?lo1) lr:hasPart(?lo1, ?lo2) lr:hasPart(?lo2, ?lo3) lr:hasPart(?lo1, ?lo3)

Usage

… y búsqueda: “dame LDs que sean compatibles con la teoría instruccional X”.

Método Comprobación Generación

“give abundant examples”

Comprobar que hay un número “apropiado” de recursos del tipo exercise incluidos como parte del Environment de las actividades.

Contrastar que los conceptos en los objective de cada actividad se ejercitan.

Para cada uno de los conceptos identificados en los objectives, generar en el IMS LD una activity para el concepto, que contenga una subactividad que en su Environment tenga un KnowledgeObject de tipo ejercicio.

Elaboration theory• “Teach broader, more inclusive concepts before

narrower, more detailed concepts that elaborate upon them”

ld:Learning-Activity(?a1) ld:Learning-Activity(?a2) ld:Activity-Structure(?as1) ld:execution-order(?a1, ?o1) ld:execution-order(?a2, ?o2) ld:execution-entity-ref(?as1, ?a1) ld:execution-entity-ref(?as1, ?a2) swrlb:lessThan(?o1, ?o2) ? COMP_showsBefore(?a1, ?a2)

COMP_showsBefore(?a1, ?a2) ConceptLearningActivity(?a1) ConceptLearningActivity(?a2) ld:Activity-Structure(?as) ld:execution-entity-ref(?as, ?a1) ld:execution-entity-ref(?as, ?a2) concept-learning-objective(?a1, ?c1) concept-learning-objective(?a2, ?c2) KnowledgeItem(?c1) KnowledgeItem(?c2) concept-includes(?c2, ?c1) ? COMP_Reigeluth_ElaborationTheory(?as, false)

Otros modelos…• Pensemos en una ontología para aprendizaje basado en

proyectos. Algunas posibles restricciones:– Hay un Learning Object de tipo “project” y su duración abarca

una parte significativa del curso.– El proyecto se lleva a cabo por grupos de estudiantes.– El proyecto es una parte importante de la calificación. – Se proporcionan servicios Web para la colaboración.– …etc.

• … cada uno de estos puede ser controvertido, pero siempre se pueden representar diferentes nociones de ABP con las diferencias. (“una colección de descripciones ontológicas, no una ontología”)

¿Qué pasaría si todo se almacenase?

• Ejemplo de posibles consultas– Buscar cursos de bases de datos que siguen la aproximación

basada en proyectos. – Los resultados cambiaron (significativamente) con la variación

de ID A a ID B? – Como se comparan los curos ABL y no-ABEL en el mundo?– Encontrar los métodos de DI que se utilizan en los cursos con

mejores resultados

semester 1’ 05semester 2’ 05 semester 1’ 06 semester 2’ 08…

ID A ID A ID B ID B…

learning outcomes

learning outcomes

learning outcomes

…learning outcomes

• ¡Gracias!