7/23/2019 2-evaluacion (2).ppt
1/29
7/23/2019 2-evaluacion (2).ppt
2/29
Almacenamiento y recuperacin deinformacin en la Web
Evaluacin de larecuperacin
Objetivo: evaluar la funcionalidad y ecienciade un sistema de IR
Medidas usuales de evaluacin:Tiempo de respuesta
Espacio utilizado
Evaluacin de la eciencia de recuperacin basadaen
Colecciones pruebaTIP!TER"TRE#$ #%#M$ #I!I$&'
Diferentes medidas de evaluacin Recall yPrecision
M%P$ etc(
7/23/2019 2-evaluacion (2).ppt
3/29
Almacenamiento y recuperacin deinformacin en la Web
Medidas de evaluacinrecallyprecision
El usuario desea realizar una solicitud deinformacin sobre una coleccin de docs
!ean R: docs relevantes
%: docs respuesta
aR
Precision=A
( )aR Card A R=
aRRecall=
R
|R|
|A|
Coleccin
7/23/2019 2-evaluacion (2).ppt
4/29
Almacenamiento y recuperacin deinformacin en la Web
Evolucin recuperacin ) precisinEjemplo
orden orden orden
1 d123 6 d9 11 d38
2 d84 7 d11 12 d48
3 d56 8 d129 13 d2!
4 d6 9 d187 14 d113
d8 1! d2 15 d3
{ }
{ }
{ }
{ }
3 56 129
123
123 84
123 84 56
, , documentos relevantes
---
1
0 0Recall 0 Precision 0
3 1
---
, 2
0 0
Recall 0 Precision 03 2
---
, , 3
1 1Recall 0,33% Precision 0,33%
3 3
qR d d d
A d A
A d d A
A d d d A
=
= =
= = = =
= =
= = = =
= =
= = = =
"uponemo# la# #i$uiente tabla de doc# recuperado#
7/23/2019 2-evaluacion (2).ppt
5/29
Almacenamiento y recuperacin deinformacin en la Web
Evolucin recuperacin ) precisinEjemplo
Doc |A| |R a| |R| Recall Precision
1 1 ! 3 ! !
2 2 ! 3 ! !
3 3 1 3 33%3 33%3
4 4 1 3 33%3 2
1 3 33%3 2!
6 6 1 3 33%3 16%6
7 7 1 3 33%3 14%2
8 8 2 3 66%6 2
9 9 2 3 66%6 22%2
1! 1! 2 3 66%6 2!
11 11 2 3 66%6 18%1
12 12 2 3 66%6 16%6
13 13 2 3 66%6 1%3
14 14 2 3 66%6 14%2
1 1 3 3 1!! 2!
7/23/2019 2-evaluacion (2).ppt
6/29
Almacenamiento y recuperacin deinformacin en la Web
Evolucin recuperacin * precisin
Para la representacin de las curvas recall-precision+eneralmente se emplean ,, nivelesde recuperacin
0
20
40
60
80
100
120
0 20 40 60 80 100 120
Recall
Precision
7/23/2019 2-evaluacion (2).ppt
7/29
Almacenamiento y recuperacin deinformacin en la Web
#onsideraciones +enerales sobre lasmedidas r y P
En colecciones +randes no es posibledisponer de un conocimiento detallado delos docs(
#onsiderar la combinacin de ambasmedidas r y P'(
-as medidas de r y P son para queriesprocesadas en modo batch( Para sistemasde IR interactivos son m.s convenientesmedidas /ue cuanti/uen la bondad delproceso(
7/23/2019 2-evaluacion (2).ppt
8/29
Almacenamiento y recuperacin deinformacin en la Web
Medida de Precisinpromedio
0esde el punto de vista delas medidas de evaluacin$los al+oritmos derecuperacin search
engines' eval1an diferentesqueriespara evaluar suecacia(
2na forma 3abitual deevaluar un al+oritmoconsiste en promediar lasdistintas precisionesobtenidas para cada queryen cada nivel derecuperacin(
( )
( )i
q
P r Precision media al nivel r de recuperacion
P r Precision al nivel r para la i-esima q
N N de qs utilizadas
1
1( ) ( )
qN
i
iq
P r P rN =
=
7/23/2019 2-evaluacion (2).ppt
9/29
Almacenamiento y recuperacin deinformacin en la Web
Interpolacin de la PrecisinPromedio
Para representar la evolucin de laprecisin promedio se efect1a una
interpolacin de las precisiones encada nivel de recuperacin
{ }
1
( ) ma ( )
0,1, 2, ,10
j jr r r
j
P r P r
r
+ =
4
7/23/2019 2-evaluacion (2).ppt
10/29
Almacenamiento y recuperacin deinformacin en la Web
Interpolacin de la PrecisinPromedio
Ejemplo R/56d7$d89$d,;$d56$d9$d=$d;$d8,,$d129$d,=?$d8$d7=$d>=$d8@$d,,7$d3$ @(7 %vPB8 5 ,C(99C(8C(>C(7'"8 5 @(8?
7/23/2019 2-evaluacion (2).ppt
12/29
Almacenamiento y recuperacin deinformacin en la Web
Medida de R*Precision
-a idea es +enerar un valor resumen delranDin+ mediante la precisin en laposicin R*sima del ranDin+$ siendo R el nFtotal de docs relevantes para una query Para R/56d7$ d8$d;$d8$d7;$d>>$d89$d?,$ d=;$d,7 > docs relevantes en los ,@primeros'
Para R/56d7$d89$d,; artGculos de Communications of the AC" #$%&'-
$%(%) Campos
Autores* fecha edicin* palabras clave #reducidas a su ra+,gramatical) de t+tulo y abstract* referencias entreart+culos* bibliograf+a* etc
Incluye un conjunto de 8 solicitudes de informacin(Ej: ./u0 art+culos hay que traten de 1SS #1ime
Sharing System)* sistema operativo de ordenadores2"3 El nF medio de docs relevantes para cada I es pe/ueSo$ en
torno a ,8(
7/23/2019 2-evaluacion (2).ppt
28/29
Almacenamiento y recuperacin deinformacin en la Web
#olecciones$ III
I!I o #I!I' ,>9@ docs esco+idos del I!I Institute of !cientic
Information' -os docs esco+idos se seleccionaron como los m.s citados en
un estudio sobre citacin realizado por !mall Propsito +eneral: facilitar la investi+acin sobre similaridades
basadas en trminos y patrones de referencias cruzadas #ampos
Autores* palabras clave #reducidas a su ra+, gramatical) de t+tulo yabstract y n4 de .cocitaciones3 para cada par de art+culos
Incluye un conjunto de 78 solicitudes de informacin en - y/s booleanas y >, slo en -( El nF medio de docs relevantes para cada I es +rande$ en torno a
8@(
7/23/2019 2-evaluacion (2).ppt
29/29
Almacenamiento y recuperacin deinformacin en la Web
#alidad de los resultados
!e pueden aplicar los criterios de medida de laIR cl.sica a la 5ebU
En IR cl.sica las medidas usadas son: Precisin: A de p.+inas recuperadas /ue son
relevantes Recuperacin: A de p.+inas relevantes /ue son
recuperadas
En 5ebIR:
El trmino relevantese li+a al de calidad 2na p.+ina es valorablesi es una p.+ina de calidadpara el objeto de la b1s/ueda
Precisin: n1mero de p.+inas valorables recuperadas