ELICITACIÓN DE UNA DISTRIBUCIÓN SUBJETIVA DELVECTOR DE PARÁMETROS Π DE LA DISTRIBUCIÓN

MULTINOMIAL

Andrés Felipe Flórez Rivera

Universidad Nacional de ColombiaFacultad de Ciencias, Escuela de estadística

Medellín, Colombia2014

ii

Andrés Felipe Flórez Rivera

Tesis presentada como requisito parcial para optar al título de:Magister en Estadística

Director:Juan Carlos Correa Morales, Ph.D.

Línea de Investigación:Estadística Bayesiana Computacional

Universidad Nacional de ColombiaFacultad de Ciencias, Escuela de estadística

Medellín, Colombia2014

DedicatoriaLa constancia es la permanencia en una meta que se traza con el objetivo de culminarlacon éxito. Es la virtud con la cual conquistamos las metas que nos proponemos y nos brindalas posibilidades de éxito. En este camino es natural que aparezcan tropiezos, pero la cons-tancia es esa fuerza que supera el cansancio y el desánimo para continuar la lucha. Asimismo,esta virtud provee la determinación y la seguridad para identificar claramente el objetivo aconseguir y conservar la firmeza (Fabrizio Andrade LC).

AgradecimientosCon el pensamiento de que un logro siempre es colectivo, quiero agradecer a Dios por haber-me permitido culminar con este trabajo de investigación. A mi padres, mis hermanos y minovia por inyectar continuamente dosis de apoyo moral y entusiasmo que me permitieron nodesfallecer. A mi tío Víctor Julio por ser la primera persona que me orientó hacia la intere-sante y hermosa ciencia de la estadística. Agradezco al Dr. Manuel García Flórez por aceptarparticipar en mi trabajo de investigación y sobre todo por su dedicación y compromiso conel mismo. Al ingeniero Francisco Pérez Cuadrado ya que sus valiosas asesorías fueron clavespara la implementación de la metodología propuesta en software R. Agradezco enormementea mi director Juan Carlos Correa Morales, ya que fue la persona quien me apoyó y orientóen mi labor científica con un interés y una entrega que sin duda sobrepasaron todas misexpectativas.

iv

ResumenSe pretende desarrollar un método de elicitación que permita estimar la distribución del vec-tor de parámetros π de la distribución Multinomial bajo un método indirecto de elicitacióny, adicionalmente implementarlo en el software R, de manera que el analista pueda llevarregistro de todas estimaciones hechas por el experto y brindarle retroalimentación continuadurante todo el proceso. Inicialmente se revisan los enfoques y desarrollos actuales para lacuantificación de la incertidumbre o creencias de un “experto” sobre un parámetro Binomialy sobre el vector de parámetros Multinomial por medio de un proceso de elicitación. Pos-teriormente se revisan los software más comunes que se han propuesto hasta ahora para laelicitación de juicios de expertos; una vez revisados, se identifican las ventajas, desventajasy posibles limitaciones que tanto los métodos de elicitación como los software puedan tener,de tal forma que sirvan como base teórica para el método propuesto y la implementación enR. Finalmente el método y la implementación en R son usados en una aplicación real en elcampo de la urología.

Palabras clave: Distribución Binomial; Distribución Dirichlet; Distribución Beta; Pro-babilidad Subjetiva; Distribución A priori; Estadística Bayesiana.

AbstractWe pretend to develop a method of elicitation to estimate the distribution parameter vectorπ of the Multinomial distribution under an indirect method of elicitation and additionallyimplement it in R software, such that the analyst can keep a record of all estimates made bythe expert and provide continuous feedback throughout the process. Initially approaches anddevelopments for the quantification of uncertainty or beliefs of a “expert” on a parameterBinomial and Multinomial vector parameters through an elicitation process are reviewed.Subsequently are reviewed the most common software have been proposed so far for theelicitation of expert opinions; Once reviewed, are identified the advantages, disadvantagesand possible limitations that both elicitation methods such as software may have, so thatserve as theoretical basis for the proposed method and implementation in R. Finally themethod and implementation in R are used in a real application in the field of urology.

Keywords: Binomial Distribution; Dirichlet Distribution; Beta Distribution; Subjec-tive Probability; A priori Distribution; Bayesian Statistics.

Contenido

Dedicatoria III

Agradecimientos III

Resumen IV

1. Introducción 2

2. Marco Teórico 82.1. Incertidumbre y Heurísticas . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.1.1. Incertidumbre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82.1.2. Heurísticas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.2. Antecedentes y Preparación . . . . . . . . . . . . . . . . . . . . . . . . . . . 112.2.1. Diseño y validación de preguntas . . . . . . . . . . . . . . . . . . . . 11

2.3. Identificación y Contratación de Expertos . . . . . . . . . . . . . . . . . . . 152.4. Motivar a los expertos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162.5. Estructuración y Descomposición . . . . . . . . . . . . . . . . . . . . . . . . 182.6. Entrenamiento en Probabilidad . . . . . . . . . . . . . . . . . . . . . . . . . 182.7. Aplicación del Método de Elicitación . . . . . . . . . . . . . . . . . . . . . . 19

2.7.1. Métodos de Elicitación Indirectos . . . . . . . . . . . . . . . . . . . . 202.7.2. Métodos de Elicitación Directos . . . . . . . . . . . . . . . . . . . . . 22

2.8. Retroalimentación y Entrenamiento . . . . . . . . . . . . . . . . . . . . . . . 222.9. Elicitación a Grupos de expertos . . . . . . . . . . . . . . . . . . . . . . . . 25

2.9.1. Métodos Matemáticos . . . . . . . . . . . . . . . . . . . . . . . . . . 252.9.2. Métodos de Comportamiento . . . . . . . . . . . . . . . . . . . . . . 26

3. Elicitación de la distribución Binomial 283.1. Distribución Binomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283.2. Elicitación de los parámetros de la distribución Beta . . . . . . . . . . . . . 29

3.2.1. Primer método de Weiler . . . . . . . . . . . . . . . . . . . . . . . . . 303.2.2. Segundo método de Weiler . . . . . . . . . . . . . . . . . . . . . . . . 303.2.3. El método de Fox . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303.2.4. El método de Gross . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313.2.5. Método de Waterman . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

Contenido 1

3.2.6. Método de Elicitación PM (Posterior Mode) . . . . . . . . . . . . . . 323.2.7. El primer método de Duran y Booker . . . . . . . . . . . . . . . . . . 333.2.8. El segundo método de Duran y Booker . . . . . . . . . . . . . . . . . 333.2.9. El método de Gavasakar . . . . . . . . . . . . . . . . . . . . . . . . . 343.2.10. Método de Gilless y Fried . . . . . . . . . . . . . . . . . . . . . . . . 343.2.11. Primer método de León, Vázquez y León . . . . . . . . . . . . . . . . 353.2.12. Segundo método de León, Vázquez y León (2003) . . . . . . . . . . . 363.2.13. Método de aproximación a la distribución Normal . . . . . . . . . . . 363.2.14. Métodos Adicionales . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

4. Elicitación de la distribución Multinomial 394.1. Distribución Multinomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394.2. Elicitación de los parámetros Dirichlet . . . . . . . . . . . . . . . . . . . . . 40

4.2.1. Método de Dickey, Jiang y Kadane . . . . . . . . . . . . . . . . . . . 424.2.2. Método de Elfadaly y Garthwaite . . . . . . . . . . . . . . . . . . . . 434.2.3. Método de Zapata, O’Hagan y Soares . . . . . . . . . . . . . . . . . . 49

5. Método Propuesto 525.1. Método . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 525.2. Justificación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

6. Software para elicitación 596.1. Software desarrollado actualmente . . . . . . . . . . . . . . . . . . . . . . . . 60

6.1.1. ArcGis Personalizado . . . . . . . . . . . . . . . . . . . . . . . . . . . 606.1.2. Sheffield Elicitation Framework (SHELF) . . . . . . . . . . . . . . . . 616.1.3. Eli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626.1.4. Elicitator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636.1.5. Librería “Expert” de R . . . . . . . . . . . . . . . . . . . . . . . . . . 646.1.6. Elicitor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 656.1.7. Probes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 666.1.8. Excalibur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

6.2. Implementación en R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

7. Aplicación 757.1. Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 757.2. Metodología . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 767.3. Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

8. Conclusiones 81

Bibliografía 83

1 Introducción

Una de las principales limitaciones de la estadística frecuentista es que no permite incorporarde manera coherente en el análisis estadístico la información extra-muestral disponible, yaque se apoya únicamente en datos muestrales observados. Si no hay datos, la estadística fre-cuentista está imposibilitada para operar. Si hay muy pocos datos, la estadística frecuentistapresenta fuertes problemas también, pues muchos de sus métodos se apoyan en resultadosasintóticos, esto es, en la ley de los grandes números, el teorema del límite central, etc.(O’Hagan 1998; Ruiz 2004). Por ello el paradigma bayesiano es un medio natural de imple-mentar el método científico donde se aprovecha tanto la información que nos proporcionanlos datos muestrales así como la información extra-muestral disponible, sin embargo, pocasveces se encuentra información a priori genuina en los artículos publicados, adicional a esto,un estadístico bayesiano que desee tomar esta tarea seriamente encuentra poca orientaciónen el trabajo publicado que sea directamente relevante para la tarea que enfrenta, ya queuna buena parte de la literatura se ocupa de elicitar probabilidades individuales y muy po-ca de ésta se concentra en enseñar al estadístico a aplicar los aprendizajes adquiridos enla elicitación de distribuciones a priori o problemas de elicitación más complejos, donde elestadístico cuenta con la posibilidad de hacer inferencias estadísticas y, en particular hacerposible el cálculo de distribuciones posteriores (Garthwaite et al., 2005; O’Hagan, 1998).

Una estimación de probabilidad refleja el estado de la información que un individuo tieneacerca de una cantidad o evento determinado. Por lo tanto es posible hacer estimacionesde probabilidad, ya sea cuando el evento es único o cuando trata de un evento de carác-ter repetitivo que pueda presentarse varias veces. El hecho de que el evento vaya a ocurrirsólo una vez no impide que un individuo pueda formar un juicio acerca de la probabilidadde que éste suceda respecto a otros posibles resultados; es decir, no impide que él puedaasignar probabilidades a cada uno de los posibles resultados. Ahora, si varios individuostienen información diferente, éstos pueden llegar a diferentes asignaciones de probabilidadpara la misma cantidad incierta, incluso, si dichos individuos tienen la misma informacióncualquiera de ellos puede tener mayor confianza y asignar probabilidades más “optimistas”;es decir, estos individuos a pesar de tener la misma información pueden diferir en su gradode incertidumbre. Lo anterior sugiere que la probabilidad puede ser vista de forma subje-tiva, personal para cada individuo que considera la posibilidad de una cantidad o eventodeterminado. La teoría sobre probabilidad subjetiva es ciertamente una de las teorías másinfluyentes que han surgido en muchas décadas. Se desarrolló por primera vez por los teó-

3

ricos de la probabilidad y filósofos (Koopman y Ramsey, principalmente); luego por unosestadísticos poco convencionales (De Finetti y Savage), desde entonces ha existido abun-dante literatura sobre el proceso de convertir las ideas en la mente de un individuo en unnúmero (real) entre 0 y 1, este útil proceso se ha sido descrito en dicha literatura como elici-tación (Kyburg, 1978; Horowitz, 1968; Spetzler y Stael Von Holstein, 1975; Jenkinson, 2005).

En términos de análisis estadístico, elicitación es el proceso de formulación de los conoci-mientos de un experto sobre una afirmación o un tema en particular como una distribuciónde probabilidad, cuando los datos científicos no se encuentran, están dispersos o son pocoinformativos (Garthwaite et al., 2005; Tyshenko et al., 2011). Una distribución de probabili-dad elicitada es comúnmente usada como distribución a priori en el análisis bayesiano dondeésta representa las creencias iniciales acerca de los parámetros de un modelo; una vez lascreencias iniciales son mezcladas con los datos muestrales a través de teorema de Bayes seobtiene la distribución posterior, la cual representa las creencias actualizadas después de verlos datos. Es común en los procesos de elicitación la participación de una facilitador, quienayuda al experto en la formulación de los conocimientos en forma probabilística. El “experto”es la persona a la que se le está realizando el análisis, este puede ser el científico que obtuvolos datos y que desea extraer conclusiones de ellos, o puede ser un tomador de decisionesque desea hacer inferencias sobre la base de los datos disponibles y su conocimiento previo(Garthwaite et al., 2005).

La elicitación de juicios de expertos y el consenso de grupos de expertos ha sido un tema deestudio en meteorología. Desde 1965, los meteorólogos de Estados Unidos han hecho sus pro-nósticos diarios en términos de probabilidades subjetivas, sin embargo, cada vez más se havenido utilizado en un contexto de gestión de riesgos para proporcionar estimaciones cuan-titativas de los parámetros de riesgo que no pueden ser completamente determinados pormedición directa, mediante la recopilación de nuevos datos, o por otras técnicas de muestreo,proporcionando una base racional, verificable y repetible para la obtención de informaciónútil sobre temas de riesgo de enfermedades, para las cuales los datos son escasos (Budnitzet al., 1995). En contextos médicos se ha restringido en gran medida a las creencias a priorisobre los efectos de un tratamiento donde, las opiniones a priori se aplican al parámetro deinteracción (White et al., 2005). En ciencias políticas Gill y Walker (2005) muestran unaútil aplicación de la elicitación de distribuciones a priori para analizar la confianza de losciudadanos nicaragüenses en el sistema judicial. Fox (1966), Gross (1971) y van Noortwijket al., (1992) ponen la elicitación de expertos en el contexto de la confiabilidad en busca dela proporción de unidades que no fallan durante un tiempo determinado, las constantes deun modelo de suavizamiento y el tiempo óptimo en el que se le debe realizar mantenimien-to a un sistema respectivamente. En ecología encontramos a Gilless y Fried (2000) quienesusan la elicitación para determinar los tiempos requeridos para producir una linea de fue-go cuando se producen incendios forestales y Kynn (2006) quien desarrolla un modelo que

4 1 Introducción

permite elicitar distribuciones normales a priori para un modelo de regresión logística conel fin de estimar la presencia de especies en un ecosistema. En muestreo Hughes y Madden(2002) usan una técnica de elicitación para encontrar la distribución de p, la cual es usadaposteriormente en la fórmula para el cálculo del tamaño muestral. En control estadístico decalidad Weiler (1965) analiza la distribución de la proporción p de unidades defectuosas quepueden haber en un lote de artículos seleccionado aleatoriamente cuando se aplica una técni-ca de muestreo de aceptación. Stevens y O’Hagan (2002) discuten las ventajas de incorporarinformación a priori en ensayos clínicos, y la exploración de mecanismos para salvaguardar elrigor científico cuando se usa la información previa. Por otro lado O’Hagan (2005) afirma quela elicitación de parámetros de distribuciones multivariadas en general no es una tarea fácily que han habido muy pocos estudios sobre los métodos para la elicitación de distribucionesmultivariantes, así como para la forma de estructurar un problema elicitación multivariadoque permita obtener estimaciones más precisas. Una completa revisión sobre las distintasáreas de aplicación la podemos encontrar en Jenkinson (2005), quien durante su revisión dela literatura sobre la elicitación muestra un gran número de estudios en los que los investiga-dores han tratado de elicitar información subjetiva y representarla de una manera rigurosa,como parte de una investigación formal, él resume una selección de estudios en Medicina,ensayos clínicos, análisis de supervivencia, Psicología, industria nuclear, Veterinaria, Agricul-tura, Meteorología, Economía, Ecología, Ingeniería, Deportes, Arqueología y teoría de juegos.

El objetivo de la elicitación entonces es producir una a priori útil que capture la opinióndel experto y la integración de sus experiencias, dado que si un “experto” puede ordenar unconjunto completo de acontecimientos en una forma coherente, entonces la opinión de ese“experto” puede ser representada por una función de probabilidad aditiva (deFinetti, 1964),derivando así en uno de los temas de investigación de la estadística bayesiana, el cual es eldesarrollo de metodologías adecuadas para la asignación de probabilidades subjetivas (Ka-dene et al, 1999), donde una cuestión a resolver es cómo elicitar una distribución a priori.Dado que para un enfoque bayesiano operacional, son esenciales métodos fiables de elicita-ción, ya que la incorporación de información previa permite a los métodos bayesianos teneracceso a más información y por ende potencializar la unión de estudios del área cualitativacon los métodos estadísticos cuantitativos (Lindley, 2000; Bennett, 2002). La elicitación esun proceso complejo que exige al facilitador una serie de habilidades de entrevista y unacomprensión razonable del campo en el que se realice la elicitación (Garthwaite et al., 2005).Realizar un proceso de elicitación formal es una actividad de tiempo y recursos intensi-vos. Todo el proceso de establecer el estudio, la selección de los expertos, la preparación delas preguntas, el entrenamiento de los expertos, las entrevistas, el análisis, la escritura delas justificaciones, documentación, etc., se puede extender fácilmente durante meses o años(Vander Sluijs et al., 2004), adicional a lo anterior, puede llegar a ser muy exigente con elexperto, demandando mucho tiempo de éste, y sin embargo, a menudo es denigrado como“sólo” opiniones subjetivas (Kadane et al., 1980; Bedrick y Christensen, 1996). A pesar de lo

5

anterior, se han propuesto muchos métodos para la construcción de distribuciones a prioriinformativas y para una variedad de modelos (Kynn, 2006). Tres componentes se puedenusar para “validar” un proceso elicitación: fiabilidad (Wallsten y Budescu, 1983), coherencia(Lindley et al., 1979) y calibración (Cook, 1991).

Dado que el fin de la elicitación es representar la opinión del experto que está siendo elicita-do, y sólo eso, cualquier intento de validación deberá utilizar como datos únicamente otrasdeclaraciones de fe por ese experto (Kadane y Wolfson, 1998), pues el conocimiento se en-cuentra en la cabeza del experto, y no puede ser medido fácilmente (O’Hagan, 2005). Ahora,más allá de estas componentes, el principal criterio para validar un proceso de elicitación esel sentido práctico. Estos métodos se diferencian de otros, al no tratar de especificar que lasestimaciones hechas por el experto son “correctas”. Todas las estimaciones auto-consistenteso coherentes son admisibles siempre y cuando el experto sienta que correspondan con susjuicios (Winkler, 1967), entonces toda vez que el método cumpla los criterios matemáticosbásicos de coherencia e involucre algunas pruebas de fiabilidad, es un buen método, obvia-mente sin perder de vista que lo deseable en un proceso de elicitación es que sea lo másfácil posible para los expertos expresar sus creencias en términos probabilísticos, reduciendoal mismo tiempo el conocimiento que éste deba tener acerca de la teoría de probabilidad(Kadane y Wolfson, 1998).

La elicitación de expertos también puede ser vista como la ingeniería del conocimiento, utili-zada ampliamente en contextos donde la distribución elicitada no se combina con la evidenciade los datos, ya que la opinión de los expertos es esencialmente todo el conocimiento dis-ponible. Lamentablemente la literatura sobre elicitación de expertos es sorprendentementepequeña en comparación con la extensa y amplia literatura sobre estadística bayesiana engeneral (O’Hagan, 1998 y 2005). Algunos años atrás los desarrollos en elicitación de expertosse concentraban, unos para una clase de problemas en general y otros en problemas espe-cíficos que son útiles una sola vez (Kadane y Wolfson, 1998), centrando los esfuerzos enla construcción de métodos para los modelos más populares y en la comparación de éstos(Umesh, 1988). En la actualidad los estadísticos, y en especial los estadísticos bayesianos, es-tán construyendo modelos cada vez más complejos para aplicaciones reales (O’Hagan, 2005).

Algunos de los primeros trabajos sobre elicitación se pueden encontrar en Winkler (1967),Savage (1971) y Hogarth (1975) donde ofrecen una visión general que incorpora gran partede literatura de las ciencias psicológicas y del comportamiento en discusión. Por ejemplo,Winkler (1967) establece que diferentes técnicas pueden producir diferentes distribucionesporque el método de preguntar puede tener algún efecto sobre la forma en que es visto elproblema. Hogarth (1975) se orienta en “¿Cómo los expertos evalúan incertidumbre?” enlugar de “¿Qué tan bien los expertos evalúan la incertidumbre?” resaltando una distinciónútil entre dos dimensiones de la experticia; en primer lugar, la experticia “sustantiva” que se

6 1 Introducción

refiere al conocimiento que el “experto” tiene sobre la materia en estudio, en segundo lugar,la experticia “normativa” que es la capacidad del “experto” para expresar sus opiniones enforma probabilística, es decir, la experticia en una temática no es lo mismo que la experticiaen estadística y probabilidad.

Wallsten y Budescu (1983) dividen la literatura en dos partes (1); Estimación de la proba-bilidad subjetiva donde los expertos no tienen conocimientos de probabilidad o del tema y(2) Estimación de la probabilidad subjetiva donde los expertos sí tienen conocimientos deprobabilidad o del tema. Ellos señalan que los expertos estiman “bien” las probabilidadesen áreas con las que están familiarizados y pueden ser bien calibrados; sin embargo, si laelicitación se mueve fuera del área de especialización, los expertos caen en los mismos erro-res cometidos por sujetos que no son expertos. Gosling (2008) concluye que la elicitaciónno es una ciencia exacta y, se debe avanzar, haciendo un mayor esfuerzo en el desarrollode modelos de elicitación que se acomoden a la mayoría de fuentes de incertidumbre queestán claramente presentes en un proceso de elicitación de distribuciones a priori. Por sulado Chaloner y Duncan (1983) resaltan que la especificación de ciertas características de ladistribución predictiva determina la distribución a priori y, que este hecho permite llevar acabo la elicitación de una distribución a priori a través de la elicitación de una distribuciónpredictiva, que presumiblemente es una tarea cognitivamente más fácil ya que sólo involucracantidades potencialmente observables.

El deseo de lograr una elicitación de manera transparente, reproducible y robusta sugiere eluso prudente de la tecnología (Kynn, 2006; Low et al., 2009), sin embargo las computadorasjunto con análisis de alta velocidad y el software desempeñan un papel cada vez más impor-tante en las aplicaciones estadísticas, ésto representa una oportunidad para nuevos y viablesmétodos de estimación de distribuciones a priori (Fishburn, 1991; Chaloner y Duncan, 1983).La creciente sofisticación de los métodos computacionales ha conducido a un aumento dra-mático en el alcance y complejidad de las aplicaciones bayesianas. Los estadísticos bayesianosestán empezando a mostrar más interés en la elicitación al ser liberados de la restricción decálculo, desarrollando representaciones más realistas de las creencias a priori, ya que el nuevopoder computacional permite que casi cualquier distribución a priori sea combinada con laverosimilitud, por lo cual, muchas de las nuevas aplicaciones incorporan información a prioriadecuada, en lugar de depender de a prioris no informativas. A pesar de los grandes avances,pocos paquetes de software se han desarrollado con el propósito de apoyar los métodos deelicitación y de los que se han desarrollado, pocos han sido diseñados para aplicaciones ge-nerales, no pueden ser fácilmente integrados con software para análisis de datos o no existedocumentación suficiente sobre ellos que permitan mayor conexión con los investigadores.Actualmente existe la necesidad de un trabajo mucho más empírico que proporcione unaamplia base de experiencia de la cual se puedan sacar principios orientadores, que sean apli-cables a procesos de elicitación más complejos, por tanto, es esencial la construcción de un

7

software de propósito general, que anime más a los estadísticos bayesianos a realizar elici-tación seria que permita la realización del trabajo empírico (Low et al., 2009; O’Hagan, 1998).

Con el fin de desarrollar un proceso de elicitación que permita extraer el conocimiento deun experto e incorporarlo como una distribución a priori, en el capítulo 2 se presenta elmarco teórico el cual aborda los principales factores que se deben tener en cuenta cuandose planea un proceso de elicitación. Como base para implementar un método de elicitacióndel vector de parámetros π de la distribución Multinomial, en el capítulo 3 y 4 se presentauna revisión de los métodos de elicitación existentes para los parámetros de la distribuciónBinomial y Multinomial respectivamente, donde se analizan las ventajas, desventajas y po-sibles limitaciones que estos métodos puedan tener, de tal forma que sirvan de base teóricapara implementar un método que permita elicitar el vector de parámetros de la distribuciónMultinomial. Posteriormente en el capítulo 5 se expone el método de elicitación propuestopara elicitar la distribución del vector de parámetros π de la distribución Multinomial y lajustificación de éste método. En el capítulo 6 se examinan los paquetes, software y funcionesde computador hasta ahora desarrollados y adicionalmente se presenta la implementación delmétodo de elicitación propuesto en el software R. En el capítulo 7 se presenta una aplicaciónreal del método elicitación en la estimación de la distribución de los niveles del Score deGleason en pacientes diagnosticados con cáncer de próstata, finalmente en el capítulo 8 sepresentan las conclusiones y aprendizajes.

Como los principales logros del trabajo de investigación resaltamos los siguientes:

1. Una revisión completa de los métodos más actuales para elicitar los parámetros tantola distribución Binomial como la Multinomial.

2. Una propuesta para elicitar el vector de parámetros π de la distribución multinomial.

3. La implementación de un aplicativo para el método propuesto en el software estadísticoR, que adicionalmente permite al facilitador almacenar múltiples procesos de elicitaciónaplicado a múltiples expertos y múltiples variables.

4. Una aplicación real del método propuesto en el campo de la oncología.

2 Marco Teórico

En la práctica, a menudo la incertidumbre o el desconocimiento sobre el tema de interéshace que la toma de decisiones sea en la mayoría de los casos muy compleja, por lo cuales común que las decisiones se apoyen en expertos que proporcionan información en formade estimaciones de probabilidad con respecto a dichas incertidumbres. Las distribuciones deprobabilidad son una de las representaciones más usadas de la incertidumbre que se tieneacerca de un tema de interés. Dichas distribuciones no son más que expresiones formales delo que piensa o sabe un experto, por lo tanto, no es adecuado juzgarles como buenas o malas.La transformación mental de conocimiento subjetivo en una distribución de probabilidad esuna tarea difícil (van Lenthe, 1993) y se deben tener en cuenta algunas técnicas para lacaptura de la información teniendo siempre en mente que es un proceso extremadamentedelicado y frágil que nos puede llevar a equivocaciones (Correa, 2011). La literatura sobreelicitación de expertos sugiere diversos pasos como críticos para llevar a cabo un buen procesode elicitación, donde la mayoría de los autores llegan a un consenso sobre dichos pasos, perodifieren en el orden en que estos se deben aplicar (Jenkinson, 2005). El proceso de elicitacióndebe enfrentar un protocolo cuidadoso y profesional que le permita al analista documentarel proceso. En general, dicho protocolo no difiere mucho de los principios estándares derecolección de datos, donde se espera que el analista asegure la validez científica de susdatos. Condición necesaria si se desea que las conclusiones extraídas tengan algún tipo devalidez. Sin embargo, el protocolo para llevar a cabo un proceso de elicitación debe serdiferente al de recolección de datos, dado que los juicios de un experto no presentan el mismocomportamiento que el de unos datos recolectados por muestreo. En general, un protocolopara realizar un proceso de elicitación que satisfaga un escrutinio profesional debe incluirlos siguientes pasos: antecedentes y preparación, identificación y contratación de expertos,motivación a los expertos, estructuración y descomposición, entrenamiento en probabilidad,aplicación del método de elicitación y retroalimentación (Clemen y Reilly, 2004).

2.1. Incertidumbre y Heurísticas

2.1.1. Incertidumbre

En un sentido general, los juicios a priori de un experto sobre una cantidad incierta estáncondicionados a las fuentes de incertidumbre que el experto ha tenido en cuenta. De ellose desprende que una forma de mejorar el proceso de elicitación podría ser llevando a los

2.1 Incertidumbre y Heurísticas 9

expertos a considerar todas las posibles fuentes de incertidumbre explícitamente (O’Hagan,1998). La incertidumbre puede ser distinguida a veces como aleatoria o epistémica. La incer-tidumbre aleatoria surge a causa de la variación natural, impredecible en el desempeño de unsistema. No cabe esperar que los juicios entregados por un experto reduzca la incertidumbrealeatoria, aunque su conocimiento puede ser útil en la cuantificación de la incertidumbre. Portanto, este tipo de incertidumbre es frecuentemente denominada como irreductible. Por elcontrario, la incertidumbre epistémica es debido a la falta de conocimiento sobre el compor-tamiento del sistema que es conceptualmente resoluble. La incertidumbre epistémica puede,en principio, ser eliminada con el estudio exhaustivo del sistema y, por tanto, la opinión delexperto puede ser útil para su reducción (Hora, 1996).

¿Cuáles factores de incertidumbre deben ser etiquetados como epistémicos o aleatorios?depende en gran parte del objetivo del estudio. Esta es una consideración importante enelicitación de probabilidades porque una vez que se confunden, puede ser muy difícil desa-rrollar distribuciones de probabilidad que reflejen correctamente las diversas incertidumbres.No se puede hacer la distinción entre aleatorio y epistémico a través de las propiedades fí-sicas o a través de los juicios de los expertos. La misma cantidad en un estudio puede sertratada como incertidumbre aleatoria, mientras que en otro estudio la incertidumbre quizássea entendida como epistémica. Para asegurar que el proceso de elicitación obtenga la infor-mación deseada, las preguntas necesitan plantearse con cuidado, en particular, las preguntassobre cantidades que se integran o promedian en el tiempo o espacio, ya que estas permitendescomponer las cantidades de manera que los dos tipos de incertidumbre sean adecuada-mente representados (Hora, 1996). No existe una clara distinción entre estos dos tipos deincertidumbre. La distinción básicamente depende de la distribución que se desea elicitar yde los fines que se tienen para dicha distribución. Frecuentemente, las preguntas hechas a losexpertos no aclaran cómo deben ser tratadas estas incertidumbres. Por lo tanto, sin dudaalguna, el diseño de la preguntas que van a ser usadas en el proceso de elicitación debenestar orientadas a que los expertos puedan distinguir dichos tipos de incertidumbre. Paraasegurar que el experto responda de manera adecuada, debe existir entre los expertos y elanalista una comunicación efectiva. El logro de esa comunicación no es fácil. A menudo, laspartes aparentemente están de acuerdo manteniendo diferentes pero no articulados puntosde vista sobre los temas en cuestión. Un buen comienzo es dar una clara explicación del usoque tendrán las estimaciones hechas por los expertos (Hora 1996).

2.1.2. Heurísticas

Existen diversos experimentos que ilustran que los expertos no confían en dar estimacionesde probabilidad precisas en muchos contextos. Una explicación de las deficiencias humanasen la estimación de probabilidades es que los seres humanos utilizan una serie de heurísticaspara juzgar las probabilidades, lo que puede dar lugar a una serie de sesgos cognitivos (Kynn,2008). Los sesgos cognitivos se encuentran cuando se hacen juicios intuitivos de probabilidad.

10 2 Marco Teórico

Estos sesgos no son atribuibles a efectos de motivación, como una ilusión o la distorsión delos juicios por sobornos, multas o apuestas. Este tipo de sesgos no se limitan a personasdel común, pues investigadores experimentados también son propensos a los mismos sesgoscuando piensan intuitivamente. Estas heurísticas a menudo pueden llevar a los expertos aestimaciones mal calibradas y sesgadas (Tversky y Kahneman, 1974; Daneshkhah, 2004).Las heurísticas mencionadas inicialmente por Tversky y Kahneman son:

1. DisponibilidadPara un determinado suceso, la disponibilidad está relacionada con la facilidad con quelos expertos pueden recordar eventos o situaciones similares a dicho suceso. En otraspalabras, se identifica que la gente juzga la frecuencia de ocurrencia de un evento porla relativa facilidad de recordar las instancias de ese evento. Por ejemplo, uno puedeevaluar el riesgo de ataque al corazón en las personas de mediana edad, recordando estoshechos, entre las personas cercanas a nosotros. Del mismo modo, se puede evaluar laprobabilidad de que un proyecto empresarial fallará imaginando diversas dificultadesque se podrían encontrar. Esta heurística de juicio se denomina disponibilidad. Ladisponibilidad es una idea útil para evaluar frecuencia o probabilidad ya que eventosde mayor frecuencia son generalmente recordados mejor y más rápido que eventosmenos frecuentes. Sin embargo, la disponibilidad se ve afectada por factores ajenos ala frecuencia y la probabilidad. En consecuencia, la dependencia de la disponibilidadconduce a sesgos predecibles, algunos de los cuales se nombran a continuación (Tverskyy Kahneman, 1974; Daneshkhah, 2004):

Sesgos debido a la recuperabilidad de los casos.

Sesgos debido a la eficacia de un conjunto de búsqueda.

Sesgos de imaginabilidad.

Correlación ilusoria.

En resumen, se puede decir que los expertos sobre-estiman consistentemente la probabi-lidad de eventos similares a lo que ellos han experimentado o escuchado, y sub-estimanla probabilidad de eventos menos familiares para ellos.

2. RepresentatividadEn esta heurística el experto se basa en la similitud entre dos eventos para estimarla probabilidad de que uno conlleve al otro. La heurística de la representatividad estáafectando generalmente declaraciones de probabilidad condicional. Esta heurística seocupa de preguntas como, ¿Cuál es la probabilidad de que el evento A se origina en elproceso B? Para responder a esta pregunta los expertos tienden a evaluar de maneraintuitiva la probabilidad condicional Pr(A|B) mediante evaluaciones de similitud entreA y B. El problema de esta evaluación es que la similitud es simétrica, mientras quelas probabilidades condicionales no lo son, algunos de los factores que generalmente

2.2 Antecedentes y Preparación 11

tienen efecto sobre la representatividad son (Tversky y Kahneman, 1974; Daneshkhah,2004):

Insensibilidad a la probabilidad a priori.

Insensibilidad al tamaño de muestra.

Insensibilidad a la previsibilidad.

Ilusión de validez.

3. Anclaje y AjusteCuando se pide al experto estimar una cantidad o evaluar una incertidumbre, a menudose comienza con una estimación inicial, y luego se pide al experto ajustar hacia arribao hacia abajo para dar la respuesta final. El valor inicial o punto de partida puede sersugerido por la formulación del problema, o puede ser el resultado de un cálculo parcial.Desafortunadamente, los expertos tienden a quedarse demasiado cerca del valor inicial,y no ajustar lo suficiente para reflejar incertidumbre. En cualquier caso, los ajustes sontípicamente insuficientes, es decir, diferentes puntos de partida producen diferentesestimaciones que están sesgados hacia los valores iniciales. Este fenómeno es conocidocomo fenómeno de anclaje (Tversky y Kahneman, 1974).

2.2. Antecedentes y Preparación

Cuando se planea realizar un proceso de elicitación un primer paso es identificar aquellasvariables para las cuales es necesario elicitar el conocimiento del experto. Aunque esto suenaobvio, es importante validar que dichas variables sean coherentes con el objetivo principalde la elicitación. Posteriormente conviene revisar la literatura pertinente con el fin de deter-minar el alcance de los conocimientos necesarios y a su vez que el facilitador pueda obtenerexperiencia sustantiva que le permita ser capaz de conversar con el experto acerca de suárea de experticia (Clemen y Reilly, 2004). Otro aspecto sin duda muy importante en la pre-paración de un proceso de elicitación es la creación de preguntas que produzcan respuestasconfiables y estimaciones validas que le permitan al facilitador obtener una mayor exactituden la estimación de los parámetros requeridos.

2.2.1. Diseño y validación de preguntas

Las probabilidades que les pedimos a los expertos estimar no están sentadas o pre-diseñadasen el cerebro del experto en espera de ser expresadas, en lugar de ello, el experto construye unjuicio en respuesta a dicha solicitud. Al hacerlo, accede a toda la información (almacenadaen su memoria) que considere relevante y la procesa para producir una respuesta. Quéinformación se obtiene y cómo se procesa, se ve afectado significativamente por el contextoy en particular por la estructura de la pregunta (O’Hagan, 2005). Es decir, no existe una

12 2 Marco Teórico

“verdadera” distribución a priori. Por el contrario, el experto tiene cierto conocimiento apriori que no es fácil de expresar cuantitativamente sin una cuidadosa reflexión. Ahora, sino existe una “verdadera” distribución a priori, entonces el proceso de elicitación no elicitauna “verdadera” distribución, pero en cierto sentido ayuda a extraer una estimación de ladistribución a priori del conocimiento del experto, donde diferentes técnicas pueden producirdiferentes distribuciones, ya que el método de interrogación y la estructura de las preguntascausan algún efecto sobre la forma en que el problema es visto (Winkler, 1967).

En elicitación de juicios de expertos el interés es realizar preguntas en las cuales las respuestasde los expertos nos puedan proporcionar la mayor cantidad de información posible. Por estoel diseño y la evaluación de las preguntas es uno de los pasos más fáciles y rentables que sepueden tomar para mejorar la calidad de las estimaciones del experto. Una buena preguntaproduce respuestas más confiables y estimaciones con mayor validez. Antes de pensar si larespuesta es buena o no, debemos revisar la pregunta en sí, su forma, estilo y el tipo derespuesta para la cual está diseñada la pregunta (Floid y Fowler, 1995).

Un principio fundamental es hacer preguntas a los expertos sobre cantidades que sean signifi-cativas para ellos. Esto sugiere que las preguntas generalmente deberían referirse a cantidadesobservables en lugar de parámetros no observables, aunque preguntas acerca de proporcionesy promedios pueden ser consideradas como adecuadas, ya que investigaciones psicológicassugieren que las personas pueden relacionarse con estas cantidades. Sin embargo, en algunasáreas, determinados modelos estadísticos le son tan familiares a los expertos que sus paráme-tros han adquirido significado científico bien entendido. El facilitador siempre debe tratar decomprender qué condiciones hacen que el experto esté más cómodo para realizar el procesode elicitación. (Garthwaite et al., 2005).

En muchos problemas de investigación los investigadores no tienen un sentido claro de susobjetivos y por ende una de las tareas con mayor dificultad metodológica es inducirlos adefinir sus objetivos. La diferencia entre una pregunta objetiva y la pregunta en sí misma esuna distinción crítica, la objetiva define el tipo de información que se necesita. Diseñar unapregunta en particular o una pregunta para alcanzar el objetivo es enteramente un procesodiferente. En términos generales, el objetivo de las preguntas sólo se puede definir en elcontexto de un plan de análisis, una visión clara de cómo se utilizará la información paracumplir con un conjunto de objetivos generales de investigación, por tanto, en el curso detratar de diseñar y evaluar las preguntas, los investigadores a menudo se ven obligados aser más específicos acerca de los objetivos de la investigación, lo que quiere medir y por qué(Floid y Fowler, 1995).

Si una pregunta realizada durante el proceso de elicitación tiene como objetivo investigarla probabilidad de un evento en particular, es posible que a veces el experto tenga unaincidencia en la solución óptima al problema de diseño de las preguntas.Existen cuatro desafíos para escribir una buena pregunta:

2.2 Antecedentes y Preparación 13

1. Definir los objetivos y especificar el tipo de respuesta necesaria para cumplir el objetivode la pregunta.

2. Asegurar que tanto el experto como el investigador tengan una visión compartida delsignificado de la pregunta, es decir, el investigador y los expertos elicitados deberíantener la misma comprensión de los términos claves de las preguntas realizadas.

3. En lo que sea posible asegurar que a los expertos se les hagan preguntas para las cualesellos tengan respuestas.

4. Hacer preguntas que los expertos estén dispuestos a contestar en los términos que lapregunta o el estudio lo requieren.

Una parte básica para tener expertos que reporten información actual u objetiva, es asegurarque las preguntas sean administradas consistentemente y que todos los expertos tengan elmismo entendimiento de lo que se está preguntando, de éste modo los investigadores asegu-ran que se usaron las mismas definiciones en todo el proceso de elicitación y adicionalmentelas respuestas obtenidas pueden ser usadas en procedimientos estadísticos (Floid y Fowler,1995). Existen dos enfoques básicos para asegurar un entendimiento consistente de las pre-guntas realizadas:

1. El investigador da definiciones completas de la mayor parte posible de las ambigüeda-des que se puedan presentar en el proceso de elicitación.

2. Cuando el nivel de la pregunta es considerado como “complejo” se puede optar porpreguntar a los expertos toda la información necesaria de manera que el investigadorpueda clasificar correctamente los eventos dichos por el experto y construir la respuestaque desea.

Toda vez que se haya tenido en cuenta que todos los expertos deben tener el mismo entendi-miento de las preguntas, la siguiente cuestión será si los expertos tienen o no la informaciónnecesaria para responder a las preguntas que le haga el investigador. Dentro de los proble-mas más frecuentes se resalta que en la mayoría de veces el experto no tiene el conocimientosuficiente sobre el tema, no tiene la información necesaria o no recuerda la respuesta pararesponder a la pregunta hecha por el investigador, en algunos casos el experto tiene conoci-miento del tema pero no está familiarizado con el lenguaje técnico.

Muchas de las preguntas que podamos llevar a cabo en un proceso de elicitación pueden re-flejar una relación directa entre el recuerdo y ubicar este recuerdo en un periodo de tiempo.

14 2 Marco Teórico

Investigaciones sobre la memoria humana nos dicen que algunas cosas una vez experimen-tadas directamente se olvidan por completo. Sin embargo, la información y experiencias sepueden recuperar fácilmente siguiendo algunos principios básicos como el de usar múltiplespreguntas que cubran todos los aspectos de lo que se desea investigar en lugar de intentarempaquetar todo dentro de una sola pregunta, esto ayuda a que eventos que son comúnmenteomitidos puedan ser recordados y tenidos en cuenta (Floid y Fowler, 1995).

Otro aspecto que ayuda a estimular los recuerdos del experto es el nivel de motivación queéste tenga, en muchos estudios de elicitación el estado anímico del experto no es tenidoen cuenta. Sin motivación es poco probable que los expertos realicen esfuerzos por intentarreconstruir o recordar cosas que el proceso de elicitación pueda preguntar (Cannell et al.,1977); por esta razón los investigadores deben explorar estrategias para mejorar el rendi-miento de los recuerdos de los expertos, una manera simple de hacerlo es hacer preguntasmás largas, es decir, que incluyan algún material introductorio que prepare al experto parala pregunta (Cannell y Marquis, 1972). Otra forma de estimular los recuerdos es realizarpreguntas múltiples que mejoren la probabilidad que un evento en particular sea recordado(Cannell et al., 1977).

Una cuestión adicional a lo anteriormente discutido es el efecto que tiene la convenienciao imagen que puedan proyectar las respuestas del experto ante la sociedad, estudios deexactitud en las respuestas sugieren la tendencia en los expertos de distorsionar la respuestasde manera que luzcan mejor o con el fin de evitar quedar mal socialmente; los expertos puedendistorsionar su respuesta dependiendo de cómo ellos manejan su propia imagen o comomanejan la imagen que otros tienen de él. Un caso muy claro ocurre cuando en el proceso deelicitación se realizan preguntas cuya respuesta en realidad podría ser una amenaza para losexpertos. Estas preguntas tienden a ser clasificadas como sensibles si un “SÍ” como respuestapuede ser juzgado como un comportamiento indeseado o antisocial, por ejemplo cuando sepregunta sobre comportamientos que violan las leyes. Por otro lado, también es importanterecordar que algunas preguntas pueden ser inapropiadas para un subgrupo de la poblacióny para otro no serlo, adicional a esto los expertos varían en lo que ellos mismos considerancomo sensible. Hay cuatro pasos básicos que pueden ayudar a evitar la distorsión en lasrespuestas (Floid y Fowler, 1995):

1. Diseñar preguntas de manera que cualesquiera de las posibles respuestas estén correc-tas.

2. Asegurar confidencialidad en las preguntas: Asegurar la confidencialidad incluye variospasos.

a) Una de las mejores formas de evitar poner en riesgo a los expertos es no tenerinformación personal sobre ellos como nombres propios o identificaciones perso-nales.

2.3 Identificación y Contratación de Expertos 15

b) Almacenar la información recolectada en un lugar seguro.

3. Comunicar en la medida de lo posible la importancia de la exactitud de las respuesta.

4. Reducir el papel del facilitador en el proceso de elicitación.

Como se ha visto hasta ahora hay diferentes formas de reducir las posibles fuentes de dis-torsión en las respuestas dadas por los expertos. Un tema adicional a esto es lo demostradoen Cannell et al., (1977), allí se afirma que el comportamiento del facilitador puede sersistemáticamente manipulado para mejorar las respuestas de los expertos, de manera queprobablemente el facilitador también es un actor relevante en la distorsión de las respuestas.Otra forma simple de ayudar a minimizar la distorsión es dando una rutina de entrenamientoal facilitador, esto ayudará a minimizar el lado personal de sus relaciones con el experto.

Cómo los facilitadores afectan potencialmente las respuestas de los expertos cuando se rea-lizan preguntas sensibles ha sido materia de varios estudios y debates. Hasta ahora existeevidencia que por un lado el entrevistador puede animar al experto a que brinde respuestasmás exactas, recordándole la confidencialidad del estudio; alternativamente el hecho de en-tregar respuestas acerca de temas “sensibles” a otra persona puede generar de cierta formadistorsión en las respuestas, aunque los estudios a la fecha no respaldan una u otra teoría,sí existe evidencia que cuando el experto administra sus respuestas sin la intervención de unfacilitador, el experto reduce ampliamente la distorsión en las respuesta. Existen a lo menosdos formas que los procesos de elicitación que usan un facilitador pueden ser modificadospara reducir el efecto del facilitador en las respuestas del experto (Floid y Fowler, 1995).

1. La implementación de un desarrollo estratégico que brinde una serie de preguntas deforma auto-administradas, de manera que el experto pueda responderlas sin que elfacilitador vea cual fue su respuesta.

2. En cuanto sea posible aplicar una entrevista asistida por una computadora.

Todos los anteriores deben ser implementados con el fin de reducir las fuerzas que llevan a losexpertos a distorsionar sus respuestas, particularmente cuando se están haciendo preguntascategorizadas como sensibles.

2.3. Identificación y Contratación de Expertos

La identificación de los expertos apropiados puede llegar a ser tan complejo como se quiera,aún cuando es posible que hayan candidatos obvios (Clemen y Reilly, 2004). Los expertospueden ser identificados usando varios métodos. La búsqueda bibliográfica, búsquedas deregistros de las organizaciones profesionales, los contactos con las empresas de consultoría,laboratorios de investigación, organizaciones no gubernamentales y universidades que pro-porcionan información sobre posibles expertos. Un proceso de nombramiento oficial también

16 2 Marco Teórico

debe ser considerado. Esto es particularmente importante cuando hay controversia o puntosde vista alternativos en relación con el tema a tratar. Invitar a grupos de interés público, asícomo las organizaciones profesionales a presentar candidaturas puede evitar una posteriorcrítica de que los expertos fueron seleccionados de un grupo selecto que comparte sólo unode los varios puntos de vista posibles. Los criterios para la selección de un grupo de exper-tos deben ser específicos y estar documentados. Estos criterios podrían incluir (Hora y VonWinterfeldt, 1997):

Una prueba tangible de la experiencia.

Reputación.

La disponibilidad y la voluntad de participar.

La comprensión de la problemática en general y conceptos básicos de probabilidad.

Imparcialidad.

La falta de un interés económico o personal en los resultados potenciales.

Adicional a lo anterior, cuando hay múltiples puntos de vista, es importante que existaequilibrio entre los expertos. Sin ese equilibrio, el verdadero estado de incertidumbre en unasituación dada puede ser subestimado significativamente.

2.4. Motivar a los expertos

Esta etapa determina si existe motivación para que el experto realice sus estimaciones deprobabilidad, ya sea, consciente o inconscientemente. Es decir, en esta etapa debemos indagarsi existe algo o no en la forma de recompensar al experto que pudiera influir en las deduccionesde su probabilidad (Shephard y Kirkwood, 1994). Los expertos a menudo desconfían delproceso de estimación de probabilidad ya que generalmente son ellos los científicos y prefierenconfiar en el proceso de la ciencia para generar conocimiento. Esto hace que sea necesarioexplicar a los expertos por qué están allí y cómo sus creencias pueden ser utilizadas. Susopiniones pueden ser o no ser “correctas”, y de ahí que dude de expresar esas opiniones.Sin embargo, el hecho es que se debe tomar una decisión con información limitada, dondese ha identificado que la opinión de expertos es la forma más adecuada para obtener esainformación. Por tanto, es importante establecer una buena relación con los expertos y deengendrar su entusiasmo por el proyecto (Clemen y Reilly, 2004).

2.4 Motivar a los expertos 17

Scoring RulesEn el trabajo empírico, las distribuciones de probabilidad pueden ser elicitadas para canti-dades inciertas cuyo valor real es conocido por el experimentador. En otras circunstancias,tales como los pronósticos del clima, la distribución predictiva puede ser estimada para can-tidades cuyos valores se conocerán posteriormente. En ambos casos, puede ser útil compararlas distribuciones de probabilidad estimadas con los datos observados para proporcionar unamedida objetiva de su exactitud. Este es el propósito del Scoring Rule. Formalmente, unScoring Rule es una fórmula para el otorgamiento de una puntuación al experto, que puedeser considerada como una recompensa. Es una función tanto para la distribución de probabi-lidad elicitada de las cantidades inciertas como para el verdadero valor de la cantidad. Unaaplicación común del Scoring Rule se encuentra en la comparación de métodos alternativosde elicitación o diferentes variantes de un método de elicitación, donde un método puede serjuzgado como “mejor” que otro si obtiene mejores puntuaciones. Otro fin del Scoring Rule esproporcionar un incentivo para que los expertos registren bien sus opiniones y para ayudar acapacitar a los expertos en como cuantificar sus opiniones con precisión, por ejemplo, sueleser muy común en la practica expresar creencias en términos de apuestas, donde la apuestasuele ser elabora de tal forma que no exista la certeza de ganar o perder. Esta condiciónobliga al experto a asignar apuestas consistentes con sus creencias. (Garthwaite et al., 2005;Correa 2011). Un ejemplo de como funcionaría un proceso de elicitación usando loterías espresentado por Winkler (1972). Suponga que el experto debe escoger entre la lotería A y lalotería B:

Lotería A: Gana $100 con propabilidad 0,5

Gana $0 con propabilidad 0,5

Lotería B: Gana $100 Si mañana llueveGana $0 Si no llueve mañana

dado que el premio en ambas loterías es el mismo, el experto preferiría la lotería que le demayor posibilidad de ganar. Así si el experto selecciona la lotería B, entonces él debe sentirque la probabilidad de que llueva es mayor que 0.5; si el experto selecciona la lotería A,entonces la probabilidad de que llueva es menor que 0.5.

18 2 Marco Teórico

2.5. Estructuración y Descomposición

Durante esta etapa, se especifica con exactitud la cantidad incierta que se desea estimar,y se determina una escala de medición correspondiente. Un método útil para determinar siuna cantidad incierta está claramente definida es la “prueba de la clarividencia”. La escala demedición debe ser tal, que el experto pueda prever un valor futuro de la cantidad incierta, esdecir, el experto puede especificar un único número para la cantidad incierta, sin necesidadde una definición clara de la escala de medición (Shephard y Kirkwood, 1994). Esta etapatambién puede ser llamada la exploración del conocimiento, donde se explora la comprensiónde los expertos de la causalidad, las relaciones estadísticas entre las variables y los factoresrelevantes que podrían afectar el valor de la estimación. El objetivo entonces es desarrollarun modelo general (expresado, por ejemplo, como un diagrama de influencia) que refleje elpensamiento de los expertos acerca de las relaciones entre las variables (Clemen y Reilly,2004). Estos modelos pueden ser mapas mentales o modelos conceptuales, los cuales puedenutilizarse para representar gráficamente las relaciones causales entre las distintas variables.La elicitación del modelo conceptual puede ser ayudado por un software que construya grá-ficamente tales modelos o mapas mentales, en el que las ideas de los expertos se representangráficamente (Devilee y Knol, 2011).

2.6. Entrenamiento en Probabilidad

Debido a que muchos de los expertos no tienen una formación básica en estadística que lespermita hacer una “buena” estimación de probabilidad, es importante explicarles los princi-pios de la estimación de probabilidades, facilitando información sobre los sesgos inherentesen el proceso y la manera de contrarrestarlos (Clemen y Reilly, 2004). Hay dos etapas deeste entendimiento normativo: la comprensión aritmética y la general de probabilidad. Si losexpertos son científicos sociales que generalmente realizan trabajo cuantitativo, es altamenteprobable que sean competentes en el cálculo, pero puede que no tengan tan buen entendi-miento de la probabilidad como el estadístico quisiera. La formación de los expertos en temasde probabilidad debe estar compuesta de tres partes (Jenkinson., 2005):

Probabilidad y distribuciones de probabilidad.

Información sobre los sesgos heurísticos y de juicio más comunes, incluyendo consejossobre cómo superarlos.

Las deducciones prácticas, en particular el uso de ejemplos donde se sabe la “verdaderarespuesta”, pero es poco probable que sea conocida por cualquiera de los expertos. Unejemplo de una pregunta de este tipo frecuentemente utilizada por O’Hagan (1998) esla distancia entre dos ciudades.

2.7 Aplicación del Método de Elicitación 19

2.7. Aplicación del Método de Elicitación

Un método de elicitación constituye un puente entre la opinión del experto y una expresiónde estas opiniones en una forma estadísticamente útil. Por tanto, el desarrollo de un métodode elicitación requiere una cierta comprensión, tanto de la parte estadística como de la psi-cológica. La aplicación del método de elicitación es obviamente el núcleo de todo el proceso,y uno donde los psicólogos han contribuido a la metodología casi en igual proporción quelos estadísticos (Garthwaite et al., 2005). En este paso, los expertos hacen las estimacionesde probabilidad requeridas, por lo general bajo la guía del facilitador. Las estimaciones delexperto se revisan para asegurarse de que éstas sean coherentes (las probabilidades sumen 1,las probabilidades condicionales son consistentes con las estimaciones de probabilidad mar-ginales y conjuntas). Como parte de este proceso, un experto puede proporcionar detalladascadenas de razonamiento para las estimaciones. Si lo hace, puede ayudar a establecer unfundamento claro para los aspectos específicos de las distribuciones estimadas (por ejemplo,los valores extremos de una variable o relaciones de dependencia particulares). Al mismotiempo, fomentar un examen completo de la base de conocimientos del experto puede ayu-dar a contrarrestar los sesgos asociados a las heurísticas psicológicas de disponibilidad, deanclaje y de representatividad. Por tanto, el resultado de este paso son las estimaciones deprobabilidad necesarias y una documentación del razonamiento detrás de las evaluaciones(Clemen y Reilly, 2004).

Una forma de asignación de probabilidades es la interrogación a través de métodos de eli-citación, estos pueden ser directos los cuales son aplicables para algunos parámetros que seentienden de forma intuitiva como la media o una proporción, o indirectos los cuales facilitanel proceso de elicitación de un parámetro de interés θ, ya que requiere menor conocimientode la teoría de probabilidad (Correa, 2011). La diferencia entre las técnicas directas e indi-rectas radica principalmente en que en las técnicas indirectas no existe una relación claraentre la técnica de elicitación y la distribución resultante, por otro lado, las técnicas directasinvolucran preguntas directas sobre los parámetros de la distribución (Media, Varianza) apriori, también se puede atribuir diferencia entre estas técnicas a la imposibilidad de grabary procesar de forma intuitiva la información con precisión (Winkler, 1967).

20 2 Marco Teórico

2.7.1. Métodos de Elicitación Indirectos

Las principales técnicas indirectas para elicitar los parámetros de una distribución las pode-mos resumir en:

Método de cuantiles o intervalo creíble: Cuando un intervalo viene acompañadode una probabilidad (la probabilidad de que la temperatura del día de mañana estéentre 20 y 40 grados centígrados es de 0,8) es comúnmente llamado intervalo creíble,éste representa una forma de expresar información probabilística sin necesidad de laevaluación de una distribución completa (Murphy y Winkler, 1974). Existen dos prin-cipales enfoques para evaluar intervalos creíbles para una cantidad escalar, el métodode intervalo fijo y el método de intervalo variable, donde el objetivo general consiste enpreguntar al “experto” su estimación promedio del parámetro θ y varios cuantiles (porlo general al menos dos) de su distribución subjetiva de θ. Estos son graficados bajo unadistribución acumulada suave que pasa por ellos, dando una representación paramétricade la opinión del experto. Más comúnmente, se supone que la opinión del experto puedeestar bien representada por una distribución f(θ), se selecciona una distribución f(θ)

conocida cuyos cuantiles son similares a los que el experto dio (Garthwaite et al., 2005).

HFS (Muestras hipotéticas futuras): El “experto” estima el parámetro en cuestión(por ejemplo, la proporción de estudiantes que son hombres) y luego revisa su opinióna la luz de información a partir de muestras adicionales (hipotética). Por ejemplo, sepodrían hacer preguntas del tipo: “Supongamos que se tomó una muestra aleatoria de50 estudiantes y 20 de ellos eran varones. Ahora ¿cuál es la probabilidad de que unestudiante adicional, elegido al azar, sea hombre?” Aquí, se supone que la opinión delexperto corresponde a una distribución Beta, sus parámetros son determinados úni-camente por estimaciones de proporciones de a prioris y posteriores de los expertos(dados los datos del ejemplo hipotético). En general, el experto se enfrenta a variasmuestras hipotéticas en las que varían el número de estudiantes y la proporción de losque son hombres. Cada una da una estimación por separado de los hiperparámetrosy se utiliza alguna forma de promedio para unirlas. Un problema general ocurre enel caso de que las estimaciones de los hiperparámetros resultantes sean muy dispares.Esto puede reflejar la inexactitud de evaluación, es decir, la distribución Beta puede sercorrecta y el método de elicitación puede ser el mejor disponible, pero las respuestas delos expertos están sujetas a variabilidad sustancial. Por otro lado, también se advierteque la distribución elicitada podría ser una escasa representación de la opinión delexperto, ya sea porque su opinión no corresponde a una distribución Beta, o porqueel método de elicitación hace preguntas que son difíciles de contestar con precisión(Garthwaite et al, 2005).

2.7 Aplicación del Método de Elicitación 21

EPS (Información muestral a priori equivalente): El “experto” expresa su co-nocimiento como una muestra a priori equivalente. Por ejemplo, “Usted tiene algúnconocimiento acerca de los estudiantes de la Universidad Nacional. ¿Puede determinardos números r y n tal que su conocimiento sería más o menos equivalente a haberobservado exactamente r hombres en una muestra aleatoria de n estudiantes de laUniversidad Nacional, suponiendo que tenía muy poco conocimiento sobre el génerode los estudiantes de la Universidad Nacional antes de ver esta muestra?” La distribu-ción anterior se considera que es una Beta con parámetros r y n − r (Winkler, 1967;Garthwaite et al., 2005).

Apuestas y loterías hipotéticas: Una probabilidad puede pensarse en términos decantidades que se involucren en una apuesta y la porción que el sujeto estuviera dis-puesto a arriesgar. Por ejemplo, si dice “La probabilidad de que un equipo de fútbolX gane el torneo 2015 es de 1/10”, en términos de apostadores, las apuestas están 9 a1 en contra el equipo X, esto significa que si usted apuesta un peso por el evento “Elequipo X gana el torneo” y, si esto ocurre, usted ganará 9 pesos. (Correa, 2011). Estosmétodos de elicitación se pueden desarrollar bajo ganancia real o hipotética, y por lotanto pueden estar sujetos a efectos causados por la función de utilidad que puedatener el experto. Kadene y Winkler (1988) realizan un análisis sobre tres formas de eli-citar opiniones de expertos donde se involucran apuestas (Loterías, Pagarés y ScoringRules), ellos muestran cómo la función de utilidad del experto y los intereses (stakes)que ellos puedan tener sobre la apuesta influencian los resultados de las probabilida-des elicitadas, al mismo tiempo comentan que ésta influencia puede ser minimizadacondicionando los intereses de los expertos elicitados. El no condicionar estos interesespuede causar cambios en las probabilidades elicitadas.

Método de elicitación de la ruleta: En este método el experto distribuye n fichasa lo largo de m casillas. Cada casilla de la ruleta se representa con intervalos de laforma [x0, x1) , [x1, x2) , · · · , [xk−1, xk), el experto asigna el número ni de fichas quedesee a la i-ésima casilla [xi−1, xi), donde

∑ki=1 ni = n y se define a ri = ni/n como

la probabilidad implícita del experto para la ocurrencia del evento θ ∈ [x0, xi) coni = 1, 2, · · · , k y r = (r1, r2, r3, · · · , rk). Finalmente la distribución de todas las fichasa lo largo de todas las casillas entregan al facilitador una representación gráfica de lascreencias del experto. Una de las características de este método es la falta de precisiónen las probabilidades implícitas, es decir, si el experto distribuye un total de n fichas,entonces sus probabilidades implícitas están forzadas a ser múltiplos de 1/n. Algunosexpertos podrían preferir un n más pequeño, y no estimar con probabilidades grandes(Oakley et al., 2010).

22 2 Marco Teórico

2.7.2. Métodos de Elicitación Directos

Las principales técnicas directas para elicitar los parámetros de una distribución las podemosresumir en:

CDF (Función de distribución acumulativa) En el método CDF se da al expertoel valor de un parámetro y luego se le pregunta por la probabilidad de que el valor realsea menor que el valor del parámetros dado, por ejemplo, supongamos que una personaquiere asignar una distribución a priori Beta a la variable aleatoria π que representael voto liberal en una elección futura como la fracción del total de votos. Asumamosque él encuentra difícil asignar un valor esperado subjetivo al valor de π, pero es capazde expresar sus juicios asignando una probabilidad de 0,50 a la afirmación π ≤ 0,50 yasignando una probabilidad de 0,75 a la proposición π ≤ 0, 60 (Correa, 2011). Esto serepite para varios cuantiles, que luego son gráficados como una CDF y unidos entre sícon una curva suave (Jenkinson., 2005).

PDF (Función de densidad) En el método de PDF se lleva a cabo un procedimientosimilar al del CDF solo que se grafica la función de densidad en lugar de la función dedistribución (Jenkinson., 2005).

2.8. Retroalimentación y Entrenamiento

La mayoría de los expertos, incluso los científicos, no cuentan con una amplia experiencia enprocesos de elicitación de probabilidades, por lo que un buen comienzo es ofrecer una for-mación antes de elicitar sus juicios (Hora, 2007). La calibración de expertos es una medidaindirecta de validez del proceso de elicitación, donde una cuestión de interés práctica es siel entrenamiento, a través de retroalimentación y discusión de resultados anteriores, puedemejorar el proceso de codificación de probabilidades. Diferentes técnicas de entrenamientose han utilizado, incluyendo retroalimentación y discusiones sobre el concepto de calibración(Wallsten y Budescu, 1983). La retroalimentación y el entrenamiento son probablementeadiciones muy útiles en un proceso de elicitación y, hacen parte de las principales bases paramejorar las estimaciones de los expertos. La sobre confianza, por ejemplo, persistiría pormuchas repeticiones de elicitación hasta que el experto reciba retroalimentación, la prácticay la experiencia por sí solas no remueven los sesgos (Burgman et al., 2007), la incertidumbresobre la precisión de las estimaciones de los expertos no ha tenido toda la atención, luego,una manera de ayudar a prevenir la distorsión de las creencias de un experto es incluir etapasde retroalimentación en el protocolo de elicitación (Gosling, 2008). Jenkinson (2005) afirmaque verificar la distribución elicitada con el experto es parte crucial del proceso de elicitación.Este es un proceso iterativo, donde el estadístico retroalimenta al experto ya sea con gráficosde distribuciones o resultados de un cálculo sobre las probabilidades que él dio y, el expertorevisa sus estimaciones hasta que él sienta que esas declaraciones reflejan verdaderamente su

2.8 Retroalimentación y Entrenamiento 23

opinión.

En la mayoría de los estudios de juicios de probabilidad se ha encontrado que los juiciostienden a ser sobre-confiados y que el grado sobre-confianza es mayor dependiendo de lacomplejidad del tema de estudio. Una posible explicación a la sobre-confianza es que se pro-duce debido a algún tipo de error en el mapeo de los verdaderos sentimientos de confianzasobre la escala de la respuesta requerida. Por lo tanto, el error de respuesta y el excesode confianza podrían reducirse mediante retroalimentación, es decir, las personas deben sercapaces de aprender a mapear correctamente, adicional a esto, se ha demostrado que bajocondiciones favorables, el exceso de confianza puede ser eliminado mediante el suministro deretroalimentación apropiada (Bolger y Onkal-Atay, 2004).

(Benson y Onkal, 1992) discuten sobre diferentes tipos de retroalimentación de expertos:

Retroalimentación de resultados: información sobre resultados de eventos previos (quehan sido estimados por el experto).

Retroalimentación de rendimiento: información sobre la exactitud de las estimacionesanteriores del experto (Scoring-rule o Calibration feedback).

Retroalimentación del proceso: información sobre el proceso cognitivo usado por elexperto, tales como percepción, uso de evidencias y desarrollo de estimaciones. Gene-ralmente se hace individual, de forma “intensiva”, una evaluación tras otra.

Retroalimentación del entorno: información acerca de acontecimientos que afectan alevento de interés.

Los estudios de calibración son muy alentadores, ya que son indicadores de validez y coheren-cia del proceso de elicitación, dando retroalimentación del resultado obtenido y experienciaen la codificación de probabilidades (Wallsten y Budescu, 1983), aunque los resultados seránmoderados por el grado de dificultad de las preguntas o tema. Es habitual comparar lascantidades elicitadas con los valores reales. Por ejemplo, a los expertos se les pregunta amenudo sobre cantidades o acontecimientos cuyos valores verdaderos son conocidos por elfacilitador pero no por el experto. Entonces el rendimiento del experto puede ser medidocomparando sus juicios con los valores verdaderos. Sin embargo, es recomendable interpretardicho rendimiento con cautela, ya que esto podría confundir dos cosas separadas, la exactitudde la distribución elicitada y la experiencia del experto (O’Hagan, 2005).

En general, la retroalimentación parece ser siempre el enfoque más exitoso para ayudar alos expertos a mejorar la precisión en sus estimaciones. Las principales limitaciones son quegeneralmente se requiere de un gran número de repeticiones para generar información decalibración útil, y es menos adecuado para eventos que ocurren sola una vez (Burgman et

24 2 Marco Teórico

al., 2007). Otro muy importante aspecto para que el proceso de elicitación sea exitoso esla comprensión de cómo los expertos expresan sus sentimientos de incertidumbre, y cómointerpretar tales expresiones. Los expertos expresan sus sentimientos de incertidumbre ver-balmente al igual que numéricamente, y sería un limitante nuestro que dentro del procesode elicitación tengamos en cuenta solo aquellas expresiones numéricas ignorando todo tipode expresiones verbales de incertidumbre (Jenkinson, 2005).A menudo se dice que las expresiones numéricas son mejores que las verbales, porque laspalabras pueden ser interpretadas de forma variable, el significado de una palabra puede serinfluenciado por, entre otras cosas, el contexto (este contexto puede ser explícita o implíci-tamente lo que la gente va a pensar de uno) y opiniones personales, a su vez, las expresionesnuméricas tienen cierta ventaja sobre las expresiones verbales en el sentido de que son másprecisas, permiten cálculos y tienen un orden de rango fijo (un 100% es siempre mayor del75%), sin embargo, excepto en situaciones donde las probabilidades son objetivamente medi-bles, la mayoría de los expertos se sienten más a gusto con las expresiones verbales que con lasnuméricas. Por otro lado, los procesos de elicitación requieren generalmente un gran númerode probabilidades en forma numérica. Esto a menudo se considera un obstáculo importantedebido a que en muchas situaciones los expertos son reacios a proporcionar probabilidadesnuméricas. El uso de expresiones verbales de probabilidad como un método adicional deobtención de información probabilística puede en cierta medida ayudar a eliminar este obs-táculo si llegase a existir una representación aceptable de una escala de probabilidad quecontenga expresiones verbales que sean numéricamente equivalentes. Por tanto, no debemospreguntar al experto si él cree que una “baja probabilidad” es igual a 0,25, pero sí debemoscomprobar, en un determinado contexto, que él interpreta “baja probabilidad” como 0,25,es decir, se debería probar si en un mismo contexto el experto reacciona de la misma formacon la expresión verbal y la expresión numérica (Renooij y Witteman, 1999). Otros aspectosimportantes a tener en cuenta cuando se lleva a cabo un proceso de elicitación son:

Verificar si el experto tiene algún tipo de interés personal en el resultado, ya que estopuede aportar sesgos a las estimaciones hechas por este experto (Garthwaite et al.,2005).

Verificar el conocimiento que tiene el experto sobre acontecimientos pasados, ya quegeneralmente eventos pasados tienden a distorsionar la memoria, y los expertos tiendena exagerar su probabilidad a priori para un evento que ya ha ocurrido (Garthwaite etal., 2005).

Revisar que las estimaciones de probabilidad del experto sean coherentes (un sistemade enunciados de probabilidad es coherente si las probabilidades son consecuentes conlas leyes de la probabilidad) (Garthwaite et al., 2005).

El facilitador debe estar atento a cualquier oportunidad para ayudar al experto amantener el control y la consistencia de sus opiniones (Garthwaite et al., 2005).

2.9 Elicitación a Grupos de expertos 25

2.9. Elicitación a Grupos de expertos

Bajo el principio estadístico de que mientras más información usted tiene mejor serán losresultados, puede ser preferible elicitar las opiniones de varios expertos. Sin embargo, lo quemuchas veces se necesita no es una colección de diferentes distribuciones si no una distribuciónque represente la opinión conjunta de los expertos, el resultado de su experiencia combinada,que puede ser en sí informativo y ser utilizado como una distribución a priori en un análisisbayesiano (Jenkinson, 2005). Existen dos principales enfoques para sintetizar o combinarlas distribuciones de los expertos: cuando los expertos interactúan entre sí y cuando notienen interacción. Estos enfoques son procedimientos a menudo dicotomizados en métodosmatemáticos y de comportamiento, aunque la práctica puede implicar aspectos de los dos

2.9.1. Métodos Matemáticos

El método de combinación matemática consiste en procesos o modelos analíticos que ope-ran sobre las distribuciones de probabilidad individuales para producir una sola distribuciónde probabilidad “combinada”, éstos van desde medidas de resumen sencillas como la mediaaritmética o geométrica de las probabilidades hasta los procedimientos basados en enfoquesaxiomáticos que requieren insumos respecto a características tales como la calidad y la de-pendencia entre las probabilidades de los expertos. Generalmente son aplicados cuando losexpertos no interactúan entre sí, ya sea debido a diferencias irreconciliables o porque laconvocatoria del grupo es logísticamente inconveniente. Los métodos de combinación mate-mática se dividen en dos tipos, enfoque axiomático y enfoque bayesiano (Clemen y Winkler,1999):

Enfoque Axiomático: La estrategia consiste en postular ciertas propiedades que ladistribución combinada debe tener y luego derivar la forma funcional de la distribucióncombinada. Se basa principalmente en dos items:Pool de opiniones lineal: Es una combinación lineal ponderada de las distribucionesde probabilidad de los expertos, que se entienden y calculan fácilmente. Por otra parte,satisface una serie de axiomas aparentemente razonables. Cabe resaltar que, el pool deopiniones lineal es el único esquema de combinación que satisface la propiedad de lamarginación:

p(θ) =n∑i=1

wipi(θ)

donde n es el número de expertos, pi(θ) representa las distribución de probabilidaddel i-ésimo experto para el parámetro desconocido θ, p(θ) representa la distribución deprobabilidad combinada y la suma de los wi debe ser igual a 1.

Pool de opiniones logarítmica: Es un promedio multiplicativo que al igual que el

26 2 Marco Teórico

anterior es relativamente fácil de entender y calcular, este enfoque tiene la particulari-dad de que satisface el principio externo Bayesiano:

p(θ) = k

n∏i=1

wipi(θ)

donde k es una constante de normalización y las ponderaciones wi satisfacen algunarestricción (generalmente la restricción es que la suma sea igual a 1) que aseguren quep(θ) sea una distribución de probabilidad. Si las ponderaciones son iguales a 1/n ladistribución combinada es proporcional a la media geométrica de las distribucionesindividuales.Estos métodos permiten la estimación de ponderaciones asignadas a cada experto, lacual puede ser usada para dar mayor peso a aquellos expertos que se crea tiene mejoresestimaciones que los otros.

Enfoque Bayesiano: Este enfoque implica que los expertos den información sobreacontecimientos o cantidades a un tomador de decisiones (a veces llamado un supra-Bayesiano), que actualiza una distribución a priori usando el teorema de Bayes (Clemeny Winkler, 1999; Jenkinson, 2005; Garthwaite et al., 2005).

2.9.2. Métodos de Comportamiento

En contraste, el enfoque de comportamiento o conductual intenta generar acuerdo entre losexpertos haciendo que ellos interactúen de algún modo. Esta interacción puede ser cara acara o puede implicar el intercambio de información sin contacto directo. El enfoque de com-portamiento o conductual considera la calidad de los juicios de los expertos individualmentey la dependencia entre tales juicios implícita más que explícitamente. Como la informaciónes compartida, se espera que los mejores argumentos tengan mayor influencia en el grupoy que la información redundante sea descartada, sin embargo, los expertos dominantes enel grupo pueden ocasionar disuasión en los demás expertos para dar ideas nuevas o que elgrupo pase por alto información relevante. Si se requiere una sola distribución, entonceslas distribuciones individuales pueden ser combinadas utilizando un enfoque matemático ollevando a los expertos a discutir juntos la cantidad incierta o la cantidad sobre la que sedesea elicitar, y a través de la puesta en común de sus experiencias buscar un consenso.Tal consenso, naturalmente, implica negociaciones y compromisos entre los expertos. En es-tas situaciones el papel del facilitador es muy importante, se requiere de un facilitador conconocimientos y experiencia para estar al tanto de las personalidades fuertes en el grupoque tienen mayor peso en la discusión. Vale la pena recordar que las reglas de combinaciónsimples se desempeñan bastante bien, lo que indica que el uso de múltiples expertos y lacombinación de las probabilidades estimadas de estos expertos pueden ser beneficiosas parael proceso de elicitación. Adicionalmente, es importante tener en cuenta que no existe una

2.9 Elicitación a Grupos de expertos 27

regla de combinación o proceso de combinación único que se deba utilizar en todas las si-tuaciones. Más bien, el diseño del proceso de combinación debe depender de los detalles decada situación individual.

Dentro de las técnicas comúnmente usadas para elicitar un grupo de expertos se encuentranel método Delphi, el Modelo Clásico de Elicitación y el método de Mendel y Sheridan: Elmétodo Delphi es una técnica formal para la gestión de la interacción grupal. El métodocomienza elicitando primero la opinión de los distintos expertos por separado, alimenta acada uno de los expertos con las opiniones de todos los demás expertos, y junto con unaexplicación del razonamiento de los demás expertos se invita a los expertos a revisar sus pro-pias elicitaciones. El método funciona entonces iterativamente, realimentando las cantidadeselicitadas en todos los expertos (Clemen y Winkler, 1999; Jenkinson, 2005; Garthwaite etal., 2005). El modelo Clásico fue introducido formalmente por Roger Cooke, este modelo esun intento por hacer de la elicitación de juicios de expertos un proceso más formal y sujetoa reglas científicas de lo que era hasta el momento, éste se ha desarrollado en la UniversidadTecnológica de Delft (TUD) desde hace aproximadamente 17 años (Cooke y Goossens, 2008).Un concepto clave en el Modelo Clásico es el de variables semilla o de calibración y el criteriode información, que son adicionales a las variables de interés. Los expertos son evaluados conlas variables semilla cuyo verdadero valor al momento de la consulta es conocido por el facili-tador, pero no por el experto y el criterio de información el cual mide como está concentradala distribución del experto con respecto a una distribución escogida previamente (Moralesy Cooke, 2008) que generalmente es la distribución uniforme (simboliza el desconocimientoabsoluto sobre el tema). El método de Mendel y Sheridan al igual que el método clásico, seapoya en la calibración y combinación de las estimaciones de los expertos. Su modelo no re-quiere que expertos realicen estimaciones sobre alguna distribución en particular, por lo queofrece una mayor flexibilidad y facilidad de implementación. En este modelo, cada expertoofrece m cuantiles para la variable de interés, la cual define (m + 1) celdas que podrían serafectadas por el valor real. Dado que se tienen n expertos, se forma una matriz (m + 1)n,que se considera como una variable aleatoria. El tomador de decisiones utiliza la teoría dela intercambiabilidad de actualizar su distribución de probabilidad, antes de recibir asesoríade los expertos sobre la variable actual(Ouchi, 2004).

3 Elicitación de la distribuciónBinomial

3.1. Distribución Binomial

Si se realizan n ensayos independiente y en cada uno existe una probabilidad π de que elevento E ocurra, entonces el número de ensayos en que E ocurre puede ser representado poruna variable aleatoria X que sigue una distribución Binomial con parámetros n y π. Estasituación ocurre cuando una muestra con reemplazo de tamaño n es tomada de una poblaciónfinita donde cada elemento en la población tiene igual e independiente probabilidad π depresentar algún atributo en particular. La distribución Binomial fue propuesta por JamesBernoulli en 1973, esta ha sido una distribución antiguamente estudiada y su importanciase ha venido extendiendo desde su aplicación original en el juego a muchas otras áreascomo la genética, muestreo, control de calidad, análisis de supervivencia, ecología y entreotras. También ha sido importante en la construcción de modelos, en aproximaciones a otrasdistribuciones y en pruebas estadísticas como el test del signo y el de McNemart (Johnsonet al., 2005; Gilless y Fried, 2000; Hughes y Madden, 2002).

La función de densidad de probabilidad puede ser definida como:

P [X = x] =

(n

x

)πx(1− π)n−x, x = 0, 1, 2 · · · , n. (3-1)

donde π > 0 y n es un entero positivo. La media, la varianza y la covarianza están dadaspor:

E(x) = nπ; V ar(x) = nπ(1− π); Cov(X, Y )n = n(πB − πXπY ). (3-2)

Donde X y Y son variables aleatorias binomiales observadas al mismo tiempo y πB es laprobabilidad de que las dos variables ocurran al mismo tiempo.

Ahora, para una distribución de muestreo tipo Binomial se utiliza como a priori para π unadistribución Beta, la distribución a posteriori es de la misma familia, por lo que se dice que,la distribución Beta es la distribución conjugada de la Binomial (Raiffa y Schlaiffer, 1961).

Teorema 1 : Suponga que X1 · · ·Xn es una muestra aleatoria de una distribución Bernoullicon parámetro π, donde el valor de π es desconocido. También suponga que la distribución apriori de π es una Beta con parámetros α(> 0) y β(> 0). Entonces la distribución posteriorde π cuando Xi = xi, para i = 1, · · · , n es una Beta(α +

∑ni=1 xi,β + n−

∑ni=1 xi).

3.2 Elicitación de los parámetros de la distribución Beta 29

3.2. Elicitación de los parámetros de la distribuciónBeta

La distribución Beta estándar se asocia con muchos resultados en la estadística aplicada,debido a su forma conveniente y a las diversas formas que puede tomar. Entre las familiasde distribuciones a priori, la familia Beta es una primera opción obvia ya que como semencionaba, es una distribución conjugada natural. Esta contiene una amplia variedad deformas que incluyen tanto las distribuciones unimodales como las bimodales (Umesh, 1988).La distribución Beta estándar restringe la variable a tener un rango [0, 1], lo cual es idealcuando la variable es una probabilidad. Otra propiedad importante de la distribución Betaes que el valor esperado a posteriori del parámetro π es una función lineal de Xn. Es decir,hay un número, an, bn tal que:

E [π|Yn = k] =∫ 10 π

k+1(1−π)n−kf(π;α,β)dπ∫ 10 π

k(1−π)n−kf(π;α,β)dπ= ank + bn (3-3)

para k = 0, 1, · · · , n y Yn =∑n

i=1Xi. Como resultado de estas propiedades se obtienetratabilidad analítica, flexibilidad e interpretabilidad, lo que ha dado lugar a aplicaciones ennumerosos ámbitos, entre ellos la confiabilidad y el control de calidad (Diaconis y Ylvisaker,1979; Correa, 2011). Esta distribución a priori se puede resumir mediante:

f(π) =1

B(α, β

)πα−1 (1− π)β−1 (3-4)

donde 0 < π < 1 y es la probabilidad de éxito en la distribución Binomial, α y β son loshiperparámetros de la distribución, y B(α, β) es la función Beta que viene relacionada conla función gamma por la siguiente identidad:

B(a, b) =Γ(a)Γ(b)

Γ(a+ b)(3-5)

La media y la varianza vienen dadas por:

E(x) =α

(α + β)(3-6)

V ar(x) =αβ

[(α + β)2(α + β + 1)](3-7)

Para α > 1 y β > 1, donde hay una sola moda en:

m =(α− 1)

(α + β − 2)(3-8)

A continuación resumimos algunos de los métodos más usados para elicitar los hiperpará-metros α y β de la distribución Beta.

30 3 Elicitación de la distribución Binomial

3.2.1. Primer método de Weiler

En este método Weiler (1965) inicialmente pide al experto dar una estimación subjetiva dela media µ, luego el experto es preguntado por la probabilidad ν de que el verdadero valorde la media se encuentre en el intervalo (2µ, 1). En este caso, se le pide al experto estimar laprobabilidad de que la media real sea más del doble del valor de la media estimada µ: Así,este obviamente requiere µ < 0,5, α > 0 y β > 0

µ =α

α + β(3-9)

1− ν =

∫ 2µ

0

πα−1 (1− π)β−1

B(α, β

) dπ (3-10)

3.2.2. Segundo método de Weiler

En este método analiza Weiler (1965) la distribución de la proporción π de unidades de-fectuosas que pueden haber en un lote de artículos seleccionado aleatoriamente cuando seaplica una técnica de muestreo de aceptación. El facilitador da al experto una probabilidadν, luego se le pide estimar dos valores k1 y k2, con k1 < k2, de tal forma que la probabilidadde que el valor real de la media µ esté en el intervalo (0, k1) sea igual a la probabilidad de queel valor real de la media µ esté en el intervalo (k2, 1). Las ecuaciones que se deben resolverpara los parámetros son:

ν =

∫ k1

0

πα−1 (1− π)β−1

B(α, β

) dπ (3-11)

1− ν =

∫ k2

0

πα−1 (1− π)β−1

B(α, β

) dπ (3-12)

3.2.3. El método de Fox

Fue desarrollado por Fox (1966) para la NASA (National Aeronautics and Space Adminis-tration), allí se pide al experto una estimación del valor de la moda, llamada m, luego le pidedar su probabilidad subjetiva, digamos ν, de tal forma que la verdadera moda se encuentreen el intervalo (m−km, m+km), donde 0 < k < 1, y es dada por el facilitador, por ejemplo,si k = 0,1 entonces nos estamos preguntado cuál es la probabilidad de que el error en nuestra

3.2 Elicitación de los parámetros de la distribución Beta 31

estimación sea inferior al 10 %. Las estimaciones de los parámetros α y β, son calculados conlas siguientes dos ecuaciones:

m = α−1

α+β−2(3-13)

ν =

∫ m+km

m−km

πα−1 (1− π)β−1

B(α, β

) dπ (3-14)

Las ecuaciones 3-13 y 3-14 pueden ser resueltas usando la tabla de la función Beta incomple-ta, sin embargo Fox (1966) da en su artículo una tabla de (α, β) para los valores seleccionadosde (m, v, k).

3.2.4. El método de Gross

Gross (1971) desarrolla el método para determinar las constantes de un modelo de suavi-zamiento aplicado a la confiabilidad de un sub-sistema que está bajo prueba en diferentesestados. Inicialmente se pide al experto estimar su valor medio, digamos µ, de la distribuciónde probabilidad, posteriormente se le pide al experto estimar la probabilidad subjetiva deque el valor real de la media, ν, se encuentre en el intervalo (0, kµ), donde 0 < k < 1 yes dada al experto por analista. Similar al método de Fox, las ecuaciones requeridas son lafórmula para la media de la distribución Beta y la integral de la densidad en el intervalo(0, Kµ).

µ =α

α + β(3-15)

ν =

∫ kp

0

πα−1 (1− π)β−1

B(α, β

) dπ (3-16)

Al igual que en el método anterior las ecuaciones 3-15 y 3-16 pueden ser resueltas usando latabla de la función Beta incompleta.

3.2.5. Método de Waterman

Waterman et al. (1976) presentan una metodología similar a la de Weiler, proporcionando unuso más explícito de la información subjetiva donde, por medio de los valores elicitados y el

32 3 Elicitación de la distribución Binomial

uso de dos tablas se puede obtener una estimación de los parámetros α y β. El método pideal experto estimar tres medidas de la distribución del parámetro, la media µ y los percentiles5 y 95. Estas medidas son usadas para estimar la distribución de π, la cual viene dada por:

Ix(x0, n0 − x0) =

∫ x

0

Γ(n0)

Γ(x0)Γ(n0 − x0)πx0−1(1− π)n0−x0−1dπ (3-17)

donde 0 < x < 1. Ahora, con los valores elicitados de la media y un percentil podemosconsultar el valor de x0 y n0 en las tablas dadas por Waterman et al. (1976) y, así obtenerlas distribución del parámetro π.

3.2.6. Método de Elicitación PM (Posterior Mode)

Este método fue presentado por Chaloner y Duncan (1983), ellos proponen el siguienteprocedimiento para obtener las estimaciones de los parámetros α y β:

1. Especifique el número de ensayos (n) hipotéticos considerados en la elicitación.

2. Pregunte el número de éxitos (m) más probable para n ensayos.

3. Muestre la tabulación de la distribución Binomial (n,m/n).

4. Pregunte al experto por dl y du que son los valores más probables antes y después dem respectivamente, dl y du están definidos como sigue:

dl =p(m− 1)

p(m)

y

du =p(m+ 1)

p(m)

donde p() es la probabilidad predictiva del experto elicitado.

5. Usando los valores de dl, du y condicionando en m resuelva las ecuaciones para α y β.

dl =f(m− 1)

f(m)=

(n−m) (m+ α)

(m+ 1) (n−m+ β − 1)

y

du =f(m+ 1)

f(m)=

(n−m+ β)

(n−m+ 1) (m+ α− 1)

donde f () es la función de densidad de la Beta-Binomial. Estas ecuaciones producendos ecuaciones lineales en α y β. Llame a la solución de estas ecuaciones α1 y β1.

3.2 Elicitación de los parámetros de la distribución Beta 33

6. Para los pasos siguientes, mantenga fija la moda de la distribución a priori elicitda comoγ = α1−1

α1+β1−2, la cual es la moda de una distribución Beta con parámetros α1 y β1. Ahora

calcule el intervalo más corto (al menos que contenga el 50% de probabilidad), presentelos puntos que lo constituyen, las probabilidades y la suma de las probabilidades.Pregunte al experto por este intervalo, si este es muy largo haga h = −1, si es adecuadohaga h = 0 y si es demasiado corto haga h = 1. Entonces los nuevos valores de α y βestán dados por:

αi+1 = 1 + 2h (αi − 1)

βi+1 = 1 + 2h (βi − 1)

7. Si h no es cero, continúe con el paso 6 hasta que h cambie de signo.

8. Repita el procedimiento para varios valores de n y mezcle los resultados.

3.2.7. El primer método de Duran y Booker

Duran y Booker (1988) revisan la sensibilidad de los parámetros de la distribución Betadonde, al igual que en el método de Gross (1971) se analizan las creencias a priori en unsistema de confiablidad. Aquí en lugar de dar al “experto” un intervalo y pedir la probabilidad,el analista da al experto una probabilidad µ y, le pide estimar el valor de kµ tal que laprobabilidad de que el verdadero valor de la media esté en el intervalo (0, kµ) sea igual a µ.Las ecuaciones que se deben resolver son las mismas, únicamente se cambian los límites deintegración.

µ =α

α + β(3-18)

ν =

∫ kµ

0

πα−1 (1− π)β−1

B(α, β

) dπ (3-19)

3.2.8. El segundo método de Duran y Booker

Este método es similar al segundo método de Weiler (1965). Duran y Booker (1988) nueva-mente elicitan los valores de k1 y k2, pero esta vez representan los extremos superiores delos intervalos de manera que la probabilidad de que el valor real de la media µ se encuen-tre en (0, k1) es igual a ν1 y para (0, k2) es ν2, donde ν1 y ν2 son dados por el facilitador.Las ecuaciones son las mismas que en el segundo método de Weiler (1965), excepto que lasintegrales son igualadas a ν1 y ν2 respectivamente:

34 3 Elicitación de la distribución Binomial

ν1 =

∫ k1

0

πα−1 (1− π)β−1

B(α, β

) dπ (3-20)

ν2 =

∫ k2

0

πα−1 (1− π)β−1

B(α, β

) dπ (3-21)

3.2.9. El método de Gavasakar

El método de Gavasakar (1988) presenta diferencias con los anteriores métodos ya que utilizamuestras hipotéticas futuras, en lugar de estimaciones de parámetros de localización y escala.El método comienza como el de Chaloner y Duncan (1983), se le pide al experto imaginarun conjunto de n0 ensayos y dar la moda m0 para el número de éxitos. A continuación, seda al experto una muestra hipotética futura, donde se observaron Si éxitos en ki ensayos, yse le pide que imagine otros Ni ensayos y de su número modal de éxitos, mi. Esto se repitepara I muestras hipotéticas futuras. Tenga en cuenta que el analista tiene que dar al expertolos valores de n, k y s. Gavasakar sugiere utilizar ni = 20 (siguiendo a Chaloner y Duncan(1983)), ki = 25 o 40 y para extender los valores de k en el rango de resultados razonablementeposibles, por ejemplo, solía usar 7, 14 y 21 éxitos cuando k=25. Las estimaciones α y β sehacen por el método de mínimos cuadrados, minimizando la siguiente expresión:

I∑i=0

[mi −

((ni + 1) (α + si)

α + β + ki− 1

2

)]2

(3-22)

donde k0 = s0 = 0

3.2.10. Método de Gilless y Fried

Gilless y Fried (2000) presentan un método para estimar los tiempos aleatorios requeridos enla técnica PERT, esta técnica es “probabilística” en el sentido de que hace referencia al tiemponecesario para completar cualquier actividad, y por extensión el tiempo para completar elproyecto, dichos tiempos son analizados como aleatorios. Este tratamiento probabilísticoque se le da a la técnica PERT se basa en la estimación por parte de expertos de losvalores mínimo, modal y máximo tiempo necesario para completar cada actividad dentro unproyecto. Gilless y Fried (2000) realizan una extensión de este método y piden al expertoestimar el percentil 90. Con la estimación de estos cuatro puntos resuelven los valores de αy β por medio de las siguientes ecuaciones:

3.2 Elicitación de los parámetros de la distribución Beta 35

πmin = 0 πmax = 1 (3-23)

πmodal =(Tmodal − Tmin)

(Tmax − Tmin)(3-24)

donde T es el tiempo estimado que se requiere para completar una actividad. Para losvalores anteriores se supone que siguen una distribución Beta con función de densidad deprobabilidad f(π) =

[Γ(α+β)

Γ(α)+Γ(β)

] [πα−1(1− π)β−1

], entonces la media, varianza y moda vienen

dados por:

E(π) =α

(α + β)(3-25)

V ar(π) =αβ

(α + β)2(α + β + 1)(3-26)

mπ =(α− 1)

(α + β + 2)(3-27)

3.2.11. Primer método de León, Vázquez y León

El método de León et al., (2003) es llamado “Método menos informativo” y consiste enrealizar los siguientes pasos:

1. Inicialmente se pide al experto realizar la estimación de la media µ y la moda m.

2. Con las estimaciones anteriores resolver para α y β las siguientes ecuaciones:

µ = a+ (b− a)α

α + β(3-28)

m = a+ (b− a)α− 1

α + β − 2(3-29)

donde a y b son los límites inferior y superior que definen el rango de complacencia apagar según lo determine el experto.

3. Mostrar al experto la forma de la distribución resultante de las estimaciones anterioresy validar si se siente cómodo con esta distribución o desea realizar algún ajuste.

4. Repetir los pasos 1-3 hasta lograr que el experto este cómodo con la distribuciónresultante.

36 3 Elicitación de la distribución Binomial

3.2.12. Segundo método de León, Vázquez y León (2003)

Este es llamado “Método más informativo” y consiste realizar los siguientes pasos:

1. Inicialmente se pide al experto realizar la estimación de la media µ, la moda m y trescuantiles, q1, q2 y q3.

2. Compruebe si el intervalo cerrado, definido por el primer cuantil q1 y el tercer cuantilq3 comprende una región de alta densidad de 50% para una distribución Beta conparámetros α = β = 1.

3. Si la condición en el paso anterior no se cumple, el parámetro α es incrementado en0,01, y el correspondiente parámetro β es generado con las relación:

β = (α− 1)b− ad− a

− α + 2 (3-30)

Este paso se repite hasta que el parámetro α y β satisfagan las siguientes dos ecuaciones:

F (q2;α, β) = 0,5 (3-31)

F (q3;α, β) = 0,75 (3-32)

donde F es una función de distribución acumulada Beta. Cuando se logra la convergen-cia, el intervalo [q1, q3] define una región de alta densidad del 50% para los parámetros(α, β)

4. Revisar la consistencia del primer cuantil, es decir, que q1 satisfaga F (q1, α, β) ≈ 0,25

y µ = α

α+β

5. Si ya sea que el primer cuantil o la media obtenida a partir de la distribución elicitadase desvía más de 30 % de lo especificado en el paso 1, se debe pedir al experto volvera evaluar las cantidades elicitadas, hasta conseguir consistencia.

3.2.13. Método de aproximación a la distribución Normal

Este método fue propuesto por Elfadaly y Garthwaite (2012). Aquí los autores utilizan laestimación de tres cuartiles, q25, q50 y q75. Como primer paso, se utiliza una aproximación dela distribución Normal a la Beta transformando los tres cuartiles estimados en dos valoresiniciales de los parámetros Beta.

f (π) =1

Beta (α, β)πα−1 (1− π)β−1 , 0 ≤ π ≤ 1, α > 0, β > 0 (3-33)

Z = 2{

[π (β − 1/4)]1/2 − [(1− π) (α− 1/4)]1/2}

(3-34)

3.2 Elicitación de los parámetros de la distribución Beta 37

Donde Z tiene una distribución N(0,1) con un error absoluto O(

1√α+β

).

Basados en (3-34) se estiman los valores iniciales de los parámetros de la distribución Betapor medio de las siguientes ecuaciones:

α = cq50 + 0,25

β = c (1− q50) + 0,25(3-35)

donde q25, q50 y q75 son los cuartiles elicitados. Ahora haciendo uso de la propiedad Z75−Z25 =

1,34896 tenemos que:

c ∼=1,34896

4

{[q50 (1− q25)]1/2 − [q25 (1− q50)]1/2 + [q75 (1− q50)]1/2 [q50 (1− q75)]2

}−2

(3-36)

Z25 y Z75 son los cuartiles inferior y superior de la distribución Normal estándar.Como segundo paso, se aplica un método numérico de mínimos cuadrados sobre los valoresiniciales de los parámetros α y β para optimizarlos. (Oakley et al., 2010; Elfadaly y Garth-waite, 2012) reportan el enfoque de mínimos cuadrados como un método para escoger losparámetros elicitados α y β que minimicen la función:

Q = [F (q25, α, β)− 0,25]2 + [F (q50, α, β)− 0,5]2 + [F (q75, α, β)− 0,75]2 (3-37)

Donde F (x, α, β) es la cdf de una distribución Beta con parámetros α y β en un punto x.

3.2.14. Métodos Adicionales

Hughes y Madden (2002) discuten otros dos métodos presentados por Pham-Gia et al. (1962).A diferencia de los métodos descritos anteriormente, los dos métodos de elicitación de losparámetros α y β discutidos por Pham-Gia et al. ( 1992 ) no requieren explícitamente laevaluación subjetiva de las probabilidades relacionadas con el área bajo la curva f(π). Enlugar de ello, se le pide al experto que proporcione estimaciones de una medida de posicióny una medida de dispersión, la desviación media absoluta. La desviación media absolutaalrededor de un punto es la media muestral de las desviaciones, calculada usando los valoresabsolutos:

En el primer método, se pide al experto realizar una estimación de la media, µ y,una estimación subjetiva de la desviación media absoluta respecto a la media µ, quese denota como δ1(π). Esta estimación puede ser vista como una estimación de la

38 3 Elicitación de la distribución Binomial

magnitud del error esperado asociado a la media estimada µ. Las ecuaciones pararesolver los valores de α y β son:

µ =α

α + β(3-38)

δ1(π) =2Γ(α/π)πα+1(1− π)((1/π)−1)α

Γ(α + 1)Γ(((1/π)− 1)α)(3-39)

Para el segundo método, en lugar de la media µ, se pide al experto estimar el valorde la mediana M , y la desviación media absoluta sobre la mediana, que se denotacomo δ2(π). En este caso, δ2(π) es una estimación de la magnitud del error promedioasociado con la mediana estimada M . Las ecuaciones para resolver los valores de α yβ son:

0,5 =

∫ M

0

πα−1 (1− π)β−1

B(α, β

) dπ (3-40)

δ2(π) =2M α(1− M)β

(α + β)B(α, β)(3-41)

4 Elicitación de la distribuciónMultinomial

Cuando la opinión del experto se busca en dos o más variables desconocidas, el resultado dela elicitación debe ser la distribución de probabilidad conjunta del experto de esas variables.La tarea es ahora más compleja que cuando se elicita una distribución de una sola variabley, el facilitador debe hacer inevitablemente preguntas más complejas. Un caso importante escuando las variables son independientes, donde vale la pena recordar que la independenciaaquí es una propiedad del conocimiento del experto, dicha propiedad es básicamente que siel experto obtuviera nueva información sobre algunas de las variables, no deberían cambiarsus creencias sobre las demás. El ejercicio de elicitación se reduce entonces a elicitar lascreencias del experto acerca de cada variable por separado, por lo que se requieren técnicasde elicitación univariadas. En los casos en que las variables son dependientes, no podemosescapar de la complejidad de la elicitación multivariante. Generalmente se elicitan resúmenesde las distribuciones marginales del experto o se aplican transformaciones que den comoresultado una nueva variable independiente (Garthwaite et al., 2005).

4.1. Distribución Multinomial

La distribución Multinomial atrae considerablemente la atención de numerosos investigadoresteóricos y aplicados en el área de las distribuciones multivariantes discretas. La distribuciónMultinomial parece haber sido introducida explícitamente en la literatura en relación conel clásico “problema de los puntos para tres jugadores de igual habilidad"por de Montmorten su famoso ensayo de 1708. Esta distribución ha sido empleada en diversos campos delanálisis estadístico hasta el punto que un catálogo exhaustivo simplemente sería muy largoy difícil de manejar. Generalmente, se usa en las mismas situaciones en las que se podríautilizar una distribución Binomial, cuando hay múltiples categorías de eventos en lugar deuna simple dicotomía (Johnson et al., 1997).

Considere una serie de n ensayos independientes, en donde tan sólo uno de los k eventosmutuamente excluyentes de E1, E2, · · · , Ek debe ser observado, y en el cual la probabilidad deocurrencia del evento Ei, en cualquier ensayo es igual a πi (con i = 1, 2, · · · , k y π1+π2+· · ·+πk = 1). Dejemos que n1, n2, · · · , nk denoten una variable aleatoria del número de ocurrencias

40 4 Elicitación de la distribución Multinomial

de los eventos E1, E2, · · · , Ek respectivamente en esos n ensayos, con∑k

i=1 ni = n. Entoncesla distribución conjunta de n1, n2, · · · , nk está dada por (Johnson et al., 1997):

Pr(n1, n2, n3 . . . nk) = n!k∏i=1

(πniini!

)p (n1, n2, · · · , nk) ; con ni ≥ 0 y

∑ni = n. (4-1)

La ecuación (4-1) es llamada distribución Multinomial con parámetros (n; π1, π2, · · · , πk),donde los πi’s son frecuentemente llamados celdas de probabilidad y n es llamado indice. Lafunción de masa de probabilidad de n1, n2, · · · , nk está dada por:

f(n1, n2, · · · , nk;n, π1, π2, · · · , πk) =

{n!

n1!n2!···nk!πn11 πn2

2 · · ·πnk

k cuando∑ki=1 ni = n,

0 en otro caso.(4-2)

El número esperado de veces que la categoria i es observada en n ensayos y su varianza son:

E(ni) = nπi; V ar(ni) = nπi(1− πi); Cov(ni, nj) = −nπiπj ∀i 6= j. (4-3)

La distribución Multinomial puede ser aplicable cuando los datos obtenidos por muestreoaleatorio estén agrupados en un número finito de grupos. Siempre que sucesivas observacio-nes sean independientes, las condiciones para una distribución Multinomial están satisfechas.Por tanto, se puede aplicar una distribución Multinomial a muchos problemas que requierenla estimación de la distribución de la población, ya que estamos, en efecto, estimando la “cel-da"de las probabilidades de tal distribución. Otra situación en la que se utiliza comúnmentees en el análisis de tablas de contingencia (por ejemplo, en tablas de dos, tres, o M -víasque representan la incidencia conjunta de dos, tres, o M factores, cada uno en una seriede diferentes niveles). Algunas de las recientes aplicaciones incluyen diversas áreas del co-nocimiento como telecomunicaciones, ensayos clínicos, series de tiempo, citometría, análisisde enfermedades y accidentes, genética, epidemiología e investigación social (Johnson et al.,1997; Elfadaly y Garthwaite, 2012).

Teorema 2 : Suponga que Y = (Y1, Y2 . . . Yk) tiene una distribución Multinomial con pa-rámetro n (fijo) y π = (π1, π2, · · · , πk) desconocido. Suponga también que la distribucióna priori de π es una Dirichlet con vector de parámetros α = (α1, α2 · · ·αk) con αi > 0 yi = 1, 2, · · · k. Entonces la distribución posterior de π cuando Yi = yi para i = 1, 2, · · · k, esuna distribución Dirichlet con vector de parámetros α∗ = (α1 + y1, α2 + y2 · · ·αk + yk).

4.2. Elicitación de los parámetros Dirichlet

Un ejemplo de una tarea de elicitación multivariada donde se correlacionan necesariamentelas cantidades, es elicitar el conocimiento del experto sobre un conjunto de proporciones que

4.2 Elicitación de los parámetros Dirichlet 41

deben sumar 1. Un enfoque habitual es asumir que el conocimiento del experto puede serrepresentado adecuadamente por una distribución Dirichlet, ya que esta es una distribuciónmultivariable muy simple que es apropiada para dicho conjunto de proporciones. La elecciónde una a priori Dirichlet tiene algunas ventajas con respecto a la tratabilidad matemática ya la representación de una rica clase de creencias. Las a prioris Dirichlet también permitenevaluaciones analíticas de la distribución predictiva y de las distribuciones de característicasnuméricas estadísticamente relevantes de una medida de probabilidad aleatoria (Regazzini,1999), adicional a lo anterior, esta distribución es la más conveniente cuando el conocimientoa priori del experto es combinado con una muestra Multinomial, ya que la Dirichlet es ladistribución conjugada (DeGroot, 2004; Zapata et al., 2012).

Considere el caso de elicitar las creencias del experto sobre un conjunto de cantidades in-ciertas π = (π1, π2, · · · , πk) las cuales están restringidas a caer en la categoría k − 1 (yaque la categoría k queda determinada por defecto), es decir, πi ≥ 0 para i = 1, . . . , k y∑k

i=1 πi = 1. Entonces podemos decir que π tiene una distribución Dirichlet con parámetrosα = (α1, . . . , αk), denotada por π ∼ Di(α) si su función de densidad está dada por:

f(π|α) = c(α)k∏i=1

παi−1i (4-4)

donde c(α) = Γ(∑k

i=1 αi

)/∏k

i=1 Γ(αi), la media y las varianza de π vienen dados por:

E(πi|αi) =αin

; V ar(πi|αi) =αi(n− αi)n2(n+ 1)

; Cov(πi, πj|αi) = − αiαjn2(n+ 1)

∀i 6= j.

(4-5)

donde n =∑k

i=1 αi. La restricción de que la∑k

i=1 πi = 1, hace que los πi’s sean inevitable-mente correlacionados. En el contexto de elicitación de juicios de expertos se resaltan dospropiedades de la distribución Dirichlet, la distribución marginal y la condicional:

Distribución Marginal: Nosotros podemos escribir la distribución conjunta de π1, . . . , πkcomo:

f1(π1)f2(π2|π1)f3(π3|π1π2) · · · fk−1(πk−1|π1, . . . , πk−2) (4-6)

También podemos escribir la distribución conjunta como:

Γ(A)

Γ(α1)Γ(A− α1)πα1−11 (1− π1)A−α1−1 ∗ Γ(A− α1)

Γ(α2)Γ(A− α1 − α2)

πα2−12 (1− π1 − π2)A−α1−α2−1

(1− π1)A−α1−1(4-7)

∗ · · · ∗ Γ(A− α1 − · · · − αk−2)

Γ(αk−1)Γ(A− α1 − · · · − αk−1)

παk−1−1k−1 παk−1

k

(1− π1 − · · · − πk−2)αk−1+αk−1

42 4 Elicitación de la distribución Multinomial

donde A =∑k

i=1 αi. Ahora, con algunas cancelaciones de términos apropiados llegamosa la densidad de una Dirichlet, donde podemos ver que la distribución marginal deπ1 es una Beta con parámetros α1, A − α1 es decir, π1 ∼ Beta(α1, A − α1) y πj ∼Beta(αj, A− αj).

Distribución Condicional: Para i = m+ 1, · · · , k tenemos:

π′

i = πi/(1− π1 − π2 − · · · − πk) (4-8)

Note que π′ = (π′m+1, · · · ,−π

′

k) satisface la condición de caer en el intervalo (k−m−1),luego propiedad condicional es que π′ |πm tiene una distribución Di(Am+1, · · · , Ak),ahora usando esta propiedad podemos descomponer la distribución Dirichlet en unasecuencia de k − 1 Beta condicional.

Hasta ahora el número de intentos para introducir métodos de elicitación para los parámetrosde la distribución Dirichlet ha sido limitado; Jenkinson (2005) discute la extensión del mé-todo (PM) de Chaloner and Duncan al caso Multinomial. Dickey et al., (1983) presentan unmétodo para elicitar los parámetros de la distribución Dirichlet usando muestras hipotéticasfuturas. Elfadaly y Garthwaite (2012) presentan dos métodos, uno usando la distribuciónmarginal y otro usando la distribución condicional, ambos métodos piden al experto estimartres cuartiles los cuales son usados para estimar α y β por medio de una aproximación ala distribución normal. Zapata et al., (2012) presentan un método de elicitación basado enuna metodología de sobre-ajuste donde se elicita la distribución Beta de cada πi por mediodel SHELF (SHELF es un paquete de documentos, plantillas y software que proporcionanprotocolos de elicitación estructurados). A continuación describimos con un poco más dedetalle dichos métodos:

4.2.1. Método de Dickey, Jiang y Kadane

El método de Dickey, Jiang y Kadane (1983) funciona como un “Dispositivo de resultadosimaginarios” donde el experto imagina datos hipotéticos (también pueden ser reales) y elmétodo evalúa su reacción a dichos datos en tres principales pasos:

Como primer paso se pide al experto estimar la probabilidad de que X = i parai = 1, · · · , k. dónde:

P (X = i) =bib.

; b. =k∑i=1

bi (4-9)

Ahora se da al experto una muestra hipotética (o real), digamos x = (x1, · · · , xk), yse pide estimar ahora la probabilidad condicional X = i|x donde:

P (X = i|x) =b.

b. + x.P (X = i) =

x.b. + x,

µi (4-10)

4.2 Elicitación de los parámetros Dirichlet 43

donde x. =∑k

i=1 xi y la frecuencia relativa µi = xix.. Ahora resolviendo para b. tenemos:

b. = x.

[µi − P (X = i|x)

P (X = i|x)− P (X = i)

](4-11)

Una vez obtenido b., los valores individuales de bi se calculan a partir de los valoreselicitados inicialmente utilizando la fórmula:

bi = P (X = i)b.; i = 1, · · · , k. (4-12)

En la práctica, el numerador y el denominador en 4-11 deberían tener el mismo signo.Bajo el modelo a priori-conjugada, P (X = i|x) cae entre P (X = i) y µi. El radio dedistancia a µi y P (X = i) es b./x., una constante (positiva) en i. Si P (X = i|x) eselicitada y 4-11 es resuelta para varios valores de i, entonces esos b. pueden ser prome-diados. Similarmente, se puede obtener un promedio de b. como el producto de elicitardiferentes muestras hipotéticas x.Dickey et al., (1983) presentan como ejemplo, valores elicitados de un problema psicoso-cial sobre la pena de muerte donde se analizan 4 categorías. Los valores son presentadosen la Tabla 1.

Item1 2 3 4

p(δ = i) 0.02 0.08 0.15 0.75HFS xi 16 20 32 132

Frecuencia µi 0.8 0.10 0.16 0.66p(δ = i|x) 0.05 0.09 0.16 0.70

b. (b. = 140) 200 200 0 160bi = b.p(δ = i) 2.8 11.2 21.0 105.0Tabla 1. Tomada de Dickey., et al., (1983)

4.2.2. Método de Elfadaly y Garthwaite

Como se mencionó anteriormente, para elicitar el vector de parámetros α = (α1, . . . , αk) dela distribución Dirichlet Elfadaly y Garthwaite (2012) presentan dos métodos que hacen usode la relación directa entre esta y su caso especial univariado, la distribución Beta. El primermétodo hace uso de la distribución marginal y el segundo de la distribución condicional dela distribución Dirichlet, ambos métodos piden al experto estimar tres cuartiles, los cualesson usados para estimar αi y βi (para i = 1, . . . , k − 1), por medio de una aproximación ala distribución normal, posteriormente se estima el vector de parámetro α de la distribuciónDirichlet a través de un método de mínimos cuadrados. Dado que la distribución Dirichletestándar no siempre es lo suficientemente flexible para representar información a priori, los

44 4 Elicitación de la distribución Multinomial

autores proponen también elicitar los parámetros de una distribución Dirichlet generalizada,conocida como distribución Connor-Mosimann, que es también una a priori conjugada ycuenta con un mayor número de parámetros y, por lo tanto una estructura de dependenciamás flexible.

Elicitación del vector α de la distribución Dirichlet usando su condicional:Suponga que n1, n2, · · · , nk denotan una variable aleatoria que sigue una distribuciónMultinomial con k categorías, n ensayos y un vector de probabilidades π = (π1, . . . , πk)

de forma que su fdp sea igual a:

f(n1, n2, · · · , nk) =n!

n1!n2! · · ·nk!πn1

1 πn22 · · · π

nkk (4-13)

y cumple con 0 ≤ ni ≤ n,∑ni = n, 0 ≤ πi ≤ 1 y

∑πi = 1, entonces una distribución

a priori conjugada del vector π es una distribución Dirichlet de la forma (4-4) con0 ≤ πi ≤ 1,

∑πi = 1 para αi > 0 y N =

∑αi; ahora usando la propiedad vista en

(4-8) podemos ver que la distribución condicional de las variables Dirichlet toman lasiguiente forma:

f(αr|α1, α2, · · · , αr−1) =1

β(ar,∑ki=r+1 ai)

αa1−1r

(1−∑r−1i=1 αi)

ar

(1− αr

1−∑r−1i=1 αi

)∑ki=r+1 ai−1

(4-14)

la cual es una distribución Beta sobre el intervalo (0, 1 −∑r−1

i=1 αi). La distribución(4-14) también es conocida como la distribución Beta de tres parámetros.

(αr|α1, α2, · · · , αr−1) ∼ Beta

(ar,

k∑i=r+1

ai, 1−r−1∑i=1

αi

); 1 < r ≤ k − 1 (4-15)

Ahora aplicando la transformación

α∗r =

{α1 para r = 1,

αr

1−∑r−1

i=1 αipara r = 2, 3, · · · , k − 1

(4-16)

obtenemos que :

α∗r ∼ Beta

(αr,

k∑i=r+1

αi

)para r = 1, 2, · · · , k − 1 (4-17)

Entonces el proceso de elicitación puede ser llevado a cabo por medio de los siguientespasos:

4.2 Elicitación de los parámetros Dirichlet 45

• Permita que el experto elija la categoría más conveniente para empezar. Denota-mos su probabilidad como α1.

• El experto estima tres cuartiles (25, 50 y 75) para α1, los cuales posteriormen-te se convierten en las estimaciones de los dos hiperparámetros α1 y β1 de ladistribución Beta (α1, β1) de α∗1 = α1.

• Se pide al experto asumir que el valor de la mediana que se dio en el paso anteriores el valor verdadero de α1, y que estime tres cuartiles (25, 50 y 75) para α2.Dividiendo cada uno de los tres cuartilies de α2 en 1−α1 obtenemos los cuartilesde α∗2 y por tanto las estimaciones de los hiperparámetros α2 y β2 de la distribuciónBeta marginal de α∗2.

• El proceso se repite para cada categoría, excepto para la última. Para r =

3, 4, · · · , k − 1, el experto estima cuartiles para (αr|α2, α3, · · · , αr−1), dividien-do entre 1 −

∑r−1i=1 αi donde se obtienen los tres cuartiles de α∗r , que se utilizan

para estimar los dos hiperparámetros αr y βr de la distribución marginal. (Nonecesita la distribución marginal de αk).

Usando el resultado (4-17) es posible plantear el siguiente sistema de ecuaciones:

αr = ar, para r = 1, 2, · · · , k − 1;βr =

∑ki=r+1 ai, para r = 1, 2, · · · , k − 1;

(4-18)

donde cada distribución Beta elicitada tiene su propia estimación de N diferente, dadapor:

Nr =r−1∑i=1

αi + αr + βr (4-19)

Basados en αi, i = 1, 2, · · · , r − 1, estimados en el paso anterior.

Nota: El sistema de ecuaciones (4-18) puede no ser consistente ni tener una solu-ción única para a = (a1, a2, · · · , ak), por lo que es necesario promediar estas ecuacionescon el fin de poder obtener un a∗ = (a∗1, a

∗2, · · · , a∗k) que represente bien la opinión del

experto; los autores consideran que un enfoque razonable puede ser mantener el valormedio fijo, cuando sea posible, mientras se mueve de diferentes distribuciones Beta auna distribución Dirichlet.

Usando (4-5) se tiene:

µr ≡ E (αr) =αrNr

(4-20)

y en vista de (4-18) y (4-19)

µr =

αr∑r

i=1 αi+βr, para r = 1, 2, · · · , k − 1

βk−1∑k−1i=1 αi+βk−1

, para r = k(4-21)

46 4 Elicitación de la distribución Multinomial

Bajo la condición de∑k

r=1 µr = 1, la normalización de µr para r = 1, 2, · · · , k, esµ∗r = µr∑k

i=1 µi, para r = 1, 2, · · · , k. De otro lado tenemos que:

N∗ ≡k∑r=1

α∗r , (4-22)

Ahora, si α∗r = µ∗rN∗, r = 1, 2, · · · , k y tomamos esto como la media de todos los

denominadores en (4-21)

N∗ =

∑k−1r=1 [

∑ri=1 αi + βr] +

∑k−1i=1 αi + βk−1

k, (4-23)

Elicitación del vector α de la distribución Dirichlet usando sus distribucionesmarginales: Basados en los resultados de (4-6) y (4-7) tenemos que

αi ∼ Beta (αi, βi) para i = 1, 2, · · · , k (4-24)

donde

αi = ai; βi =k∑j 6=i

aj; para i = 1, 2, · · · , k. (4-25)

Para este enfoque, el proceso de elicitación puede ser dividido en k pasos, en cada pasose pedirá al experto estimar tres cuantiles para αi, con i = 1, 2, · · · , k, estos cuartilesson luego transformados para estimar los hiperparámetros αi y βi de la distribuciónBeta de αi usando los resultados obtenidos en (3-34) y (3-35), en este enfoque esindiferente por cual categoría se comienza o el orden en que son elicitadas. Para finalizarel proceso de elicitación, los parámetros Beta estimados son promediados para estimarlos parámetros de la distribución Dirichlet usando la técnica de mínimos cuadrados.

Es claro que las ecuaciones vistas en (4-25) no tienen una solución consistente paraa = (a1, a2 · · · , ak). De (4-25) cada marginal elicitada entrega dos estimaciones para aiy Ni

ai = αi; Ni = αi + βi =k∑j=1

aj; para i = 1, 2, · · · , k. (4-26)

Los parámetros Dirichlet estimados deben cumplir la condición que su suma debe serigual a 1, es decir,

k∑i=1

µi = 1 (4-27)

4.2 Elicitación de los parámetros Dirichlet 47

donde

µi =aiNi

; para i = 1, 2, · · · , k. (4-28)

Siguiendo el enfoque propuesto por Lindley et al. (1979) para unir estimaciones deexpertos, los autores evalúan diferentes opciones para reconciliar o promediar estima-ciones incoherentes de µi y N dentro de estimaciones matemáticamente coherentes deµ∗i y N∗, respectivamente, dadas por expertos. Finalmente el vector de parámetrosDirichlet es calculado usando las ecuaciones (4-27), (4-28) y:

µ∗i =µi∑kj=1 µj

; para i = 1, 2, · · · , k. (4-29)

donde N∗ es tomado como la media aritmética

N∗ =

∑ki=1 Ni

k; para i = 1, 2, · · · , k. (4-30)

Elicitación de una distribución Dirichlet generalizada para un modelo Mul-tinomial: Elfadaly y Garthwaite (2012) afirman que siendo una a priori conjugadapara los modelos multinomiales, la distribución Dirichlet estándar es ampliamente uti-lizada por su maleabilidad matemática y simplicidad. Sin embargo en la literatura, ladistribución Dirichlet en su forma estándar ha sido criticada por no ser suficientementeflexible para representar la información a priori sobre los parámetros de los modelosmultinomiales. Dentro de las principales críticas están:

• Tiene un limitado número de parámetros, una distribución Dirichlet k-variableúnicamente es especificada con k parámetros, estos determinan las k-medias, lask-varianzas y las k(k−1)

2covarianzas.

• Las magnitudes relativas de cada ai determinan la media a priori, mientras quesolo la magnitud global de N =

∑ai determina todas las varianzas y covarianzas

si las medias se mantienen fijas.

• Consecuentemente, la estructura de dependencia entre las variables Dirichlet nopueden ser determinadas independientemente de sus valores medios.

• Las variables Dirichlet siempre están correlacionadas negativamente, lo cual puedeno representar creencias a priori.

• Las variables Dirichlet que tengan la misma media necesariamente tienen igualvarianza.

Motivados por las anteriores deficiencias los autores desarrollan un método para elicitarlos parámetros de una distribución Dirichlet generalizada llamada Connor y Mosimann.

48 4 Elicitación de la distribución Multinomial

Esta distribución fue introducida por Connor y Mosimann en 1969, la cual es otraconjugada a priori para modelos multinomiales y, se caracteriza por tener mayor númerode parámetros con una estructura de dependencia más general que la distribución deDirichlet estándar. Por tanto, es más flexible para la representación de las creencias apriori, su función de densidad puede ser escrita de la forma:

f(α1, α2, · · · , αk) =k−1∏i=1

Γ(ai + bi)

Γ(ai)Γ(bi)αai−1i

(k∑j=i

αj

)bi−1−(ai+bi)αbk−1−1

k (4-31)

donde a ≤ αi ≤ 1,∑αi = 1, ai > 0 y bi > 0

Al igual que en el caso de la distribución Dirichlet estándar, la distribución condicionalde la Dirichlet generalizada es aún un distribución Beta escalada, lo cual ayuda muchoen el proceso de elicitación de los parámetros Dirichlet, usando los parámetros elicitadosde cada distribución Beta escalda. Entonces la distribución de α1|α2, α3, · · · , αr−1, parar = 2, 3, · · · , k − 1 está dada por:

f(α1|α2, α3, · · · , αr−1) =1

β(ar, br)

αar−1r

(1−∑r−1

i=1 αi)ar

(1− αr

1−∑r−1

i=1 αi

)br−1

(4-32)

(α1|α2, α3, · · · , αr−1) ∼ Beta(ar, br, 1−r−1∑i=1

αi) (4-33)

para r = 2, 3, · · · , k − 1. Ahora aplicando la misma transformación que se aplicó enla elicitación de los parámetros Dirichlet estándar usando su distribución condicionaltenemos:

α∗r =

{α1 para r = 1,

αr

1−∑r−1

i=1 αipara r = 2, 3, · · · , k − 1.

(4-34)

entonces

α∗r ∼ Beta (ar, br) para r = 1, 2, · · · , k − 1 (4-35)

El mismo procedimiento aplicado en el método de elicitación de la distribución Diri-chlet estándar usando sus distribuciones condicionales es aún valido aquí, la princi-pal diferencia radica en que los parámetros de la distribución Dirichlet generalizada(a1, a2, · · · , ak−1, b1, b2, · · · , bk−1) son estimados directamente como los mismos pará-metros (αi, βi) de la distribución de α∗r . Note que ya no es necesario promediar losparámetros estimados debido a que el número total de parámetros elicitados a partirde las distribuciones Beta condicionales es el mismo número de los parámetros de ladistribución Dirichlet generalizada, es decir, 2(k − 1).

4.2 Elicitación de los parámetros Dirichlet 49

4.2.3. Método de Zapata, O’Hagan y Soares

Zapata, O’Hagan y Soares (2012) proponen un método que cuenta con dos característicasfundamentales:

1. Los autores proponen elicitar más juicios de los mínimos requeridos para ajustar unadistribución de Dirichlet (sobre-ajuste). Según ellos, el sobre-ajuste tiene dos ventajasprincipales. La primera es que, en la práctica no todos los juicios de los expertos seajustan perfectamente a una distribución Dirichlet con cualquier α, porque el conoci-miento del experto no puede ser perfectamente representado por una distribución deDirichlet y porque los juicios de los expertos son necesariamente imprecisos. La segun-da es que, de la misma manera como más datos permiten estimaciones más precisasen el análisis de estadístico tradicional, aquí más cantidades elicitadas permiten unamayor exactitud en la elección del vector de parámetros d.

2. Los autores usan el esquema de elicitación Sheffield (SHELF). SHELF es un paquetede documentos, plantillas y software que proporcionan protocolos de elicitación estruc-turados que conforman prácticas de elicitación “moderna".

Una descripción detallada del proceso de elicitación propuesto por los autores es:

Elicitación de distribuciones Beta para cada πi usando SHELF: Dentro deSHELF hay diferentes métodos disponibles para elicitar una distribución Beta, queinvolucran diferentes juicios para ser elicitados de los expertos. Todos los métodos deSHELF incorporan un elemento de sobre-ajuste, ya que únicamente se necesitan dosjuicios para ajustar una distribución Beta y SHELF elicita a lo menos tres juicios.El software selecciona una distribución Beta que ajuste los juicios del experto lo máscerca posible, entonces el facilitador retroalimenta diferentes resúmenes y muestra lafunción de densidad ajustada. Aquí se ofrece al experto la oportunidad de evaluar quétan bien se ajusta la distribución estimada a sus creencias. En caso de que el expertoexperimente sentimientos de insatisfacción, es posible elicitar juicios adicionales. Sidefinitivamente el experto siente que una distribución Beta no es adecuada para suscreencias (Por ejemplo si su distribución es bimodal), entonces el procedimiento terminacon la conclusión de que una distribución Dirichlet no es adecuada para representar lascreencias del experto sobre el vector de parámetros completo π (O’Hagan y Oakley.,2010).

Chequeo y ajuste de medias: Bajo el supuesto que la distribución Beta puederepresentar adecuadamente las creencias del experto sobre cada πi, el siguiente pasoahora es chequear la restricción

∑πi = 1. Suponga que la distribución elicitada para

πi es Beta(αi, ei), esto implica que E(πi) = αiαi+ei

. La restricción ahora requiere que:

k∑i=1

αiαi + ei

= 1 (4-36)

50 4 Elicitación de la distribución Multinomial

En la práctica, es poco probable que elicitaciones realizadas separadamente arrojenvalores de αi y ei que satisfagan la ecuación (4-36). Frecuentemente podemos encontrarque la suma de los valores esperados es mayor a 1. Si la suma es mayor o menor que 1, sedeben ajustar las distribuciones de manera que (4-36) sea satisfecha. Si la discrepanciaes muy grande, es decir, fuera del intervalo [0.9, 1.1] es necesario revisar el proceso deelicitación completo para resolver posibles mal entendidos que haya tenido el experto.Pequeñas discrepancias en los valores de αi y ei pueden ser corregidas por medio de unajuste mecánico. Si la suma del lado izquierdo de la ecuación (4-36) es r 6= 1, podemoscalcular un α∗i y e∗i tal que:

α∗i = αi/r, e∗i = di + ei − d∗i (4-37)

El facilitador puede decidir si dar o no una retroalimentación sobre qué tan cercanasson la nuevas medias ajustadas con la estimadas originalmente, sin embargo en lapráctica es poco probable que la calidad de ajuste cambie significativamente cuando res muy cercano a 1.

Encontrando un valor de n: En este punto deberíamos tener una distribución Betaaceptable para cada parámetro de la distribución Dirichlet. Ahora las distribucionesseparadas Beta corresponden a una Dirichlet si todos los valores de ni = α∗i + e∗i soniguales. En la práctica es poco probable que esto pase. Si encontramos una distribuciónDirichlet que sea una representación aceptable de las creencias del experto procedemosa buscar un valor de n que actúe como un valor común para reemplazar las discrepan-cias entre los ni’s. Entonces para cualquier n propuesto definimos la correspondientedistribución Dirichlet como:

Di(d(n)) (4-38)

donde el vector de parámetros d(n) tiene el i-ésimo elemento di(n) = nα∗i

α∗i+e∗i.

Ahora la pregunta es: Cuál valor de n podría producir una distribución (4-38) querefleje mejor el conocimiento del experto?. Un valor grande de n implica informaciónmás robusta donde una apropiada unión de los valores de n debería caer entre nmin =

mini {ni} y nmax = maxi {ni}. Lo ideal sería seleccionar un valor de n que haga quela distribución Dirichlet ajuste todos los juicios elicitados tan aproximado como seaposible, sin embargo esto implica un gasto computacional innecesario ya que seleccionarun valor de n, ya sea por un método complejo o simple, arrojará un resultado con unajuste equivalente. Algunos métodos para unir los valores nii son:

• Use un valor unido de n: Use un valor de n que se encuentre alrededor de la mitaddel intervalo (nmin, nmax). El valor medio estricto se encuentra en nmedio = (nmin+

nmax)/2 sin embargo también es importante considerar la media (n =∑ni/k) y

la mediana (nmediana) de los ni’s.

4.2 Elicitación de los parámetros Dirichlet 51

• Use una optimización simplificada: Cree un criterio objetivo F (n), y seleccioneun valor de n que optimice este criterio. Un criterio F (n) que encontramos útilen la práctica se basa en la aproximación de la distribución Dirichlet (Di(d(n)))

a las desviaciones estándar de las distribuciones Beta elicitadas separadamente:

nopt =

(∑ki=1 v

∗i (ni + 1)∑k

i=1 v∗i

√ni + 1

)2

− 1 (4-39)

donde v∗i =α∗i (ni−α∗i )

n2i (ni+1)

es la varianza de la i-ésima media ajustada de la distribuciónBeta(α∗i , ni − α∗i )

• Use un valor conservador de n: Seleccione el valor de n = nmin ya que éste noexpresa más información sobre ningún πi que no haya sido elicitado. Cuando seselecciona el nmin no se está buscando una distribución Dirichlet que representeadecuadamente el conocimiento del experto. Se usa una distribución Dirichlet máspor conveniencia, ya que ésta no requiere información adicional a la que el expertoha dado sobre los valores de πi.

Retroalimentación: Si se ha calculado un valor central representativo como nmid o n,o si hemos encontrado un valor óptimo simplificado nopt, entonces es importante presen-tar retroalimentación nuevamente al experto sobre las implicaciones de la distribuciónDirichlet ajustada. En particular, esto implicará examinar la densidad marginal implí-cita para cada πi y ver hasta qué punto coincide con los valores originalmente elicitados.Si el experto considera la distribución Dirichlet ajustada como aceptable, entonces elprocedimiento termina con esta distribución elicitada como conclusión.Por otra parte, particularmente si los valores originales de ni no eran razonablemen-te similares, podemos encontrar que el ajuste es ahora demasiado pobre para que ladistribución Dirichlet represente adecuadamente el conocimiento del experto. En estecaso, el procedimiento termina con la conclusión de que una distribución Dirichlet norepresentaría una distribución conjunta adecuada para π.Note que si se ha optado por utilizar el valor conservador nmin, entonces la retroali-mentación no atiende ningún propósito útil. Si fuésemos a ofrecer retroalimentaciónpodríamos encontrar que el resultado es que no se ajusta a los juicios de los expertos,lo que en ningún momento se pretendía. El procedimiento concluye con la distribuciónDirichlet elegida Di (d (nmin)).

5 Método Propuesto

5.1. Método

La propuesta para elicitar la distribución del vector de parámetros π de la distribución Mul-tinomial se basa en tres componentes. La primera componente busca estimar el n equivalentedel experto, es decir, se busca estimar un tamaño muestral n de manera que la opinión delexperto sea equivalente a dicho tamaño muestral. La segunda componente aplica el métodode la Ruleta (propuesto por Oakley et al, 2010) que le permite al analista estimar el vectorde probabilidades de ocurrencia de cada categoría. La tercera componente es un método desimulación estadística que permite que los parámetros de su distribución conjugada Dirichletsean estimados por medio del n equivalente estimado en la componente 1 y el vector de pro-babilidades estimado en la componente 2.Si X es una variable aleatoria la cual sigue una distribución Multinomial con parámetros(n; π1, π2, · · · , πk) y considerando los resultados obtenidos en (4-7) y (4-8) el método puedeser aplicado mediante los siguientes pasos:

1. Estimación del n equivalente: En esta etapa se estima el tamaño muestral n querepresenta la opinión del experto, es decir, se estima un valor de n de manera que laopinión del experto sea equivalente a sacar una muestra aleatoria de la población detamaño n. La idea principal es que el facilitador califique el nivel de experticia quetiene el experto y estime el valor de n según la calificación asignada. Por ejemplo, si elfacilitador asigna la calificación más baja al experto, entonces el valor equivalente de nsería igual o muy cercano al número de categorías de la variable que se desea elicitar,contrario a esto, si el facilitador asigna una calificación alta al experto, entonces laopinión de ese experto es equivalente a sacar una muestra aleatoria representativa dela población como se hace generalmente con el uso de la estadística clásica.Sea nmc el tamaño muestral para estimar un parámetro de una proporción que sigue unadistribución Multinomial calculado a través de algún método de la estadística clásicay k es el número de categorías que tiene dicha proporción, entonces el n equivalentede la opinión del experto debe estar en k ≤ n ≤ nmc. Bromaghin (1993) presenta unmétodo que permite calcular el valor de nmc, este método está basado en el enfoquepropuesto por Tortora (1983). El valor de nmc puede ser calculado como:

nmc =

(z2

(1−(αi/2))

2d2i

)[πi(1− πi)− 2d2

i +√π2i (1− πi)2 − d2

i [4πi(1− πi)− 1]

](5-1)

5.1 Método 53

Si no se cuenta con información a priori sobre la probabilidad de cada categoría, lamuestra puede ser estimada como:

nmc = 1 + int

max︸︷︷︸i∈{1,2,··· ,k}

[0,25z2

(1−(αi/2))

2d2i

− z2(1−(αi/2))

] (5-2)

Ahora si el facilitador tuvo en cuenta los criterios para la selección del experto men-cionados en la sección 2.3, se espera que el valor del n equivalente en la mayoría de loscasos sea muy aproximado al valor de nmc, entonces una forma práctica de estimar elvalor de n haciendo uso del enfoque propuesto por Bromaghin (1993) podría ser fijandoun valor de d y asignar un valor de α = 0,20 si el facilitador considera que el nivel deexperticia del experto es alto, asignar un valor de α = 0,40 si el facilitador consideraque el nivel de experticia del experto es medio o asignar un valor de α = 0,60 si elfacilitador considera que el nivel de experticia del experto bajo. Así utilizando (5-2)tedríamos los siguientes valores para nmc:

α

0.20 0.40 0.60d d d

k 0.05 0.075 0.10 0.05 0.075 0.10 0.05 0.075 0.102 268 118 65 163 72 40 107 47 263 333 147 81 224 98 55 163 72 404 381 167 93 268 118 65 206 91 505 418 184 102 304 134 74 240 106 596 449 197 109 333 147 81 268 118 657 475 209 116 359 158 87 293 129 718 498 219 121 381 167 93 314 138 779 518 228 126 400 176 97 333 147 81

10 536 236 130 418 184 102 351 154 8511 553 243 134 434 191 106 366 161 8912 568 249 138 449 197 109 381 167 9313 582 256 141 462 203 112 394 173 9614 595 261 145 475 209 116 407 179 9915 607 267 147 487 214 118 418 184 102Tabla 2. Tamaño muestral equivalente con un nivel de significancia α y un porcentaje de

error d para probabilidades Multinomiales descrito por Bromaghin (1993).

2. Estimación de la frecuencia relativa: En esta etapa se aplica el método de la Ru-leta, esto le permite a la metodología estimar el vector de probabilidades de ocurrenciade cada categoría.

El facilitador da al experto una muestra hipotética N y su distribución en losniveles de la variable de interés.

El facilitador da una nueva muestra N∗ pide al experto estimar el número deocurrencias ni para cada evento E1, E2, · · · , Ek, donde N∗ =

∑ki=1 ni.

54 5 Método Propuesto

La probabilidad típica de ocurrencia de cada categoría pueda ser estimada comoni/N

∗.

Suponga por ejemplo que se quiere estimar el vector de probabilidad típica de ocurren-cia del número de hinchas que tienen los equipos de fútbol Colombiano en la Universi-dad Nacional de Colombia, suponga también que el facilitador inicia con una muestrahipotética de tamaño igual a 100 y que éste pide al experto realizar una estimación delnúmero de hinchas del Independiente Medellín, Atlético Junior de Barranquilla, Atlé-tico Nacional, Millonarios Fútbol Club y otros equipos que saldrían en dicha muestra.Si la respuesta del experto fuese que del Independiente Medellín hay 10 hinchas, delAtlético Junior de Barranquilla 20, del Atlético Nacional 30, de Millonarios FútbolClub 20 y de otros equipos 20 hinchas, entonces el vector de probabilidades estaríadado por: Prob = (10/100, 20/100, 30/100, 20/100, 20/100) = (0.1, 0.2, 0.3, 0.2, 0.2). Elfacilitador puede repetir este procedimiento las veces que considere prudente y validarsi el experto es consistente con la distribución del número de ocurrencias ni para cadaevento Ei en las diferentes muestras hipotéticas N .

3. Simulación: Una vez el facilitador ha estimado el valor del n equivalente en el paso1 y el vector de probabilidad típica en el paso 2 se procede con la simulación de unadistribución Multinomial por medio de la función rmultinom del software R. La funciónrmultinom recibe tres parámetros. El primero corresponde al número de simulacionesque deseamos realizar. El segundo es el tamaño de muestra equivalente (estimado enel paso 1). El tercero es el vector de probabilidades de cada categoría (estimado enel paso 2). Por ejemplo, si en el paso 1 se estimó para el experto un valor muestralequivalente de n = 500, el vector de probabilidades hallado en el paso 2 es Prob =

(0.1, 0.2, 0.3, 0.2, 0.2) y se desea realizar 1000 simulaciones, el comando en R deberíalucir como:

>rmultinom(1000, 500, prob=c(0.1, 0.2, 0.3, 0.2, 0.2))

El comando retorna una matriz de 1000 columnas y 5 filas, donde cada columna re-presenta una simulación.

4. Estimación de αi: En esta etapa finalmente se hace la estimación del vector deparámetros α = (α1, α2, · · · , αk) de la distribución Dirichlet. Dado que cada Xij si-mulado en el paso 3 sigue una distribución Multinomial, entonces Yi = Xj/n (coni = 1, 2, · · · , k y j = 1, 2, · · · , r) tiene una distribución Dirichlet con un vector deparámetros α = (α1, α2, · · · , αk), donde n es el tamaño muestral equivalente estima-do en el paso 1, k representa el número de categorías, r el número de simulaciones,α0 =

∑ki=1 αi, luego su primer y segundo momento vienen dados por:

E[Yi] =αiα0

. (5-3)

5.1 Método 55

V ar[Yi] =αi(α0 − αi)α2

0(α0 + 1). (5-4)

y la moda de Yi viene dada por:

Moda =αi − 1

α0 − k; αi > 1. (5-5)

Note que los valores de (5-3), (5-4) y (5-5) pueden ser fácilmente estimados a partir delos valores simulados en el paso anterior, entonces el problema se reduce a resolver lasecuaciones (5-3) y (5-4) en terminos de α0 y αi. De (5-3) tenemos que:

αi = α0E[Yi] (5-6)

Ahora usamos (5-4) para dejar a α0 en términos de E[Yi] y V ar[Yi]:

V ar[Yi]× (α20(α0 + 1)) = αi(α0 − αi)

V ar[Yi]× (α20(α0 + 1)) = αiα0 − α2

0E[Yi]2

V ar[Yi]× (α0(α0 + 1)) = α0E[Yi]− α0E[Yi]2 = α0(E[Yi]− E[Yi]

2)

V ar[Yi]× α20 + V ar[Yi]× α0 = α0(E[Yi]− E[Yi]

2)

α0(V ar[Yi]× α0 + V ar[Yi]) = α0(E[Yi]− E[Yi]2)

V ar[Yi]× α0 + V ar[Yi] = (E[Yi]− E[Yi]2)

α0 =(E[Yi]− E[Yi]

2)

V ar[Yi]− 1 (5-7)

Para encontrar los valores de cada αi reemplazamos (5-7) en (5-6) y obtenemos que:

αi =

((E[Yi]− E[Yi]

2)

V ar[Yi]− 1

)E [Yi] (5-8)

Ahora, antes de reemplazar en (5-8) los valores de E[Yi] y V ar[Yi] por sus respectivasestimaciones Yi y S2

Yise debe normalizar Yi de manera que se cumpla la restricción∑k

i=1 Yi = 1:

¯yi =Yi∑ki=1 Yi

(5-9)

Finalmente cada αi puede ser estimado reemplazando los valores de ¯yi y S2yi

en (5-8):

αi =

(( ¯yi − ¯y2

i )

S2Yi

− 1

)¯yi (5-10)

56 5 Método Propuesto

5. Estimación de α0 y αi usando su valor modal: Un enfoque que puede llevarse enparalelo es despejar αi en términos de su valor modal. De (5-5) encontramos que:

αi = Modai ×[

( ¯yi − ¯y2i )

S2Yi

− 1

]−Modai × k + 1. (5-11)

Luego el facilitador podrá escoger el valor de αi que más le convenga o simplementepromediar los dos valores de αi.

Note que los pasos 4 y 5 dependen del paso 1 ya que los valores de αi se ven afectadosdirectamente por cualquier modificación de n.Continuando con el ejemplo de la estimación del vector de probabilidad típica de ocurren-cia del número de hinchas que tienen los equipos de fútbol Colombiano en la UniversidadNacional de Colombia tenemos que:

>sim=rmultinom(1000, 500, prob=c(0.1, 0.2, 0.3, 0.2, 0.2))/500

entonces sim ∼ Dirichlet(α1, α2, α3, α4, α5), por lo que la media y varianza pueden serestimadas directamente de sim:

>medias<-rowMeans(sim)>varianzas<-sapply(1:5,function(x)var(sim[x,]))

normalizamos el vector de medias estimado para garantizar que se cumpla la restricción∑ki=1 Yi = 1:

>medias<-rowMeans(sim)/sum(rowMeans(sim))

ahora reemplazamos los valores para la media (normalizados) y la varianza en la ecuación(5-10) así:

>alfas<-(((medias-medias^2)/varianzas)-1)*medias>Media.Alfa<-alfas/sum(alfas)>Var.Alfa<-(alfas*(sum(alfas)-alfas))/((sum(alfas)+1)*sum(alfas)^2)>resultados<-data.frame(Alfa=alfas,Media=Media.Alfa,Varianza=Var.Alfa)

como resultado tenemos que la estimación del vector α = (α1, α2, α3, α4, α5) de la distribuciónDirichlet es:

Alfa Media Varianzaα1 93.07 0.19 0.0003α2 114.27 0.23 0.0003α3 165.92 0.33 0.0004α4 84.95 0.17 0.0002α5 44.69 0.09 0.0001

5.2 Justificación 57

finalmente haciendo uso de los resultados de 4-6 y 4-7 podemos observar que la distribuciónde probabilidad marginal para cada equipo de futbol es:

Equipo MarginalIndependiente Medellin Beta(93.07, 409.08)Junior de Barranquilla Beta(114.27, 387.88)

Atlético Nacional Beta(165, 336.97)Millorarios FC Beta(84.95, 417.20)Otros Equipos Beta(44.69, 457.4672)

5.2. Justificación

El método propuesto es una mezcla entre las técnicas de elicitación HFS (muestras hipoté-ticas futuras) y el método de la ruleta, se eligieron estas dos metodologías ya que por serindirectas son cognitivamente más fácil de entender permitiendo al experto realizar mejoresestimaciones y, adicionalmente porque se adaptan fácilmente a la distribución Multinomial.Oakley et al., (2010) mencionan la falta de precisión en las estimaciones hechas por el ex-perto cuando se usa el método de la ruleta, ya que si el experto distribuye un total de Nfichas, entonces sus probabilidades implícitas están forzadas a ser múltiplos de 1/N . Sin dudacuando se elicitan parámetros de una distribución continua la falta de precisión del métodode la ruleta existe, pero para el caso de la distribución Multinomial el método de la ruleta seadapta fácilmente sin pérdida de precisión gracias a que la Multinomial es de tipo discreta.A su vez, la metodología HFS evita que el experto caiga en la heurística de representatividadya que lo sensibiliza sobre el impacto que tiene el tamaño muestral sobre las estimacionesrealizadas.El proceso de pedir al experto que distribuya una muestra hipotética en las diferentes cate-gorías de la variable que estamos elicitando es una tarea relativamente sencilla y basta conelicitar una sola muestra para obtener una aproximación a la distribución del parámetro πde la distribución Multinomial, sin embargo, utilizar diferentes muestras hipotéticas de Nle permitirá al facilitador validar la coherencia en la respuestas que entrega el experto. Porotro el facilitador tambien debe tener en cuenta que los resultados obtenidos son sensiblesal valor del n-equivalente por lo cual se recomienda realizar la tarea de estimación de éstevalor cuidadosamente.

Cuando el analista ha elicitado los juicios del experto y ha estimado el valor del n-equivalente,el método propuesto hace uso de la simulación estadística. La simulación estadística le da almétodo la posibilidad de estimar de manera inmediata la media y varianza de la distribuciónDirichlet, las cuales son despejadas para estimar los valores del vector de parámetros α, adi-cionalmente evita que se hagan estimaciones de distribuciones Beta por separado, por ende,no es necesario ningún método para unir dichas estimaciones Beta. Finalmente, la unión

58 5 Método Propuesto

de las muestras hipotéticas, el método de la ruleta y la simulación estadística forman unmétodo sencillo de aplicar que no requiere que el experto se enfrente con grandes esfuerzospara hacer estimaciones y que acompañado de retroalimentación continua para el expertopodría arrojar mejores estimaciones.Tradicionalmente, los métodos de elicitación han sido comparados en situaciones no expe-rimentales, los resultados, en consecuencia, no son comparables. Una razón de esto es quelos expertos tienen diferentes niveles de conocimiento y creencias, entonces, si un método deelicitación es aplicado a expertos con alto nivel de conocimiento es probable que la distribu-ción a priori estimada sea buena aún si el método de elicitación es deficiente. Pero si el nivelde conocimiento de los expertos no es controlado es imposible comparar dos o más métodosde elicitación (Barrera, 2014). Por tanto, es importante tener en cuenta que los resultadosde la metodología aquí propuesta no son comparables con otros resultados, ya sea que estosvengan del mismo experto a quien se le aplicó diferentes métodos de elicitación, diferentesexpertos a quienes se les aplicó el mismo método de elicitación o, el mismo experto a quiense le aplicó el mismo método de elicitación en diferentes intervalos de tiempo.

6 Software para elicitación

Con el aumento del uso de las computadoras en diferentes áreas del conocimiento en losúltimos años, parece natural que los métodos de elicitación deban también hacer uso deestas, debido a que la computación interactiva es casi esencial para llevar a cabo un procesode elicitación, ya que generalmente, estos requieren de una secuencia de preguntas que es-tán determinadas por las anteriores respuestas. Dentro de los beneficios de la computacióninteractiva se incluyen la posibilidad de proporcionar retroalimentación al experto e iden-tificar aparentes inconsistencias en los juicios emitidos, el/los expertos pueden ser dejadossolos para responder a las preguntas que el ordenador le pide, guardando de forma seguray cuidadosa todas sus respuestas. Las computadoras también son útiles cuando se utilizauna técnica de muestras hipotéticas futuras, donde los valores hipotéticos dados suelen serel resultado de una función de los valores previamente elicitados, en la que se puede calcularrápidamente la muestra hipotética y mostrarla al experto. Sin embargo, la principal venta-ja de la utilización de la computación interactiva es que hace uso de los métodos gráficos,lo cual permite brindar al experto retroalimentación de forma mucho más confiable y fácil.Aunque la computación interactiva y los paquetes de software pueden proporcionar un apoyoimportante, aún muchos de los investigadores no son conscientes de ello (Jenkinson, 2005;Devilee y Knol, 2011).

Una revisión a los software para elicitar juicios de expertos es hecha por Devilee y Knol(2011), donde, a partir de la experiencia adquirida con los proyectos de la National Institutefor Public Health and the Environment (RIVM) que concernían a elicitación de expertos seaprendió que el uso de software fue muy útil, éste permitió a los expertos ver los resultados ycomparar sus propios juicios con los demás. En su informe se distinguen 4 principales fases:caracterización de la incertidumbre, selección de expertos, diseño y ejecución de la sesión deelicitación y paquetes para elicitación de grupos de expertos.

Caracterización de la incertidumbre: En esta fase, al parecer no existe ningún softwa-re disponible, el único reporte lo hace la agencia de los Países Bajos para evaluaciónambiental, quien ha desarrollado una línea de orientación para la estimación y comu-nicación de la incertidumbre, que cuenta con herramientas para la caracterización dela incertidumbre.

Selección de expertos: Devilee y Knol (2011) señalan que el analista puede hacer usode las bases de datos bibliográficas en línea (Pubmed, Scopus, Web of Science, Google

60 6 Software para elicitación

scholar) como una primera etapa, posteriormente realizar encuestas en línea ya queéstas ofrecen la posibilidad de incluir a expertos de diferentes lugares geográficos, al-gunos de los paquetes que permiten realizar encuestas en líneas son: Survey Monkey,Google Docs, Opinions Online y Lime survey.

Diseño y ejecución de la sesión de elicitación: En lo que concierne al diseño del proce-so de elicitación se destacan los software para desarrollar modelos conceptuales comoMS Visio, Mindjet Mindmanager, Matchware Mindview, iMindmap, Diagram desig-ner, VUE, Freemind y Xmind. Respecto a la ejecución del proceso de elicitación, lossoftware de los que puede beneficiarse sustancialmente, ya sea por soporte gráfico opor la realización de los cálculos requeridos son ELI, Elicitor (v. 2010), Probes, ArcGIScustomized, SL Gallery, Probes and Hypo.

Elicitación de grupos de expertos: Con el fin de que múltiples expertos puedan expresarsus opiniones en forma de la lluvia de ideas, votaciones o planes de acción se han creadosoftware que pueden ayudar a estas actividades: Delphi Blue, Sistema de Vanguardia,Facilitar Pro, café, Thinktank 3.2 y Ynsyte WebIQ.

En su revisión Devilee y Knol (2011) resaltan que en la actualidad existen diferentes tiposde software que podrían apoyar las diferentes fases del proceso de elicitación, sin embargo,no existe ninguna visión general del software existente para apoyar la elicitación de expertos(incluyendo páginas web). Por lo tanto, se desconoce cuáles paquetes de software podríanaplicarse y si es necesarios el uso de otras herramientas. Por otro lado, el software actualno parece estar preparado para moderar elicitaciones de expertos por correo o mediante eluso de Internet como una alternativa para reunir a un grupo de expertos en una ubicaciónespecífica.

6.1. Software desarrollado actualmente

6.1.1. ArcGis Personalizado

“ArcGis Personalizado” es un enfoque propuesto por Denham y Mengersen (2007) para laelicitación de probabilidades que tienen dependencia espacial. Los prototipos iniciales fueronconstruidos en el lenguaje R, pero debido a la limitada capacidad (en su momento) devisualizar y consultar datos espaciales, se decidió integrar la metodología estadística conun sistema de información geográfica (SIG). Así, el software cuenta con tres componentes:un SIG, rutinas estadísticas y funciones gráficas. Esta combinación ayuda a que el expertopueda explorar datos espaciales utilizando todas las funcionalidades de un SIG y responder alas preguntas del proceso de elicitación con la ayuda de gráficos interactivos. El software SIGutilizado fue ArcGis en el cual se construyeron funciones que incorporan botones y menúsa la interfaz de ArcGIS para que el experto pueda acceder a las funciones de la elicitación.

6.1 Software desarrollado actualmente 61

ArcGIS tiene funcionalidad estadística limitada, pero es posible personalizar su entornomediante secuencias de comandos de Visual Basic y mediante la comunicación con otrasaplicaciones escritas para Windows. Los cálculos estadísticos necesarios para la estimaciónde los parámetros se realizan mediante una vinculación de ArcGIS con R, donde, dichoscálculos siempre permanecen ocultos para el experto.

6.1.2. Sheffield Elicitation Framework (SHELF)

Sheffield Elicitation Framework ha sido desarrollado por O’Hagan y Oakley, en el departa-mento de Probabilidad y Estadística de la universidad de Sheffield. SHELF es un paquetede documentos y plantillas para llevar a cabo elicitación de expertos sobre distribuciones deprobabilidad para cantidades inciertas. SHELF entrega al facilitador un conjunto de planti-llas de texto, unas en blanco y otras ya completadas con notas explicativas que sirven comoejemplo y aconsejan al facilitador sobre cómo debe ser el diligenciamiento de cada parte de laplantilla. El objetivo principal de dichas plantillas se puede resumir en (O’Hagan y Oakley,2010):

Ofrecer al experto información apriori sobre los temas que se van a tratar en el procesode elicitación.

Llevar un registro del contexto y el propósito de la elicitación.

Llevar un registro de las distribuciones y parámetros elicitados.

Dichas plantillas vienen acompañadas de un conjunto de funciones desarrolladas en el soft-ware R, las cuales han sido construidas con el fin específico de elicitar distribuciones deprobabilidad y sus parámetros. Las funciones permiten elicitar ya sea un solo experto o ungrupo de expertos, para lo cual emplea cuatro diferentes métodos de elicitación identificadospor letras P (probabilidad), Q (cuartil), R (ruleta) y T (tertil):

En el método P, el facilitador pregunta al experto por alguna probabilidad en específico(método directo).

En el método Q, el facilitador pregunta al experto por los cuartiles 25, 50 (mediana)y 75 (método directo).

En el método R, el facilitador pide al experto indicar su probabilidad para 10 rangos devalores, conocidos como casillas, ubicando fichas en cada una de dichas casillas (métodoindirecto).

En el método T, el facilitador pregunta al experto por la mediana y el percentiles 33y 77 (método directo).

62 6 Software para elicitación

Dado que las funciones se encuentran escritas en lenguaje R, se hace necesario realizar lainstalación de R en la computadora y a su vez la instalación del paquete “rpanel". Lasfunciones proporcionan información gráfica sobre las distribuciones elicitadas, lo cual es unaspecto positivo, sin embargo el facilitador necesitará conocimientos básicos antes de poderutilizar a SHELF con éxito (Devilee y Knol., 2011).

6.1.3. Eli

Este software ha sido desarrollado por I.E.C. ProGamma y van Lenthe, se especializa estimarporcentajes, proporciones y otras cantidades. Se muestra al experto una pregunta en laparte superior de la pantalla, en relación con algo que se distribuye Binomial. Por ejemplo semuestra la pregunta: “Cuál es el porcentaje de hogares que tenían un reproductor de vídeo en1986? ”. También hay un par de ejes con una curva Beta y tres estadísticas de resumen: límiteinferior, mejor estimación y límite superior, que pueden ser manipulados por los expertosutilizando las flechas del teclado donde, el resultado final es una distribución de probabilidadsubjetiva univariada (Jenkinson, 2005). El experto puede cambiar la forma de la curva conestos resúmenes, hasta que se encuentre satisfecho con la curva que representa sus creencias.Una de las características centrales de la metodología propuesta por van Lenthe es el cálculodirecto de un “Proper Score Rule” en un programa interactivo orientado gráficamente. Elscore que se decidió usar fue una versión truncada del “Proper Score Rule” logarítmico, yaque éste es tanto conceptual como computacionalmente simple:

S(fp,q, t) = 10 ∗max {ln(fp,q, (t)),−8}

donde fp,q, (x) = xp−1(1−x)q−1/B(p, q) para 0 ≤ x ≤ 1, p > 0 y q > 0. Cada curva generadapor el score representa la puntuación de la mejor estimación del experto. La mejor estimacióncorresponde a la parte superior de la curva del score. En la versión preliminar de ELI, losexpertos pueden elegir entre una cuadrícula de 9 ∗ 24 curvas de score que corresponden aun conjunto predeterminado de las 99 ∗ 24 funciones de densidad Beta. La mejor estimaciónpuede tomar 99 valores en (0,01, 0,02, ..., 0,99); para cada mejor estimación, hay 24 grados deincertidumbre. El programa interactivo proporciona un mecanismo sencillo para la selecciónde una curva en particular del conjunto de 99 ∗ 24 curvas de score.Este software puede llegar a ser un poco difícil de instalar. Como se trata de una aplicaciónde DOS, puede ser necesario el uso de un emulador de DOS x86 (ver http://www.dosbox.comcuando se utiliza el paquete en un sistema operativo moderno (Devilee. y Knol., 2011).

6.1 Software desarrollado actualmente 63

Gráfica 1: Ejemplo de una Pantalla de ELi, Tomada de (van LENTHE, 1993)

6.1.4. Elicitator

Diseñado por James y Choy de Queensland University of Technology. Trabaja bajo el sistemaoperativo Windows y puede ser usado en investigaciones que dependan o quieran estimar unmodelo. Es una herramienta diseñada para apoyar un proceso de elicitación de una distribu-ción a priori para la regresión logística bajo un método indirecto, está implementada bajo unaplataforma Java, tiene vínculos con el software R para el cálculo estadístico, MySQL para lagestión relacional de base de datos, JFreeChart para la visualización de gráficos y permiteimportar datos de texto a partir de paquetes de bases de datos. Elicitator pide a los expertosestimar la probabilidad de éxito Zk para k casos con varias covariables X1k, X2k, . . . , Xjk co-nocidas, se les pide describir el rango de valores con probabilidad variable (percentiles), asícomo su mejor estimación (moda). Esta información se utiliza para estimar numéricamenteµk y γk en p (Zk|Xk), posteriormente se proporciona realimentación al experto y se le da laoportunidad de modificar sus creencias. Esto se repite para k = 1, . . . , K. La informaciónproporcionada por el experto en todas las covariables se combina para formar el modelo delexperto, entonces se utiliza una regresión Beta para relacionar los datos del experto Zk a lascovariables (Choy et al., 2009; James et al., 2010).

Zk ∼ Beta (µk, γk) , Logit(µk) = Xkβ

Elicitator trabaja también de forma similar al enfoque de Denham y Mengersen que es unmétodo indirecto de elicitación, que fue diseñado para la modelización ambiental. Este méto-do se aprovecha de la naturaleza geográfica de estos problemas mediante la incorporación dela elicitación en un Sistema de Información Geográfica (GIS), o software basado en mapas.Se pide al experto que prediga la respuesta en varios sitios, uno a la vez, cada uno con valores

64 6 Software para elicitación

conocidos de covarianza (Choy et al., 2009; James et al., 2010). Algunas vistas de Elicitatorpodrían verse como:

Gráfica 2: Ejemplo de una Pantalla de Elicitator, Tomada de (James et al., 2010)

6.1.5. Librería “Expert” de R

Expert es un paquete de R creado por Goulet, Jacques y Pigeonque. Funciona como unainterfaz unificada para soportar tres métodos de elicitación (el método Clásico de Elicitación,el método de Mendel-Sheridan y Ponderaciones predefinidas), junto a algunas funcionesde utilidad y métodos para manipular los resultados. Naturalmente, el analista tambiénse beneficia del amplio abanico gráfico y herramientas de importación y exportación quevienen con R. La principal función del paquete es “expert", la cual retorna una lista con losintervalos de las distribuciones estimadas, el vector de masas de probabilidad y alguna otracaracterística del modelo usado; “expert"funciona para los tres métodos soportados por elpaquete. La función requiere de varios argumentos según el método (Goulet et al., 2009):

x: Los cuantiles estimados por los expertos para todas las variables semilla y todasvariables de decisión. Generalmente se da como una lista de listas, una para cadaexperto. El interior de cada lista contiene un vector de cuantiles uno por variablesemilla y no por variable de decisión (en éste orden).

method: Es el método que va a ser usado, debe ser “cooke"para el método clásico,“ms"para el método de Mendel–Sheridan o “weights"para el método de ponderacionespredefinidas.

probs: Es el vector de probabilidades correspondiente a los cuantiles dados por elexperto.

true.seed: Es el vector de valores verdaderos de las variables semilla. Deben ser listadosen el mismo orden como fueron listados en el argumente x.

6.1 Software desarrollado actualmente 65

alpha: Es el parámetro del método clásico, este argumento es ignorado si se seleccionaotro método. El Parámetro α establece un umbral para el componente de calibraciónde un experto bajo el cual el experto recibe automáticamente un peso de 0 en la dis-tribución agregada. si el argumento es nulo el valor se determina por un procedimientode optimización.

w: Es el vector de ponderaciones en el modelo de ponderaciones predefinidas. Esteargumento es ignorado en los otros métodos. Si el argumento es nulo las ponderacionesserán calculadas todas igual como 1/n donde n es el número de expertos.

El paquete adicionalmente cuenta con funciones para realizar cálculos y gráficos de objetosretornados por la función “expert". Dentro de las que se destacan están cdf, ogive y quantileque dan acceso a la función de distribución acumulada de la distribución estimada (Gouletet al., 2009). Algunos resultados de “expert"podrían verse como:

3e+05 4e+05 5e+05 6e+05 7e+05 8e+05 9e+05

0.0

0.2

0.4

0.6

0.8

1.0

cdf(fit)

x

F(x

)

●●

●

●●

●

●

●

●

●●

●●

●

●●

●

●

●

●

●●

3e+05 4e+05 5e+05 6e+05 7e+05 8e+05

0.0

0.2

0.4

0.6

0.8

1.0

ogive(fit)

x

G(x

)

Gráfica 3: Ejemplo de los resultados entregados por Expert, Tomada de (Goulet et al., 2009)

6.1.6. Elicitor

Elicitor es un software de elicitación gráfica producto de Queensland University of Tech-nology. Su primera versión fue diseñada por Kynn (2006), inicialmente se usó para elicitardistribuciones normales a priori para un modelo de regresión logística con el fin de estimarla presencia de especies en un ecosistema (Devilee y Knol., 2011).

ys ∼ Bernoulli (ps)

Logit(ps) = β0 + β1x1 + β2x2 . . .

El software fue escrito en el lenguaje de programación Pascal a través de un compiladorBlackBox, trabaja bajo el sistema operativo Windows y se creó como un complemento del

66 6 Software para elicitación

software WinBUGS. El software le permite al experto marcar dos puntos cualesquiera y unamediana, luego el experto puede asignar un intervalo de credibilidad de cualquier tamañoa esos puntos. Así que, en la práctica, los tres puntos de la distribución: inferior, media ysuperior, se pueden determinar en cualquier orden sin necesidad de abordar simultáneamentela tarea meta-cognitiva de la asignación de un nivel de confianza. Una vez que todos losgráficos se han creado, sólo necesitan ser colocados en el mismo documento para que elmodelo sea creado. El programa escanea el documento, interpreta las gráficas y escribe elmodelo en un archivo de texto como código WinBUGS o R. Algunas vistas producidas porElicitor lucen como (Kynn, 2006):

6.1.7. Probes

Probes es un paquete diseñado por Lau y Leong el cual funciona bajo un enfoque de modelosde decisión dinámica llamado Dynamo, el cual es un prototipo de DynaMoL(Dynamic deci-sion Modeling Language) un lenguaje que permite modelar y resolver problemas de decisióndinámica. El paquete está implementado en Java Kit 1.1.5 y puede ser ejecutado en unaplataforma web o de Windows. Hay siete componentes principales en el sistema de Probes(Lau y Leong 1999):

1. Una interfaz gráfica que facilita al usuario el acceso visual a todo el sistema.

2. Un modelo analizador que convierte un modelo DYNAMO en un modelo equivalentea Probes, que contiene información adicional como matrices de probabilidad, vectorespropios y otras medidas necesaria.

3. Un elicitador de probabilidad que extrae las creencias subjetivas de un experto en unmodelo, utilizando diferentes técnicas de elicitación.

6.1 Software desarrollado actualmente 67

4. Un revisor de consistencia que evalúa la consistencia y coherencia de las probabilidadeselicitadas.

5. Un analizador de sensibilidad que realiza análisis de sensibilidad sobre las distribucio-nes.

6. Un visor que muestra el modelo Probes.

7. Un tutor que guía y enseña al experto como usar el sistema.

Probes utiliza diferentes técnicas de elicitación; en primer lugar, utiliza un método de ve-rosimilitud (cuestionario avanzado) para obtener una elicitación inicial de los expertos ycomprobar si existen o no inconsistencias. Luego, los expertos pueden elegir entre el métodode distribución muestral, la lotería de referencia o el método de las apuestas para elicitarotras probabilidades basadas en la elicitación inicial. Cuando son elicitadas las probabilida-des, se verifica la consistencia y se ejecuta un análisis de sensibilidad. Los expertos puedenhacer correcciones durante el proceso. Un tutor guía y enseña a los expertos que utilizan elsistema. Actualmente no se sabe los costos, la disponibilidad, si aún se mantiene activo y sise le da soporte al paquete (Devilee y Knol, 2011).

6.1.8. Excalibur

Excalibur es un software desarrollado en el Departamento de Matemáticas aplicadas de TUDelft para el post procesamiento de resultados del modelo clásico de elicitación (Morales yCooke, 2008). El software trabaja bajo el sistema operativo de Windows, permite la entra-da de parámetros y cuantiles (generalmente 5%, 50% y 95%) dados por el experto sobrecantidades inciertas de las variables semilla y de decisión (el analista debe seleccionar unaescala logarítmica o uniforme para cada variable), las cuales se combinan de acuerdo con losmétodos descritos en Cooke (1991). En particular, mediante promedios ponderados basadosen el desempeño de expertos medido por las preguntas de calibración (variables semilla). Unanálisis de robustez muestra la sensibilidad de los resultados a la elección del experto y laelección de las variables de calibración y, un análisis de discrepancia muestra cómo los exper-tos difieren de un tomador de decisiones, adicionalmente los resultados son compatibles conlos procesadores de texto y hojas de cálculo modernas; los principales pasos para llevar unprocedimiento de elicitación en Excalibur pueden ser resumidos así (Aspinall, 2008; Cookey Goossens, 2008; Devilee y Knol, 2011):

Seleccione un grupo de expertos.

Los expertos son elicitados de forma individual con respecto a las variables de decisión.

Los expertos son elicitados de forma individual con respecto a las variables Semilla.

68 6 Software para elicitación

Los expertos son tratadas como hipótesis estadísticas y se califican con respecto a suverosimilitud (a menudo llamado “calibración") y capacidad informativa.

Las calificaciones son combinadas para formar ponderaciones. Esas ponderaciones seconstruyen para ser usadas como “Scoring Rules"que miden el rendimiento de cadaexperto.

Algunas vistas producidas por Excalibur lucen como:

6.2. Implementación en R

R es un conjunto integrado de servicios de software para la manipulación de datos, cálculoy representación gráfica. Entre otras cosas, tiene:

Un manipulación efectiva de datos y facilidad de almacenamiento.

Un conjunto de operadores para realizar cálculos sobre arreglos y en especial sobrematrices.

Una colección amplia, coherente e integrada de herramientas intermedias para el aná-lisis de datos.

Facilidades gráficas para el análisis y visualización de datos, ya sea directamente en elordenador o en una copia impresa.

Un lenguaje de programación bien desarrollado, simple y eficaz (llamado ’S’) que in-cluye condicionales, bucles, funciones recursivas definidas por el usuario y facilidadesde entrada y salida.

El término “entorno” pretende que R sea caracterizado como un sistema totalmente planifica-do y coherente, en lugar de una acumulación gradual de herramientas muy específicas y poco

6.2 Implementación en R 69

flexibles, como es frecuentemente el caso de otros software de análisis de datos. R es en granmedida un vehículo para el desarrollo de nuevos métodos de análisis de datos interactivos.Se ha desarrollado rápidamente, extendiéndose a una gran colección de paquetes (Venableset al., 2014).Haciendo uso de las evidentes ventajas de usar R en el análisis de datos, se construye unaplicativo para el método de elicitación propuesto en el capítulo 5, el aplicativo es desarro-llado principalmente bajo dos librerías de R, la librería Shiny y la librería sqldf.

Shiny es un entorno de aplicaciones web creado por RStudio e Inc. con licencia comouna librería de R con código abierto que se puede descargar desde el CRAN de R,permite a los R-programadores desarrollar completamente aplicaciones web en R sinnecesidad de ningún script HTML, Javascript, o CSS (Aunque esos lenguajes puedenser usados para ampliar, mejorar y visualizar mejor los resultados de la app). Shinyhace de ésta tarea algo muy fácil ya que utiliza un modelo de programación reactivapara simplificar el desarrollo de aplicaciones web. Los modelos “ reactivos” vinculanentradas, salidas y extensos reproductores pre-configurados que hacen posible la cons-trucción de aplicaciones presentables, útiles y de gran alcance con el mínimo esfuerzo(RStudio y Inc, 2013).

RSQLite es un paquete incorpora un motor de base de datos SQLite en R, propor-cionando una interfaz compatible con DBI. SQLite es de dominio público, de un solousuario y un motor de base de datos ligero que implementa un subconjunto de SQLestándar 92, incluyendo la creación de la tabla principal, actualización, inserción y lasoperaciones de selección, además de la gestión de transacciones. 1 (Wickham H et al.,2014).

El aplicativo cuenta con 4 principales módulos: el de introducción, registro, elicitación yresultados:

Introducción: En este módulo se resume el método propuesto en el capítulo 5, de maneraque el usuario pueda tener presente el método de elicitación utilizado sin necesidad derecurrir al documento de tesis completo.

1”http://cran.r-project.org/”

70 6 Software para elicitación

El módulo de Registro captura y almacena en una base de datos toda la informaciónreferente a:

• Código y nombre de la Elicitación.

• Código, nombre y n equivalente del experto.

6.2 Implementación en R 71

• Código, nombre, número de categorías y nombre de cada categoría de la variableque se desea elicitar. Note que el número de casillas para ingresar el nombre decada categoría está sujeto al valor ingresado en “Número de Categorías” (el valorpor defecto es 1), es decir, previamente debemos indicar al software el número decategorías e inmediatamente se muestra el mismo número de casillas para ingresarel nombre de cada una de ellas respectivamente.

El módulo de Elicitación permite capturar, almacenar y actualizar los valores obte-

72 6 Software para elicitación

nidos durante el proceso de elicitación:

• Para una combinación de elicitación, experto y variable determinada por el usuariose capturan y almacenan los valores elicitados de cada nivel de la variable al igualque el N hipotético.

• Para una combinación de elicitación, experto, variable yN hipotético determinadapor el usuario se pueden actualizar valores que ya han sido elicitados.

6.2 Implementación en R 73

Para una combinación de elicitación, experto y variable, determinada por el usuario,el módulo Resultados finalmente entrega ademas de un resumen sobre los valoreselicitados, el vector de parámetros α de la distribución apriori Dirichlet junto con surespectiva media y varianza.

El diagrama de flujo para el aplicativo es:

74 6 Software para elicitación

Las personas interesadas en utilizar el aplicativo pueden solicitar el código en el correoafflorezr@unal.edu.co.

7 Aplicación

Estimación de la distribución de los niveles del Score deGleason en pacientes diagnosticados con cáncer de

próstata en Colombia

7.1. Introducción

Según datos de Globocan (2012), cada año en el mundo se enferman 14 millones de personaspor causa del cáncer, siendo el de mama, próstata y pulmón los tipos más frecuentes deesta enfermedad. Así mismo, alrededor de 8 millones de personas mueren cada año, siendo elcáncer de pulmón el responsable de aproximadamente el 20% de estos casos. En Colombia elcáncer representa un problema de salud pública creciente: de acuerdo con las cifras de mor-talidad de Globocan (2012), en el país 104 personas fallecen al día por esta enfermedad. Esteresultado es una combinación de factores que incluye: malos hábitos de la población como elconsumo de tabaco, sobrepeso, la poca ingesta de frutas y verduras y el exceso de comidasrápidas, bebidas azucaradas y alcohol. Otro de los factores determinantes está relacionadocon los problemas de los servicios de salud en los ámbitos de la prevención, la detección tem-prana, el tratamiento y los cuidados paliativos. El número de enfermos y personas muertaspor esta causa ha ido aumentando en los últimos años; para el 2012 se reportaron cerca de71.000 casos nuevos y 38.000 muertes por esta causa, lo que significa que 195 personas sondiagnosticadas y 104 más mueren diariamente por esta enfermedad (Heidenreich et al., 2010).

El cáncer de próstata es el tumor no cutáneo más común en el hombre, éste representa parael urólogo una patología bastante frecuente y su sola mención originará un sin número depreguntas tanto del paciente como del propio médico en relación a pronóstico, estadío, sobre-vida libre de enfermedad, sobrevida libre de recaídas bioquímicas, que sin duda se podríancontestar fácilmente o por lo menos lo mejor posible siempre y cuando tengamos la mayorcantidad de parámetros a considerar en la estructura de dichas respuestas. Es por ello quedesde hace muchos años, los urólogos se han valido de todos aquellos métodos que pudierancientíficamente, avalar las respuestas que respalden nuestras decisiones terapéuticas, donde,dentro de los principales instrumentos diagnósticos usados para obtener indicios de cáncer depróstata se encuentran el tacto rectal, la concentración sérica de PSA y la ecografía trans-

76 7 Aplicación

rectal (ETR), aunque uno de los más consistentes factores o datos pronósticos ha sido elsistema de Gleason (Heidenreich et al., 2010; Potenziani, 2014).

El Score de Gleason es un sistema que se emplea para medir el grado de agresividad deun cáncer, basándose en la observación al microscopio de las características que presentanlas células de la muestra obtenida en una biopsia del órgano. El procedimiento consiste enseleccionar dos zonas de la muestra y asignar a cada una de ellas un número del 1 al 5. El1 corresponde a un tumor bien diferenciado y por lo tanto poco agresivo y el 5 a un tumorescasamente diferenciado. Los valores comprendidos entre el 2 y el 4 se asignan a grados dediferenciación intermedia. Posteriormente se suman las cifras obtenidas en las dos zonas yse obtiene un número comprendido entre el 2 y el 10. Este valor es el Score Gleason (Zollo,2006; Gleason et al., 2002). Los posibles resultados son:

Escala de Gleason entre 2 y 4: Cáncer con escasa agresividad, crecimiento lento y porlo tanto de mejor pronóstico.

Escala de Gleason de 5 y 7: Cáncer con agresividad intermedia.

Escala de Gleason entre 8 y 10: Cáncer de alta agresividad, y peor pronóstico.

En el proyecto de tesis se lleva a cabo una aplicación del método propuesto de elicitación, elcual busca estimar la prevalencia de cada nivel del Score de Gleason en pacientes que hansido diagnosticados con cáncer de próstata. Conocer la distribución de los diferentes nivelesde Gleason en los pacientes ya diagnosticados con cáncer de próstata en Colombia es de granayuda en temas de salud pública dado que la trascendencia y significado del Score de Gleasonen ésta patología es invaluable, ya que no solo permite diagramar mejor una estrategiadiagnóstica, clínica y quirúrgica, sino también permitirá sin duda alguna, pronosticar laevolución de los casos estudiados en el tiempo y las posibilidades de recaída bioquímicaque se traducen en estrategias de tratamientos asociados y mayor alerta para los médicos acargo de dichos casos (Potenziani, 2012). Otro factor importante y poco considerado, es queestas cifras pueden estar subestimadas, debido a que la población que habita en el área ruralno tiene acceso a los servicios de salud adecuados, o a que algunos pacientes se resisten apracticarse exámenes como el tacto rectal y el PSA.

7.2. Metodología

Como se mencionó en el capítulo 2, para llevar a cabo un proceso de elicitación que satisfagaun escrutinio profesional además de contextualizar al experto sobre el tema, es necesarioincluir los siguientes pasos durante el proceso:

Diseño y Validación de preguntas: Dado que el método de elicitación propuestousa una técnica de elicitación indirecta, se preguntó al experto directamente por el

7.2 Metodología 77

número de pacientes (ya diagnosticados con cáncer de próstata) que él considera queestán en cada uno de los niveles (2-4, 5-7 y 8-10) del Score de Gleason dada una muestrahipotética de pacientes. Antes de preguntar por el número de pacientes en cada niveldel Score de Gleason, se dio al experto una introducción del problema, donde se validóque la pregunta fuera entendida correctamente y que el experto en efecto tuviera unarespuesta para dicha pregunta.

Identificación y Contratación del experto: Como experto se cuenta con la parti-cipación del profesor de la Universidad Sur Colombiana, Dr Manuel García, es consi-derado como experto por sus diferentes investigaciones sobre la próstata y cáncer depróstata dentro de las cuales se destaca un Posdoctorado el cual titula “Analisis demicroRNA que regulan el Receptor de Andrógeno en el cáncer de próstata” realizadoen la Universidad de Sao Paulo.

Estructuración, Descomposición y entrenamiento en probabilidad: Se da alexperto una introducción, inicialmente sobre la distribución de probabilidad Multino-mial y su relación con el Score de Gleason. Posteriormente sobre elicitación de juiciosde expertos. Finalmente se especifica al experto con exactitud que la cantidad inciertaque se desea estimar es la prevalencia de cada uno de los niveles del Score de Gleasonen la población de pacientes diagnosticados con cáncer de próstata y, se determina quela escala de medición es el número de individuos en cada nivel del Score. Con el finde que el experto en sus estimaciones tenga presente la causalidad y factores de riesgoque pueden influir en la adquisición de la enfermedad y en la distribución del Score,se muestra al experto durante todo el proceso de elicitación una representación gráfica(mapa mental) que refleja los principales factores de riesgo y la causistica del problema.

Aplicación del método:

1. Estimación del n-equivalente: Basados en los diferentes estudios sobre el cáncerde próstata que ha realizado y su cercanía con el área de urología, se considera alDr. García como un experto con alto nivel de experticia por lo que se le asigna unn-equivalente de 333, el cual corresponde a un τ = 0,20 y un error de estimaciónigual al 5 % (ver tabla 2).

2. Estimación de la frecuencia relativa: Por medio de preguntas como “ Dr García, sise seleccionan aleatoriamente 100 pacientes diagnosticados con cáncer de próstataen Colombia, cuántos de ellos según su conocimiento, se encuentran en el nivel 1del Score de Gleason (Gleason entre 2 y 4), cuántos en el nivel 2 (Gleason entre5 y 7) y finalmente cuántos en el nivel 3 (Gleason entre 8 y 10)” este procesose repite 6 veces, donde se le pide al experto distribuir 6 muestras hipotéticasdiferentes en los tres niveles del Score de Gleason. Una vez el experto ha realizadola distribución de las 6 muestras, se calcula la frecuencia relativa para cada unade ellas. Si las frecuencias son cercanas se procede con la etapa de simulación

78 7 Aplicación

tomando como frecuencia relativa el promedio de las 6 frecuencias estimadas. Silas frecuencias estimadas divergen una de otra se procede a validar con el experto(imitando el método Delphi) la coherencia de dichas estimaciones, se muestranlas frecuencias estimadas para las 6 muestras hipotéticas y se pide al experto queredistribuya nuevamente las muestras hipotéticas de manera que las frecuenciasrelativas estimadas estén lo más cerca posible.

3. Simulación y Estimación del Vector de parámetros: Una vez se valida la coherenciade las estimaciones realizadas por el Dr. García, se llevó a cabo el proceso desimulación y estimación del vector de parámetros α = (α1, α2, α3). Para dichoproceso solo es necesario introducir los valores estimados dentro del aplicativo enR, el cual se encarga de realizar la simulación y entregar los valores de α1, α2 yα3 estimados.

Retroalimentación: En el gráfico a continuación vemos el mapa mental que se usódurante todo el proceso de elicitación para retroalimentar al experto. El mapa ilustralos factores más influyentes en los pacientes con cáncer de próstata brindando retro-alimentación continua para el experto, de manera que cada estimación fuera analizadabajo los diferentes factores que se mostraban en él:

Adicionalmente una vez elicitadas todas las muestras hipotéticas estipuladas, se mostróal experto una gráfica con la distribución de cada uno de los niveles del Score de Gleasonde manera que él validara que dichas distribuciones si corresponden con sus creencias.Si el experto estaba de acuerdo con los resultados se daba por finalizado el proceso deelicitación, de lo contrario, se procedía a actualizar las proporciones estimadas paracada muestra hipotética.

7.3. Resultados

Las muestras hipotéticas elicitadas fueron:

7.3 Resultados 79

Muestra Nivel 1 Nivel 2 Nivel 350 10 25 15150 35 80 35250 80 150 20340 80 180 80510 90 300 120713 150 400 163

Las estimaciones obtenidas para la distribución Dirichlet son:

Alfa Media Varianzaα1 141.64 0.221 0.0002α2 417.74 0.652 0.0003α3 81.186 0.126 0.0001

Ahora, apoyados en los resultados de 4-6 y 4-7 podemos observar la distribución de proba-bilidad marginal para cada nivel de Score de Gleason:

0.1 0.2 0.3 0.4 0.5 0.6 0.7

05

1015

2025

30

π

0.1 0.2 0.3 0.4 0.5 0.6 0.7

Nivel 1

Nivel 2Nivel 3

Donde los intervalos de probabilidad con una región de credibilidad de 100(1 − α) % yα = 0,05 para cada nivel del Score están dados por:

Nivel LI LS1 0.073 0.1372 0.577 0.6783 0.223 0.316

En el anterior gráfico observamos que para el nivel 1 del Score de Gleason la mayor densidadse concentra alrededor de 0.1, para el nivel 2 se concentra alrededor de 0.62 y finalmente parael nivel 3 la mayor densidad la encontramos alrededor de 0.28. El hecho de que los pacientes

80 7 Aplicación

con menor proporción sean los del nivel 1 nos da un indicio que en Colombia la deteccióntemprana del cáncer es un problema latente, por otro lado, el resultado de que alrededor del62 % los pacientes diagnosticados se encuentren en el nivel 2 es un insumo para validar si laspolíticas de salud pública se orientan a atender pacientes con este nivel de agresividad y silas clínicas y hospitales están preparadas para atenderlos, es importante tener en cuenta queel tratamiento del cáncer de próstata, incluso en la enfermedad clínicamente localizada, escada vez más complejo debido a las diversas opciones terapéuticas disponibles que presentanuna eficacia oncológica equivalente, pero efectos secundarios relacionados con el tratamientosignificativamente diferentes (Heidenreich et al., 2010), por ésto, conocer sí las clínicas yhospitales están preparadas para brindar un tratamiento adecuado a pacientes con un Scorede Gleason en el nivel 2 puede generar un impacto significativo en la población diagnosticadacon la enfermedad. Finalmente encontramos que una proporción no despreciable se encuen-tra en el nivel 3, esta proporción requiere de tratamientos más agresivos por lo que al igualque con los pacientes que se encuentran en el nivel 2 vale la pena validar si la orientaciónde las políticas de salud pública, la clínicas y hospitales están preparados para brindar aten-ción oportuna y tratamientos adecuados a éstos pacientes, ya que, las decisiones relativas altratamiento en cada nivel del Score de Gleason deben basarse en guías clínicas, indicandoclaramente la que se utilice en el proceso de toma de decisiones, donde adicionalmente esaconsejable una estrategia multidisciplinar (Heidenreich et al., 2010).

Vale la pena resaltar que si comparamos el procedimiento de elicitación aquí aplicado conseleccionar una muestra aleatoria representativa de la población de pacientes diagnosticadoscon cáncer de próstata y realizar en dicha muestra una biopsia que determine el nivel delScore de Gleason, podemos ver que el proceso de elicitación es más económico y relativamentemás rápido. Ahora si ya se tienen datos muestrales sobre la distribución del Score de Gleason,la distribución estimada por el método de elicitación también puede ser actualizada por estosdatos, de manera que el resultado será una distribución más cerca de la real.

8 Conclusiones

A lo largo de la tesis se abordaron diferentes factores importantes en el momento de llevara cabo un proceso de elicitación, sin embargo, el objetivo principal se enfocó primero endesarrollar un método que permitiera estimar la distribución apriori del vector de parámetrosπ de la distribución Multinomial y posteriormente en elaborar funciones que permitieranimplementar el método propuesto en el software estadístico R.

Método de elicitación: Sin duda, una etapa vital para el buen rendimiento del mé-todo propuesto es la estimación del n equivalente, en esta el analista debe realizar unavaloración del conocimiento del experto acerca del tema en estudio, dicha valoración noes una tarea fácil y requiere que el analista realice un trabajo cuidadoso en la seleccióndel experto; actualmente en la literatura sobre elicitación de juicios de expertos existenpocos trabajos que orienten al facilitador en como calificar la experticia del experto deuna forma óptima, sin embargo, para valorar el conocimiento del experto el analistapuede iniciar diagnosticando si el conocimiento es de tipo nominal, sustantivo o unamezcla de los dos, posteriormente hacer uso de una metodología de calibración, porejemplo, la propuesta desarrollada por Cooke y Goossens (2008) o cualquier otro mé-todo que le permita cuantificar dicho conocimiento en términos de un tamaño muestraln, en el trabajo de tesis se sugiere aproximar la valoración hecha por el facilitador a untamaño de muestra para la distribución Multinomial usando el método propuesto porBromaghin (1993). Entonces, queda el camino abierto para que otros investigadoresinteresados en el método hagan sus propuestas sobre la forma más “óptima” de estimarel n equivalente.

Otro aspecto importante en la aplicación del método es la interacción del analista conel experto, esta se hace aplicando el método de la ruleta a través de HFS (muestrashipotéticas futuras). El método de HFS fue propuesto por Winkler (1967) y permiteal facilitador obtener información sobre el conocimiento del experto de una manerasencilla, sensibilizandolo sobre el impacto que tiene el tamaño muestral sobre las es-timaciones realizadas, sin embargo, el analista debe estar alerta con las heurísticasde anclaje y sobre ajuste, ya que como se vio en el capítulo anterior el experto tien-de conservar las mismas proporciones para las diferentes muestras hipotéticas que élestima. Otro aspecto importante cuando se hacen estimaciones basadas en muestrashipotéticas es seleccionar tamaños muestrales para los cuales el experto pueda hacerestimaciones de manera sencilla, por ejemplo, es más sencillo cognitivamente para el

82 8 Conclusiones

experto estimar el número de individuos que están en el nivel 1 del Score de Gleasonen una muestra de 2000 diagnosticados, que en una muestra de 1937 diagnosticados.

Finalmente concluimos que una vez se hayan atendido las consideraciones anteriormen-te mencionadas el método propuesto es muy simple de aplicar y adicionalmente muyútil, ya que basta con elicitar tan solo una muestra hipotética para obtener resultadossobre la distribución del vector de parámetros π, de la cual aún sin tener evidenciamuestral es posible realizar inferencia estadística, sin embargo, es recomendable queel analista use más de una muestra hipotética, ya que esto le permitirá tener mejoresresultados e identificar posibles heurísticas presentes en el experto.

Aplicativo en R: A lo largo del capítulo 6 se revisaron los principales software repor-tados en la literatura para elicitar juicios de expertos, de allí, la principal conclusiónno dista mucho de la percepción de Devilee y Knol (2011) y es que: Hasta ahora nose ha reportado un software que permita aplicar los diferentes métodos de elicitacióna problemas en general, capturar, almacenar y manipular los datos obtenidos de losprocesos de elicitación, construir representaciones gráficas y hacer uso de herramien-tas para el análisis de datos. En pro de esto, en el trabajo de tesis se implementó elmétodo de elicitación propuesto en el software estadístico R haciendo uso del paqueteshiny y RSQLite. Sin duda, ésta implementación no es más que el comienzo del caminoque busca integrar los diferentes métodos de elicitación con el conjunto integrado deherramientas estadísticas que trae el software R, aunque anteriormente Goulet et al.(2009) y O’Hagan y Oakley (2010) ya han utilizado R en procesos de elicitación, elloslo han utilizado únicamente para realizar algunos cálculos y no para capturar infor-mación, almacenar información y retroalimentar a los expertos en tiempo real. En laactualidad el aplicativo permite llevar a cabo múltiples procesos de elicitación paradiferentes expertos y diferentes variables de investigación; aunque únicamente se haimplementado el método de elicitación aquí propuesto el objetivo final es implementarlos métodos de elicitación más usados.

Bibliografía

[1] Aspinall W., 2008, Expert Judgment elicitation using classical model and Excalibur, Seventh Sessionof the Statistics and Risk Assessment Section’s International Expert Advisory Group on Risk Mode-ling, http://dutiosc.twi.tudelft.nl/ risk/extrafiles/EJcourse/Sheets/Aspinall%20Briefing%20Notes.pdf,tomado el 22/04/2014.

[2] Barrera C., 2014, Analysis of the elicited prior distributions using tools of fuctional data analysis, PhDThesis, National University of Colombia.

[3] Bedrick E. y Christensen R., 1996, A new perspective on priors for generalized linear models, Journalof the American Statistical Association, Vol 91 1450–1460, No.436.

[4] Bennett E., 2002, Perestroika Lost: Why the Latest Reform Movement in Political Science Should Fail,Political Science and Politics, 177–79, No.35(2).

[5] Benson P. y Onkal D., 1992, The effects of feedback and training on the performance of probabilityforecasters, International Journal of Forecasting, Vol 8, 559–573.

[6] Bolger F. y Onkal-Atay D., 2004, The effects of feedback on judgmental interval predictions, InternationalJournal of Forecasting, 29– 39, No.20.

[7] Bromaghin J., 1993, Sample Size Determination for Interval Estimation of Multinomial Probabilities,The American Statistician, Vol 47, 203– 206, No. 3.

[8] Budnitz, J., Boore, M., Apostolakis, G., Cluff, S., Coppersmith, J., Cornell, A. y Morris, A., 1995,Recommendations for probabilistic seismic hazard analysis: guidance on uncertainty and use of experts,US Nuclear Regulatory Commission, Vol 1, 1-278. http://www.osti.gov/scitech/servlets/purl/479072,tomado el 19/08/2014

[9] Burgman M., Fidler F., McBride M., Walshe T., Wintle B., 2007, Eliciting Expert Judgments: LiteratureReview, University of Melbourne Round 1, Project 11

[10] Cannell C. y Marquis K., 1972, ReportingHealth Events in HouseholdInterviews: Effects of Reinforce-ment, Question length, and Reinterviews, Vital and Health Statistics, Series 2 No. 45

[11] Cannell C., Marquis K. y Laurent A., 1977, A summary of studies, Vital and Health Statistics, Series 2No. 69

[12] Chaloner, K., Duncan T., 1983, Assessment of a Beta Prior Distribution: PM Elicitation,The Statisti-cian, Vol 27, 174-180.

[13] Choy, L., James, A., Mengersen, K., 2009, Expert elicitation and its interface with technology: a reviewwith a view to designing Elicitator, 18th World IMACS / MODSIM Congress, Cairns, Australia, 13-17julio del 2009.

84 Bibliografía

[14] Clemen, R., Winkler R., 1999, Combining Probability Distributions from Experts in Risk Analysis, RiskAnalysis, Vol 19, 187-203.

[15] Clemen, R., Reilly, T., 2004, Making Hard Decisions with DecisionTools, Duxberry.

[16] Connor R. y Mosimann J., 1969, Concepts of Independence for Proportions with a Generalization ofthe Dirichlet Distribution, Journal of the American Statistical Association., Vol. 64, 194-206, No. 325

[17] Cooke, R., 1991, Experts in Uncertainty : Opinion and Subjective Probability in Science, Oxford Uni-versity Press.

[18] Cooke, R., Goossens, L., 2008, TU Delft Expert Judgment Data Base, Reliability Engineering andSystem Safety. Vol. 93.

[19] Correa J, C., 2011, Elementos de Estadística Bayesiana.

[20] Daneshkhah A., 2004, Psychological Aspects Influencing Elicitation of Subjective Probability, BEEP’sreport, University of Sheffield.

[21] deFinetti B., 1964, Probabilità subordinate e teoría delle decisioni,Rendiconti Matemática, Vol 23, 128-131.

[22] DeGroot M., 2004, Optimal Statistical Decisions, John Wiley & Sons.

[23] Denham R., Mengersen K., 2007, Geographically assisted elicitation of expert opinion for regressionmodels,Bayesian Analysis, Vol 2, 99-136, No. 1.

[24] Devilee J., Knol A., 2011, Software to support expert elicitation: An exploratory study of existingsoftware packages, National Institute for Public Health and the Environment, Ministry of Health, Welfareand Sport, RIVM Letter Report 630003001.

[25] Diaconis P. y Ylvisaker D., 1979, Conjugate Priors for Exponential Families,The Annals of Statistics,Vol 7, 269-281, No. 2.

[26] Dickey J., Jiang J. y Kadene J., 1983, Bayesian Methods for Multinomial Sampling with Missing Da-ta Using Multiple Hypergeometric Functions,State University of New York at Albany Department ofMathematics and Statistics, Research Report, 6/83 No. 15.

[27] Duran B., Booker J., 1988, A Bayes Sensitivity Analysis when Using the Beta Distribution as aPrior,IEEE Transactions on Reliability, Vol 37, 239-247, No. 2.

[28] Elfadaly F., Garthwaite P. 2012, On Eliciting Some Prior Distributions for Multinomial Models ,De-partment of Mathematics and Statistics, The Open University, UK.

[29] Fishburn, P., 1991, Decision Theory: The Next 100 Years?,The Economic Journal, Vol. 101, pp. 27-32,No. 404.

[30] Floid J. y Fowler Jr., 1995, Imrpoving Survey Questions, Applied social research methods series Vol.38, pp. 8-72.

[31] Fox, B., 1966, A Bayesian approach to reliability assessment,Memorandum RM-5084-NASA, The RandCorporation, Santa Monica, CA, 23 pp.

Bibliografía 85

[32] Garthwaite P., Kadene J. y O’Hagan A., 2005, Statistical Methods for Eliciting Probability Distribu-tions,Journal of the American Statistical Association, Vol. 100, 680-700, No.470.

[33] Gill J. y Walker L., 2005, Elicited Priors for Bayesian Model Specifications in Political Science Re-search,Journal of Politics, Vol 67, 841-872 No 3.

[34] Gilless J. y Fried S., 2000, Generating beta random rate variables from probabilistic estimates of firelineproduction times., Annals of Operations Research, Vol. 95, 205-215.

[35] Gleason D., Mellinger G. y The Veretans Administration Cooperative Urological Research Group, 2002,Prediction of prognosis for prostatic adenocarcinoma by combined histological grading and clinical sta-ging., http://globocan.iarc.fr/Pages/fact_sheets_cancer.aspx, Vol. 167, 953-958.

[36] Globocan, 2012, Estimated Cancer Incidence, Mortality and Prevalence Worldwide., The Journal ofUrology, tomado el 18/08/2014.

[37] Gosling P., 2008, On the elicitation of continuous, symmetric, unimodal distributions,Cornell UniversityLibrary, http://arxiv.org/pdf/0805.2044v1.pdf, tomado el 21/08/2013.

[38] Goulet V., Jacques M. y Pigeon M., 2009, Expert: Modeling Without Data Using Expert Opinion, TheR Journal Vol. 1/1.

[39] Gross A., 1971, The Application of Exponential Smoothing to Reliability, Technometrics, Vol. 13, 877-883 No. 4.

[40] Grothendieck G., 2012, sqldf: Perform SQL selects on R data frames, R package version 0.4-6.4,http://cran.r-project.org/package=sqldf, tomado el 18/08/2014.

[41] Heidenreich A., Bolla M., Joniau S., Mason M., Matveev V., Mottet N., Sch-mid H., vander T., Wiegel T. y Zattoni F, 2010, Guía clínica sobre el cáncer depróstata, European Association of Urology, http://www.uroweb.org/gls/pdf/spanish/01-%20GUIA%20CLINICA%20SOBRE%20EL%20CANCER%20DE%20PROSTATA.pdf, tomadoel 18/08/2014.

[42] Hogarth R., 1975, Cognitive Processes and the Assessment of Subjective Probability Distribu-tions,Journal of the American Statistical Association, Vol. 70, 271-289, No.350.

[43] Hora S., 1996, Aleatory and epistemic uncertainty in probability elicitation with an example fromhazardous waste management, Relability Engineering and System Safety, Vol. 54, 217-223.

[44] Hora S., von Winterfeldt D., 1997, Nuclear Waste and Future Societies: A Look into the Deep Futu-re,Technological Forecasting and Social Change, Vol. 56, 155-170.

[45] Hora S., 2007, Advances in Desicion Analysis: From Foundations to Applications,Cambridge UniversityPress, primera edición, 129-153.

[46] Horowitz I., 1968, Introducción al Análisis Cuantitativo de los Negocios.,Ediciones del Castillo: Madrid,

[47] Hughes G. y Madden L., 2002, Some methods for eliciting expert knowledge of plant disease epidemicsand their application in cluster sampling for disease incidence, Crop Protection, Vol. 21, 203-215.

[48] James A., Low Choy S. y Mengersen K., 2010, Elicitator: an expert elicitation tool for regression inecology, Environmental Modelling & Software, Vol. 25, 129-145, No. 1.

86 Bibliografía

[49] Jenkinson D., 2005, The Elicitation of Probabilities - A Review of the Statistical Literature.

[50] Johnson N., Kotz S., Balakrishnan N., 1997, Discrete Multivariate Distributions, John Wiley & Sons,Inc, primera edición, 31-83.

[51] Johnson N., Kotz S., Kemp A., 2005, Univariate Discrete Distributions, John Wiley & Sons, Inc, terceraedición, 108-155.

[52] Kadane J., Dickey J., Winkler R., Smith W. y Peters S., 1980, Interactive Elicitation of Opinion for aNormal Linear Model, Journal of the American Statistical Association, Vol. 75, 845-854, No.372.

[53] Kadane J., Wolfson L., 1998, Experiencies in Elicitation, The Statistician, Vol. 47, 3-19, No. 1.

[54] Kadane J., Schervish J., and Seidenfeld, 1999,Rethinking the foundations of statistics, Primera edición1999.

[55] Kadane J., Winkler R., 1988, Separating Probability Elicitation From Utilities, Journal of the AmericanStatistical Association, Vol. 83, 357-363, No.402.

[56] Kyburg H., 1978, Subjective Probability: Criticisms, Reflections, and Problems, Journal of PhilosophicalLogic, Vol. 7, 157-180, No. 1.

[57] Kynn M, 2006, Designing ELICITOR: Software to graphically elicit expert priors for logistic regressionmodels in ecology, Department of Mathematics and Statistics, Fylde College, Lancaster University.

[58] Kynn M, 2008, The ’Heuristics and Biases’ Bias in Expert Elicitation, Journal of the Royal StatisticalSociety. Series A (Statistics in Society), Vol 17 239-264 No. 1

[59] Lau A., Leong T., 1999, PROBES: a framework for probability elicitation from experts,Proc.AMIA.Symp., 301-305.

[60] León C., Vázquez F. y León C., 2003, Elicitation of Expert Opinion in Benefit Transfer of EnvironmentalGoods, Environmental and Resource Economics, Vol 26, 199-210.

[61] Lindley D., Tversky A. y Brown R., 1979, On the Reconciliation of Probability Assessments,Journal ofthe Royal Statistical Society, Vol 142, 146-180, No. 2.

[62] Lindley D., 2000, The Philosophy of Statistics,The Statistician, Vol 49, 293-337, No. 3.

[63] Low, O’Leary y Mengersen, 2009, Elicitation by design for ecology: using expert opinion to inform priorsfor Bayesian statistical models, Ecology, Vol 90, 265-277.

[64] Morales O. y Cooke R, A., 2008, Introducción al modelo clásico de juicio estructurado de expertos: breverecuento del pasado y una aplicación reciente, Ciencia Ergo Sum, Universidad Autónoma del Estado deMéxico, México.

[65] Murphy A. y Winkler R., 1974, Credible Interval Temperature Forecasting: Some Experimental Results,Monthly Weather Review Vol 102, 784-794.

[66] Oakley J., Daneshkhah A. y O’Hagan A., 2010, Nonparametric Prior Elicitation using the RouletteMethod,School of Mathematics and Statistics, University of Sheffeld, UK.

Bibliografía 87

[67] O’Hagan A., 1998, Eliciting Expert Beliefs in Substantial Practical Applications, Journal of the RoyalStatistical Society, Series D, Vol. 47, 21-35, No. 1.

[68] O’Hagan A., 2005, Research in Elicitation, University of Sheffield, UK.

[69] O’Hagan A. y Oakley J., 2010, SHELF: the Sheffield Elicitation Framework (version 2.0), School ofMathematics and Statistics, University of Sheffield, http://tonyohagan.co.uk/shelf/ (Consultado: Abril18 de 2014 a las 17:27).

[70] Ouchi F., 2004, A Literature Review: On the Use of Expert Opinion in Pro-babilistic Risk Analysis, World Bank Policy Research Working Paper, Nro 3201,https://openknowledge.worldbank.org/bitstream/handle/10986/15623/wps3201Literature.pdf?sequence=1(Consultado: Noviembre 18 de 2014 a las 17:27).

3201, February 2004

[71] Pham-Gia T., Turkkan N. y Duong, Q., 1992, Using the mean deviation in the elicitation of the priordistribution, Stat. Probab., Vol 13, 373–381..

[72] Potenziani J., 2014, Significado del Grado de Gleason y del Score de Glea-son en pacientes con Cáncer Prostático.,National Academy of Medicine,http://www.researchgate.net/publication/237050093_Significado_del_Grado_de_Gleason_y_del_Score_de_Gleason_en_pacientes_con_Cncer_Prosttico/,Tomado el 20/08/2014.

[73] R Core Team, 2015, R: A Language and Environment for Statistical Computing, R Foundation forStatistical Computing, http://www.R-project.org/

[74] Raiffa H. y Schlaifer R., 1961, Applied statistical decision theory, Clinton Press, Inc: Boston.

[75] Regazzini E., 1999, Approximation of Laws of Multinomial Parameters by Mixtures of Dirichlet Distri-butions with Applications to Bayesian Inference, Acta Applicandae Mathematicae, vol 58, 247-264.

[76] Renooij S., Witteman C, 1999, Talking probabilities: communicatin probabilistic information with wordsand numbers, International Journal of Approximate Reasoning, vol 22, 169-194.

[77] RStudio y Inc, 2013, shiny: Web Application Framework for R, R package version 0.10.1.,http://CRAN.R-project.org/package=shiny, Tomado el 18/08/2014

[78] Ruiz, A., 2004, Apuntes de Estadística Bayesiana.

[79] Savage, L, 1971, Elicitation of Personal Probabilities and Expectations, Journal of the American Sta-tistical Association, 783-801.

[80] Shephard G., Kirkwood C., 1994, Managing the Judgmental Probability Elicitation Process: A CaseStudy of Analyst/Manager Interaction, IEEE Transactions on Engineering Management, Vol 41 414-425.

[81] Spetzler C. y Stael Von Holstein C., 1975, Probability Encoding in Decision Analysis,ManagementScience, Vol 22, 340-358, No, 3

[82] Stevens J. y O’Hagan A,.2002, Incorporation of genuine prior information in cost-effectiveness analy-sis,International Journal of Technology Assessment in Health Care, Vol 18, 782-790.

88 Bibliografía

[83] Tortora R., 1983, A Note on Sample Size Estimation for Multinomial Populations, The AmericanStatistician, Vol. 32, 100-102, No. 3.

[84] Tyshenko M., Elsaadany S., Oraby T., Darshan S., Aspinall W., Cooke R., Catford A., Krewski D.,2011, Expert Elicitation for the Judgment of Prion Disease Risk Uncertainties, Journal of toxicology andEnvironmental Health, parte A 74:261-285.

[85] Tversky A., Kahneman D., 1974, Judgment under Uncertainty: Heuristics and Biases, Science, NewSeries, Vol. 185, No. 4157 1124-1131.

[86] Umesh, G., A 1988, comparison of Two Elicitation Methods for a Prior for a Binomial Parameter,Management Science, Vol. 34, 784-790.

[87] Van der Sluijs J., Janssen P., Petersen A., Kloprogge P., Risbey J, Tuinstra W, Ravetz J., 2004, RIV-M/MNP Guidance for Uncertainty Assessment and Communication: Tool Catalogue for UncertaintyAssessment,Utrecht/Bilthoven: Copernicus Institute & RIVM, 28-38.

[88] Van Lenthe J., 1993, A blueprint of ELI: A new method for eliciting subjective probability distributions,Behavior Research Methods, Instruments, & Computers, Vol 25, 425-433, No. 4.

[89] Venables W., Smith D. y R Core Team., 2014, Notes on R: A Programming Environment for DataAnalysis and Graphics Version 3.1.1, http://cran.r-project.org/doc/manuals/r-release/R-intro.pdf, Con-sultado: Agosto 17 de 2014 a las 13:45.

[90] van Noortwijk J., Dekker R., Cooke R., Mazzuchi T., 1992, Expert Judgment in Maintenance Optimi-zation, IEEE Transactions on reliability, Vol 41, 427-432, No. 3.

[91] Wallsten T. y Budescu D., 1983, Encoding Subjective Probabilities: A Psychological and PsychometricReview,Management Science, Vol. 29, 151-173.

[92] Waterman M., Martz H., Walter R., 1976, Fitting Beta Prior Distributions in Bayesian ReliabilityAnalysis A Sat of TabSss,Los alamos scientific laboratory of the University of California, LA-6395-MS.

[93] Weiler H., 1965, The Use of Incomplete Beta Functions for Prior Distributions in Binomial Sam-pling,Technometrics, Vol 7, 335-347, No. 3.

[94] White I, Pocock S y Wang D, 2005, Eliciting and using expert opinions about influence of patientcharacteristics on treatment effects: a Bayesian analysis of the CHARM trials,Statistics in Medicine,Vol. 24, 3805-3821.

[95] Wickham H., James A y Falcon S., 2014, RSQLite: SQLite Interface for R, R package version 1.0.0,http://CRAN.R-project.org/package=RSQLite, tomado 25/10/2014

[96] Winkler, R., 1967a, The Assessment of Prior Distributions in Bayesian Analysis, Journal of the AmericanStatistical Association.Vol. 62, 776-800.

[97] Winkler, R., 1972, An introducción to Bayesian inference and decision, Holt, Rinehart and Winston,Inc: New York.

[98] Zapata R., O’Hagan A. Soares L, 2012, Eliciting expert judgements about a set of proportions,http://tonyohagan.co.uk/academic/pdf/Dirichlet.pdf, Consultado: Enero 21 de 2014 a las 21:45.

[99] Zollo A., 2006, Medicina interna. Secretos, Elsevier España S.A., cuarta edición