Construccion y Validacion de Modelos

download Construccion y Validacion de Modelos

of 18

Transcript of Construccion y Validacion de Modelos

  • 7/27/2019 Construccion y Validacion de Modelos

    1/18

    Fundamentos de Microbiologa Predictiva: aplicacionestericas y prcticas

    Enrique Alfonso Cabeza Herrera, Ph.D.

    Cdigo FMP V. 01

    Pgina 1 de 18

    Universidad de Pamplona Facultad de Ciencias Bsicas Departamento de Microbiologa 2013

    DESARROLLO DE UN MODELO MATEMTICO PARA EVALUAR EL EFECTODE LA TEMPERATURA SOBRE EL CRECIMIENTO DE S. aureus EN CALDO

    BHI

    En la presente gua se explica en forma sencilla cmo desarrollar un modelomatemtico que permita evaluar el efecto de la temperatura de 25C a 40C sobreel crecimiento de S. aureus en caldo BHI. Para tal fin se usarn datos reales

    obtenidos a travs de las prcticas de laboratorio del curso de MicrobiologaPredictiva del programa de Microbiologa de la Universidad de Pamplona. Asmismo, se emplearan herramientas informticas para la construccin de losmodelos adecuados, especficamente se usarn los software DMFit, GraphPadPrism Version 3 para Windows y Microsoft Excel 2010.

    1. MATERIALES, EQUIPOS E INSUMOS

    Computador con paquete Microsoft Office 2010, GraphPad Prism y conexin ainternet.

    2. PROCEDIMIENTO

    El Desarrollo de la siguiente actividad se realiza en tres etapas sucesivas as:

    Modelamiento primario: en esta etapa se usar el modelo primario de Baranyi yRoberts para determinar la velocidad de crecimiento de S. aureus en cadatemperatura evaluada. Para tal fin nos apoyaremos en el software DMFit, el cualse encuentra disponible en lnea en la siguiente direccin electrnica:http://modelling.combase.cc/DMFit.aspx. Al ir a esta direccin se despliega unaventana como se muestra en la figura 1, en la cual tendremos que crear unanueva cuenta dando clic en el cuadro rojo y diligenciar los datos solicitados. Unavez registrados ya podemos ingresar al software escribiendo la direccin de correoelectrnico y la contrasea que hemos creado anteriormente.

  • 7/27/2019 Construccion y Validacion de Modelos

    2/18

    Fundamentos de Microbiologa Predictiva: aplicacionestericas y prcticas

    Enrique Alfonso Cabeza Herrera, Ph.D.

    Cdigo FMP V. 01

    Pgina 2 de 18

    Universidad de Pamplona Facultad de Ciencias Bsicas Departamento de Microbiologa 2013

    Figura 1. Pgina principal de acceso al ComBase.

    Modelamiento secundario: Una vez obtenidas las mximas velocidades decrecimiento para cada temperatura, se construir un modelo secundario ajustandolos datos de velocidad vs temperatura a una funcin matemtica conocidamediante regresin lineal. Posteriormente se obtendr la ecuacin matemtica querepresenta esa relacin. Esta expresin matemtica se convertir en el modeloque se usar para generar los datos de velocidad de crecimiento de S. aureuspara las temperaturas no estudiadas en el laboratorio mediante interpolacin. Paraesta etapa se usar el software Microsoft Excel 2010 y el software GraphPadPrism v 3.0 para Microsoft.

    Ajuste y validacin del Modelo: la tercera etapa consistir en la validacinestadstica del modelo matemtico empleando para ello los datos obtenidos en ellaboratorio (Observados) y los datos generados por el modelo en la segunda etapa(Estimados). La validacin se har comparando estadsticamente el factor de

  • 7/27/2019 Construccion y Validacion de Modelos

    3/18

    Fundamentos de Microbiologa Predictiva: aplicacionestericas y prcticas

    Enrique Alfonso Cabeza Herrera, Ph.D.

    Cdigo FMP V. 01

    Pgina 3 de 18

    Universidad de Pamplona Facultad de Ciencias Bsicas Departamento de Microbiologa 2013

    sesgo (Bf), factor de exactitud (Af) y el Error cuadrado medio (RMSE) tal como hasido descrito por varios autores (Ross, 1996; Baranyi et al., 1999; Judet-Correia etal., 2010; Garca, D et al., 2011).

    2.1. MODELAMIENTO PRIMARIO

    A continuacin se muestra en la tabla 1 los datos experimentales de crecimientode S. aureusa temperaturas entre 25C y 40C, e incubado en caldo BHI durante5 6 horas.

    Tabla 1. Resultados del crecimiento de S. aureusen caldo BHI incubado a 25C,30C, 35C y 40C.

    25C 30C 35C 40C

    Tiempomin

    PoblacinLn ufc/ml

    Tiempomin

    PoblacinLn ufc/ml

    Tiempomin

    PoblacinLn ufc/ml

    Tiempomin

    PoblacinLn ufc/ml

    0 15.549 0 16.042 0 16.088 0 15.13330 15.891 30 16.550 30 16.042 30 15.99360 16.182 60 16.474 60 16.657 60 16.826

    230 17.431 230 16.981 90 16.657 80 17.611250 17.775 250 18.479 225 19.154 200 18.760290 19.015 290 18.919 255 20.328 230 19.971310 19.165 310 19.086 285 20.671 260 20.402350 19.383 350 19.887 315 20.798 290 20.645

    370 19.587 370 20.034 -- -- 320 20.873

    Antes de procesar los datos anteriores, ingresamos al ComBase y se despliega laventana mostrada en la figura 2. En esta ventana nos ubicamos en la partesuperior derecha en la pestaa Resource (Recursos) y seleccionamos la opcin

    DMFit para ingresar a la versin online.

    En esta nueva ventana que se muestra en la figura 3, podemos ver dos paneles.En el panel superior se presentan las opciones de ingreso de datos, seleccin deltipo de modelo y el ajuste de los datos. En el panel inferior se muestran los datosde salida tales como la evaluacin del ajuste de los datos frente al modeloescogido, los parmetros estimados segn el modelo seleccionado y larepresentacin grfica de los datos observados y el ajuste de los mismos. Asmismo, se muestra en el panel de color gris los datos estimados.

  • 7/27/2019 Construccion y Validacion de Modelos

    4/18

    Fundamentos de Microbiologa Predictiva: aplicacionestericas y prcticas

    Enrique Alfonso Cabeza Herrera, Ph.D.

    Cdigo FMP V. 01

    Pgina 4 de 18

    Universidad de Pamplona Facultad de Ciencias Bsicas Departamento de Microbiologa 2013

    Figura 2. Pgina de acceso al DMFit web edition.

    Figura 3. Ventana principal del DMFit web edition.

  • 7/27/2019 Construccion y Validacion de Modelos

    5/18

    Fundamentos de Microbiologa Predictiva: aplicacionestericas y prcticas

    Enrique Alfonso Cabeza Herrera, Ph.D.

    Cdigo FMP V. 01

    Pgina 5 de 18

    Universidad de Pamplona Facultad de Ciencias Bsicas Departamento de Microbiologa 2013

    Bien, ahora comenzamos con el ingreso de los datos en la caja 1, tal como semuestra en la figura 4. Se coloca primero el dato del tiempo, espacio, y luego elvalor de la poblacin en Log10 o Ln y luego enter. Repetir estos pasos para cadadato y al finalizar el ingreso de los mismos damos clic en displaydata (mostrardatos) para ver la forma de la grfica. La otra opcin es importar los datos desdeuna hoja Excel, para ellos copiamos en una columna los valores de tiempo y elcolumna siguiente los valores de la poblacin usando como el separador dedecimales el punto y no la coma, ya que el DMFit reconoce el punto comoseparador de decimales.

    Figura 4. Ingreso de los datos en el DMFit web edition.

  • 7/27/2019 Construccion y Validacion de Modelos

    6/18

  • 7/27/2019 Construccion y Validacion de Modelos

    7/18

  • 7/27/2019 Construccion y Validacion de Modelos

    8/18

    Fundamentos de Microbiologa Predictiva: aplicacionestericas y prcticas

    Enrique Alfonso Cabeza Herrera, Ph.D.

    Cdigo FMP V. 01

    Pgina 8 de 18

    Universidad de Pamplona Facultad de Ciencias Bsicas Departamento de Microbiologa 2013

    crecimiento de S. aureus, posteriormente vamos a la pestaa de insertar yescogemos dentro de la opcin de grficos de dispersin con lneas suavizadas(Figura 7).

    Figura 6. Cuadro de datos de crecimiento de S. aureus en funcin de latemperatura.

    Figura 7. Representacin del crecimiento de S. aureusen notacin cientfica.

    Posteriormente obtendremos la grfica del efecto de la temperatura sobre lavelocidad de crecimiento de S. aureus(Figura 8). En esta figura podemos apreciarque la velocidad de crecimiento aumenta con la temperatura hasta un valor

  • 7/27/2019 Construccion y Validacion de Modelos

    9/18

    Fundamentos de Microbiologa Predictiva: aplicacionestericas y prcticas

    Enrique Alfonso Cabeza Herrera, Ph.D.

    Cdigo FMP V. 01

    Pgina 9 de 18

    Universidad de Pamplona Facultad de Ciencias Bsicas Departamento de Microbiologa 2013

    cercano al ptimo de crecimiento para luego decaer nuevamente. La forma queadopta esta grfica obedece a una parbola, la cual puede describirse medianteuna funcin polinmica de tercer orden o superior, para generar la ecuacinmatemtica que represente esta relacin.

    Figura 8. Representacin del efecto de la temperatura sobre la velocidad decrecimiento de S. aureus.

    Posteriormente, nos situamos sobre la grfica generada y seleccionamos la opcinde agregar lnea de tendencia (Figura 9) y escogemos la tendencia polinmica yordenacin de tercer (3) grado (funcin cbica), as mismo seleccionamos laopcin de presentar la ecuacin en el grfico y el valor del coeficiente de regresin(R2) para obtener el modelo matemtico adecuado y el grado de ajuste de losdatos frente al modelo seleccionado (Figura 10). En este caso la ecuacin queobtendremos tendr la estructura siguiente: Y = A+BX+CX2+DX3.

  • 7/27/2019 Construccion y Validacion de Modelos

    10/18

    Fundamentos de Microbiologa Predictiva: aplicacionestericas y prcticas

    Enrique Alfonso Cabeza Herrera, Ph.D.

    Cdigo FMP V. 01

    Pgina 10 de 18

    Universidad de Pamplona Facultad de Ciencias Bsicas Departamento de Microbiologa 2013

    Figura 9. Seleccin del tipo de grfico de crecimiento de S. aureus.

    Figura 10. Seleccin del tipo de tendencia para el grfico generado.

    Con lo anterior se obtiene la ecuacin matemtica que representa la relacin delefecto de la temperatura sobre la velocidad de crecimiento (Figura 11).

  • 7/27/2019 Construccion y Validacion de Modelos

    11/18

    Fundamentos de Microbiologa Predictiva: aplicacionestericas y prcticas

    Enrique Alfonso Cabeza Herrera, Ph.D.

    Cdigo FMP V. 01

    Pgina 11 de 18

    Universidad de Pamplona Facultad de Ciencias Bsicas Departamento de Microbiologa 2013

    Figura 11. Grfica de la velocidad de crecimiento vs temperatura para S. aureusyla ecuacin matemtica generada.

    Fuente: Autor.

    Al analizar la figura 11 podemos observar que el coeficiente de determinacino regresin (R2) es uno (1). Por lo tanto, la ecuacin generada se adapta a losdatos observados de velocidad de crecimiento vs temperatura. Esta ecuacinpodemos transformarla en el siguiente modelo matemtico:

    = +

    Donde los coeficientes C0, C1, C2 y C3 corresponden a los valores obtenidosmediante ajuste de regresin cbica, y que para este caso equivalen a:C0 = 0,3994000C1 = 0,0390833C2 = 0,0013260C3 = 0,0000147T = Temperatura en Cmx = mxima velocidad de crecimiento

    y = -0.0000147x3 + 0.0013260x2 - 0.0390833x + 0.3994000

    R = 1.00000000.0100

    0.0150

    0.0200

    0.0250

    0.0300

    20 25 30 35 40 45

    max

    (Lnufc/ml*min)

    Temperatura (C)

    Velocidad de crecimiento de S. aureus vs

    Temperatura

  • 7/27/2019 Construccion y Validacion de Modelos

    12/18

    Fundamentos de Microbiologa Predictiva: aplicacionestericas y prcticas

    Enrique Alfonso Cabeza Herrera, Ph.D.

    Cdigo FMP V. 01

    Pgina 12 de 18

    Universidad de Pamplona Facultad de Ciencias Bsicas Departamento de Microbiologa 2013

    2.3. VALIDACION DEL MODELO

    De acuerdo con Baranyi et al. (1999) los modelos microbiolgicos predictivos son,tpicamente generados en el laboratorio usando medios de cultivo lquidos. Enese sentido afirma el autor que, Ross en 1996 propuso como medidas paraevaluar el desempeo de los modelos matemticos usados en microbiologapredictiva el factor de sesgo y el factor de exactitud. Posteriormente, Baranyi et al.(1999) presentaron un refinamiento de estos factores en su trabajo Validating andcomparing predictive models, los cuales han sido usados hasta hoy para evaluarel desempeo de los modelos predictivos.

    Para la validacin de la capacidad para describir adecuadamente los datosexperimentales observados de nuestro modelo, usaremos esas definiciones dadaspor Baranyi, es decir, se calcularan el factor de sesgo (B f), y factor de exactitud(Af), as como otros ndices matemticos y estadsticos: error cuadrtico medio(RMSE) y el coeficiente de regresin (R2).

    Factor de sesgo (Bf): el Bf responde a la pregunta de si, en promedio, los valores

    observados se encuentran por encima o por debajo de la lnea de equivalencia y,en caso afirmativo, en qu medida. Es comn trazar los parmetros de crecimientoestimados en contra de sus valores observados para demostrar la concordanciadel modelo. Si los puntos as obtenidos estn en la lnea de equivalencia entonceslas predicciones son exactas. La diferencia entre un punto y la lnea deequivalencia es una medida de la inexactitud de la prediccin respectiva.

    Una concordancia perfecta entre las predicciones y observaciones dar lugar a unfactor de sesgo de 1. Si el factor de sesgo es menor a 1, indicar que los valoresobservados se encuentran por debajo de la lnea de equivalencia, y que en

    principio el modelo generado no arrojar predicciones seguras. El caso contrariose presenta cuando el factor de sesgo es mayor a 1, indicando que los datosobservados se encuentran por encima de la lnea de equivalencia.

  • 7/27/2019 Construccion y Validacion de Modelos

    13/18

    Fundamentos de Microbiologa Predictiva: aplicacionestericas y prcticas

    Enrique Alfonso Cabeza Herrera, Ph.D.

    Cdigo FMP V. 01

    Pgina 13 de 18

    Universidad de Pamplona Facultad de Ciencias Bsicas Departamento de Microbiologa 2013

    =10 !

    Donden = nmero de observaciones usadas en el clculoEst = Velocidad de crecimiento estimadaObs = Velocidad de crecimiento observada

    Factor de exactitud (Af): mide la distancia mnima entre cada punto promedio y lalnea de equivalencia como una medida de qu tan cerca, en promedio, seencuentran los valores predichos y los observados, por lo tanto, el A f es unamedida de la desviacin media y puede ser utilizado como una simple medida delnivel de confianza que se puede tener con el modelo de prediccin. Cuanto msgrande sea el valor, menos precisa es la estimacin promedio.

    " =10##

    !Donden = nmero de observaciones usadas en el clculoEst = Velocidad de crecimiento estimadaObs = Velocidad de crecimiento observada

    Error cuadrtico medio (RMSE): mide la desviacin media entre los valoresobservados (Obs) y los valores estimados (Est). Cuanto menor sea el valor deeste ndice, mejor es el ajuste del modelo frente a los datos experimentales.

    $%&' =($&&)* Es decir,

  • 7/27/2019 Construccion y Validacion de Modelos

    14/18

    Fundamentos de Microbiologa Predictiva: aplicacionestericas y prcticas

    Enrique Alfonso Cabeza Herrera, Ph.D.

    Cdigo FMP V. 01

    Pgina 14 de 18

    Universidad de Pamplona Facultad de Ciencias Bsicas Departamento de Microbiologa 2013

    $%&' = (,-. /-2 3 Donden = nmero de observacionesp = nmero de parmetros a ser estimadosEst = Velocidad de crecimiento estimadaObs = Velocidad de crecimiento observada

    Debe dejarse claro que la validacin de los modelos se hace frente a aquellosdatos observados que no fueron usados para construir el modelo. Sinembargo, en nuestro caso y a manera de ejemplo, la validacin se har con losmismos datos experimentales usados para construir el modelo ya que se tienenpocos datos.

    El clculo de cada uno de los ndices matemticos se har empleando la hoja declculo Excel. Se disear una tabla de frecuencias en la cual se incluirn losfactores o parmetros a modelar (en este caso uno = temperatura), velocidades decrecimiento observada y estimada, pre-factor de sesgo, etc., tal como se muestraen la figura 12.

    Figura 12. Tabla de frecuencias para la validacin del modelo generado.

  • 7/27/2019 Construccion y Validacion de Modelos

    15/18

    Fundamentos de Microbiologa Predictiva: aplicacionestericas y prcticas

    Enrique Alfonso Cabeza Herrera, Ph.D.

    Cdigo FMP V. 01

    Pgina 15 de 18

    Universidad de Pamplona Facultad de Ciencias Bsicas Departamento de Microbiologa 2013

    Determinacin del factor de sesgo (Bf):

    El factor de sesgo se obtendr en la casilla E8 de nuestro ejemplo (Figura 12).

    Comenzaremos por determinar el pre-factor Bf, que en este casocorresponde a Log (Est/Obs). Nos ubicamos en la casilla E4 y escribimos lasiguiente frmula: =LOG10(D4/C4), repetimos la formula en la casillas E5,

    E6 y E7 sustituyendo D4/C4 por D5/C5, D6/C6 y D7/C7. Para obtener el valor de Bf nos situamos en la casilla E8 y colocamos la

    siguiente frmula: =POTENCIA(10,((SUMA(E4:E7))/4)) y para nuestro casonos dar un valor de 0,9429

    Determinacin del factor de exactitud (Af):

    El factor de exactitud se obtendr en la casilla E9 de nuestro ejemplo (Figura 12). El factor Af se obtiene con la misma frmula que el Bf pero teniendo en

    cuenta que se trabaja con valores absolutos. En la casilla E9 colocamos las siguiente frmula que nos dar directamente

    este valor: =POTENCIA(10,((ABS(SUMA(E4:E7)))/4)) El valor obtenido para Af es 1,0605

    Determinacin del error cuadrado medio (RSME):

    El RSME se obtendr en la casilla E10 de nuestro ejemplo (Figura 12). Inicialmente determinaremos el cuadrado de la diferencia entre el valor

    Estimado y el Observado (Est - Obs)2. Para ello nos ubicamos en la casilla

    F4 y escribimos la siguiente frmula: =POTENCIA((D4-C4),2). Repetimosesta frmula en las casillas F5, F6 y F7 sustituyendo D4-C4 por D5-C5, D6-C6 y D7-C7.

    Al finalizar las operaciones nos ubicamos en la casilla E10 y colocamos lasiguiente frmula: =RAIZ((SUMA(F4:F7))/(4-1))

    Se obtiene un valor de 0,0016

  • 7/27/2019 Construccion y Validacion de Modelos

    16/18

    Fundamentos de Microbiologa Predictiva: aplicacionestericas y prcticas

    Enrique Alfonso Cabeza Herrera, Ph.D.

    Cdigo FMP V. 01

    Pgina 16 de 18

    Universidad de Pamplona Facultad de Ciencias Bsicas Departamento de Microbiologa 2013

    Figura 13. ndices matemticos y estadsticos obtenidos para el modelo decrecimiento de S. aureusen funcin de la temperatura.

    En general podemos concluir que: los valores estimados por el modelo sonmenores a los observados y por ello el factor de sesgo (Bf) es menor a uno. Estoindica que los valores estimados se encuentran por debajo de la lnea deequivalencia (ver figura 14). Sin embargo, el factor de exactitud es ligeramentesuperior a uno, por lo que no existe una gran diferencia entre los valoresestimados y la lnea de equivalencia, es decir, se encuentran muy prximas. Estose confirma con el RMSE obtenido, el cual es muy pequeo (0,0016) indicando

    que no existe mucha diferencia entre los valores observados y los estimados.

  • 7/27/2019 Construccion y Validacion de Modelos

    17/18

    Fundamentos de Microbiologa Predictiva: aplicacionestericas y prcticas

    Enrique Alfonso Cabeza Herrera, Ph.D.

    Cdigo FMP V. 01

    Pgina 17 de 18

    Universidad de Pamplona Facultad de Ciencias Bsicas Departamento de Microbiologa 2013

    Figura 14. Representacin de los valores de velocidad de crecimiento estimadosvs observados para S. aureus.

    Fuente: Autor.

    3. NIVEL DE RIESGO

    Para el desarrollo de la anterior prctica se ha definido un nivel de Riesgo muybajo o nivel 0; es decir que no se requiere del uso de Bata de Laboratorio MangaLarga, Zapato Cerrado Bajo o Pantaln Largo siempre y cuando no se realice enlos laboratorios de prcticas.

    4. BIBLIOGRAFA

    Allman, E.S. and Rhodes, J.A. (2004). Chapter 8: Curve Fitting and BiologicalModeling. In: Mathematical Models in Biology an Introduction. CambridgeUniversity Press. Pgs 315 343. ISBN 978-0-511-07846-0 eBook.

    Baranyi, J., Pin, C. and Ross, T. (1999). Validating and comparing predictivemodels. International Journal of Food Microbiology48: 159 166.

    Garca, D., Ramos, A.J., Sanchis, V., and Marn, S. (2011). Modelling theeffect of temperature and water activity in the growth boundaries of Aspergillusochraceusand Aspergillus parasiticus. Food Microbiology28: 406 417.

    0.01

    0.015

    0.02

    0.025

    0.03

    0.01 0.015 0.02 0.025 0.03

    mx

    Est

    mx Obs

    x = y

  • 7/27/2019 Construccion y Validacion de Modelos

    18/18

    Fundamentos de Microbiologa Predictiva: aplicacionestericas y prcticas

    Enrique Alfonso Cabeza Herrera, Ph.D.

    Cdigo FMP V. 01

    Pgina 18 de 18

    Universidad de Pamplona Facultad de Ciencias Bsicas Departamento de Microbiologa 2013

    Judet-Correia, D., Bollaert, S., Duquenne, A., Charpentier, C, Bensoussan, M.,and Dantigny, P. (2010). Validation of a predictive model for the growth ofBotrytis cinerea and Penicillium expansum on grape berries. InternationalJournal Food Microbiology142: 106 113.

    Ross, T. (1996). Indices for performance evaluation of predictive models infood microbiology. Journal of Applied Bacteriology81: 501 508.