01 Evaluación Sistemas Informáticos 2013-B

Evaluación Sistemas Informáticos

Septiembre, 2013

Asignatura: Evaluación Sistemas Informáticos

Aldemaro MadridCel: 0414 – 3862212

Correo: [email protected]

mailto:[email protected]


1.- Expectativas respecto a la materia

2.- Contenido

3.- Importancia de la materia

4.- Nivelación de información

Simulación

Teoría de colas

Estadística (media, varianza,

ANOVA, Intervalos de confianza, etc.

INTRODUCCION


CONTENIDO

El contenido cubre tres bloques claramente definidos:

Proceso de desarrollo de una evaluación.

Certificación de la calidad de los datos

Técnicas de auditoría.


SINOPSIS

En esta asignatura se tratan los siguientes tópicos:

Técnicas de Evaluación

Métricas de desempeño

Técnicas y herramientas de medición

Técnicas para procesar las mediciones

Elementos de Simulación y Modelos de Colas

Diseño y Análisis de Experimento


OBJETIVOS

Al finalizar el curso los estudiantes tendrán el conocimiento básico sobre las

principales técnicas usadas en la evaluación del desempeño de sistemas de

computación

Ofrecer una visión global de los métodos y técnicas necesarios para

desarrollar un proceso de evaluación a un sistema de información, que

permita identificar fallas de control y producir recomendaciones.

Presentar herramientas de validación de datos que permiten certificar la

calidad de los resultados obtenidos, antes de que éstos se conviertan en la

base para la toma de decisiones.


Art of Computer Systems Performance Analysis Techniques For Experimental Design

Measurements Simulation And Modeling

by Raj Jain

Evaluación y Modelado del Rendimiento de los Sistemas Informáticos

Xavier Molero

Carlos Ruiz

Miguel Rodeño

Capacity Planning and Performance Modeling

Daniel Menascé. Virgilio Almeida. Larry W. Dowdy. Prentice Hall

Measuring Computer Performance

David Lilja. Cambridge University Press.

Tópicos Especiales en Evaluación de Desempeño

Mariela J. Curiel H.

BIBLIOGRAFIA


Perfil del egresado: el Ingeniero Informático

Los alumnos inscritos en la Escuela de Ingeniería Informática recibirán unasólida formación científica y técnica, de manera que estén preparados para elejercicio profesional de una manera integral, con conocimientos generales yfundamentales en el área de las Ciencias de la Computación, la Ingeniería delSoftware, la Telemática, acompañadas de formación en el área gerencial, queles permita trabajar en las diferentes vertientes y con la capacidad deseleccionar cualquiera de esas áreas para continuar con su aprendizaje haciauna especialización.El ingeniero en informática requiere de un nivel de inteligencia superior alpromedio, con elevada aptitud para el razonamiento numérico abstracto yespacial; una adecuada capacidad de atención, concentración, análisis ycomprensión de sistemas; igualmente, es indispensable la capacidadorganizativa y de trabajo en equipo.Se espera del ingeniero en informática que logre desarrollar condiciones deliderazgo, con una expresión fluida y correcta, e interesado por realizarestudios, proyectos, construcciones, inspecciones, operaciones demantenimiento de obras, instalaciones, máquinas y/o equipos.


AutodeterminaciónCapacidad de las personas de decidir de manera autónoma susacciones. Se tiene el control de lo que se hace y dice y por lotanto asumen responsabilidad personal por sus actos.

Orientación al LogroConjunto de pensamientos y afectos relacionados con eldesarrollo personal, mediante el uso exigente de las capacidadespara alcanzar metas. Exigirse al máximo para alcanzar lograr laexcelencia en lo que se proponen.

Fortaleza InteriorCapacidad para superar positivamente las adversidades y vivirlos triunfos. Se necesita fortaleza para no dejarse derrumbarante el fracaso y también para no dejarse arrastrar y seducir porel éxito.

AsertividadSer firme en los puntos de vista sin llegar a ser rígido y terco. Eshacerse respetar sin irrespetar o invadir a otro usandoargumentos firmes y convincentes. No callar por temor aequivocarse o molestar a otro.

Ingeniero Informático. competencias


CALENDARIO


EVALUACION

Semana Fecha Tipo evaluación Ponderación

7 5/11/13 Examen parcial I 30

- Según cronograma Exposición 20

12 12/12/13 Examen parcial II (*) 30

- Según cronograma Exposiciones final 20

(*) Teórico, Practico


Evaluación de Sistemas Informáticos. Introducción

Que pensamos?

Evaluación

Sistema Informático

Rendimiento


En que etapa está involucrada la Evaluación de Sistemas Informáticos?


Tecnología

VerdeBrecha

digital

PROFESIONAL IT


Objetivos

Evaluación

Medición

Procesos y

estadísticas


Modelos

Técnicas

Herramientas

TECNOLOGÍA VERDE


Evaluación del rendimiento y ciclo de vida.

A lo largo de las distintas fases del ciclo de vida de un sistema informático es

necesario llevar a cabo una evaluación objetiva de las prestaciones de éste en las

etapas de:

Diseño: Por que es necesario saber, a priori, cuales van a ser las prestaciones que

se requerirán al sistema.

Desarrollo e implantación: Será necesario evaluar cuál es la configuración

necesaria, y elegir entre varias posibles.

Explotación y ampliación de un sistema: hay que examinar cuáles son los

problemas que se presentan y solucionarlos sobre la marcha, qué componentes del

sistema es necesario cambiar para maximizar el aumento de prestaciones.




El rendimiento es un criterio clave en el diseño, adquisición y uso de

sistemas informáticos.

El objetivo de ingenieros informáticos, científicos, analistas y usuarios

es conseguir el mayor rendimiento a un costo determinado.

Para lograr ese objetivo, los profesionales de sistemas necesitan, al

menos, un conocimiento básico de evaluación de los resultados, la

terminología y las técnicas. Cualquier persona relacionada con los

sistemas informáticos debe ser capaz de indicar los requisitos de

rendimiento de sus sistemas y también de comparar las diferentes

opciones para encontrar la que mejor se adapte a sus necesidades

Para medir el rendimiento de un sistema informático, necesita al

menos dos herramientas: una herramienta para “cargar” el sistema

(generador de carga) y una herramienta de medida para los resultados

(monitor).


El propósito del curso es explicar la evaluación del desempeño, la

terminología y técnicas.

El objetivo es hacer hincapié en técnicas sencillas que ayudan a resolver

la mayoría de los problemas cotidianos.

Seleccionar las técnicas de evaluación apropiadas, las medidas de

rendimiento y carga de trabajo para un sistema.

Las técnicas que se pueden utilizar para la evaluación son la medición,

simulación y modelado analítico.

La métrica se refiere a los criterios utilizados para evaluar el rendimiento

del sistema. Por ejemplo, el tiempo de respuesta, las transacciones por

segundo (TPS), la carga de trabajo del procesador o un manejador de

BD



Desempeño. El factor desempeño evalúa las características dinámicas del

"software", tales como fiabilidad y eficiencia, desde el punto de vista de

operadores y administradores de sistema.

Eficiencia en el consumo de recursos (ineficiente, limitada, aceptable,

sólida, excelente): este sub-factor evalúa el consumo de tiempo y recursos

(espacio de memoria, etc.) en el sistema.

Operación adecuada y su eficacia (descontrolada, limitada, aceptable, bajo

control, excelente): este sub-factor evalúa la operación del sistema, la

posibilidad de controlar y contabilizar sus resultados y la interoperabilidad

del sistema en el ambiente operativo.

Consideraciones sobre fallas en el sistema (una falla se convierte en

desastre, gran cantidad de recursos para recuperarse, se recupera sin

graves penalidades, fácil de recuperar, recuperación automática): este sub-

factor evalúa la confiabilidad y posibilidad de recuperación del sistema.



¿Qué medidas de rendimiento debe ser utilizada para comparar los siguientes

sistemas?

• Dos unidades de disco

• Dos sistemas de procesamiento de transacciones

• Dos algoritmos de retransmisión de paquetes


El número de paquetes perdidos en dos enlaces se midió durante cuatro

tamaños de archivo como se muestra a continuación:

File Size: Link A Link B

1000 5 10

1200 7 3

1300 3 0

50 0 1

Cual es mejor?


El promedio de tiempo de respuesta de un sistema de base de datos es de 3

segundos. Durante un intervalo de observación de 1 min, el tiempo de

inactividad en el sistema es 1s. Determinar lo siguiente:

• Utilización del sistema

• El promedio de tiempo de servicio por consulta

• Número de consultas realizadas durante el intervalo

• Número promedio de Jobs en el sistema

• P [N º de Jobs en el sistema ]> 10



Evaluación de Sistemas Informáticos. Errores habituales

1. No hay objetivos: Los objetivos son una parte importante de todos los

esfuerzos. Cualquier iniciativa sin objetivos está condenada al fracaso. Los

proyectos de evaluación de resultados no son una excepción.

2. Objetivos sesgados: mostrar que “nuestro” sistema es “mejor” que el de

“ellos”

3. Enfoque no sistemático: la selección de parámetros, factores, indicadores,

y cargas de trabajo de manera arbitraria lleva a conclusiones inexactas

4. Análisis sin entender el problema: Un problema bien planteado está

medio resuelto. 40% es la definición del problema, el 60% es buscando las

alternativas, la obtención de resultados, interpretarlos y concluir. Desarrollo

del modelo en sí es una pequeña parte de la resolución de problemas de

proceso.

5. Incorrectas métricas de rendimiento: Comparar Mips para procesadores

de diferente arquitectura.

6. Carga de trabajo no representativa: Las cargas de trabajo tienen un alto

impacto en los resultados. Es frecuente construir una carga de trabajo

favorables para una evaluación



7. Técnica de evaluación incorrecta:

• Medición

• Simulación

• Modelado Analítico

La gente tiende a elegir lo que saben mejor, en lugar de lo que funciona mejor

para el problema. Las tres técnicas tienen diferentes fortalezas y limitaciones

7. Vista a los parámetros importantes: listar las características de la carga de

trabajo y asegurarse de que no se olvide ninguna característica que podría ser

importante.

8. Ignorar factores importantes: No todos los parámetros tienen el mismo

efecto sobre el desempeño. Es importante identificar aquellos parámetros cuya

variación genera un significativo impacto en el rendimiento. A menos que haya

motivos para creer lo contrario, estos parámetros deben ser utilizados como

factores en el estudio de rendimiento.

9. Diseño inapropiado: El diseño experimental se refiere al número de la

medición o experimentos de simulación llevados a cabo y los valores de los

parámetros utilizados en cada experimento. Adecuada selección de estos

valores puede dar lugar a más información desde el mismo número de

experimentos. selección incorrecta puede resultar en una pérdida de tiempo



11. Inapropiado nivel de detalles: el nivel de detalle utilizado en el modelo tiene

un significativo impacto en la formulación del problema. Se debe evitar

formulaciones demasiado estrechas o demasiado amplias. Un modelo

detallado que incorpora las variaciones puede ser más útil que un modelo de

alto nivel. Por otro lado, para comparación de alternativas que son muy

diferentes, modelos simples de alto nivel puede permitir analizar varias

alternativas a con rapidez y a bajo costo. Un error común es tomar el

enfoque detallado cuando un modelo de alto nivel es requerido y viceversa.

12.Sin análisis: el estudio termina con una avalancha de datos, pero sin ningún

tipo de análisis

13.Análisis erróneo: hay algunos errores clásicos como tasas promedio,

simulaciones demasiado cortas etc.

14.No hay análisis de sensibilidad: los analistas en computación pueden

poner demasiado énfasis en el resultado como un hecho y no que en las

pruebas de qué tan fuerte es. Sin un análisis de sensibilidad, no se puede

estar seguro si las conclusiones cambiarían en un ambiente ligeramente

diferente.



15.Tratamiento inadecuado de los valores atípicos: la decisión sobre qué

valores atípicos son inherentes al sistema y cuáles son no relacionados es muy

difícil. La decisión sobre los valores extremos que se deben ignorar o incluirse

es parte de la técnica de evaluación del desempeño y requiere una

comprensión cuidadosa del sistema que está siendo modelado.

16.Suponer que no hay cambios en el tiempo: es un error suponer que la carga

de trabajo futuro y el comportamiento del sistema es el mismo que el medido.

El futuro puede ser diferente, un buen análisis se debe hacer frente al cambio.

17. Ignorar la variabilidad: Centrarse en la media, máximo o mínimo, es

insuficiente esfuerzo para conseguir la variabilidad bajo control.

18.Análisis demasiados complejos: un análisis simple que lleva a la misma

conclusión, con la misma certeza, es siempre mejor que el complejo.

19. Inadecuada presentación de los resultados: El objetivo final de todos los

estudios de rendimiento es ayudar a la toma de decisiones. Un análisis que no

puede ser comprendido por quienes toman las decisiones es un fracaso. Esto

requiere el uso prudente de las palabras, imágenes y gráficos para explicar los

resultados y el análisis.



20. Ignorar los aspectos sociales: modelado y análisis son habilidades técnicas.

Escribir y hablar son las habilidades sociales. La aceptación de los resultados

del análisis requiere el desarrollo de una confianza entre los tomadores de

decisiones y el analista, los resultados deben presentarse considerando el

perfil de los tomadores de decisiones

21.La omisión de hipótesis y limitaciones: estos son a menudo omitidos,

debido a que son inconvenientes de explicar. Esto puede llevar a aplicar los

resultados fuera de contexto.

01 Evaluación Sistemas Informáticos 2013-B

Documents

Transcript of 01 Evaluación Sistemas Informáticos 2013-B