METODOLOGÍA GENERAL · Technologies Pvt Ltd, quienes son los propietarios del sistema de...
12
METODOLOGÍA GENERAL PARA LA CREACIÓN, ELABORACIÓN Y PRESENTACIÓN DE RESULTADOS PARA EXÁMENES DE AGENTE PROMOTOR Tecnología avanzada para la Educación y Capacitación S.A. de C.V. | Informe General | 9 de agosto de 2019
Transcript of METODOLOGÍA GENERAL · Technologies Pvt Ltd, quienes son los propietarios del sistema de...
METODOLOGÍA GENERAL PARA LA CREACIÓN, ELABORACIÓN Y
PRESENTACIÓN DE RESULTADOS PARA
EXÁMENES DE AGENTE PROMOTOR
Tecnología avanzada para la Educación y Capacitación S.A. de C.V. | Informe General | 9 de agosto de 2019
PÁGINA 1 Tecnología Avanzada para la Educación y la Capacitación SA de CV www.taec.com.mx Teléfono (55) 6822 3300
Tecnología Avanzada para la Educación y Capacitación S.A. de C.V., a quien en
futuras referencias se denominará como TAEC, presenta el siguiente documento
que tiene como finalidad proporcionar de manera general la metodología usada
en cada uno de los procesos en que TAEC tiene participación como Tercero
Independiente.
Las actividades que se describen, así como la información difundida no tienen
como finalidad influir sobre las estrategias de negocios de las AFORE ni sobre
condiciones de los mercados en los que participan.
El contenido de la información estará dividido en 4 rubros:
− Antecedentes
− El examen
− Detalles técnicos en la plataforma y de comunicación
− Los reportes
PÁGINA 2 Tecnología Avanzada para la Educación y la Capacitación SA de CV www.taec.com.mx Teléfono (55) 6822 3300
ANTECEDENTES
Retomaremos lo ocurrido a finales de junio de 2015 en donde la AMAFORE,
en representación de las 11 Administradoras en ese entonces que conforman el
gremio, seleccionó a TAEC en conjunto con su socio estratégico ExcelSoft
Technologies Pvt Ltd, quienes son los propietarios del sistema de evaluaciones en
línea SARAS Assessment Management System (AMS), como el “Tercero
Independiente” que haría la elaboración y aplicación de exámenes de validación y
revalidación de agentes promotores.
Es a solicitud de la CONSAR que los exámenes sean aplicados con altas
garantías de seguridad para evitar la sustracción de reactivos, así como la
suplantación de sustentantes, la copia y otro tipo de deshonestidades. También
se estipula que los exámenes deben ser aleatorios y disponibles en dos tipos:
validación para nuevos agentes promotores y revalidación cada tres años para
agente promotores existentes, y los cuales serán aplicados por la misma empresa
para todas las administradoras. Queda estipulado que la autoridad puede auditar
el proceso, tanto de manera presencial como electrónica y que en este caso las
bases de datos (de reactivos, de resultados y de fotografías aleatorias) deben
estar disponibles en todo momento.
En julio y agosto de 2015 TAEC desarrolló la base de reactivos a partir de
la cual se generan los exámenes aleatorios y en paralelo desarrolló las
adecuaciones a la plataforma de exámenes en línea SARAS AMS; en conjunto
con ExcelSoft y ProceSAR integró dicha plataforma a los sistemas de ProceSAR
mediante servicios web; instaló la aplicación en servidores contratados a KIO
Networks y se integró a la red MPLS de ProceSAR.
En una modalidad que definimos como “fase 1”, entre septiembre y
diciembre de 2015 se aplicaron exámenes de validación a sustentantes de las 11
AFORE en centros de evaluación y con supervisores provistos por TAEC. A partir
del 4 de noviembre de 2015 se han estado llevando a cabo exámenes de
validación y revalidación en línea bajo la modalidad que denominamos “fase 2”, es
decir, programación de exámenes con consulta a ProceSAR vía webservice para
verificar la elegibilidad del sustentante y obtener su fotografía en caso de ser
examen de revalidación, efectuados en los centros de evaluación de las
administradoras, con equipos de cómputo que tengan instalado el “navegador
seguro” (secure browser), con supervisores locales de ellas mismas, con
supervisores remotos en las oficinas de TAEC para validar las fotografías iniciales
y las fotografías aleatorias, con generación automática de constancias y reportes
individuales para cada sustentante, y reportes periódicos a CONSAR sobre los
exámenes aplicados. Para el ciclo julio 2016 a junio 2017 las Administradoras, a
través de la AMAFORE, nos seleccionaron nuevamente para la aplicación de
exámenes, pero dado el menor volumen de exámenes y con el fin de limitar el
PÁGINA 3 Tecnología Avanzada para la Educación y la Capacitación SA de CV www.taec.com.mx Teléfono (55) 6822 3300
incremento en costos, se acordó reducir los horarios de aplicación de exámenes,
así como eliminar la aplicación de exámenes en sábado.
A partir de julio de 2017, las Administradoras realizan un compromiso de
contratación por tres años - de julio de 2017 a junio de 2020- y se ha negociado
con los principales proveedores, como KIO, un precio más accesible y así reducir
costos para las AFORE.
PÁGINA 4 Tecnología Avanzada para la Educación y la Capacitación SA de CV www.taec.com.mx Teléfono (55) 6822 3300
EL EXAMEN
En diversas reuniones con las Administradoras al inicio del proyecto se trató
este punto acordando lo siguiente:
El examen estará compuesto por 50 reactivos conteniendo los 7 módulos
del MUC vigente que de acuerdo con la cantidad de material disponible se definirá
una proporción similar de reactivos por módulo.
Los reactivos y las opciones de respuesta aparecen en forma aleatoria en
cada examen, generando diferencias en cada caso. Se sigue la metodología ISO
10667con reactivos de opción múltiple que consta de pregunta y tres opciones de
respuesta, donde sólo una es correcta y las otras dos son distractores, por lo que
cada examen se genera en forma aleatoria:
− Diferente en cuanto a las preguntas
− Equivalente en cuanto a dificultad
− Diferente será la dificultad en validación y revalidación
Aprobar requiere contestar correctamente al menos 75% de las preguntas
de cada sección (o módulos).
Todos los exámenes se realizan bajo mecanismos de seguridad con
supervisores presenciales (de las Administradoras a partir de fase 2) y remotos
(de TAEC) tomando fotografías de los sustentantes y evitando la navegación libre
en el equipo utilizado a través de un software de seguridad (secure browser).
Para efectos de supervisión por el organismo superior, la administradora se
apegará a días y horarios establecidos como hábiles, considerando 72 horas de
anticipación para la programación y cancelación de exámenes.
El comportamiento de los reactivos en el examen se revisa y puede
modificarse el contenido o la redacción en esa revisión, dependiendo de los
resultados estadísticos en cada caso.
La estructura del examen de acuerdo con el blueprint vigente es la
siguiente:
PÁGINA 5 Tecnología Avanzada para la Educación y la Capacitación SA de CV www.taec.com.mx Teléfono (55) 6822 3300
Esquema acordado de evaluación
Clase Examen de validación Examen de Revalidación
Fáciles 40 % 20 %
Moderados 40 % 40 %
Difíciles 20 % 40 %
Módulo Mod 1 Mod 2 Mod 3 Mod 4 Mod 5 Mod 6 Mod 7 Total
Número de Preguntas
4 7 7 11 7 7 7 50
Los criterios iniciales para definir la complejidad del reactivo fueron los
siguientes:
Fácil: La redacción de la pregunta y sus respuestas es casi literal al manual,
calificando la identificación de conceptos.
Moderada: La redacción de la pregunta y sus respuestas tiene
modificaciones que implicarán al participante un análisis adicional, que puede ser:
manejar más de un concepto a la vez o relacionar aprendizajes.
Difícil: La redacción de la pregunta y sus respuestas requiere un grado de
análisis o síntesis, la posibilidad de una evaluación o similares: casos, ejemplos,
analogías o integrar el conocimiento de varios temas para resolverlo.
Cada vez que se obtiene una nueva versión de MUC se hacen los ajustes
a la base de datos de reactivos, sacando de los exámenes los reactivos que ya no
aplican al nuevo MUC e incluyendo reactivos de las secciones agregadas al mismo.
Para hacer el cambio de reactivos entre una versión de MUC y la siguiente, se
cuenta con un mes a partir de la recepción del nuevo Manual, para que los cambios
se apliquen a los exámenes, mismo periodo que tienen las administradoras para
capacitar a su gente en los cambios respectivos. En esta etapa existen 4 procesos
que se aplican a cada reactivo:
− Creador: Propone una pregunta y sus alternativas de respuesta, así como
el grado de dificultad
− Revisor: Revisa la pertinencia del contenido, los distractores y asigna el
grado de dificultad adecuado
− Redactor: Revisa la redacción de la propuesta, la corrige si es necesario
− Publicador: Se asegura de que la pregunta quede resguardada en la base
de datos adecuada
PÁGINA 6 Tecnología Avanzada para la Educación y la Capacitación SA de CV www.taec.com.mx Teléfono (55) 6822 3300
DETALLES TÉCNICOS EN LA PLATAFORMA Y DE COMUNICACIÓN
TAEC guarda la información asociada a los prospectos y supervisores, así
como las fotos de los postulantes, por lo tanto, la validación de estas debe ser
sobre la información recibida para el proceso de inscripción.
Para el caso del examen de Revalidación, se cotejará la foto del Agente
Promotor contra la foto almacenada en el Expediente de Identificación de este. La
fotografía es solicitada durante la calendarización y almacenada en el sitio de
Tercero Independiente, el cual está hospedado con todas las medidas de
seguridad solicitadas para el proyecto dentro de KIO Networks.
Una vez que el prospecto haya aprobado el examen será responsabilidad
de la Administradora solicitar el alta de este a través de la Op. 080. Así mismo,
tendrá que conformar su Expediente electrónico de acuerdo con las Disposiciones
vigentes.
La figura del Supervisor del examen local podrá ser cubierta por cualquier
funcionario y/o agente de servicios. Los Supervisores asignados deberán estar
dados de alta en el sitio de Tercero Independiente.
Durante la verificación de la identidad del postulante/agente promotor sólo
se tomarán fotografías. La función de toma de video no será habilitada en ningún
momento.
Las credenciales de los postulantes/agentes promotores para la aplicación del
examen serán:
− Usuario: CURP
− Contraseña: Propuesta al momento de realizar la postulación.
En la aplicación del Tercero Independiente habrá opción de carga de datos
individual y masivo; para el envío masivo es importante el uso de un lay-out para
un archivo plano que contenga la información para solicitar la programación de
examen a los postulantes o agentes promotores el cual contenga un link a la
fotografía de cada postulante.
La persona que calendarice los exámenes de validación y revalidación será
quien reciba, por correo electrónico, una clave para cada evento de evaluación.
Una por cada centro de evaluación, fecha y horario. Esta información es visible
por el rol administrador de la AFORE en cuestión y está disponible dentro de la
plataforma para su descarga.
Entiéndase por postulante a los candidatos que van a presentar el examen de
validación por primera vez en la Administradora y que no cuentan con NAP; o que
cuentan con NAP y el mismo está inactivo.
PÁGINA 7 Tecnología Avanzada para la Educación y la Capacitación SA de CV www.taec.com.mx Teléfono (55) 6822 3300
Las Administradoras podrán asignar los supervisores asociados a cada Centro
de Evaluación al proveer la clave del centro de evaluación para esa fecha y horario.
Una vez dentro, el supervisor de examen local debe ingresar sus datos de
identificación (Nombre, CURP). Estos datos asociaran a cada Supervisor de
examen local al centro de evaluación, fecha y horario. La asignación podrá ser
realizada en cualquier momento siendo responsabilidad del ADMINISTRADOR de
cada AFORE
El supervisor debe estar en sitio al momento del examen.
TAEC en su calidad de Tercero Independiente identificará el tipo de usuario
que accede a su portal, es decir, debe identificar y dar los privilegios de acuerdo
con el tipo de rol.
La administradora deberá contar con acceso a Tercero Independiente
(“SARAS”) que se brindará con una conexión a través de la Red MPLS a través
de una IP definida y sus puertos aperturados utilizados para la navegación y carga
de información en el portal.
La administradora no mantiene comunicación técnica con ProceSAR, todo será
a través del Tercero Independiente.
A continuación, se describe de manera gráfica el flujo de información entre los
organismos implicados
Flujo de acceso al Tercero Independiente (Solicitud de examen validación –
revalidación)
PÁGINA 8 Tecnología Avanzada para la Educación y la Capacitación SA de CV www.taec.com.mx Teléfono (55) 6822 3300
Flujo de acceso al Tercero Independiente (aplicación de examen Validación -
revalidación)
PÁGINA 9 Tecnología Avanzada para la Educación y la Capacitación SA de CV www.taec.com.mx Teléfono (55) 6822 3300
LOS REPORTES
TAEC en su calidad de “Tercero Independiente” para la realización de
exámenes de validación de Agentes Promotores de AFORE, entrega una serie de
reportes que incluye información general del gremio, así como específica de la
AFORE en cuestión y de carácter confidencial. Los reportes que se entregan son
los siguientes:
Dashboard
Una representación gráfica/tabulada de las principales métricas que
intervienen en la consecución de una tasa de aprobación y de acierto medible que
permita visualizar los temas y módulos que favorezcan la toma de decisiones
orientadas a mejorar las posibles áreas de oportunidad. Este reporte es puesto a
su disposición de manera mensual y su contenido es el siguiente:
− Tasa de aprobación anual: se calcula como el cociente de los exámenes
aprobados sobre el número total de exámenes presentados en el año. Se
presenta en un formato de tabla con datos de la Industria y de la AFORE.
− Tasa de aprobación mensual: se calcula como el cociente de los
exámenes aprobados sobre el número total de exámenes presentados en
el mes. Se presenta en un formato de tabla con datos de la Industria y de
la AFORE.
− Tasa de acierto por temas: este cálculo es de manera mensual y se define
como el cociente de los reactivos contestados correctamente y que
pertenecen al tema en cuestión sobre el número total de apariciones de los
reactivos que pertenecen al tema. Se presenta en un formato de tabla con
orden descendente e información que solo compete a la AFORE.
− Temas con las tasas de acierto más bajas: Toma los temas con mayor
área de oportunidad de acuerdo con los resultados de las tasas de acierto
por temas. Se presenta en un formato de tabla con orden ascendente e
información que solo compete a la AFORE.
− Gráfico de aprobación mensual: Toma los valores de la tabla Tasa de
aprobación mensual y realiza una representación visual a través de un
gráfico de líneas, en él se compara el comportamiento mensual de la
industria y de la AFORE.
− Gráfico histórico por módulo: Se muestra a través de un gráfico de líneas
el comportamiento por módulo de la Industria y de la AFORE de acuerdo
con el grado de acierto, medido de manera porcentual durante el mes.
− Filtros dinámicos: Son filtros independientes que modifican las tablas y
gráficos antes mencionados de acuerdo con una selección determinada.
PÁGINA 10 Tecnología Avanzada para la Educación y la Capacitación SA de CV www.taec.com.mx Teléfono (55) 6822 3300
− Gráfico de aprobación general: Muestra a través de un gráfico de anillo
la tasa de aprobación de todos los exámenes históricos. Este se calcula
como el cociente de los exámenes aprobados y el número total de
exámenes presentados de acuerdo con el tipo de examen (Validación o
Revalidación).
Mapa dinámico
Es un archivo Excel que usa macros y que muestra los valores de una
categoría determinada por una región geográfica (estado de la república), dichos
valores son registros visuales a través de gráficos de barras que corresponden a
las tasas de aprobación y al número de exámenes realizados en los centros de
evaluación en donde al menos hubo un examen en una de sus modalidades
(Validación/Revalidación) dentro de un periodo determinado. Este reporte es
proporcionado a la administradora de manera semestral obteniendo la siguiente
información:
− Tabla de centro de evaluación con las tasas más bajas de aprobación.
Los centros son definidos por la administradora al momento de solicitar el
alta en ProceSAR, en esta se incluye el nombre de los centros, el estado al
cual pertenecen y las tasas más bajas en el ciclo evaluado. Se divide en
Validación y Revalidación.
PÁGINA 11 Tecnología Avanzada para la Educación y la Capacitación SA de CV www.taec.com.mx Teléfono (55) 6822 3300
− Tabla general de centros de evaluación y sus respectivas tasas para
cada tipo de examen. Tasa de aprobación para cada uno de los centros
en toda la república, el calculo se define como el cociente de el número de
exámenes aprobados sobre el número total de exámenes presentados en
el ciclo evaluado y mismo centro de evaluación. Se divide en Validación y
Revalidación.
− Gráfico de exámenes de validación: muestra el número de exámenes de
validación realizados, así como las tasas de aprobación para cada una de
las regiones que comprende el estado seleccionado.
− Gráfico de exámenes de revalidación: muestra el número de exámenes
de revalidación realizados, así como las tasas de aprobación para cada una
de las regiones que comprende el estado seleccionado.
MANUALES OPERATIVOS
Los manuales operativos para los diferentes roles como Administrador de AFORE,
Supervisor Local y Usuario final (sustentante) así como los errores comunes que
se obtienen dentro de la plataforma al programar un examen, están disponibles
para su consulta en el siguiente enlace:
https://taec.zendesk.com/hc/es/categories/201966246-Plataforma-Saras
