La!Evaluación!de!la!Ciencia,!la!Tecnología!y!la! …...•...
18
Junio de 2014 La Evaluación de la Ciencia, la Tecnología y la Innovación en el CONACYT
Transcript of La!Evaluación!de!la!Ciencia,!la!Tecnología!y!la! …...•...
Junio&de&2014&
!La!Evaluación!de!la!Ciencia,!la!Tecnología!y!la!
Innovación!en!el!CONACYT!
CONTE
NID
O(
I. Las&e
valuacione
s&en&el&CONAC
YT&
II.&Las&m
etod
ologías&d
e&evalua
ción
¶&evalua
r&a&
CONAC
YT&
& III.&H
acia&dón
de&deb
emos&ir&
CONTENIDO(
&
I. Las&evaluaciones&en&el&CONACYT&
Tipos(de(evaluación(que(aplica(el(CONEVAL(
I. Evaluación&de&Diseño&(ED):&Es#una#evaluación#de#gabinete#apoyado#en#la#información#proporcionada#por#el#programa.#Lo#anterior,#con#el#fin#de#que#las#recomendaciones#de#este#análisis#puedan#retroalimentar#el#diseño#y#la#ges>ón#del#programa.##• Se# aplica# cuando# se# crea# un# programa# o# cuando# sufre# modificaciones#
sustanciales.##II. La& Evaluación& Específica& de& Desempeño& (EED).@# Es# una# valoración# sinté>ca# del#
desempeño# de# los# programas# sociales# que# se# presenta# mediante# un# formato#homogéneo.#Esta#evaluación#muestra#el#avance#en#el#cumplimiento#de#los#obje>vos#y#metas# de# los# programas# mediante# el# análisis# de# indicadores# de# resultados,# de#servicios#y#de#ges>ón.#A#par>r#de#2014#es#sus>tuida#por#la#FMyE.##• Se#aplica#cada#año#a#los#programas#presupuestarios#de#diversas#modalidades.#
III. Fichas& de&Monitoreo& y& Evaluación& (FMyE).@# Permite# documentar# y# valorar# de#manera#estructurada#y#homogénea#el#avance#de#los#programas#y#acciones#de#desarrollo#social#del#gobierno#federal.##• Ésta#evaluación#sus>tuye#a#la#EED,#por#lo#tanto#se#aplicará#cada#año.#
Tipos(de(evaluación(que(aplica(el(CONEVAL(
IV. Evaluación&de&Consistencia&y&Resultados&(ECyR).Q&Se#evalúa#sistemá>camente#el#diseño#y#desempeño# de# los# programas# federales,# ofreciendo# un# diagnós>co# sobre# la# capacidad#ins>tucional,#organizacional#y#de#ges>ón#de#los#programas#orientada#hacia#resultados.&&• Se#aplica#previo#a#la#finalización#de#la#Adminstración.#
V. Evaluación&de&Impacto&(EI).Q&Las#evaluaciones#de#impacto#permiten#medir#los#efectos#que#>ene#un#programa#en#sus#beneficiarios#con#respecto#a#individuos#que#>enen#caracterís>cas#similares#pero#que#no#reciben#los#beneficios#del#mismo.&&• Se#aplica#a#solicitud#de#la#dependencia#o#en>dad#de#la#APF.#
VI. Evaluación&de&procesos.Q&Analiza#mediante# trabajo# de# campo# si# el# programa# lleva# a#cabo# sus# procesos# opera>vos# de# manera# eficaz# y# eficiente# y# si# contribuye# al#mejoramiento#de#la#ges>ón.#
VII. Evaluación& de& indicadores.Q& Analiza# mediante# trabajo# de# campo# la# per>nencia# y#alcance#de#los#indicadores#de#un#programa#federal#para#el#logro#de#resultados.#
Evaluaciones(a(programas(del(CONACYT(2007A2014(
2007 2008 2009 2010 2011 2012 2013 20143 4 4 7
S190,+S191+y+S192
S190,+S191,+S192,+S225
S190,+S191,+S192,+S225
S190,+S191,+S192,+S225,+S236,+U002+
y+U003
3 7++++a)+Fomento,+Formación,+
Consolidación+de+C,T+y+R.H.A.N
b)+Inv.+Científ+c)+Inv.+y+Des+Tecn
S190,+S191,+S192,+S225,+S236,+U002+y+
U003
5 2
U003,+U004,+U005,+U002,+
S225
U004F001
7
S190,+S191,+S192,+S225,+S236,+U002,+
U003
2 1 2 1 2
Eval%de%impacto%de%la%invers%en%cyt%e%Innovac%
y%Desempeño%e%impacto%F.I.C
Formación%Científicos%y%Tecnólogos%
Estím%FiscalesEvaluación%de%Impactos%del%
S.%N.%I
Metaevalaución
Impacto%U003,%U004%y%U005
Satisfacción%(S225)
5 4 11 5 2 7 9 7 6Promedio+de+evaluaciones+realizadas+por+año+del+2007Q
2014
Año+de+la+realización+de+la+Evaluación
Fichas+de+Monitoreo+y+Evaluación
7
42
Origen+de+la+Evaluación
Tipo+de+la+Evaluación
CONACYT
Programa+Anual+de+Evaluación+(CONEVAL,+SHCP,+SFP)
Total
84
%+de+evaluaciones+realizadas
16
Nota:+En+relación+a+las+Fichas+de+Monitoreo+y+Evaluación+2014+de+los+Programas+presupuestarios+U004,+U001,+E001+y+E002,+los+últimos+3+no+se+elaboraron+debido+a+que+CONEVAL+informó+que+no+era+viable+su+realización.+Respecto+al+U004+se+informó+al+CONEVAL+de+que+no+era+viable+su+evaluación.
50
Total+de+evaluaciones
Específicas+de+Desempeño
Consistencia+y+Resultados
Diseño
Impacto+(2),+Satisfacción%de%Usuarios%(1),+otros%(5)
18
10
7 50
8
1.&DISEÑO&&
T&Sin&duda&esta&evaluación&debería&ser&aplicada&a&todos&los&programas,&pues&ayuda&a&descubriir&sus&debilidades&y&fortalezas&(estudios&de&diseño&de&
políXca)&vía&diagnósXcos&y&prospección.&&
2.&EED& T&Desde&que&surgió&este&Xpo&de&evaluación&no&ha&aportado&elementos&relevantes¶&la&toma&de&decisiones&
3.&CYR& TCONEVAL&aplica&la&Evaluación&de&Consistencia&y&Resultados&previo&a&la&finalización&del&sexenio&(2017).&
TIPOS&DE&EVALUACIÓN&&
Reflexiones(
4.&PROCESOS& T&A&la&fecha&los&programas&del&CONACYT&no&han&sido&objeto&de&este&Xpo&de&evaluación.&
5.&INDICADORES&
TPese&a&que&el&CONACYT&no&ha&sido&objeto&de&este&Xpo&de&evaluación,&varias&instancias&han&opinado&acerca&del&diseño&de&los&indicadores&de&la&MIR&(SHCP,&SFP,&CONEVAL&&y&la&ASF)&sin&embargo,&persiste&la&problemáXca&de&que&estos&actores&
interpretan&la&Metodología¶&la&construcción&de&indicadores&de&manera&disXnta.&&
6.&IMPACTO&TLa&necesidad&de&tener&indicadores¶&medir&el&impacto&es&un&tema&importante,&principalmente&en&los&niveles&estratégicos&tanto&a&nivel§orial&como&a&nivel&
insXtucional&&
7.&FICHAS&&MONITOREO&y&EVALUACIÓN&
TEs&interesante&considerar&a&las&Fichas&de&Monitoreo&y&Evaluación&como&el&resumen&de&una&Evaluación&Ex&post&del&programa&presupuestario,&la&cual&deberá&ser&
realizada&por&una&instancia&externa&a&la&insXtución&evaluada,&subrayando&esto&úlXmo,&debido&a&la&importancia&que&representa&la&transparencia&y&objeXvidad&de&la&
evaluación.&
TIPOS&DE&EVALUACIÓN&&
Reflexiones(
CONTENIDO(
II.&Las&metodologías&de&evaluación¶&evaluar&a&CONACYT&
Ejemplo&1:&&
• Los& programas& presupuestarios& S192& Sectoriales,& S225&FOMIX,& S236& Infraestructura,& U003& Eshmulos& a& la&Innovación,& U004& Programa& CyT,& F001& FORDECYT& y& F002&Apoyos& InsXtucionales,& apoyan& proyectos& de& CTI& cuyos&beneficiarios&se÷n&en:&Directos&o&iniciales&e&Indirectos&o&finales,& lo&anterior,&dificulta&el& idenXficar&y&el&cuanXficar&las& correspondientes& poblaciones& de& cobertura,&adicionalmente,&los&apoyos&que&brindan&los&programas&son&por&demanda&e&iniciaXva&de&los&postulantes.&&
¿La(metodología(es(la(correcta?(
Ejemplo&2:&&
• En& los& programas& presupuestarios& U001& Apoyos& para&estudios& e& invesXgaciones,& E001& Realización& de&invesXgación& cienhfica& y& elaboración& de& publicaciones,&E002&Desarrollo&tecnológico&e&innovación&y&elaboración&de&publicaciones& correspondientes& a& los& Centros& Públicos& de&InvesXgación,& la& SHCP& canaliza& los& recursos& fiscales& para&que& a& su& vez& el& CONACYT& los& disperse& a& los& 27& Centros&Públicos& de& InvesXgación& para& su& gasto& operaXvo,& por& lo&tanto,&debe&explorarse&una&metodología&diferente&por& las&caracterísXcas&de&estos&programas.&
¿La(metodología(es(la(correcta?(
CONTENIDO(
III.&Hacia&dónde&debemos&ir&
Sin&duda,& los& instrumentos&de&evaluación,& la&normaXvidad,& los&procedimientos&y&los&sistemas&de&información&relacionados&con&la& evaluación& Xenen& que& evolucionar,& y& es& precisamente& bajo&esa& premisa,& que& el& CONACYT& por& sus& caracterísXcas& y& en&comparación& con& el& resto& de& las& insXtuciones& que& integran& la&Administración& Pública& Federal,& deberá& ser& evaluado& con& la&metodología&adecuada.&&&Por& anterior,& invitamos& a& las& instancias& parXcipantes& e&interesadas¶&que&sumemos&esfuerzos&y&se&exploren&nuevos&mecanismos& para& que& los& resultados& de& la& evaluación&verdaderamente&representen¶&todos&los&actores,&elementos&de&toma&de&decisión&y&consecuentemente&acciones&que&mejoren&los&programas&presupuestarios.&
¿Cuál(es(la(metodología(adecuada?(
14#
Política Educativa Política de CTI Política económica
- Creación y formación de capital humano avanzado
- Creación y transferencia de conocimiento.
- Aprovechamiento de conocimiento para la toma de decisiones.
- Bienestar social - Creación de capital humano en edad temprana
Infraestructura
• Como fin: publicaciones, becarios
• Como medio: insumo para el crecimiento económico
Particularidades para la evaluación de la política de CTI&
2. La producción de conocimiento puede ser un fin pero también un medio
• Como la población potencial de beneficiarios de becas de posgrado
• El conocimiento tarda en convertirse en innovación
4. La población objetivo puede ser extremadamente amplia
3. Mayoría de efectos visibles en el largo plazo
• Conocimiento 1. El producto final de la política es un bien intangible
El futuro de la evaluación 1. Un sistema de innovación efecto debe ser dinámico
• No es suficiente evaluar los componentes del sistema de innovación de forma aislada sino evaluar sus interacciones (triple hélice).
• La importancia de vínculos entre los componentes del sistema varía por región. Se requiere una evaluación ad-hoc por región económica.
• Es necesario hacer una distinción sectorial, pues de igual forma varían los componentes del sistema entre los sectores.
2. Es necesario evaluar las redes en las que las comunidades científicas mexicanas están inmersas.
3. El aprovechamiento de micro datos puede ser útil para comprender los flujos de conocimiento.
• Preparar# los# ejercicios# estadís>cos# de# recolección# de#información# para# responder# a# necesidades# futuras# de#la#evaluación#
• Diseñar# los# instrumentos# necesarios# para# facilitar# la#evaluación#ex@post#
• Tener# claros# los# obje>vos# del# programa# y# evaluar# la#consecución#de#metas#de#los#mismos#
• Evaluación#de#impacto:#grupo#de#control#• Evaluaciones#externas#• Qué#se#evalúa#
Lecciones&aprendidas#
Junio&de&2014&
GRACIAS(
