GRUPO EVALUACIÓN DE LA EVALUACIÓN SUBGRUPO: … · número –necesariamente limitado– de tipos...
80
GRUPO EVALUACIÓN DE LA EVALUACIÓN Subgrupo: Proyectos (Fondos Mixtos y Sectoriales) REPORTE: EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN APLICADA Participantes: Itziar Aretxaga Blondy Canto Canché Graciela González Juárez Daniel Inclán (Coordinador Técnico) Marco Jaso Alberto Ruiz Treviño María Antonieta Saldívar Chávez María José Santos
Transcript of GRUPO EVALUACIÓN DE LA EVALUACIÓN SUBGRUPO: … · número –necesariamente limitado– de tipos...
GRUPO EVALUACIÓN DE LA EVALUACIÓN
Subgrupo: Proyectos (Fondos Mixtos y Sectoriales)
REPORTE: EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN APLICADA
Participantes:
Itziar Aretxaga Blondy Canto Canché
Graciela González JuárezDaniel Inclán (Coordinador Técnico)
Marco JasoAlberto Ruiz Treviño
María Antonieta Saldívar ChávezMaría José Santos
GRUPO EVALUACIÓN DE LA EVALUACIÓNSUBGRUPO: INDIVIDUOS
REPORTE: REFLEXIONES SOBRE LA EVALUACIÓN A LOS INVESTIGADORES: UNA MIRADA DESDE DIFERENTES PERSPECTIVAS
1. Las opiniones expresadas en este documento son de exclusiva responsabilidad de sus autores y pueden no coincidir con las del subgrupo de trabajo: “Evaluación al individuo” ni con las del FCCyT.
Equipo de investigación:Graciela Bensusán, UAM/X (Coordinadora)
Natalia Gras, UAM/XDaniel Inclán, IIEc-UNAM
Carlos Erwin Rodríguez Hernández-Vela, FCCyTGiovanna Valenti, UAM/X (Coordinadora),
Gonzalo Varela, UAM/X
(Versión Preliminar para discusión, NO CIRCULAR)
Otros integrantes del subgrupo de trabajo: “Evaluación al individuo”María Teresa Viana, UABC
Hugo Navarro, UASLPEsteban Krotz, CIESAS
Silvia Dutrénit, Instituto MoraGuillermina Natera, Instituto Nacional de Psiquiatría
1
1
GRUPO EVALUACIÓN DE LA EVALUACIÓN
Subgrupo: Proyectos (Fondos Mixtos y Sectoriales)
REPORTE: EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN APLICADA
Participantes: Itziar Aretxaga Blondy Canto Canché Graciela González Juárez Daniel Inclán (Coordinador Técnico) Marco Jaso Alberto Ruiz Treviño María Antonieta Saldívar Chávez María José Santos
Mayo de 2014
2
CONTENIDO
1. Introducción ......................................................................................................... 3
2. Diseño Metodológico .......................................................................................... 14
Mapeo de Fondos .......................................................................................................... 15
Mapa del Proceso de Evaluación .................................................................................... 19
3. Valoración cualitativa. Las experiencias en el proceso de evaluación ................ 24
Fondos Mixtos ............................................................................................................... 26
Comité Técnico y de Administración ................................................................................... 26
Comisión de Evaluación ...................................................................................................... 32
Evaluadores de las áreas 1, 2, 3, 6 y 7 del SNI ..................................................................... 40
Evaluadores de las áreas 4 y 5 del SNI ................................................................................ 42
Proponentes ........................................................................................................................ 44
Resumen de Fondos Mixtos............................................................................................ 48
Comentarios generales................................................................................................... 51
Fondos Sectoriales ......................................................................................................... 52
FOSEC Salud ......................................................................................................................... 52
FOSEC SEMARNAT ............................................................................................................... 54
4. Conclusiones y recomendaciones ........................................................................ 58
Análisis de objetivos, criterios y dinámica de los procesos ............................................... 58
Análisis de efectos ......................................................................................................... 61
Recomendaciones para los Fondos Mixtos y Sectoriales .................................................. 63
El debate de la política de CTI mexicana ......................................................................... 65
Conocimiento Aplicado no Aplicable (CANA) ................................................................... 67
5. Referencias ......................................................................................................... 71
6. Anexos ............................................................................................................... 72
Guías de entrevista ........................................................................................................ 72
3
1. INTRODUCCIÓN
En mayo de 2013, el Foro Consultivo Científico y Tecnológico organizó un grupo de trabajo
denominado Evaluación de la Evaluación, con el propósito de elaborar un diagnóstico del
estado actual de los procesos de evaluación asociados a instrumentos de la política de Ciencia
Tecnología e Innovación (CTI), particularmente referidos a los Fondos y programas del Consejo
Nacional de Ciencia y Tecnología (CONACYT). La investigación partió de reconocer factores
importantes del proceso de evaluación, entre ellos la existencia de un proceso de alta
complejidad y de carácter multidimensional (donde intervienen factores normativos,
metodológicos, sistemas de gestión, diversos agentes participantes, con diferentes roles:
postulantes, evaluadores, secretarios técnicos, comisiones de evaluación, comités técnicos y
de administración, etcétera).
Otro factor que motivó la iniciativa fue el efecto negativo que tiene en las distintas
comunidades involucradas (académica, empresarial y gubernamental) la multiplicidad y
diversidad de evaluaciones, tanto las institucionales, como las necesarias para el acceso al
financiamiento de los Fondos públicos para la CTI. En igual sentido, la percepción negativa de
los procesos de evaluación desde distintas perspectivas, particularmente de las comunidades
académicas. Adicionalmente, funcionarios de distintas Direcciones del Consejo Nacional de
Ciencia y Tecnología (CONACYT) también mencionaron, durante las reuniones preparatorias de
este proyecto, la dificultad para encontrar suficientes evaluadores adecuados para las distintas
temáticas de las solicitudes de apoyo por parte del Consejo.
En consonancia con lo anterior, la investigación persigue varios objetivos. Por un lado, intenta
reformular los paradigmas para afrontar los retos futuros de la evaluación en el caso de
incremento sustancial en la inversión pública y privada en CTI y superar, en su caso la inversión
del 1% del Gasto en inversión y desarrollo del Producto Interno Bruto (PIB). Por otro lado,
pretende brindar una serie de recomendaciones a los tomadores de decisiones para que se
incremente la pertinencia y la eficacia de la evaluación por pares, reconsiderando sus
objetivos, mecanismos y procesos.
Para ello, se definió una indagación que permitiera identificar los principales problemas en el
diseño de los instrumentos de evaluación (atendiendo varios procesos, como: la inadecuación
de procedimientos, vacíos de información, contradicciones entre los objetivos originales y las
necesidades actuales y formas de alcanzarlos a través de los actuales instrumentos,
extrapolación de criterios sin tomar en cuenta las diferencias disciplinarias y predominio de lo
cuantitativo, efectos perversos como burocratización y simulación) y en los procesos de
implementación (convocatorias, integración de cuerpos colegiados, criterios de evaluación,
4
comunicación de resultados, perfil y elección de evaluadores y rendición de cuentas, etcétera),
para proponer una serie de recomendaciones que permitan mejorar y consolidar los procesos
de evaluación.
Como parte de la problemática que justificaba un estudio de esta naturaleza, en el Documento
Metodológico se apuntaba lo siguiente:
Por la importancia que tiene la evaluación académica para el desarrollo de los sistemas científico, tecnológico y de educación superior del país, el Foro Consultivo Científico y Tecnológico (FCCYT) se ha propuesto desarrollar una evaluación del conjunto de las principales modalidades actualmente vigentes de la evaluación académica1.
Dicha meta-evaluación tendrá dos ejes principales:
El que atiende la situación y el punto de vista de los docentes y/o investigadores,
quienes son los actores principales en las evaluaciones;
El relacionado con el proceso de evaluación (de ser posible, en sus etapas ex-ante,
intermedias y ex-post).
Esto quiere decir que no se estudiarán los objetivos de los programas con respecto a los cuales
se llevan a cabo dichas evaluaciones, sino exclusivamente los diferentes aspectos de un
número –necesariamente limitado– de tipos de evaluación.
Además, se pretende identificar sobre esta base algunas características generales de la
"evaluación académica" en su conjunto. Esta última aclaración es importante, pues el
propósito del FCCyT no es simplemente volver más eficiente éste o aquel mecanismo de
evaluación o de lograr una mayor integración de su conjunto; ante todo, se trata de revertir
sus efectos más negativos y contraproducentes para la actividad académica y de reducir lo más
posible su número y al de las operaciones actualmente repetidas o sobrantes en la recopilación
y sistematización de la información requerida. Al mismo tiempo, se trata de alargar los lapsos
entre evaluaciones y de fortalecer un principio básico de confianza y de respeto, que elimine,
por ejemplo, la necesidad de comprobar con cada vez más documentos –en su mayoría
expedidos exclusivamente para tal fin– cualquier actividad académica. Todo esto con el afán
de liberar a los académicos de la necesidad creciente de tener que dispensar más y más
tiempo a las diferentes formas de participación activa y pasiva en mecanismos y procesos de
evaluación académica, así como en trámites secundarios, en vez de dedicarse a la generación
de conocimiento nuevo y del desarrollo de procesos pedagógicos autónomos y creativos.
1 Foro Consultivo Científico y Tecnológico. Evaluación de la Evaluación. Documento metodológico. 30 de mayo del 2013
5
Aparte de los elementos ya mencionados, esta evaluación proponía atender, de modo
especial, los siguientes temas:
Las transformaciones en el sistema de educación superior e investigación científica en
el mundo, en América Latina y el país durante los últimos treinta años. Con el fin de
pensar la actualización de algunos mecanismos de evaluación. Para ello se debe
considerar que si bien en cierta fase inicial del desarrollo de un sistema científico
nacional puede ser conveniente asociar casi mecánicamente investigación y formación
escolar de recursos humanos; esto podría llegar a frenar, en fases más adelantadas, el
avance de la generación de conocimientos científicos y tecnológicos innovadores.
La exigencia para evitar la imposición de criterios de evaluación propios de una
disciplina o clase de disciplinas, a otras. Un aspecto importante en este contexto es la
evaluación de proyectos y programas multi, inter y transdisciplinarios, que no suelen
ser adecuadamente evaluados por esquemas de carácter disciplinario. Otro es la
inhibición, a causa de determinados mecanismos y lapsos de evaluación, de proyectos
de investigación arriesgada e innovadora (que necesita duraciones más largas, o que
por su carácter especulativo, no tiene garantías de publicaciones u otros productos
estándar) y de programas de posgrado novedosos.
La necesidad imperativa de revertir la dominancia de lógicas cuantitativas y sus efectos
homogeneizantes a favor de la evaluación cualitativa que respeta etapas, ritmos y
modalidades variadas en las actividades académicas. En este contexto también habrá
que enfrentar la presencia de lógicas derivadas de sistemas mercantiles, que esperan
un crecimiento anual constante y sostenido de los resultados de las actividades
académicas llevadas a cabo por individuos, grupos e instituciones.
La imposibilidad de no considerar el fuerte desnivel académico entre instituciones y
contextos regionales en el país. Esto no puede ser considerado excusa para disminuir
criterios de calidad, pero tampoco debe tener efectos punitivos para los académicos y
los estudiantes sometidos a tal desigualdad. Además, hay que considerar que a veces
en instituciones universitarias tradicionales, centradas predominantemente en la
actividad docente, el sometimiento a criterios de tipo técnico y administrativo exigido
por instancias evaluadoras, fácilmente subvierte el sentido de la educación superior e
hipoteca los intentos de arraigar y fomentar la investigación de calidad.
La conveniencia de ubicar mejor la generación del conocimiento científico y
tecnológico y la educación superior en el contexto de la diversidad de saberes derivada
del carácter multicultural de la nación y de la mayoría de las regiones del país, que no
6
siempre suele ser tomado en cuenta por programas de educación superior ni para la
investigación científica y tecnológica del país.
Bajo estas consideraciones, el Foro Consultivo integró diversos grupos de trabajo para analizar
los tipos y modalidades de evaluación de diferentes instrumentos y programas del CONACYT.
Aquellas evaluaciones inherentes al individuo (investigador), las evaluaciones relacionadas con
programas de desarrollo tecnológico e innovación (Programa de Estímulos a la Innovación), la
evaluación relativa a proyectos multi, trans e interdisciplinarios y la relacionada con proyectos
aplicados.
Así, el propósito de este reporte es exponer los resultados del subgrupo de trabajo Evaluación
de Proyectos de Investigación Aplicada. La muestra del estudio se refiere a los Fondos Mixtos
(FOMIX) y Sectoriales (FOSEC). Como se explicará más adelante, se seleccionaron para el
análisis 4 FOMIX (Jalisco, Nuevo León, Querétaro y Yucatán), y 2 FOSEC (Salud y SEMARNAT).
Los Fondos CONACYT tienen como propósito el financiamiento de proyectos orientados a la
demanda de conocimiento que atiendan problemas, necesidades, oportunidades de los
sectores, entidades federativas y municipios. Los Fondos se constituyen mediante la figura de
fideicomiso2 con la participación financiera del CONACYT y de las secretarías de estado o
dependencias de la administración pública federal (Sectoriales) y con los gobiernos de las
entidades federativas y los municipios (Mixtos).
Los objetivos de los Fondos Sectoriales son promover el desarrollo y la consolidación de las
capacidades científicas y tecnológicas y canalizar recursos para coadyuvar al desarrollo integral
de los sectores mediante acciones científicas y tecnológicas. Por su parte, los Fondos Mixtos
son un instrumento que apoya el desarrollo científico y tecnológico estatal y municipal y el
fortalecimiento de capacidades en estados y municipios.
Ambos tipos de Fondos van dirigidos a las universidades e instituciones de educación superior
públicas y particulares, centros, laboratorios, empresas públicas y privadas y demás personas
que se encuentren inscritas en el Registro Nacional de Instituciones y Empresas Científicas y
Tecnológicas que puedan brindar soluciones científicas y/o tecnológicas a las problemáticas,
necesidades y oportunidades de los sectores/estados/municipios.
2 El CONACYT cuenta con fideicomisos que promueven la investigación científica, el desarrollo tecnológico y la innovación en el país. Al término de 2012 se contó con los siguientes Fondos: Veinte Fondos Sectoriales suscritos por el CONACYT con dependencias y entidades del Gobierno Federal. Cabe mencionar que el Fondo Sectorial de Investigación para la Educación incluye siete subcuentas. Treinta y cinco Fondos Mixtos con las 32 entidades federativas y tres con los municipios de Ciudad Juárez, Chihuahua; Puebla, Puebla, y La Paz, Baja California Sur. Tres Fondos Institucionales que son administrados directamente por el CONACYT y contemplan programas de fomento a las actividades científicas, tecnológicas y de innovación (Fondo Institucional, FORDECyT y el Fondo CIBIOGEM). Un Fondo de Cooperación Internacional en Ciencia y Tecnología, que apoya proyectos y redes de investigación, desarrollo tecnológico e innovación, entre entidades de los Estados Unidos Mexicanos y los Estados Miembros de la Unión Europea.
7
El modelo de Fondos CONACYT emana de la Ley de Ciencia y Tecnología y se constituye bajo la
idea de sumar una vertiente de apoyo a la investigación básica. En esencia, la búsqueda de
corresponsabilidad en la inversión de los sectores federales y de los gobiernos estatales para
fortalecer las capacidades de investigación con un enfoque a la demanda de conocimiento, a
partir de lo cual se generarán contribuciones o soluciones a problemas y oportunidades de
sector/entidad.
El FOMIX es un programa que muestra avances en su consolidación. Las siguientes estadísticas
dan cuenta de ello. Durante el último sexenio, los recursos se triplicaron con relación al
sexenio anterior. De los 5,917 millones de pesos invertidos de 2007 a 2012, el CONACYT ha
aportado en promedio 56% a los FOMIX, mientras que el aporte de los estados fue del 44%. En
general, la tasa nacional de apoyo de proyectos ronda el 35 % y suelen concederse el 53% de
recursos solicitados. Es interesante destacar que la Modalidad A: Investigación científica
aplicada, representa el 54% del total de proyectos3.
En 2012, a nivel nacional, a través del Programa Fondos Mixtos, se financiaron 478 proyectos,
de un total de 1,397 proyectos que concursaron en las distintas convocatorias, lo cual
representa el 34%. Los recursos canalizados a estos proyectos fueron del orden de los
$1,140.37 millones de pesos. En este año, destacan Jalisco, Baja California y Nuevo León como
las con mayor inversión, tal como se observa en el siguiente cuadro:
Proyectos Solicitados y Aprobados en FOMIX 2012
Entidad Solicitudes
(S) Aprobados
(A) A / S Millones de
Pesos Participación
%
Jalisco 170 35 21% 122.91 10.78%
Baja California 26 13 50% 116.86 10.25%
Nuevo León 28 21 75% 96.97 8.50%
Yucatán 18 10 56% 87.71 7.69%
Tamaulipas 234 101 43% 73.63 6.46%
Querétaro 105 48 46% 64.19 5.63%
Guanajuato 175 56 32% 60.76 5.33%
Quintana Roo 43 14 33% 57.63 5.05%
Estado de México 8 4 50% 53.7 4.71%
Distrito Federal 39 11 28% 48.53 4.26%
Coahuila 61 23 38% 46.17 4.05%
Hidalgo 28 8 29% 44.76 3.93%
Baja California Sur 14 7 50% 35.9 3.15%
Colima 11 6 55% 34.8 3.05%
Puebla 26 6 23% 24.2 2.12%
Sonora 7 5 71% 21.88 1.92%
3 Jaso, M. et. al., Propuestas para contribuir el diseño del PECiTI 2012-2037. Metaevaluación del Programa Especial
de Ciencia, Tecnología e Innovación (PECiTI 2008-2012).
8
San Luis Potosí 17 5 29% 18.15 1.59%
Tabasco 18 6 33% 17.21 1.51%
Chihuahua 133 20 15% 16.01 1.40%
Chiapas 15 9 60% 14 1.23%
Zacatecas 90 28 31% 11.79 1.03%
Aguascalientes 32 9 28% 10.29 0.90%
Campeche 15 7 47% 10.01 0.88%
Veracruz 10 4 40% 10 0.88%
Puebla (municipio) 5 2 40% 9.65 0.85%
Sinaloa 6 4 67% 9.42 0.83%
Tlaxcala 6 1 17% 7 0.61%
Morelos 14 5 36% 6.65 0.58%
Oaxaca 6 2 33% 4.7 0.41%
Ciudad Juárez 8 3 38% 2.43 0.21%
Michoacán 23 4 17% 1.54 0.14%
Guerrero 6 1 17% 0.92 0.08%
Totales y Promedio 1,397 478 39% 1,140 100.00%
Fuente: Elaboración propia con base en CONACYT, Anexo Estadístico del Informe General del Estado de la Ciencia y Tecnología 2012, SIICYT.
Durante 2012 estuvieron vigentes los 35 Fondos Mixtos, los recursos totales fideicomitidos a
los FOMIX fueron 853.9 millones de pesos: 452.8 millones de pesos del CONACYT y 401.1
millones de pesos de los gobiernos de los estados. Se apoyaron 478 proyectos por un monto
de 1,140.4 millones de pesos. Por otro lado, De 2007 a 2012 se aprobaron 3,278 proyectos
(35% del total solicitado) por un monto de 6,123.8 millones de pesos (37% total requerido),
como se observa en el siguiente cuadro.
Fuente: Informe General del Estado de la Ciencia y Tecnología 2012, CONACYT.
Las estadísticas del CONACYT actualizadas a marzo de 2014 muestran esta tendencia histórica
de proyectos recibidos y aprobados:
9
Por su parte, 52.9% de los proyectos son en modalidad investigación científica aplicada y
23.9% en desarrollo tecnológico.
En cuanto a las áreas preponderantes de apoyo de los FOMIX se encuentra ingeniería (29%),
como se observa en la siguiente gráfica:
10
El mayor porcentaje de apoyos se concentra en las instituciones de educación superior (IES)
con 54.8%, seguido del sector empresarial con 16.1% y los Centros CONACYT con 13.6%.
Los Fondos Mixtos cumplirán 13 años y su desarrollo ha dinamizado el quehacer científico,
tecnológico y de innovación en los estados, además de ampliar y fortalecer las capacidades
locales de generación de conocimiento, atendiendo a sus vocaciones intrínsecas. Cabe señalar
que estos Fondos expresan el acuerdo de voluntades entre la federación y los estados y con
ello se ha buscado, a lo largo de 13 años de existencia del programa, dinamizar la relación
federación estados/municipios. Los estados participan en una relación fundada en la
corresponsabilidad y en la confianza. Las demandas de conocimiento se definen localmente a
partir de las áreas de desarrollo estatal. Las convocatorias se diseñan a partir de las políticas de
desarrollo de las entidades federativas (Plan Estatal de Desarrollo, Programas Sectoriales,
11
Programa Estatal de Ciencia y Tecnología); y se alimentan con la participación sectorial a través
de mecanismos de consulta y decisión que los propios estados definen. El instrumento ha
activado la colaboración intersectorial e interinstitucional desde los estados4.
No existe información estadística con mayor detalle respecto a los Fondos Sectoriales,
solamente lo referido en el informe del CONACYT, de donde se puede destacar que durante
2012 apoyaron 1,130 proyectos por un monto de 7,257.4 millones de pesos, destacando por su
monto de inversión el Fondo Sectorial de Energía (SENER), el Fondo SEP, SAGARPA y Salud,
como se aprecia en el siguiente cuadro.
Por otra parte, como resultado del documento de trabajo generado por el subgrupo de
Evaluación de proyectos multi / inter / transdisciplinarios, se generó una investigación que se
estima aporta un marco conceptual afín a todos los subgrupos de la iniciativa “Evaluación de la
Evaluación”. En esta introducción se desea destacar un aspecto fundamental de la discusión
que concierne al análisis de meta-evaluación:
El sistema de evaluación de la ciencia en México no ha preparado a los evaluadores a desempeñar su tarea, ni a los evaluados a ser evaluables. Esto se traduce en percepciones contrapuestas sobre la naturaleza del proceso: mientras que para algunos la evaluación premia o castiga el trabajo, para otros debería contribuir para mejorarlo. Si bien no hay
4 Estadísticas de los Fondos Mixtos, marzo de 2014. CONACYT. Dirección Adjunta de Desarrollo Regional.
12
sistema de evaluación que esté exento de vicios, se pueden hacer modificaciones que contribuyan a disminuirlos5.
Por supuesto que esto, como indican los autores del reporte referido, no es exclusivo de
México, ni de la multi/inter/transdiciplina (ni de los proyectos aplicados que ocupan a este
reporte). La comunidad científica está integrada por personas que son evaluadas y evalúan. A
eso se le llama evaluación de pares (peer review). Tiene sus problemas, pero sigue siendo
indispensable. Difícilmente se pudiera pretender uniformizar. Ello no descarta la conveniencia
de contar con guías y otros elementos que contribuyan a hacer la evaluación más objetiva. Hoy
en día, en el mundo y en México, la evaluación se sostiene sobre el juicio de pares. Las
instituciones que otorgan financiamiento a la investigación, como el CONACYT, sustentan la
asignación de apoyos conforme a los dictámenes calificados de los árbitros expertos.
En otro orden de ideas, un elemento presente en la discusión respecto a los proyectos
aplicados, tiene que ver con la noción de Conocimiento Aplicable No Aplicado (CANA),
concepto que fue propuesto por Kreimmer en 20066 y que se retomará en las conclusiones y
recomendaciones. El autor alude a este fenómeno como característico de los países en
desarrollo, donde no se produce conocimiento de frontera ni se realiza verdadera
investigación aplicada que resuelva problemas sociales, ambientales o de la industria. En gran
parte, esto se explica por el carácter típicamente imitativo de la producción nacional de
conocimiento y la tendencia de la Política de Ciencia, Tecnología e Innovación (PCTI) a
"emular" agendas de investigación de los países centrales.
Este fenómeno también ha sido estudiado en México señalando el debate de la PCTI mexicana,
donde una de las premisas ha sido la aspiración de lograr una Sociedad del Conocimiento. Así,
el conocimiento ha jugado siempre un papel importante en el desarrollo de las sociedades. Ha
tenido impactos positivos en el desarrollo social y también ha generado impactos sociales
negativos: empleo, medio ambiente y ha ensanchado la brecha entre los grupos sociales y los
países. Se ha privilegiado el concepto de economía del conocimiento: por el impacto que ha
tenido el conocimiento sobre la productividad y la competitividad de los países. Pensar en una
sociedad basada en conocimiento, en donde este recurso impacte de manera equitativa a los
diferentes grupos sociales y mejore la calidad de vida de la población7. Sobre los paradigmas
de política pública presentes y la inserción de investigación aplicada que contribuya a la
5 Reporte de Investigación, Evaluación de proyectos multi / inter / transdisciplinarios, pp. 11, Foro Consultivo,
Marzo 2014. 6 KREIMER, P. y H. Thomas, 2005, “What is CANA-AKNA? Social Utility of Scientific and technological Knowledge:
challenges for Latin American Research Centers”, en: J.B. Meyer y M. Carton, Development through knowledge? A new look at the global knowledgebased economy and society, Ginebra, IUED. 7 Casas, Rosalba. Seminario de discusión sobre políticas de ciencia, tecnología e innovación en México. Foro
Consultivo Científico y Tecnológico, Instituto de Investigaciones Sociales, UNAM.
13
solución de problemas estatales y nacionales, se abundará en las conclusiones y
recomendaciones. Dado que el propósito general de los Fondos aplicados (Mixtos y
Sectoriales) ha sido generar conocimiento que contribuya a la resolución de problemas y
generar oportunidades a los sectores y estados para coadyuvar al desarrollo integral, lo que es
inherente al diseño de convocatorias y a los procesos de evaluación, este reporte presenta en
primer término una explicación del diseño metodológico utilizado; luego la valoración
cualitativa de las entrevistas y principales hallazgos encontrados en el análisis de los procesos
de evaluación ex ante (calidad técnica) de los Fondos seleccionados, y finalmente las
conclusiones y recomendaciones derivadas del estudio. Se incluye un anexo con las guías de
entrevista utilizadas para cada actor participante en el estudio, que son parte del diseño
metodológico.
14
2. DISEÑO METODOLÓGICO
En el Documento Metodológico del Grupo Evaluación de la Evaluación, se establece que el
alcance del estudio y, por ende, de los subgrupos de trabajo conformados, es analizar el
proceso de evaluación del instrumento (de ser posible, en sus etapas ex-ante, intermedias y
ex-post) y no una evaluación de los programas o Fondos de apoyo en lo general.
Por tanto, el enfoque no se concentra en los objetivos de los programas con respecto a los
cuales se llevan a cabo dichas evaluaciones, sino exclusivamente los diferentes aspectos de un
número limitado de tipos de evaluación y de muestra de Fondos aplicados. Para que ello
contribuya a identificar sobre esta base algunas características generales de la "evaluación
académica" en su conjunto.
De esta manera, el grupo de trabajo definió el objetivo y la división de las actividades en tres
componentes y el punto principal de indagación fue el proceso de evaluación ex ante, definida
como evaluación de calidad técnica en los procesos identificados en los Fondos.
Objetivo:
Hacer una evaluación de los mecanismos de evaluación de los Programas de CONACYT que
apoyan proyectos con los estados de la República y con algunas dependencias
gubernamentales: Fondos Mixtos (FOMIX) y Fondos Sectoriales (FOSEC).
Para lograr el objetivo se dividió la investigación en tres partes:
1. Rescatar, mediante entrevistas grupales e individuales, las experiencias de los distintos
actores que participan en los Programas (según sea el caso: comités técnicos,
comisiones de pertinencia, comisiones de evaluación, evaluadores externos y
proponentes).
2. Estudio de los instrumentos con los que operan los programas (convocatorias,
términos de referencias, demandas específicas) para tener claridad sobre el marco de
operación.
3. Revisión de los materiales especializados que hay sobre el tema a nivel nacional y a
nivel internacional.
Para el primer aspecto, en cuanto a FOMIX se elaboró una lista de los estados más
representativos, considerando el tipo de convocatorias y perfil del fondo. Se decidió estudiar
los casos de Yucatán, Nuevo León, Querétaro y Jalisco. Se entrevistó a más de 50 personas que
representaban a los comités técnicos, comisiones de evaluación, proponentes y evaluadores.
15
En el caso de los Fondos sectoriales, en un primer momento se decidió como parte de la
muestra de estudio incluir a Sagarpa, Salud y Ciencia Básica. Por la complejidad y tamaño del
Fondo Ciencia Básica se eliminó del estudio. Ante la falta de respuesta satisfactoria de los
coordinadores del Fondo Sagarpa se sustituyó por el Fondo Semarnat. Se entrevistó a más de
30 personas representantes de los comités de pertinencia, comisiones de evaluación,
proponentes y evaluadores.
Mapeo de Fondos
La organización y toma de decisiones en los Fondos Mixtos y Sectoriales está fundamentada en
cuatro documentos normativos básicos: 1) Ley de Ciencia y Tecnología; 2) Contrato del
Fideicomiso Público; 3) Reglas de Operación y 4) Manual de Procedimientos. Asimismo, cada
convocatoria publicada, consta de tres secciones que regulan cada proceso de emisión de
convocatoria: 1) Bases, 2) Demandas Específicas y 3) Términos de Referencia.
Existe una estructura en cada fideicomiso, donde la máxima autoridad para la toma de
decisiones es el Comité Técnico y de Administración (constituido por al menos cinco
integrantes, presidido por el gobierno estatal o el sector), un Secretario Técnico, a cargo de un
funcionario del CONACYT, un Secretario Administrativo, bajo la responsabilidad de un
funcionario del sector o gobierno estatal, un cuerpo colegiado, denominado Comisión de
Evaluación y grupos ad hoc establecidos en cada caso, para el análisis de pertinencia de la
solicitudes, denominado genéricamente Grupo de Análisis de Pertinencia (GAP). Asimismo,
participan como invitados, con voz, pero sin voto, representantes de los órganos de control y
de la fiduciaria.
En el siguiente esquema se refleja la estructura genérica del CTA de los fideicomisos de Fondos
mencionada, que permite ubicar la toma de decisiones y los colegiados que intervienen:
16
En la siguiente matriz se muestra un cuadro que permite visualizar o “mapear” las
características de los Fondos utilizados como muestra del reporte.
Comité Técnico y de Administración (CTA)
PresidenteRepresentante del Gobierno
Estatal
Rep.CONACYT
SecretarioTécnico
Rep. Gob.Estatal
Rep.SectorAcadémico
Rep.SectorProductivo
Comisión deEvaluación
ÓrganoVigilancia Conacyt
ÓrganoVigilancia Gob.
Estatal
RepresentanteFiduciaria
SecretarioAdministrativo.
Seg.Financiero
Seg.Técnico
Instancias de apoyo
Evaluadores
Estructura Genérica de Fondo Mixto y Sectorial. Presentación de Fondos CONACYT.
17
FORO CONSULTIVO CIENTÍFICO Y TECNOLÓGICO
Grupo de Trabajo Evaluación de la Evaluación. Subgrupo: Metodología
Matriz para mapeo de evaluación por programas CONACYT
20 Mayo 2013.
Nombre del Programa / Instrumento
Institución Responsable
Objeto del Programa
Breve descripción (propósito y fin)
Enfoque del
programa (Ciencia Básica,
Aplicada o Innovación)
Dimensión involucrada
Individuo/Grupo/ Institución/Empresa
Montos anuales
(Estimado)
Resumen de requisitos de participación
Denominación del Colegiado
Composición del
Colegiado
Órgano de decisión
Normatividad aplicable
Periodicidad (Anual, Bianual,
Trianual o más)
Núm. estimado de evaluaciones por proceso
Proceso de Evaluación (Ex ante) Características del Mecanismo de
evaluación
Tipos o Formatos de la evaluación Hay Formularios
estandarizados para el
dictamen
Cuenta con guía
para evaluador
Considera talleres o cursos de
inducción y capacitación
a evaluadores
Coordinación del proceso
Mecanismo de retroalimentación (Réplica/Retoa.)
Emisión de
resultados
Evaluación durante el apoyo (Sí/No) Evaluación Expost (Si/No)
Evaluación del
programa (Si/No)
Referente internacional
Observaciones y Comentarios
Criterios iniciales
Criterios actuales (se
anexaría documento en extenso)
Procedimiento para selección
de árbitros
Núm. de Dictámenes requeridos
Por pares
Colegiado y por
consenso
Individual Presencial (sólo
árbitros)
Presencial (árbitros y
postulante)
Seguimiento técnico
Seguimiento financiero
Verificaciones in situ
Informe de etapas y final
Difusión y transferencia de resultados
Fondos Mixtos CONACYT-Estados (35 Fondos)
CONACYT-GOBIERNO ESTATAL/MUNICIPAL
Fortalecer las capacidades estatales científica y tecnológicas
Orientado a la demanda de conocimiento, para atender problemas, necesidades y oportunidades de desarrollo que requiera el estado/municipio.
Aplicada Todas 750 a mil millones de pesos
Definidos en Contrato, Reglas de Operación, Manual de Procedimientos y Bases de Convocatoria
Comisión de Evaluación
7 a 9 Integrantes de diversas áreas, de reconocido prestigio del sector académico, empresarial y gobierno de la EF o Municipio
Comité Técnico y de Administración
Ley de CTI Contrato de Fideicomiso Reglas de Operación Manual de procedimientos
Variable, bianual o trianual
En el histórico 2003-2013 se estima un volumen de 50 mil evaluaciones, considerando al menos 3 dictámenes por solicitud.
En reglas y convocatoria
En reglas y convocatoria
Con apoyo de Secretario Técnico de CONACYT la Comisión de Evaluación designa de 3 a 5 árbitros invitados por cada solicitud recibida en el Fondo
Al menos 3 por solicitud
Sí Si Es Variable de acuerdo al FOMIX
Es variable de acuerdo al FOMIX y reduce tiempos de proceso
Casos especiales, como FOMIX CONACYT- Yucatán
SI SI SI, Pero variable de acuerdo al Fondo
CONACYT. Secretario Técnico del Fondo
Retroalimentación a proponente a petición de parte o de manera sistemática en algunos Fondos. En otros Fondos es una asignatura pendiente la retroalimentación
Públicos, vía Página Internet CONACYT y Estado / Municipio y periódico local
Si. Verificación y evaluación de informes de etapa
Si. Verificación y evaluación de informes financieros de etapa
Si. Etapa intermedia y final.
Si Variable según el fondo
No se ha definido metodología de evaluación de impacto. Es una asignatura pendiente
Sí Fondos Conicyt Chile Fondos Brasil
Se definió analizar 4 Fondos Mixtos más relevantes en términos de la inversión acumulada y el perfil del fondo: Jalisco, Nuevo León, Querétaro y Yucatán
Fondos Sectoriales (Salud)
CONACYT-SECRETARÍA DE SALUD
Fortalecer las capacidades sectoriales científica y tecnológicas
Orientado a la demanda de conocimiento, para atender problemas, necesidades y oportunidades de desarrollo que requiera el sector
Aplicada Todas 400 mdp Definidos en Contrato, Reglas de Operación, Manual de Procedimientos y Bases de Convocatoria
Comisión de Evaluación
7 a 9 Integrantes de diversas áreas, de reconocido prestigio para el sector
Comité Técnico y de Administración
Ley de CTI Contrato de Fideicomiso Reglas de Operación Manual de procedimientos
Variable, bianual o trianual
Se estima en el histórico un volumen cercano a 2 mil evaluaciones.
En reglas y convocatoria
En reglas y convocatoria
Con apoyo de Secretario Técnico de CONACYT la Comisión de Evaluación designa de 3 a 5 árbitros invitados por cada solicitud recibida en el Fondo
Al menos 3 por solicitud
Sí No disponible
Si ND ND SI SI SI, Pero variable de acuerdo al Fondo
CONACYT. Secretario Técnico del Fondo
No disponible Públicos vía Web CONACYT
Si Si Si Si ND ND ND ND Se estableció analizar 2 Fondos Salud y Semarnat.
18
Fondos Sectoriales (Medio Ambiente
CONACYT-SECRETARÍA DE MEDIO AMBIENTE Y RECURSOS NATURALES
Fortalecer las capacidades sectoriales científica y tecnológicas
Demanda de Conocimiento del Sector
Aplicada Todas 300 mdp. Definidos en Contrato, Reglas de Operación, Bases de Convocatoria
Comisión de Evaluación
7 a 9 Integrantes de diversas áreas para el sector
Comité Técnico y de Administración
Ley de CTI Contrato, igual que el anterior
Variable, bianual o trianual
Se estima en el histórico un volumen cercano a 3 mil evaluaciones.
En reglas y convocatoria
En reglas y convocatoria
Igual que el anterior
Al menos 3 por solicitud
Sí No disponible
Si ND ND SI SI SI, Pero variable de acuerdo al Fondo
CONACYT. Secretario Técnico del Fondo
No disponible Públicos vía Web CONACYT
Si Si Si Si ND ND ND ND Se estableció analizar 2 Fondos Salud y Semarnat.
19
Mapa del Proceso de Evaluación
Existe, normativa y documentalmente, un Proceso de Evaluación Estandarizado (PEO) del
CONACYT que se muestra en el diagrama siguiente y del cual se extrapolan los elementos que
se consideran críticos. Como se verá más adelante, aunque existe una base común de
funcionamiento para los procesos de evaluación técnica de las solicitudes recibidas en los
Fondos Mixtos y Sectoriales, se encuentran diferenciales importantes en cada fideicomiso. A
guisa de ejemplo, se describe con detalle el caso de Yucatán.
Aspectos críticos:
• El diseño institucional concentra el peso de la evaluación en la etapa ex ante.
• El volumen de evaluaciones es muy alto y hay meses “pico” conforme a los calendarios
de convocatoria.
• Hay una cadena de subprocesos y actividades en cada proceso de evaluación que
resulta compleja.
• Interacción y acción de diversos actores para sustentar el juicio y evaluación por pares.
• El Registro CONACYT de Evaluadores Acreditados (RCEA) es insuficiente para atender
la demanda de evaluaciones requerida.
• Un porcentaje muy bajo de los evaluadores del RCEA invitados aceptar participar en
los procesos de evaluación.
• Se requiere construir una cultura de la evaluación que le dé legitimad y la haga más
operativa
• Mayor claridad y homogeneización de criterios por Fondo/Programa.
• Modelos de evaluación presencial, colegiado y por consenso, han resultado exitosos
en algunos Programas/Fondos.
• Se requiere análisis y valoración de procesos “ejemplo” para mejorar la evaluación.
• Fortalecer los procesos de retroalimentación a proponentes, para dar mayor
certidumbre, equidad y transparencia a los procesos.
20
Fuente: Elaboración propia a partir del Proceso Estandarizado de Operación de Fondos CONACYT (PEO).
Convocatoria Solicitud Evaluación Formalizació
n Seguimiento
Evaluaciónde
resultados
Proceso Estandarizado de Operación (PEO)
Subprocesos Exante
Verificación de
requisitos
Selección de árbitros
(área o
demanda)
Integración de
subcomisione
s y definición de la
modalidad de evaluación
Invitación y Asignación
de
evaluaciones
(sistema-RCEA)
Dictamina-ción
(presencial /
línea)
Recomenda-coines a
los
Comités (decisión)
Reporte de evaluación .
Resultados y
Retroalimen
tación
Actores involucrados
Secretarios Técnicos y
Comisiones de
Evaluación
Secretarios Técnicos y
Comisiones de
Evaluación
Secretarios Técnicos y personal de
apoyo
Evaluadores RCEA o
comisiones
ADHOC
Comisiones EVAL Secretarios Técnicos
Secretarios Técnicos y personal de
apoyo
Aprobación Comité Técnico
21
Proceso General de Evaluación - FOMIX Yucatán
Publicación de Convocatoria y sus Bases
Anexo contiene Ejes Temáticos y Orientadores
Solicitantes elaboran y envían propuesta (on line)
• Sistema de Fondos CONACYT • Sistema Gob. Yuc. CONCYTEY
a) Verificación Administrativa
Revisión de documentación, requisitos formales.
b) Análisis de Pertinencia
Revisión temas proyecto vs Convocatoria.
c) Proceso de Evaluación Técnica y Viabilidad Científica
Revisión de viabilidad con base en Términos de Referencia.
Etapas y Criterios del Proceso de Evaluación
Publicación de Resultados
Mediados de febrero
Comité Técnico y de Administración del Fondo
Abierta x 2 meses (noviembre – enero)
22
Responsables de los procesos de evaluación
a) Verificación
Evaluación administrativa y normativa
Secretario Técnico del Fondo Mixto
b) Análisis
Evaluación administrativa y normativa
Grupo de Análisis de Pertinencia
c) Evaluación
Científica y Técnica
Comisión de Evaluación del FOMIX
• Representantes de instancias estatales usuarias de los resultados de los proyectos.
• Miembros de la Comisión de Evaluación conocedores de los temas.
• Especialistas que CONACYT o Gobierno del Estado determinen (Facultados por el Comité Técnico y de Administración).
• Científicos, tecnólogos y especialistas, designados por común acuerdo entre el CONACYT y Gob. Del Edo.
• Son los responsables de la dictaminación y emiten una recomendación al Comité Técnico y de Administración.
• El Secretario Técnico del Fondo Mixto con apoyo del personal de Consejo Estatal verifica requisitos formales y aspectos de la propuesta relevantes para la convocatoria (montos, etapas y fechas, entre otros)
23
Criterios de los procesos de evaluación
a) Verificación Cumplimiento de normatividad
Secretario Técnico del Fondo Mixto
b) Análisis Revisión de congruencia entre la propuesta y las demandas de la convocatoria
Grupo de Análisis de Pertinencia
c) Evaluación Científica y Técnica
Comisión de Evaluación del FOMIX
Análisis de congruencia
• Atención integral a una de las demandas de la convocatoria.
• Congruencia entre los objetivos del proyecto y los objetivos de la demanda.
• Correspondencia entre los productos entregables comprometidos con los esperados en la demanda.
• Temporalidad de las etapas.
• Otros determinados por el Grupo de Análisis de Pertinencia.
• Calidad 1) Dominio del tema y grado
de novedad de la propuesta.
2) Congruencia entre los objetivos y contribución esperada.
3) Pertinencia e idoneidad de metodología o estrategia de contribución.
4) Congruencia entre metas y actividades con los productos.
5) Capacidad científica, tecnológica y administrativa del grupo de trabajo.
6) Disponibilidad y alcance de la infraestructura física.
7) Riesgos técnicos y estrategias para enfrentarlos.
• Originalidad o contenido innovador
Aplicable en alguno de los siguientes casos:
1) Generación de conocimiento
2) Aplicación de conocimiento 3) Uso de materiales,
procesos, servicios y
• Comprobantes documentados:
Registro Reniecyt, 2) Respaldo Institucional y CV, 3) Documentación completa, 4) Declaración de no duplicidad, 5) Declaración de no litigio o adeudo, 6) Otras que considere el Comité Técnico y de Administración.
• En función de las bases de la convocatoria:
a) Montos máximos, b) Tiempos máximos y etapas, c) Aportaciones complementarias de otras instituciones, d) ubicación geográfica, e) otros.
• Otros criterios:
Limitaciones geográficas, institucionales, formación de recursos humanos.
24
3. VALORACIÓN CUALITATIVA. LAS EXPERIENCIAS EN EL PROCESO DE EVALUACIÓN
En esta parte de la investigación se exponen los resultados de las entrevistas grupales
realizadas a los distintos actores involucrados en los procesos de evaluación de los Fondos
Mixtos y Sectoriales (en adelante FOMIX Y FOSEC). El objetivo es conocer la percepción que
hay sobre los procesos de evaluación de acuerdo al lugar que ocupan las personas, para poder
identificar los problemas que son transversales y los que corresponden a cada etapa de la
evaluación. La evaluación es un proceso que se vive de manera diferenciada, que presupone
distintos momentos, tiempos y procedimientos articulados. Por ello, escuchar las distintas
experiencias de acuerdo al lugar que ocupan en el proceso permite formular sugerencias que
atiendan todos los niveles. El objetivo no es señalar las contradicciones entre los distintos
actores, ni determinar quiénes de ellos tiene una mejor percepción del proceso. Es importante
subrayar que, como investigación cualitativa, se concentra en la manera en la que se perciben
y construyen representaciones de acuerdo al lugar que se ocupa en el proceso de evaluación.
Con el objetivo de conocer las experiencias de todos los agentes involucrados en el proceso de
evaluación FOMIX, se realizaron entrevistas grupales para cada uno de los actores
identificados, a saber: el Comité Técnico y de Administración (CTA), Comisión de Evaluación
(COMEVAL), evaluadores externos y proponentes con proyectos apoyados y no apoyados.
Ante la imposibilidad de cubrir los 35 programas que operan en el país, se hizo una selección
de estados con la intención de reconocer la heterogeneidad de los Fondos Mixtos. Los estados
seleccionados para hacer el muestreo fueron: Yucatán, Nuevo León, Querétaro y Jalisco.
Yucatán fue seleccionado porque sus convocatorias se perciben más cercanas al ámbito
académico. El caso de Nuevo León se eligió porque las demandas con las que opera el FOMIX
están dirigidas con mayor claridad al sector empresarial. Los casos de Querétaro y Jalisco se
optaron porque representan un punto intermedio, con convocatorias que vinculan tanto al
sector empresarial como al sector académico. Querétaro representa a un estado que empieza
a impulsar la vinculación entre academia e industria. Por otro lado, Jalisco representa un
estado con una consolidada tradición de investigación que intenta construir puentes con los
sectores empresariales.
Para concertar las entrevistas se contó con el apoyo de los Consejos Estatales de Ciencia y
Tecnología y de los presidentes de los distintos CTAs. En todos los casos se pidió que se
ayudara a convocar a los miembros vigentes del CTA y de la Comisión de Evaluación, así como
proponentes con proyectos apoyados y con proyectos rechazados. La ayuda también consistió
25
en la facilitación de espacios para poder realizar las reuniones. Sin este apoyo hubiera sido
muy difícil realizar satisfactoriamente las entrevistas.
Para los evaluadores externos se hicieron dos grupos focales en las instalaciones del Foro
Consultivo, en su característica de evaluadores no tienen que ser necesariamente académicos
de los estados, pertenecen al Registro de Evaluadores Acreditados del CONACYT y pueden
participar en varios FOMIX de distintos estados. Se escogieron aleatoriamente de una lista de
evaluadores de Fondos mixtos, privilegiando su participación en los Fondos estudiados,
tratando de mantener una paridad de género y procurando que representaran al sector
académico y al sector empresarial. Los grupos focales se organizaron siguiendo la división de
áreas del SNI.
En total se entrevistaron a más de 50 personas que han participado en los procesos de
evaluación de los FOMIX. Es una pequeña muestra, considerando en número total de personas
involucradas en las evaluaciones dentro de los Fondos mixtos. No obstante su tamaño es lo
suficientemente representativo para dar cuenta de las diferencias dentro del proceso de
evaluación, para poder formular una serie de recomendaciones encaminadas a su mejora. Sin
duda habrá muchos casos particulares que podrían aportar algo más a la investigación, pero no
pudieron ser incluidos en esta investigación.
En el caso de los Fondos Sectoriales, se estudiaron dos: Salud y SEMARNAT. Por condiciones de
tiempo y del tamaño del equipo de investigación únicamente se pudo trabajar con estos
Fondos. Además, fueron los dos en los que hubo un apoyo para realizar las convocatorias para
las entrevistas. Dada la complejidad de operación de estos programas no se pudo concertar
grupos focales con todos los agentes que participan en el proceso de evaluación. En el caso del
Fondo de Salud se habló con algunos miembros del CTA y de la Comisión de Pertinencia. En el
caso de SEMARNAT sólo se pudo hablar con los proponentes y, en una entrevista particular,
con la presidenta del CTA.
En total se entrevistaron a más de 30 personas, un número pequeño para el tamaño de los
programas, pero lo suficientemente plural para dar cuenta de las distintas perspectivas que
hay en torno a los Fondos sectoriales y a sus procesos de evaluación.
A continuación se exponen los resultados de las entrevistas comparando los resultados por
tipo de agente. En todos los casos se recuperan las opiniones de los entrevistados, no se hizo
ninguna investigación extra para corroborar la veracidad de la información; porque el objetivo
no es ese, sino conocer las experiencias en los procesos de evaluación de los programas.
26
CUADRO RESUMEN CON AGENTES ENTREVISTADOS (FOMIX Y FOSEC)
FONDO AGENTE ENTREVISTADO TOTAL DE PERSONAS
FONDO MIXTO CONACYT-JALISCO Comisión de Evaluación Comité Técnico y de Administración Proponentes
13
FONDO MIXTO CONACYT-NUEVO
LEÓN Comisión de Evaluación Comité Técnico y de Administración Proponentes
15
FONDO MIXTO CONACYT-QUERÉTARO
Comisión de Evaluación Comité Técnico y de Administración Proponentes
11
FONDO MIXTO CONACYT-YUCATÁN Comisión de Evaluación Comité Técnico y de Administración Proponentes
19
FONDO SECTORIAL DE SALUD Comisión de Evaluación Comité de pertinencia
22
FONDO SECTORIAL SEMARNAT Proponentes 14
Total de personas 94
Fondos Mixtos
Comité Técnico y de Administración
Composición
En Jalisco el CTA se compone por: Consejo Estatal de Ciencia y Tecnología de Jalisco, CONACYT,
Secretaría de Educación Pública del Estado, un Representante de la Tesorería, un
representante del sector universitario y uno del sector empresarial. Participa un miembro por
institución y se reúnen entre 4 y 5 veces al año, dependiendo del número de proyectos y
convocatorias. Debe mencionarse que Jalisco es la única entidad federativa donde la Secretaría
Técnica del FOMIX corresponde a un funcionario estatal, por acuerdo establecido con el
CONACYT, dado que por normativa, este cargo corresponde a un funcionario del CONACYT. En
las reuniones del CTA se discuten las demandas de las convocatorias y las mejoras que se
tienen que hacer en su exposición. El CTA se cambia cada tres años, la rotación en ese tiempo
es poca, salvo cambios en las secretarías de estado. La gente que se incorpora lo hace dentro
de una dinámica que permite un rápido aprendizaje. El apoyo logístico del Consejo Estatal de
Ciencia y Tecnología ahorra mucho trabajo, porque es el encargado de organizar las
propuestas y de hacer una lista de posibles evaluadores para los proyectos.
En Nuevo León el CTA lo integran el Instituto de Innovación y Transferencia Tecnológica, por la
Secretaria de Desarrollo Económico, un representante de Cámara de la Industria de la
Transformación (CAINTRA), un representante de la Rectoría de la UANL, un representante de la
comunidad académica. Son fijos en el CTA hasta que cambien sus cargos en sus respectivas
instituciones. La secretaría técnica la tiene CONACYT y la secretaría administrativa le
corresponde a la secretaría de desarrollo económico, los representantes de estas secretarías
sólo tienen voz en el CTA, no voto. Se reúnen dos veces en juntas ordinarias y el número
27
necesario de juntas extraordinarias. Las reglas de operación no se han modificado desde 2004,
se han hecho modificaciones al manual de operaciones favorecer la operatividad del CTA.
En Querétaro el CTA lo integran representantes de las secretarías de desarrollo sustentable y
de educación, el Consejo de Ciencia y Tecnología del Estado de Querétaro, la UAQ, la UNAM y
la COPARMEX. Se renueva cada dos años. Se reúnen al menos dos veces por año, en sesiones
de trabajo de dos horas aproximadamente. En 2008 se hicieron las últimas modificaciones al
manual de operaciones.
En Yucatán el CTA está integrado por cinco personas, que incluyen al Gobierno Estatal, un
representante del CONACYT, un representante de la secretaría de Fomento Económico, un
representante del sector académico y uno más del sector productivo. El CTA en Yucatán, a
diferencia de otros estados en los que preside la Secretaría de Economía, es presidido por el
Secretario de Educación. El CTA se apoya en un Secretario Administrativo, que es el titular del
Consejo de Ciencia, Tecnología e Innovación de Yucatán, y por el Secretario Técnico,
representado por el Director Regional Sureste del CONACYT. Se reúnen 3 o 4 veces al año. Los
representantes estatales y del CONACYT se renuevan cada vez que hay cambio de gobernador,
conforme a los cambios sexenales de gobierno Federal.
Sistematización del trabajo
En Jalisco hay un registro de las reuniones del CTA, como en todos los Fondos, pero no
funciona como memoria que se consulte de manera periódica por los nuevos integrantes. No
hay una sistematización de las experiencias adquiridas durante el proceso.
En Nuevo León también hay actas de las reuniones del CTA, pero no se consultan por las
nuevas comisiones, lo que no permite una construcción sistemática de experiencias.
Similarmente, en Yucatán se lleva una bitácora y actas de los dictámenes de cada jornada de
evaluación, pero falta mayor sistematización y memoria de la experiencia acumulada, como
sistematizar la información de los evaluadores del Fondo, registrando cuantos proyectos han
evaluado, cuantos han aprobado, cuantos han rechazado y las justificaciones de los rechazos,
etc.
Convocatorias
En Jalisco las modalidades de las convocatorias buscan ir a la par de las prioridades del
gobierno, se intenta compaginar las prioridades del gobierno con el Fondo Mixto. El CTA está
interesado en que se tomen en cuenta las prioridades del gobierno, de la academia y de los
empresarios.
En Nuevo León las convocatorias son claras; procesos y servicios de innovación tecnológica son
los fundamentos, alineadas a las prioridades del estado, que definen las secretarías de
28
educación, de desarrollo económica, salud, obra pública; pero es la secretaría de desarrollo
económico la que las sistematiza. Los términos de referencia se modifican según las demandas
de las convocatorias.
En Querétaro las demandas de las convocatorias se establecen a partir del programa estatal de
ciencia y tecnología, donde se señalan las áreas estratégicas. El CONCYTEQ pide las
convocatorias cubran tres rubros complementarios entre sí: proyectos, posgrados e
infraestructura.
Yucatán tiene 2 tipos de convocatorias, la convocatoria SIIDETEY8 para las áreas estratégicas
determinadas como prioridad para el desarrollo del estado, por ejemplo, alimentación,
hábitat, educación, etcétera y otra convocatoria para el fortalecimiento de infraestructura. Por
acuerdo del Fondo y establecido en el manual de operación, en las convocatorias SIIDETEY la
pertinencia de la propuesta es evaluada por la misma institución proponente. Para las
instituciones de la región esto tiene la ventaja que les permite apoyar de manera congruente
sus planes estratégicos de crecimiento. Dentro de la institución se hace el análisis de
garantizar, por ejemplo para la solicitud de un equipo, que existe el espacio, la capacidad
eléctrica, capacidad técnica de manejo, demanda suficiente del equipo, pólizas de
mantenimiento, etc. Estos análisis de pertinencia internos le permiten también a los Centros
alinear sus líneas de investigación con el plan estatal del gobierno, con la visión de CONACYT,
con el plan Nacional de Desarrollo. El análisis de pertinencia institucional permite a los
directivos permear a los investigadores los lineamientos a seguir para alinear los proyectos con
los planes de desarrollo. El otro tipo de convocatoria es analizada por el Comité de Análisis de
Pertinencia (CAP) o por el Comité de evaluación
En Yucatán las convocatorias se establecen en congruencia con el Plan de Desarrollo Estatal y
el Plan de Desarrollo Nacional, y las bases se enfatiza que se privilegian las que se presentan
por grupos y más aún las multi-institucionales. La orientación de las convocatorias es hacia los
entregables esperados, y se hacen precisiones en las demandas de las particularidades
necesarias, por ejemplo de que en la demanda de construcción de un edificio de biotecnología
éste debe establecerse en el Parque Científico y Tecnológico.
A partir del 2009 Yucatán opera con más de 100 millones de pesos, mientras que
anteriormente operaba con alrededor de 10 millones de pesos. Esto trajo consigo un aumento
significativo del número de proyectos sometidos, pero una gran cantidad de ellas no estaban
alineadas con las demandas de las convocatorias. A medida que el fondo ha madurado y hecho
8 Es el Sistema de Investigación, Innovación y Desarrollo Tecnológico del Estado de Yucatán, instancia que ha permitido articular las capacidades estatales de investigación en beneficio de la atención de problemas y oportunidades de desarrollo del estado basadas en conocimiento.
29
más explícitas sus demandas, los proponentes también han entendido mejor las convocatorias
y aplicado proyectos adecuados. Las últimas convocatorias han estado orientadas a fortalecer
no sólo el desarrollo científico sino también tecnológico, social y económico del estado. La
disponibilidad presupuestaria permite actualmente proyectos de mayor impacto, multi-
institucionales, macro y estratégicos. Como se ha mencionado hay demandas para crecer la
infraestructura científica y tecnológica, y demandas que se avocan a problemas específicos. Las
convocatorias de investigación aplicada incluyen entre los requisitos cartas de apoyo de
usuarios.
Evaluación
En Jalisco en el proceso de evaluación el CTA está vinculado en: 1) la emisión de la
convocatoria, recibir y organizar los proyectos presentados, 2) convocar al grupo de
evaluadores, 3) hacer recomendaciones sobre los proyectos evaluados. El CTA intenta apoyar
el mayor número de proyectos con calificaciones aprobatorias, siguiendo los criterios de
pertinencia y calidad en relación con las demandas de la convocatoria. Cuando algunos
proyectos obtienen la misma calificación tratan de apoyar a todos, a costa de dividir los
recursos. Para los miembros del CTA una de las fortalezas del proceso de evaluación es que
tienen un proceso estandarizado, hay tres evaluadores por proyecto y tienen el apoyo de
expertos. Se han realizado ajustes en los procesos de evaluación, sobre la marcha se hacen
modificaciones dependiendo de la convocatoria. Los mecanismos para garantizar la
imparcialidad en el proceso de evaluación están explícitos por escrito. En cuanto a la veracidad
de la información que se proporciona en los proyectos, no hay mecanismos para verificarlas.
En cuanto a los mecanismos para garantizar la confidencialidad de la información hay un
compromiso no firmado, un compromiso moral para no divulgar nada de lo que se presenta.
Hay criterios no escritos que sigue el CTA para la asignación de recursos, teniendo en cuenta:
la factibilidad de la propuesta, la coincidencia de las evaluaciones y los entregables
propuestos. Asimismo, los proyectos susceptibles de apoyo por su calidad técnica, se
presentan en la sesión del CTA para entrevistar a los proponentes y ratificar la aprobación.
En Nuevo León la evaluación tiene dos pasos: el de pertinencia, para verificar que cumple los
requisitos formales, y la técnico-académica. El CTA propone a los evaluadores, que son
validados por la Comisión de Evaluación; tiene 30 días para que todos los proyectos tengan
tres evaluaciones. No es típica la modificación de criterios una vez iniciado el proceso de
evaluación. Cuando están las tres evaluaciones por proyecto se discuten en reunión plenaria
con la Comisión de Evaluación, para hacer una lista de proyectos susceptibles de apoyarse. El
30
CTA valida la lista, el presupuesto es lo que acota el número de proyectos aprobados. Son
pocos los casos en los que la disparidad de calificaciones obliga a una reconsideración. No hay
mecanismos reglamentados de impugnación. Hay una retroalimentación automática para los
proyectos no aprobados. No tienen mecanismos para verificar la veracidad de la información
presentada por los proponentes. Los evaluadores firman una carta compromiso de
confidencialidad. El anonimato es una forma de proteger a los evaluadores y al proceso de
evaluación, no hay contacto entre proponentes y evaluadores.
En el caso de Querétaro los evaluadores se escogen por su experiencia y por su pertinencia
para los temas de las propuestas. Es difícil encontrar evaluadores adecuados para todos los
proyectos. Los resultados de la evaluación son impugnables. Hay solicitudes de aclaración al
CTA, que se presentan por ajustes a los proyectos. La retroalimentación es a petición de los
convocantes. En las siguientes convocatorias se harán evaluaciones in situ, como en Yucatán.
En Yucatán una vez que cierra una convocatoria la COMEVAL se reúne y revisa los proyectos,
los temas, orientaciones. Todos los miembros de la COMEVAL pueden proponer evaluadores,
los cuales se seleccionan con base en su perfil, nivel de SNI y experiencia en su campo. El
coordinador de la COMEVAL, que es también el Secretario Técnico del Fondo, facilita esta
selección dando insumos a la Comisión a partir de los expertos del Registro CONACYT de
Evaluadores Acreditados (RCEA). La mayoría de los evaluadores son externos, para evitar
conflictos de interés o se busca que exista un equilibrio entre el número de evaluadores locales
con los externos, para darle mayor transparencia e imparcialidad al proceso de evaluación. Al
menos tienen que existir tres dictámenes, con evaluadores de 3 distintas instituciones
(nacionales-locales). Entre los externos, se prefieren evaluadores que tengan algún contacto
con Yucatán o la región, ya sea que han trabajado en el estado o colaborado con
investigadores locales, para que conozcan las problemáticas y necesidades del estado. Se cuida
que haya diferentes instituciones evaluando una propuesta, excluyendo a todo miembro de la
propia institución proponente. Además del sistema en línea del CONACYT que incluye una
carta de confidencialidad e imparcialidad, previo al proceso de evaluación todos los
participantes, incluidos los miembros de la Comisión de Evaluación, firman una carta de
confidencialidad, imparcialidad y no conflicto de interés.
Cabe mencionar que Yucatán estableció un sistema de evaluación novedoso y considerado
innovador por algunos de los entrevistados, que han denominado jornadas de evaluación
presenciales, donde los evaluadores designados por área o demanda, además de revisar la
propuesta recibida, tienen la oportunidad de entrevistar a los proponentes para clarificar
dudas. Esto significó un parteaguas, dado que los procesos de evaluación siempre se han
mantenido en la secrecía y anonimato. Lo cual revela una comunidad madura y en general una
31
buena percepción del proceso. No obstante, a partir de 2013 este proceso ya no se ha puesto
en práctica y se mantiene el tradicional de evaluación presencial, pero únicamente con los
pares dictaminadores sin la parte de entrevista.
La aprobación de los proyectos se realiza basada en los criterios de calidad. Es decir, los
proyectos con mejores recomendaciones (calificaciones) técnicas son los prioritarios a
financiar. Normalmente quedan un buen número de proyectos con recomendación favorable
sin posibilidad de financiamiento por falta de recursos.
Formatos de evaluación
En Jalisco los formatos de evaluación son claros; además, los evaluadores saben qué es lo que
hay que evaluar, cuáles son los aspectos y cómo se tienen que medir.
En Nuevo León los formatos son adecuados, pero no siempre los evaluadores aprovechan las
posibilidades que da el formato para exponer los argumentos.
En Querétaro los formatos son adecuados. Lo que no funciona satisfactoriamente es la
plataforma People Soft.
Aunque existen formatos para cada modalidad de apoyo que permite el FOMIX, los formatos
de evaluación son un área de oportunidad de mejora en el caso de Yucatán, dado que deben
aplicarse criterios distintos, cuando se trata de proyectos de investigación, de desarrollo
tecnológico o proyectos de infraestructura.
Sugerencias
En Jalisco los miembros del CTA hicieron algunas sugerencias para mejorar la evaluación, entre
ellas: un sistema digital, un chatroom para que interactuaran proponentes y evaluadores, con
el fin de resolver dudas sobre el proyecto, conservando la confidencialidad y el anonimato.
También se habló de la posibilidad de que el evaluador pueda mandar un correo para resolver
ciertas dudas. Otro tema propuesto fue el de hacer una agenda en la que se conozca los
tiempos de emisión de la convocatoria, presentación de propuestas, etcétera. La difusión es un
tema muy importante, propusieron que se difundieran los resultados de las convocatorias,
cuánto dinero se dio y para qué.
En Nuevo León se pide que aumente el número de evaluadores, para que participen no sólo
académicos registrados en CONACYT, sino también especialistas empresariales que no
pertenecen al RCEA.
En Querétaro piden que se cambie la política de asignación de recursos y que se consideren
factores externos a la investigación al momento de asignarlos. También piden que se
diversifique y amplíe el registro de evaluadores para se incluyan personas que no están en el
RCEA y que son aptas para evaluar. Perciben una incongruencia en el funcionamiento de
32
CONACYT, porque exige mucho a los estados pero al interior no agiliza los procedimientos.
CONACYT debería de alinear los distintos mecanismos de apoyo, a través de áreas de impacto
transversal e interinstitucionales, para no pulverizar los recursos en distintas sectores,
permitiendo que se puedan financiar proyectos de mayor impacto. En el caso de los
evaluadores se puede incentivar su labor si se les dan puntos por esa actividad.
En el caso de Yucatán se propuso generar un catálogo de buenos evaluadores, de aquellos que
sustentan amplia y claramente sus dictámenes. También implementar un sistema que permita
que los evaluadores tengan acceso al historial de proyectos de los proponentes, esto es, de la
estadística de sus proyectos y entregables, exitosos o no cumplidos. También se sugiere que se
ponga más énfasis en la evaluación de seguimiento y que los evaluadores de seguimiento y del
informe final sean los mismos. Que las evaluaciones de seguimiento sean más serias y estrictas
para evitar que existan proyectos que lleguen al informe final con grandes atrasos e
incumplimientos importantes. Vale la pena recomendar que se solicite junto con el informe
final una carta institucional, que obligue a los responsables técnicos informar detalladamente a
los responsables legales de su institución los resultados y alcances logrados. Usualmente el
Responsable Legal sólo se entera que un responsable técnico está incumpliendo cuando recibe
copia del correo del fondo en que le solicita al proponente regularizar la situación. Esto es
delicado porque el incumplimiento de un solo investigador pone en riesgo el registro RENIECyT
de la institución completa.
Comisión de Evaluación
Selección de evaluadores
En el caso de Jalisco los mecanismos para seleccionar el número de evaluadores son: el área
del proyecto y que sean personas destacadas en esa área. Son normalmente tres evaluadores
por proyecto, sin dar preferencia a alguna institución de adscripción. Normalmente son del
estado pero no es definitorio; pero sí se requiere que tengan experiencia en las demandas de
las convocatorias y conocimiento del estado. La experiencia de los evaluadores no es un
elemento que se considere formalmente, pero existe un registro que sirve de referencia. Para
escoger a los evaluadores se propone que no sean de la misma institución o empresa del
proponente, ni que tengan una actividad cercana. En el caso de que algún miembro de la
COMEVAL tenga un vínculo con algún proyecto, al momento de que este se discute sale de la
reunión y regresa cuando la evaluación terminó. La Comisión de Evaluación considera que
contar con acceso al CVU de los evaluadores para conocer cuántos proyectos ha evaluado, de
qué área disciplinar, sería una manera de agilizar la selección.
33
En Nuevo León se invitan a 5 o 6 evaluadores por proyecto, para que finalmente acepten 3. Se
les paga mil pesos por proyecto, aunque pocos lo cobran. No tienen un registro de los
evaluadores que declinan. Se consideran evaluadores especiales si el proyecto lo requiere, en
algunos casos se ha llaman a empresarios o personas vinculadas a la industria; nunca se ha
tenido que recurrir a un evaluador extranjero. Hay una apertura para escoger a los
evaluadores según su perfil y las características de la propuesta por evaluar. Se busca un
balance entre académicos y empresarios; también que un mismo evaluador no tenga un
número amplio de proyectos por revisar. También manifestaron la necesidad de tener un
registro completo de los evaluadores. Reconocen que CONACYT hace un buen proceso para
proponer evaluadores, pero creen que debería de haber más información a disposición de la
comisión. Esta información podría incluir un índice de asertividad del evaluador.
En Querétaro los evaluadores se escogen del RCEA tomando en cuenta el nivel del SNI, su
especialidad, procurando que su residencia sea lo más alejada posible del estado. Si falta
alguna evaluación de un proyecto, la comisión la hace en mesa redonda. Calculan que un 5%
de los evaluadores invitados declina; de los que aceptan el 10% no termina el proceso.
En Yucatán la Comisión de Evaluación (COMEVAL) asigna e invita a 5 evaluadores por proyecto,
porque usualmente alguno declina. En caso de que aun invitando 5 evaluadores por proyecto
no se logre contar con 3 evaluadores, hay un acuerdo con la COMEVAL para que el Secretario
Técnico del Fondo pueda invitar en tal caso a otros evaluadores. Se les paga mil pesos por
proyecto, aunque pocos lo cobran porque por un lado la mayoría considera que es un deber
como miembro del SNI y además consideran muy complicado los trámites tributarios que
tienen que hacer en Hacienda para expedir los recibos. Históricamente en Yucatán se tiene un
promedio de 30% de evaluadores que declinan y 70% que aceptan. En el ejercicio 2012 se
invitó a 110 evaluadores de los cuales aceptaron 72. La evaluación es presencial, por lo que el
100% de los evaluadores que aceptaron participar en la evaluación concluye el proceso. No
obstante, en las convocatorias más recientes, el proceso de evaluación ya no se realiza
presencial, sino únicamente con la participación de los evaluadores. Como se mencionó,
durante 2010 y 2012 existieron lo que se denominó jornadas presenciales de evaluación, en
donde cada proponente, de manera abierta, podía hacer la exposición y defensa de su
propuesta ante el comité de pares designados por la COMEVAL por área de demanda o
temática convocada por el FOMIX.
Formación de los evaluadores
En el caso de Jalisco a los evaluadores externos no se les induce o prepara para la evaluación,
el criterio es su experiencia como investigador y en el contexto de la disciplina. El único
34
referente con el que trabajan es la convocatoria, que en opinión de la Comisión de Evaluación
explica detalladamente las demandas, los propósitos y las expectativas. Reconocen la
necesidad de un curso donde se delineara la importancia de los aspectos técnicos y el nivel de
cumplimiento de lo comprometido.
En Nuevo León no hay un proceso de preparación para los evaluadores. Los insumos que se les
proporcionan son las reglas de operación del Fondo. En ocasiones CONACYT hace reuniones
para indicar las normas de evaluación, pero no es una labor de la Comisión de Evaluación. No
hay ningún proceso de formación para los evaluadores.
En Yucatán hay un taller de inducción para los evaluadores en cada jornada de evaluación. La
inducción enfatiza la orientación de la convocatoria y clarifica las particularidades de las
demandas; esto recae en las Secretarías Técnica y Administrativa del Fondo, pero con el
liderazgo del Presidente del CTA, que es el Secretario de Educación. El Secretario Técnico y el
Secretario Administrativo revisan con los evaluadores los formatos de evaluación y aclaran sus
dudas. También se les aclara a los evaluadores las diferencias con otras convocatorias, por
ejemplo Ciencia Básica, para clarificar que los objetivos del FOMIX-Yucatán y los productos
entregables esperados son diferentes. En cada proceso los evaluadores firman contratos de
confidencialidad y declaran que no existe conflicto de interés; en caso de haberlo, se retiran de
la evaluación de ese proyecto particular.
Trabajo de la comisión
En Jalisco la comisión se renueva cada 3 años y se integra con 7 participantes, que se reúnen
de acuerdo a los ritmos de convocatorias y número de proyectos presentados.
En Nuevo León la comisión se reúne en tres fases: 1) para analizar las características de los
proyectos y asignar evaluadores de la lista presentada por CONACYT; 2) para revisar las
evaluaciones y hacer la ponderación final; y 3) para hacer el finiquito de la evaluación. En estas
etapas hay un seguimiento del gobierno del estado con el objetivo de garantizar la
transparencia del proceso. La Comisión de Evaluación dirime los casos en los que las
evaluaciones de una propuesta son radicalmente opuestas; en estos casos se pueden dar una o
dos semanas más para hacer evaluaciones extras.
En Yucatán entre las funciones de la COMEVAL está definir y elaborar las demandas para las
convocatorias. En un ejercicio que llevó aproximadamente 130 horas de discusiones decidieron
las áreas prioritarias para el Desarrollo de Yucatán, identificándose como áreas fundamentales
Alimentación, Hábitat, Energía, Agua, Educación, Salud, el Desarrollo Costero y la Cultura
Maya. También está entre sus funciones revisar las propuestas una vez que una convocatoria
se ha cerrado, previamente a la sesión de la Comisión de Evaluación. La COMEVAL se divide las
35
propuestas y uno de los miembros presenta a los demás un resumen de los proyectos que le
tocó revisar. Con base en estas reuniones se busca en el RCEA el perfil de los evaluadores
pertinentes para las propuestas a evaluar. Después del proceso de evaluación revisan todos los
dictámenes y las observaciones de los evaluadores. En algunas ocasiones algún miembro de la
Comisión se inconforma con algún(os) dictamen(es), y en tal caso revisan a detalle esa(s)
propuesta(s) para determinar si coinciden con los evaluadores o dictaminan al contrario; p
or ejemplo si se nota que todas las propuestas de una misma institución fueron
rechazadas. El recurso se asigna entre los proyectos de mayor calificación, hasta donde el
recurso alcance. Si dos proyectos que coinciden en puntaje están en el límite de corte, la
Comisión tiene la facultad de recomendar qué proyecto es susceptible de aprobarse, con base
en que sea el de mayor impacto para el estado. En general en Yucatán no se hacen ajustes del
presupuesto, sino que se aprueban los montos solicitados, salvo casos excepcionales en los
que la Comisión detecta solicitudes no justificadas o rubros no financiables, y en tal caso está
entre sus funciones recomendar los ajustes.
La sistematización del trabajo de las comisiones
En el caso de Jalisco cuentan con diferentes documentos de referencia para evaluar los FOMIX,
el manual de procedimiento de fondo, la convocatoria y además un formulario que permite
demostrar la vialidad del proyecto. La Comisión de Evaluación cuenta con minutas y un acta
que fundamenta el dictamen obtenido, pero no son consultadas regularmente.
En Nuevo León tampoco hay una sistematización del trabajo de las comisiones, existen actas
de las reuniones pero no se consultan por los miembros que se integran a ellas. Es la
experiencia de los que han participado más tiempo la que ayuda a resolver contingencias.
En Querétaro no se consultan las actas de las reuniones de la COMEVAL y tampoco tienen un
reglamento escrito que se proporcione a todos los miembros para que sepan cómo opera el
Fondo en el estado.
La situación en Yucatán es similar a la descrita en Jalisco y Nuevo León. El Trabajo del CTA no
está registrado de manera sistemática. Elaboran minutas de sus reuniones y un acta que
fundamenta los dictámenes obtenidos, pero no son consultadas regularmente. No existe
documentación sistemática sobre los evaluadores; sin embargo, el CTA de Yucatán identifica
aquellos evaluadores que tienen experiencia, amplia visión y objetividad al evaluar.
Proceso de evaluación
En Jalisco la participación de los evaluadores es voluntaria en todos los casos. Algunas
evaluaciones se pagan, específicamente las de innovación; las demás no. Esto puede generar
un trato discriminatorio entre los propios evaluadores y propiciar un sesgo en la evaluación. Es
36
una fortaleza que los académicos participen en la evaluación de proyectos, pero se requiere
sistematizar los formatos para tener una evaluación más homogénea, porque hay muchos
actores involucrados que no se rigen por los procedimientos académicos, como los
empresarios. En Jalisco las evaluaciones son anónimas, aunque han tenido excepciones. En
estos casos la Comisión de Evaluación lo determina cuando el proyecto no es del todo claro,
por lo que se invita al proponente a que lo exponga. Para garantizar la objetividad de los
evaluadores y los conflictos de intereses, el único recurso con que se cuenta en el proceso es
que el proponente y el evaluador no sean de la misma institución y que no haya relación
cercana a ninguno evaluador, basado en un principio de autorregulación. No cuentan con
lineamientos de operación por escrito. Se sugeriría un trato equivalente y un compromiso
ético de los evaluadores para participar por la calidad de los proyectos principalmente. Otra
área de oportunidad de la evaluación es que no se hace seguimiento de los proyectos, para dar
cuenta de las mejoras.
En Nuevo León los evaluadores deciden sobre la calidad de las propuestas siguiendo los
criterios de calidad, congruencia presupuestal y entregables. Presentar proyectos no es una
tarea fácil, porque junto con el protocolo se presenta un plan de negocios que debe ser
congruente y coherente, subordinado a la calidad de la propuesta. Para evaluar las propuestas
no se consideran los resultados de proyectos previos aprobados a un mismo proponente;
CONACYT sólo filtra las propuestas que no cumplieron los lineamientos técnico-
administrativos. Los evaluadores hacen su trabajo de manera individual, pueden reunirse en
casos de propuestas complicadas. Nunca se entrevistan con los proponentes. Hay criterios
especiales para el caso de empresas que presentan más de una solicitud y que son aprobados
positivamente, porque no se pueden financiar dos proyectos al mismo proponente. Hay un
principio de autorregulación para respetar que ningún miembro de la Comisión de Evaluación
sea juez y parte. El proceso es muy transparente, lo que permite que no haya suspicacias.
En el caso de Querétaro hay un aumento de las propuestas para evaluar, porque creció el
monto del fondo, pero no todas las propuestas son adecuadas para el Fondo. En algunos casos
son sólo solicitudes porque se necesita dinero, pero no porque estén alineadas con las
demandas de las convocatorias. El primer paso de la evaluación es el cumplimiento de los
requisitos administrativos; los que los cumplen pasan a la evaluación por pares. Existe la
percepción de que hay asignación de recursos por padrinazgos.
En Yucatán el primer paso es revisar pertinencia y que la documentación esté completa. Una
vez que el proponente envía su propuesta no se acepta ningún documento adicional y la falta
de alguno de los requisitos es objeto de rechazo del proyecto. La evaluación es presencial y
abierta, es decir con una entrevista personal con el responsable técnico. La evaluación
37
presencial es un ejercicio de 2 días. Los evaluadores llegan un día antes de la entrevista. Ese
día reciben la inducción y se les entrega los proyectos que van a evaluar. Se invita a más de 100
evaluadores, expertos de todo el país, los cuales el día de la entrevista son agrupados en 20
mesas, cada una con un coordinador nombrado por el SIIDETEY, un facilitador y un capturista.
En cada proyecto puede asistir un investigador adicional al responsable técnico, porque los
proyectos son multidisciplinarios. La presencia del responsable técnico es obligatoria; su
ausencia conlleva al rechazo del proyecto. La evaluación de cada proyecto es de 60 min: en los
primeros 10 min se ponen de acuerdo sobre las preguntas que van a hacer, 30 min son de
entrevista y los últimos 20 min son de deliberación y dictamen. Al final de la entrevista se le da
las gracias al proponente y se le informa que recibirá los resultados más adelante. El dictamen
es colegiado y consensuado, tanto en cada punto evaluado como en la calificación acumulada.
En Yucatán se ha hecho el análisis costo/beneficio del proceso presencial abierto y se llegó a la
conclusión de que es efectivo y eficiente. El costo en 2012 por la movilización y hospedaje de
los 72 evaluadores que aceptaron participar más los gastos in situ del proceso fueron de
$350,000 pero esto permitió asignar 70 millones de pesos entre 30 proyectos finales de alta
calidad técnica e impacto regional. Otro beneficio significativo es que acorta el proceso,
porque evita los muy largos periodos de evaluación desde que se reciben las propuestas y
hasta que se terminan todas las evaluaciones individuales. El proceso de evaluación era de 9
meses en promedio; el caso más largo de evaluación en FOMIX Sureste fue de 22 meses,
porque los evaluadores no enviaban sus dictámenes. En Yucatán las evaluaciones presenciales
iniciaron en 2005, pero sin entrevista; en el 2008 ya se incluyó la entrevista de los responsables
técnicos. De manera paralela el fondo evolucionó de proyectos de $300,000 a proyectos de
hasta $2,000,000 y luego proyectos de hasta $20,000,000. Este procedimiento también ha
fomentado una mayor sinergia entre los investigadores y los compromisos de sus instituciones,
así como una disminución de los esfuerzos individuales. Este punto disruptivo acortó el
proceso a 2 días, además del beneficio que elimina suspicacias al tener comunicación directa
con los evaluadores durante la entrevista. En ella el proponente tiene la oportunidad en
tiempo real de argumentar y contra argumentar.
La Comisión de Evaluación participa también en el seguimiento de los proyectos aprobados y
tiene acceso a todo el historial del proyecto. Un punto que se ha discutido en Yucatán es
definir estrategias que permitan que las evaluaciones de seguimiento y de informe final sean
más ágiles. La tardanza de las etapas intermedias complica los convenios y tiempos de las
ministraciones del proyecto. El informe final es fundamental y el cierre es un paso que lleva
actualmente mucho tiempo. Pudieran mejorarse contemplando la evaluación presencial, como
ocurre para el inicio del proyecto. Este le daría al proponente y a la institución responsable la
38
oportunidad de finiquitar el compromiso de manera más ágil y estar en capacidad de nuevas
propuestas.
Retroalimentación con los proponentes
En Jalisco la Comisión de Evaluación sólo ofrece retroalimentación por solicitud. Esto podría
superarse con recursos tecnológicos, como una chat anónimo para aclarar dudas o incluso con
la entrevista. No hay un proceso explícito de impugnación del proceso.
En Nuevo León y Querétaro tampoco existe una retroalimentación automática con los
proponentes. Existe el proceso de impugnación pero no saben de nadie que lo haya usado.
En Yucatán una vez que se publican los resultados se envían a los proponentes las
retroalimentaciones, para que sirva de orientación a los proponentes.
Formatos de evaluación
En Jalisco el formato no es electrónico. Se ha modificado a través de los años, es el mismo para
todas las áreas lo cual hace difícil la evaluación; por ejemplo, las propuestas de empresarios
son difíciles de evaluar con un formato académico. Se puede superar esta dificultad diseñando
un formato diferenciado por área. Se propone una rúbrica para regularlo. En el formato faltan
espacios para hacer consideraciones más cualitativas, para que el evaluador justifique su
calificación.
En Yucatán el formato de evaluación también es el mismo para todas las áreas, lo que hace
difícil la evaluación. Esto se debe a que cualquier cambio que se haga en el formato afecta
otros Fondos del CONACYT por lo que se deberá trabajar en la plataforma del CONACYT para
que permita tener formatos independientes para diferentes Fondos.
Convocatorias
En Jalisco en la última convocatoria participaron aproximadamente 20 evaluadores, 3 por
proyecto, aunque no hay datos precisos porque la comisión no participa en la parte
administrativa. Una dificultad que identifica la Comisión de Evaluación es la calidad con que
están planteados los proyectos. Esta dificultad puede superarse desde la propia convocatoria
haciendo más explícitos los criterios e indicadores que debe contener.
En Nuevo León en la última convocatoria participaron más de 100 evaluadores. En todas ellas
se tiene como requisito que los proyectos se realicen en el Estado y que preferentemente
tengan algún vínculo con la academia. La relación entre empresas y academia se motiva
porque beneficia a las pequeñas y medianas empresas.
En el caso de Querétaro hay una dispersión en las demandas de las convocatorias, en algunos
casos son hasta 15.
39
A partir del 2009 Yucatán opera con más de 100 millones de pesos, mientras que
anteriormente operaba con alrededor de 10 millones de pesos. Esto trajo consigo un aumento
significativo del número de proyectos sometidos, pero una gran cantidad de ellas no estaban
alineadas con las demandas de las convocatorias. A medida que el fondo ha madurado y hecho
más explícitas sus demandas, los proponentes también han entendido mejor las convocatorias
y aplicado proyectos adecuados. Las últimas convocatorias han estado orientadas a fortalecer
no sólo el desarrollo científico sino también tecnológico, social y económico del estado. La
disponibilidad presupuestaria permite actualmente proyectos de mayor impacto, multi-
institucionales, macro y estratégicos. Como se ha mencionado hay demandas para crecer la
infraestructura científica y tecnológica, y demandas que se avocan a problemas específicos. Las
convocatorias de investigación aplicada incluyen entre los requisitos cartas de apoyo de
usuarios.
Propuestas
En Jalisco sugirieron que se profesionalice la evaluación. Una medida puede ser el pago por el
trabajo; otra, que sea una actividad que se considere en el SNI (o hacer sistemas de
equivalencias, tantas evaluaciones corresponden a un artículo). También sugirieron que se den
seminarios o cursos para los evaluadores del RCEA. Se requiere diseñar una evaluación de los
evaluadores, para saber que cumplen su trabajo.
En Nuevo León se pidió un registro público de los evaluadores, que indique su nivel de acierto
en las evaluaciones. También se sugirió que haya un seguimiento de los proyectos por parte de
los mismos evaluadores que los aprobaron, teniendo un criterio de calidad de los resultados,
no sólo su cumplimiento formal. Pidieron que el tiempo de las convocatorias no fuera tan
cerrado, para que se puedan adelantar procesos. Las convocatorias deben de hacer más
explícita la relación entre economía y ciencia, tomando en cuenta a los sectores empresariales.
En Querétaro se pidió un apoyo más grande para que se vinculen el sector industrial y las
universidades; perciben que el SNI no valora esta relación, y cuando se logra es a costa del SNI.
Las convocatorias deben ser más amplias en sus plazos y mejor programadas. Sobre los
procedimientos de evaluación, se solicita una guía puntual y sintética.
En Yucatán se propone que los evaluadores que participaron en la selección de los proyectos
aprobados al inicio, sean los mismos de las evaluaciones de seguimiento y de los informes
finales, y que estos procesos sean también presenciales para acortar los tiempos entre el
informe parcial y la ministración de la siguiente etapa y al final para finiquitar los proyectos de
manera más ágil. Se propone generar formatos específicos para los FOMIX en la plataforma
40
CONACYT y al interior formatos independientes por tipo de demanda, sea de investigación, de
infraestructura o de construcción. Se propone también que el informe final tenga que ser
acompañado con una carta institucional con el visto bueno del Representante legal.
Evaluadores de las áreas 1, 2, 3, 6 y 7 del SNI
Convocatorias y propuestas
En opinión de los evaluadores entrevistados para el análisis, hubo acuerdo total en que un gran
porcentaje de las convocatorias FOMIX no son claras, contienen errores e incluso
ambigüedades en el planteamiento de las demandas. Lo anterior se hace notorio en
aproximadamente un 80% de convocatorias que plantean una demanda que prácticamente
sobreespecífica la solución que el demandante está esperando –qué se quiere y cómo debe
hacerse–, convirtiendo el proyecto de investigación, desarrollo e innovación, en un servicio, y
limitando en mucho la capacidad de innovación de las propuestas y de los proponentes.
En otros casos, se vertieron opiniones reiteradas por parte de los investigadores sobre la
generalidad de los temas de las demandas; algunas de ellas parecen estar planteadas para
facilitar la participación de un número más amplio de proponentes, asociadas a las vocaciones
productivas o académicas de la entidad, pero sin que ello justifique el carácter estratégico del
tema, a la luz de su impacto en el desarrollo del estado, tanto desde el ángulo de la relevancia
del conocimiento que se espera generar como por su impacto socio económico o la
construcción de competencias estratégicas en el mediano o largo plazo.
La emisión de convocatorias como las anteriores podría deberse a la falta de profesionalización
de los emisores –demandantes– quienes pueden estar fallando al traducir el “problema que
requiere solución” a un “problema de investigación, desarrollo e innovación”, e incluso, podrían
estar fallando en la definición los límites de tiempo que el desarrollo de un proyecto requiere
para entregar productos de calidad. La falta de profesionales en el planteamiento de las
demandas y en el cálculo de los tiempos requeridos para entregar productos de calidad, así
como en la formulación para exhibirlas en las convocatorias podría quizá superarse si los
demandantes/emisores son más incluyentes en la definición de las demandas, permitiendo la
participación de diversos actores académicos, empresariales.. En la promoción de la ciencia, la
tecnología e innovación se requiere la visión de todos.
Formatos de evaluación y tiempos
Los formatos o cédulas de evaluación en lo general son bien percibidos ya que contienen los
elementos importantes para valorar y tomar la decisión de apoyar o no una propuesta de
investigación, desarrollo e innovación que atiende los términos de referencia de las demandas
41
planteadas en las convocatorias. Los evaluadores dicen poner un mayor peso en el grado de
innovación y la calidad técnica de la propuesta en sí misma, seguida por la calidad
académico/científica/tecnológica del grupo proponente y en un tercer lugar por la capacidad
administrativa o logística del grupo proponente para terminar en tiempo y forma el proyecto.
Sin embargo, para el caso de estados en los que la capacidad o logística administrativa puede
jugar un factor importante para terminar o no en tiempo y forma -con calidad técnica-, éste
factor debería ser el más importante, ya que los tiempos de inicio y entrega de resultados de un
proyecto quedan supeditados a la firma de los convenios, que son tardados, y los tiempos de
adquisición/compra, que también son muy tardados.
Si bien los formatos contienen los elementos necesarios para tomar decisiones, es importante
señalar los siguientes comentarios de los evaluadores
Los formatos no son adecuados para valorar propuestas innovadoras que merecen
consideraciones especiales. El evaluador las tiene que descartar porque se alejan de los
“términos de referencia” en convocatorias que han sobre-especificado la solución
esperada.
Los formatos tal y como están los hace sentir más como “validadores” del grado de
cumplimiento de un proyecto hacia los términos de referencia, antes que como
evaluadores de la creatividad y de la calidad técnica (antecedentes y grado de
novedad) de una propuesta para proponer soluciones a una demanda planteada. Esto
último también quizá sea consecuencia de un mal diseño y formulación de las
demandas.
Los evaluadores con varios años de experiencia han acumulado conocimiento tácito
que les permite sortear las dificultades en los formatos. Encuentran la manera de
obviar información duplicada y de centrarse en datos de mayor relevancia. En su
opinión, los formatos podrían simplificarse.
Finalmente, con respecto al tiempo dedicado a la evaluación, hay un acuerdo general de que
se dedica en promedio 4 horas por proyecto, y que reciben de tres a cuatro proyectos por
convocatoria. Lo anterior les absorbe prácticamente dos días en el mejor de los casos.
Proceso de evaluación
Con respecto al proceso de evaluación realizada por pares disciplinares hay acuerdo en que es
una modalidad adecuada para determinar sobre el grado de novedad de la propuesta. Perciben
que en un gran porcentaje de las invitaciones que han recibido por parte del comité de
evaluación existe una congruencia entre el proyecto y su área de experiencia.
42
En cuanto a la modalidad de hacer la evaluación de manera aislada, tal y como se hace en la
mayoría de los estados, comparada con otras modalidades como por ejemplo el hacer la
evaluación en conjunto con otros evaluadores e incluso a través de chatroom en línea con el
proponente para resolver dudas o ampliar información, los evaluadores lo ven como buena
alternativa para el FOMIX, pero evaluar y seleccionar de manera más “consensuada y colegiada
entre evaluadores” las mejores propuestas, las más innovadoras, las más viables, las de mayor
fortaleza por la capacidad científico/tecnológica del responsable y su grupo, entre otras, llevaría
a tener una mayor certeza, profesionalización y transparencia en la selección de proyectos. Por
otro lado, llevaría a formular mejores dictámenes para el rechazo, mismos que servirían como
retroalimentación para el crecimiento del grupo proponente, e incluso para los mismos
evaluadores. En general se percibe que falta formar cultura profesional en los demandantes,
proponentes y evaluadores, es decir, de los actores involucrados en todo el proceso de Fondos,
no únicamente en la evaluación ex ante. La falta de recepción de una retroalimentación bien
justificada es muy desmotivadora y “aparentemente” esto explica el que muchos de los
proponentes ya no vuelvan a participar o le piensan más para decidir si participan o no en los
Fondos.
Evaluadores de las áreas 4 y 5 del SNI
Proceso de evaluación
Un criterio que privilegian para la evaluación es la composición del grupo, aunque en ocasiones
se centran más en el responsable y descuidan al grupo. Consideran que la innovación debe ser
incluida como un criterio para la evaluación. Los saberes locales también deben ser incluidos
como criterios de evaluación; lo mismo que la transferencia de conocimientos a comunidades
concretas (porque el objetivo del FOMIX es estar cerca de la sociedad); también se deben
incluir a los beneficiarios y usuarios de los resultados del proyecto, ya que su objetivo es
atender demandas específicas de los estados. También se debe de agregar un criterio de
viabilidad de los proyectos para que su desarrollo posterior no dependa de los fondos
gubernamentales.
Se deben diferenciar las evaluaciones según los proponentes, para no seguir los mismos
criterios con las empresas y con las instituciones de investigación. También se debe diferenciar
el tipo de proponente, para apoyar proyectos impulsados por las instituciones académicas
regionales, sobre los proyectos de las universidades nacionales o más grandes.
Falta integrar la evaluación de seguimiento en las distintas etapas y definir los entregables de
cada etapa y las formas de evaluarlos. Este tipo de evaluaciones deben combinar auditorías y
evaluaciones académicas.
43
Formatos de evaluación
El formato de evaluación debe ser más específico, ya que no es acorde con las demandas de las
convocatorias (que, a su vez, responden a las necesidades del estado). El formato tampoco
expresa las necesidades del FOMIX. Al mismo tiempo, deben ser más sencillos, más amigables e
incluir criterios como los usuarios beneficiados del proyecto.
Selección de evaluadores
Se deben de incluir evaluadores externos al SNI y que puedan evaluar las demandas de las
convocatorias. Un modelo tripartito sería ideal: academia, gobierno, empresas.
Las comisiones de evaluación deben funcionar de manera más transparente y con una
composición lo suficientemente amplia para poder diferenciar una evaluación, multi, inter o
transdisciplinaria. Las disparidades entre evaluadores se deben, en ocasiones, a lo poco
adecuado del proceso de selección y a que hay un amplio margen de especulación.
Cada evaluador debería de evaluar hasta cuatro proyectos por año, para poder dedicarles el
tiempo necesario. Según la experiencia y el tipo de proyecto, se puede dedicar de un día hasta
una semana por proyecto.
El perfil de los evaluadores que aceptaron ser entrevistados es muy particular. Haber aceptado
invertir tiempo en este proyecto reveló su convencimiento de la importancia de esta actividad
(la evaluación en sí misma) y de su “deber” o compromiso con el “sistema”, tal como fue
referido por muchos de ellos. Entre sus motivaciones por evaluar y participar en el proyecto
comentaron que han sido beneficiados con apoyos para proyectos en el pasado, y reciben
apoyo del SNI, por lo cual consideran que evaluar es otra forma de retribuir con trabajo al
conjunto de apoyos recibidos por el “sistema”. Algunos también mencionaron que es una
actividad de la que se puede aprender.
El pago no es necesario, ya que se evalúa por aprender, madurar como investigador, saber qué
se está investigando, ser parte activa de la institución, responder a una obligación por ser parte
del SNI, corresponder al salario que se les paga. Sería importante que el CONACYT impartiera
talleres para los evaluadores, para articular el aprendizaje acumulado en las evaluaciones
previas. Se puede crear algún tipo de “escuela” para evaluadores. También el CONACYT debe
reglamentar con mayor claridad los comités de evaluación, para darles más independencia en la
selección de evaluadores.
44
Proponentes
El impacto del Fondo Mixto
En el caso de Jalisco, la participación en el Fondo Mixto modificó el desarrollo tecnológico de
las empresas proponentes. Los empresarios tienen ideas, pero necesitan gente con
conocimiento para generar desarrollos tecnológicos y obtener apoyos presupuestales para
poder realizar los proyectos.
En Nuevo León el fondo ayudó a las empresas beneficiadas; ha contribuido a la mejora de los
proyectos. No obstante, creen que podría funcionar mejor y fortalecerse para que el apoyo sea
más concreto y más efectivo para todos los proponentes.
En Querétaro el FOMIX modificó positivamente el desarrollo de investigación de los
proponentes, se logró generar patentes gracias al recurso.
En cuanto al impacto de la participación como responsable técnico de proyectos FOMIX-
Yucatán en la vida profesional del investigador, la mayoría refirió que no abrieron nuevas
líneas de investigación ni cambiaron su línea, pero si reorientaron sus investigaciones hacia
mayor aplicación e iniciaron o fortalecieron su interacción con empresas y desarrollos de
patentes. Uno de los entrevistados sí manifestó que a raíz de su primer proyecto aprobado en
FOMIX inició una nueva línea de investigación en su institución.
Convocatorias
En el caso de Jalisco las convocatorias son lo suficientemente claras, también los formularios
para el llenado de las propuestas. En cuanto a las demandas específicas falta claridad, depende
mucho de la dinámica del sector del que se trate. Pero no siempre es fácil encuadrar la
propuesta con las demandas específicas. No se recibe oportunamente la convocatoria. En
algunos casos se encarga a una persona investigar la publicación de las convocatorias. No
siempre queda claro a qué tipo de proyectos pueden apoyar los fondos, y a veces no son claras
las bases de todo el proceso.
En Nuevo León las convocatorias no siempre son lo suficientemente claras para los
proponentes, en algunos casos son muy generales; en otros casos consideran que las
demandas están dirigidas a un proponente específico, lo que imposibilita la participación,
sobre todo de las pequeñas y medianas empresas. También las demandas suelen variar mucho
cada año, lo que no permite una preparación de los proponentes para acumular experiencias y
presentar proyectos. La difusión de las convocatorias tampoco es óptima, en ocasiones los
proponentes se enteran con poco tiempo para poder preparar los expedientes.
En Querétaro las convocatorias han cerrado paulatinamente sus demandas, se perciben como
muy limitadas, dirigidas a un grupo pequeño de proponentes. Parece que no hay una discusión
45
estatal adecuada para definir las demandas y que permitan una amplia participación. Las
demandas de las convocatorias están enfocadas en pocas áreas.
En las entrevistas realizadas en Yucatán se observó que las convocatorias de los FOMIX son
más claras para los investigadores que han participado en más de una convocatoria, incluso en
FOMIX de diferentes estados. Los proponentes identifican con claridad que el propósito de los
Fondos Mixtos es diferente del de Ciencia Básica, que se esperan no sólo artículos, congresos y
estudiantes, sino que tienen que ser una propuesta pertinente y con impacto en el estado,
proyectos realmente factibles y viables
Evaluación
En Jalisco, para atender el proceso de evaluación se buscó apoyo de personas con los
conocimientos especializados para ayudar en el diseño del proyecto. Eso les parece adecuado,
porque acuden con personas que conocen del tema; es más difícil para la gente que no conoce
el proceso de presentación de proyectos. La evaluación técnica es relativamente rápida, la
información del reporte financiero tarda más, lo que implica, que se vayan retrasando las otras
fases del proceso. La primera evaluación del proyecto puede ser tardada; en un caso tardaron
un año en dar respuesta para aprobar el proyecto. En algunos casos los empresarios contratan
consultoras para que den seguimiento a los procesos, funcionan como enlace. Esto facilita el
proceso, porque las consultoras hacen el trabajo integran los expedientes de manera
adecuada. En caso contrario, los empresarios no podrían lograr presentar propuestas, porque
son demasiados documentos y es demasiado tiempo para darle el seguimiento necesario y
adecuado.
En Nuevo León consideran que la evaluación es poco burocrática, se pide la información
necesaria, lo que lo hace eficiente. Pero no es del todo transparente; en ocasiones se percibe
cierta discrecionalidad por parte de los evaluadores, en particular cuando los beneficiarios son
las grandes empresas. La evaluación de seguimiento no considera las diferencias entre
participantes y las coyunturas de la ejecución de los proyectos, lo que afecta la ejecución de
los proyectos. También en las evaluaciones de seguimiento se requiere de grupos de
evaluadores, porque es muy difícil que una sola persona pueda ponderar todos los elementos
que implica un proyecto en ejecución.
En Querétaro, la evaluación funciona bien en general, pero hace falta mayor interacción entre
evaluadores y proponentes, porque la información del proyecto no siempre es suficiente para
hacer una ponderación, lo mismo que en las evaluaciones de seguimiento. Una interacción
virtual en tiempo real podría ayudar a hacer evaluaciones más objetivas. A pesar de eso creen
46
que fueron acertadas. Aunque consideran que falta apoyo a proyectos con propuestas
potenciales de salida que requieren asesorías o construcción de redes de investigación.
En Yucatán todos los proponentes entrevistados manifestaron estar a favor de la evaluación
presencial con entrevista. Se observa una clara tendencia de percepción positiva del FOMIX
entre los proponentes con experiencias de aceptación de varios proyectos, aunque tengan
algunos proyectos no apoyados. Manifestaron sentirse cómodos y tranquilos porque
recibieron la crítica constructiva de pares, investigadores de gran experiencia y credenciales,
cuyas observaciones les ayudaron a mejorar el proyecto. Aquellos proponentes con
experiencias únicamente de proyectos no aprobados manifiestan, por el contrario, una
percepción negativa y desconfianza del proceso de evaluación. Entre estos, alguno comentó
que debido a que se escogen evaluadores de gran renombre, niveles 2 o 3 en el SNI, todavía
esperan productos como los de Ciencia Básica y rechazan proyectos porque creen que les falta
el componente básico, y privilegian la generación de artículos mientras discriminan la
generación de patentes.
Entre los entrevistados en Yucatán varios han sido responsables técnicos de proyectos FOMIX,
tanto en Yucatán como en otros estados (Campeche, Jalisco, Michoacán, Quintana Roo).
Comentaron la heterogeneidad en los procesos de evaluación entre los diferentes FOMIX y
que les han parecido más claros y detallados los procesos de evaluación inicial y de
seguimiento de Yucatán. Adicionalmente, una entrevistada puntualizó que el FOMIX Yucatán
envía avisos previos cuando una etapa está por terminar, mientras que otros FOMIX envían
avisos una vez que la fecha de término ha pasado y la notificación al investigador es que ya
está incurriendo en incumplimiento.
Retroalimentación
En Jalisco no hay retroalimentación directa. No es común que alguna persona del Fondo
Mixtos se comunique para preguntar por informaciones o darle seguimiento al proceso.
Tampoco se imparten talleres o diplomados para ayudar a presentar las propuestas. En
algunos casos acuden a una empresa consultoras. Conocen del caso de estados en los que sí
hay talleres de inducción para proponentes, y lo perciben como valioso, porque homologa el
proceso.
En Nuevo León la retroalimentación es sólo a petición del proponente. Su contenido no es lo
suficientemente claro, que indique cuáles fueron las fallas de la propuesta y dónde se pueden
hacer mejoras, no sólo para volver a pedir recursos sino para mejorar los proyectos de las
empresas.
47
En Querétaro la retroalimentación no es automática, sólo a solicitud del proponente. Cuando
se entregan los dictámenes son de calidad, porque no indican las cosas que hay que mejorar.
Otra cosa que lamentan, es que ya no se realice el simposio anual organizado por CONCyTEQ
en el que se exponían los resultados de investigación de los FOMIX.
En Yucatán la retroalimentación no es homogénea. La mayoría de los proponentes
entrevistados mencionaron que sí recibieron retroalimentación en la última convocatoria pero
al menos un entrevistado dijo haberla solicitado reiteradamente sin recibir la
retroalimentación. También parece que el nivel de retroalimentación ha variado de acuerdo
con el año de la convocatoria. Esto puede reflejar que aunque el FOMIX Yucatán ha
evolucionado y fortalecido sus procesos, este punto continúa siendo un área de oportunidad
para lograr que de manera sistemática todos reciban sus retroalimentaciones, tanto proyectos
aprobados como rechazados, para que el proceso de aprendizaje sea continuo.
Propuestas
En Jalisco se señalaron varias cosas. Se solicita que los tiempos de la evaluación sean más
rápidos, porque tiene consecuencias en el proceso, sobre todo en los costos de los insumos.
Los tiempos que señala la convocatoria no se cumplen. Proponen un sistema común de
divulgación de las convocatorias, como “compranet”, pero para proyectos.
En Nuevo León sugieren que se realicen talleres de inducción a los proponentes para que se les
indique cómo hacer propuestas efectivas, acordes con las demandas de las convocatorias;
además de que les indiquen cómo hacer la entrega de evaluaciones y cómo seguir el proceso
una vez que haya proyectos aprobados. También sugieren que los evaluadores no sean sólo
académicos. Una plataforma de interacción directa con los evaluadores podría agilizar la
evaluación, sobre todo las de seguimiento; un chatroom podría resolver los problemas de
confidencialidad.
En Querétaro se sugiere evaluaciones in situ, tanto en la selección de los proyectos como en
las evaluaciones de seguimiento. De no poderse sugieren una interacción por plataforma
virtual. Además proponen que las evaluaciones consideren las interacciones interestatales
entre proponentes, para que se incentive la creación de redes a nivel regional o nacional para
fortalecer los FOMIX. Otra propuesta es la creación de concursos de innovación apoyados por
el FOMIX, para fomentar el desarrollo tecnológico en el estado.
En Yucatán se plantearon varias propuestas: la responsabilidad de buscar usuarios para un
proyecto debería ser del fondo y no del proponente, ya que se está atendiendo una demanda
específica que surgió para atender precisamente demandas de usuarios. Se sugiere que para
48
temas emergentes, se traigan expertos de otros países si no hay todavía en México expertos
en esas áreas.
Otra propuesta es que los responsables técnicos y los evaluadores de proyectos de
construcción sean expertos en obra pública en vez de investigadores, pues éstos últimos sólo
dan fe de que los edificios se han construido, pero no tienen la capacidad para evaluar la
calidad de las construcciones, en el caso de proyectos de infraestructura en modalidad D. Se
propone emitir con claridad desde la convocatoria lo que se espera de entregables para dar
lugar a evaluaciones justas del informe final. Por ejemplo que se especifique si se espera el
desarrollo de un proceso, y en tal caso no se le pida al proponente pruebas de que lo haya ya
transferido, o especificar que éste llegue a etapa piloto o etapa industrial, pues son diferentes
momentos y alcances en la ruta crítica. Se solicita dar oportunidad de seguimiento a proyectos
exitosos, que fomenten la transferencia e impacto de los resultados; tener un seguimiento de
análisis costo de inversión (financiamiento del proyecto) vs beneficio logrado. Dar seguimiento
a los entregables con los usuarios directos o indirectos.
Resumen de Fondos Mixtos
Basadas en las entrevistas a Comités Técnicos Académicos (CTA), Comités de Evaluación y
proponentes de los Fondos Mixtos en los estados de Jalisco, Nuevo León, Querétaro y Yucatán
se extrae que:
a) Las convocatorias suelen obedecer a las prioridades establecidas por el Gobierno
Estatal (Jalisco, Nuevo León), y en algunos casos a un Programa Estatal de Ciencia y
Tecnología del Estado (Querétaro y Yucatán). No siempre las demandas específicas de
los fondos son claras para los proponentes, de tal manera que no se sabe si las
propuestas son pertinentes (Jalisco). En ocasiones, la generalidad del tema de la
demanda opera en detrimento de la especificidad de las propuestas y la calidad de la
evaluación que pudieran repercutir en mayores impactos estratégicos.
b) La conformación de los Comités Evaluadores depende fuertemente del estado:
mientras que en algunos es el propio CTA el que juzga directamente las propuestas
(Jalisco), otros tienen Comités Evaluadores establecidos y coordinados por el
CONACYT, como se establece en la normativa, en tanto, los CTAs (Nuevo León) son los
que avalan el proceso y asignan los recursos de acuerdo al criterio del comité. En el
caso de Yucatán es un proceso mixto: se tiene la Comisión de Evaluación y se designan
Comités Evaluadores de los cuales tiene conocimiento el CTA, que evalúan de manera
presencial y abierta a los proyectos mediante entrevista de los proponentes, y la
asignación de los recursos es llevada a cabo por el CTA.
49
c) En algunos estados se eligen preferentemente evaluadores estatales del área de
conocimiento (Jalisco), mientras que en otros se prima que no estén en contacto con
los agentes estatales (Querétaro, Yucatán). Otros criterios para la selección de los
evaluadores van desde que sean conocidos (Jalisco) pero no necesariamente primando
la máxima experiencia en el campo, la búsqueda de un balance entre académicos y
empresarios (Nuevo León), hasta primar el nivel dentro del SNI (Querétaro, Yucatán).
Los acuerdos de confidencialidad no se perciben como un problema por los CTA ni
Comités de Evaluación, aunque en algunos estados no hay cláusula formal de
confidencialidad (Jalisco).
d) En algunos estados se ofrece pago por las evaluaciones (Jalisco, Nuevo León, Yucatán)
según el área, sin embargo los evaluadores en su mayoría declinan el pago. Por un lado
porque consideran que evaluar es un “deber” porque son parte de los investigadores
nacionales y por otro, porque hay dificultades fiscales para hacer el cobro de las
evaluaciones.
e) La retroalimentación a los proponentes, es una actividad que cuando ha ocurrido, ha
sido apreciada y reconocida por los solicitantes, hayan sido beneficiados o no. En
algunos estados la retroalimentación a los solicitantes con proyectos no aprobados es
automática (Nuevo León, Yucatán), mientras que en otros solo se ofrece si se solicita
(Querétaro).
f) Los formatos para evaluación son en general claros en todos los estados estudiados,
pero en algunos casos se carece de formatos electrónicos, estos son demasiado
restrictivos para determinadas áreas y se carece de espacio para consideraciones
cualitativas (Jalisco). En algunos estados se apunta a la plataforma People Soft como el
mayor problema para la evaluación eficiente (Querétaro).
g) Es unánime la opinión de que se necesitan más y mejores evaluadores, incluyendo
evaluadores con experiencia empresarial o méritos fuera del RCEA.
h) Se sugiere la creación de un padrón de evaluadores y evaluaciones realizadas por los
evaluadores en el RCEA, en el que se califique su nivel de utilidad o acierto (Jalisco,
Nuevo León, Yucatán) para facilitar la labor de asignaciones futuras, así como el
reconocimiento y recompensa a la labor de evaluación bien a través de pagos, puntaje
en el SNI u otros.
i) En algunos estados (Yucatán) se sugiere crear una base de datos de los proyectos
exitosos y de los concluidos de manera insatisfactoria, para que sea tomada en cuenta
en las evaluaciones de nuevas propuestas.
50
j) Se sugiere la creación de un foro electrónico anónimo para la interacción entre
comités, evaluadores y proponentes, en los que se puedan dirimir dudas creadas
durante el proceso de evaluación.
k) El funcionamiento de las comisiones ha recaído en actores centrales, como los
Secretarios Técnicos, quienes acumulan conocimientos tácitos que fácilmente pueden
perderse en caso de que haya rotación en los cargos. Por esta razón, el
aprovechamiento de las minutas, actas y otros registros documentales se convierte en
un área de oportunidad para mejorar el aprendizaje colectivo entre las distintas
generaciones de miembros de los CTA y Comisiones de Evaluación.
l) En algunos estados (Jalisco) se recomienda una mayor difusión de los resultados de
proyectos aprobados y sus productos, y agilizar los tiempos de evaluación intermedia y
final (Yucatán).
m) Otro tema recurrente en las entrevistas, particularmente de parte de los
investigadores, es el diseño de las convocatorias y la determinación de las demandas
de los Fondos Mixtos, al considerar que debe ser un proceso más abierto y donde
deben participar las comunidades académicas.
51
Comentarios generales Resultó interesante que a pesar de que entre los propósitos de este proyecto está el contribuir
a generar procesos de evaluación más simplificados y ofrecer recomendaciones para realizar
mejores evaluaciones, la conversación con los distintos actores del proceso de evaluación,
desde los proponentes, los evaluadores y los funcionarios, derivaba frecuentemente en
recomendaciones para generar nuevas actividades, y formatos. Por ejemplo, fortalecer la
capacitación de los evaluadores mediante cursos y/o documentos, incrementar la evaluación
de acompañamiento durante el proyecto, así como la de resultados e impactos de los
proyectos, fueron recomendaciones que sin duda implica el mayor uso de recursos humanos y
financieros. En ocasiones se recomendaba también diseñar formatos de evaluación específicos
de acuerdo a la naturaleza del proyecto, lo cual tiene sentido, pero también implica
incrementar la complejidad del sistema de evaluación. Robustecer el banco de datos de
evaluadores, con información que permita rastrear el desempeño de los evaluadores, así como
mejorar su gestión, es otra actividad que también implica invertir tiempo y recursos humanos
por parte de los administradores del sistema.
Los evaluadores entrevistados también reconocen que los procesos de evaluación les genera
un aprendizaje, al conocer las problemáticas de distintos estados y la manera en qué se está
convocando. Cuando se trata de procesos presenciales, se enriquece la interacción y les
permite conocer a otros colegas y generar nuevos contactos.
Con la finalidad de simplificar el proceso de evaluación y avanzar en la resolución de cuellos de
botella en la identificación e incorporación de evaluadores comprometidos, será importante
enlistar y analizar colectivamente la serie de recomendaciones vertidas a lo largo del
documento, tanto las que tienen un carácter simplificador, como las que añaden nuevas
actividades, de tal manera que se reflexione sobre el aporte neto de cada una al proceso y se
avance en la depuración y eliminación de aspectos de la evaluación que lo han vuelto
desgastante y se incorporen otras nuevas que abonen a su calidad y credibilidad.
Por otro lado, la posibilidad de reducir el número de evaluadores que declinan la invitación a
evaluar o que habiendo aceptado, no la terminan, no depende únicamente de la dinámica de
organización del proceso de evaluación en estos programas. Hay que reconocer la insuficiencia
de incentivos en las universidades, centros de investigación y en los programas mismos, para
reconocer y valorar esta actividad. Mejorar significativamente el problema de la insuficiencia
de evaluadores requerirá la sensibilización de las distintas organizaciones involucradas para
generar las recompensas necesarias, así como la concientización individual de los miembros de
la comunidad científica y tecnológica por invertir tiempo en esta indispensable actividad.
52
El reporte de este proyecto de evaluación de la evaluación refleja la necesidad de seguir
construyendo una cultura de evaluación.
Fondos Sectoriales
FOSEC Salud
Evaluadores
Es insuficiente el registro de evaluadores, se necesita depurar la cartera de evaluadores de
proyectos para sólo incluir aquellos con excelentes reportes en su historial. Podría ser útil un
órgano más especializado como “colegio de evaluadores” o “red de investigadores certificados
para evaluar”. Este organismo también garantizaría la retribución por la labor de evaluar, ya
sea en efectivo o en capital simbólico que impacte en la vida académica (como puntos extras
en las evaluaciones del SNI o acceso a revistas especializadas).
Existe un déficit nacional en el tamaño de la comunidad científica, que no tiene el número
necesario de investigadores para poder evaluar el número de proyectos presentados, no sólo
en este fondo, sino en otros programas del Consejo Nacional de Ciencia y Tecnología.
Proceso de evaluación
Primero hay una evaluación de pertinencia que determina que los proyectos cumplen o no los
requisitos formales y las demandas de las convocatorias; en 3 días evalúan cerca de 1000
propuestas. En esta evaluación participa personal con experiencia en gestión de Fondos de
Salud. Una vez que pasan esta etapa van a la evaluación de contenidos por parte de
especialistas.
La Comisión de Evaluación se organiza por mesas de especialidad de acuerdo a las demandas
de las convocatorias. Desde estas mesas se escogen a los evaluadores externos por el tema del
proyecto, por su experiencia reconocida en el campo, por su nivel del SNI y por su categoría, si
es el caso, en los estímulos del sector salud. Los integrantes de la comisión suelen conocer a
los evaluadores, porque son una comunidad relativamente pequeña. Se enfrentan al problema
de la cantidad de evaluadores, que no alcanzan para todos los proyectos, sobre todo en líneas
de investigación novedosas o poco trabajadas, como la psiquiatría que tiene no más de 20
especialistas en el SNI. En estos casos asignan el proyecto a especialistas en áreas afines o
niveles 1 del SNI. Un problema importante es que aproximadamente un 40% de los
evaluadores no responden a la invitación para evaluar proyectos. Cada proyecto se manda a 3
o 5 evaluadores. Según las áreas, hay mucha demanda de trabajo para ciertos evaluadores que
53
son especialistas en cierto tema y que han aceptado evaluar en otras ocasiones. Cuando los
evaluadores no mandan a tiempo su dictamen la mesa de la Comisión, de manera colegiada,
hace la evaluación.
Al final de cada evaluación hay un periodo para un grupo de trabajo encargado de analizar los
resultados del proceso de evaluación para hacerlo más efectivo para las siguientes
convocatorias. A los integrantes de las comisiones se les dan talleres para indicarles qué es lo
que tienen que evaluar en función de las necesidades del fondo.
Hay varios filtros para asegurar la veracidad de las propuestas. Todas las solicitudes requieren
tener el aval de las instancias en las que trabajan los investigadores, que verifican se respeten
las normas de ética y bioética.
No hay un acuerdo sobre la posibilidad de acceder a los proyectos presentados previamente
por el mismo proponente, tampoco sobre conocer los resultados de las evaluaciones finales.
Esto es en parte porque asumen que en la investigación médica hay un gran margen de error,
que hace difícil cumplir con las expectativas comprometidas en los proyectos, como la
publicación de artículos (en el área médica reconocen que ninguna revista publicaría artículos
con resultados negativos). Para algunos puede servir de algo en la evaluación, pero no sólo ver
los resultados de las evaluaciones, sino también los artículos derivados de los proyectos. Para
esto sugieren que CONACYT facilite la consulta en línea las revistas especializadas (requieren
registro y pago).
Convocatorias.
Se coincide en que la convocatoria es lo suficientemente clara para que los proyectos
presentados sean acordes.
Formatos
Los formatos de evaluación se tienen que simplificar. Hay varias opciones: un espacio en
blanco que permita exponer los argumentos de la evaluación y así no terminar cortando y
copiando para llenar todos los campos del formulario electrónico. Si bien los apartados del
formato son adecuados, ya que indican qué elementos hay que considerar para la evaluación,
un solo espacio puede facilitar el proceso. El formato no es el mayor problema, sino la
disposición de los evaluadores para hacer un buen proceso que no sólo dé respuestas rápidas,
sino argumentos sólidos que sostengan la opinión sobre los proyectos. En ese sentido, se
puede eliminar la calificación cuantitativa y dejar sólo una evaluación cualitativa. En relación a
los formatos, no hay coherencia entre la propuesta y los documentos pedidos, ya que estos
nunca se consideran en la evaluación, por lo que podrían omitirse.
54
La evaluación académica se debería de separar de la evaluación administrativa, porque los
especialistas no necesariamente tienen las capacidades de reconocer la pertinencia de los
presupuestos o no de equipo. CONACYT podría hacer esa parte, para ver si los montos
señalados en los proyectos son los adecuados en el detalle. Para evitar duplicidad de
aprobaciones, una vez que se apruebe en términos académicos el proyecto, la evaluación
administrativa no lo debería de rechazar, sino que ajustar, para que quede en manos de los
pares la evaluación.
Retroalimentación.
En principio, no es un derecho reglamentado. Se hace sólo a petición de los solicitantes.
Tampoco existe el derecho de impugnación, dado que en todas las convocatorias se indica que
los resultados son definitivos e inapelables. Es necesaria la retroalimentación, pero se debe de
abrir un espacio para contactar a los proponentes durante la evaluación y hacerles las
observaciones pertinentes, darles un tiempo considerable para que las apliquen y después
decidir sobre el proyecto. Para mantener el anonimato de los evaluadores un chat podría
servir de plataforma.
Propuestas
El Fondo debería de operar con un calendario anticipado, para que a inicios de año se emitiera
la convocatoria, se iniciara el proceso de evaluación y una vez que estuviesen listos los montos
asignados para el Fondo se pueda estimar la línea de corte de la lista de prelación de proyectos
a apoyar.
FOSEC SEMARNAT
Modificación de proyectos e impacto
La participación en una gran diversidad de temas de investigación aplicada se ha modificado
desde las experiencias de los proponentes desde 2001 a la fecha. En las primeras
convocatorias, no había límite de proyectos, pero aunque fueron autorizados y la evaluación
fue positiva, el impacto no fue el esperado, ya que no se les dio seguimiento por la SEMARNAT
ni por alguna autoridad estatal, aunque sí fue importante para formar recursos humanos. La
asignación de los recursos a los proyectos se daba años después a la aprobación del proyecto,
y la solicitud de información y los tiempos estaban desfasados.
El impacto con las líneas de generación se han fortalecido en las aplicaciones que favorecen las
convocatorias de estos fondos. El fondo funciona bien en grupos multidisciplinares pero en
algunas áreas del conocimiento funcionan mejor. También ha sucedido que gracias a estas
convocatorias, se han consolidado grupos de investigación ya que el sello de CONACYT les dio
55
prestancia ante algunas autoridades. En el caso de los particulares, ha habido buenos
resultados y al final del proyecto se contó con formación de recursos humanos, tuvieron
infraestructura importante y hubo incentivos fiscales. , En los últimos dos años, ha habido
avances y se ha dado seguimiento desde el principio hasta que el proyecto finiquita, y se ha
tratado de mantener al evaluador para hacer el seguimiento de de los productos
comprometidos. La evaluación se realizó en línea y en ella se favorecen los productos que el
sector necesita. Se realiza una evaluación a mitad del proyecto para valorar los avances y
productos, pero en el caso de la evaluación que se realiza en línea, no permite generar
consensos.
Al participar en los fondos se dan pautas a los proponentes para trazar y desarrollar los
proyectos de investigación. En general las propuestas se alinean con los temas de la
convocatoria, pero en muchos casos no fue así, porque con el afán de traer recurso ajustaron
sus investigaciones a convocatorias que parecían que iban tan dirigidas y especializadas que
excluían a algunas instituciones educativas.
Los términos de referencia de mayor importancia para la evaluación son el grado de novedad
de la propuesta, dominio del tema, capacidad científica y tecnológica y capacidad
administrativa del grupo de trabajo; todas son importantes pero la administrativa es la más
limitante.
Convocatorias
En las convocatorias hay una limitada participación de investigadores y por tanto no
fortalecen los grupos de investigadores. Las convocatorias actuales favorecen el concurso de
investigadores jóvenes, pero la atención de problemas nacionales requiere grupos formados.
El tema de investigación también es una limitante, porque han tenido que adecuarse a
aquellos que se privilegian en SEMARNAT. La convocatoria tiene que ser abierta para
fortalecer la innovación. En 2006, la convocatoria adoleció de fuertes problemas por las
duplicidades entre el secretario administrativo y secretario técnico. Sería conveniente que sólo
uno de ellos esté a la cabeza del proyecto y sirva de interlocutor.
Sin embargo, en 2006 la convocatoria fue flexible y abierta; fue importante y dio la
oportunidad para la creación de grupos que se han mantenido y han tenido otros proyectos;
también contribuyó contribución a la formación de estudiantes. En 2002 también fue flexible
pero cuando el proyecto se terminó no se contó con quién pudiera evaluar el impacto de los
hallazgos y dar seguimiento a las recomendaciones generadas.
56
Evaluación
Hay que cuestionar si los fondos realmente cumplen con los objetivos para los que fueron
creados, evitando la politización, pero asegurando que se resuelvan las necesidades del sector
vinculando los resultados de la investigación a las necesidades específicas.
Se solicitan documentos, como la carta del usuario, que demoran los trámites ante CONACYT.
A veces los pares evaluadores son de otras áreas y no tienen la experiencia. En el caso de la
industria con componente ambiental, que han sido de los pocos que se han evaluados en este
tipo de convocatorias, la empresa toma sus propios tiempos y la evaluación de resultados, de
la última etapa, se retrasó.
Los proyectos se llevan a cabo, aunque administrativamente no cierran en tiempo, ya que de la
autorización y a la primera ministración de recursos hasta el cierre pueden transcurrir seis o
siete años para un proyecto inicialmente planteado para dos años. o. En la 2008, la evaluación
final del proyecto se prometió, pero no se recibió en tiempo.
La retroalimentación y términos de referencia son de mayor relevancia en la evaluación. El
evaluador es nodal y debe tener conciencia de la ciencia y la tecnología y el papel de la
multidisciplina en estas actividades.
Se recomienda buscar incentivos para los evaluadores, que su participación cuente para el SNI,
capacitar a los evaluadores, y establecer una comisión que vigile cómo se llevó la evaluación
de los proyectos cuando hay desacuerdos en los dictámenes. Además se recomienda que se
distribuya un manual del evaluador. Se recomienda crear un registro de los evaluadores que al
no emitir dictámenes rigurosos y académicos, permita vetar al evaluador.
Con el fondo SEMARNAT no se resolverán los problemas nacionales de México en materia de
medio ambiente, pero sí permite sacar tesis de doctorado, y tener un buen grupo de
investigación para problemas nacionales. Para resolver los problemas nacionales se requiere
otra política.
Las fortalezas de la evaluación, es el capital humano: los evaluadores aportan al desarrollo del
proyecto; al seguimiento oportuno en el tiempo; los evaluadores se han focalizado por área en
un padrón. Son útiles cursos de inducción para que participen exitosamente en los estados
porque muchos proyectos se quedan fuera porque los investigadores ponen la información en
campos que no corresponden. Se recomienda condicionar la ministración de los recursos
conforme al avance del proyecto del proponente y los compromisos asumidos.
El primer año sólo se reporta que no se llega el dinero, los tiempos administrativos no
coinciden con CONACYT. Si llega tarde el dinero el proyecto no puede empezar porque las
facturas no coinciden con las fechas y por tanto no son aceptadas. En suma, existe un desfase
57
entre el Sector, la SEMARAT, y el CONACYT, entre los aspectos administrativos y técnicos,
respectivamente.
Formatos de evaluación
Los formatos de presentación de las propuestas no son adecuados, las preguntas no se
entienden y el resumen que solicitan no está bien pensado en términos de los objetivos, el
impacto y los entregables en la solicitud. Deberán ser más específicas y concretas las
preguntas porque son ambiguas. En los formatos debe establecer el compromiso de
SEMARNAT con una persona específicamente para participar en las comisiones o bien para dar
seguimiento al proyecto. En algunos casos se realizan entrevistas a los proponentes con la
gente del fondo, pero no es recomendable se realice con los investigadores.
Los formatos han evolucionado y cuentan con información básica, pero hace falta hacer una
reunión con respecto a dudas de los proyectos, e integrar un glosario adicional al manual.
Sugerencias
Se sugiere integrar una convocatoria para investigadores jóvenes.
Es necesario abrir las convocatorias en lugar de restringirlas para investigadores
nuevos, pero cuidando el número de horas que el investigador asegura le dedicará
al proyecto.
Se tienen que establecer las prioridades del país pero también el impacto en el
desarrollo estatal y no solo de los proyectos.
Se debe considerar la formación de recursos humanos, cuántos artículos y en qué
tiempo y la experiencia del grupo en el tema, en los formatos de evaluación.
Los términos de referencia deben ser claros para evitar sesgos y promover la
evaluación doble ciego y analizar la viabilidad del proyecto, su metodología y los
recursos que se solicitan.
El fondo debe formar un grupo de vinculación para dar cauce y seguimiento a los
proyectos.
Se requiere una atención personalizada para dar seguimiento a la evaluación.
La convocatoria debe incluir que el seguimiento se dará cada 3 o 4 meses.
No hay que descuidar el impacto local del proyecto y no sólo valorar la novedad de
la propuesta.
Tener un curso de inducción para realizar la evaluación.
Ayuda mucho hacer reportes anuales.
Que evalúen etapas de manera presencial para que se mejore para la siguiente etapa de
evaluación para que se puedan hacer ajustes.
58
4. CONCLUSIONES Y RECOMENDACIONES
Con base en el documento metodológico de Evaluación de la Evaluación, en primer término se
aborda el análisis de objetivos, criterios y dinámica de los procesos; luego el análisis de
efectos. Posteriormente se apuntan las recomendaciones que se han estimado más relevantes,
dado que en el capítulo de información cualitativa se encuentran en detalle la mayor parte de
ellas. Después se presenta un análisis de carácter prospectivo, como resultado del análisis del
proceso de evaluación ex ante de los fondos utilizados como muestra. Se establecen, también,
algunas reflexiones sobre los fondos aplicados, en un ejercicio de análisis integral, para
apuntar cómo se insertan en el debate de la política pública de ciencia, tecnología e innovación
en México. Finalmente, se contextualizaron estos Fondos en la perspectiva de cumplimiento
de su propósito, bajo la mirada teórica del Conocimiento Aplicado no Aplicable (CANA), como
parte de la discusión respecto a la ciencia aplicada.
Análisis de objetivos, criterios y dinámica de los procesos
Si bien el estudio solamente se enfocó al análisis del proceso de evaluación ex ante, se percibe
el efecto que las propias características del programa y el diseño de las convocatorias tiene en
las actividades de evaluación. Por ejemplo, la precisión a tal grado en las demandas específicas
es percibida en muchas ocasiones como inhibidora de soluciones novedosas al problema,
necesidad u oportunidad planteada, y a su vez se llega a percibir como un filtro para eliminar a
ciertos sectores que podrían concursar por los fondos.
En el análisis de los fondos que se tomaron como muestra, se observó que los procesos y
criterios de evaluación ponderan elementos cualitativos de las propuestas, mismos que sirven
para ordenarlas y jerarquizarlas. En general, la decisión final integra elementos tanto
cualitativos como cuantitativos, considerando siempre la disponibilidad financiera de cada
convocatoria.
Un elemento importante es dimensionar el volumen de las evaluaciones. Ya se apuntaba en el
mapeo de Fondos como un factor crítico la cantidad de evaluaciones. Como muestra, basados
en las estadísticas históricas del CONACYT (2012-marzo 2014), en los 35 Fondos Mixtos, se han
recibido 5,810 Solicitudes y se han aprobado 5,619. Considerando que al menos se invita a 5
evaluadores a dictaminar los proyectos, ello ha significado 29,050 invitaciones y bajo la regla
de contar al menos con tres dictámenes de cada propuesta, ello ha implicado 17,430
dictámenes técnicos ex ante. De los 5,619 proyectos aprobados, estimando una duración de 4
etapas en promedio más el informe final, la tarea ha sido 5 revisiones, con un total de 28,095
evaluaciones de seguimiento de los proyectos financiados. Es decir, entre invitaciones,
59
dictámenes iniciales y seguimiento técnico, se han generado 74,575 transacciones de
evaluación. Como se refleja en los datos de 2012, se recibieron 1397 solicitudes y se aprobaron
478 proyectos, lo cual significa en cifras: 4,191 evaluaciones ex ante y 2,390 dictámenes de
seguimiento.
Para observar las cifras históricas desde el caso particular, el Fondo Mixto CONACYT-
GOBIERNO DEL ESTADO DE YUCATÁN, se han emitido 16 convocatorias, se han recibido 702
solicitudes y autorizado 258 proyectos. Lo cual ha implicado 3,510 invitaciones a evaluadores;
2,106 evaluaciones ex ante y 1,290 dictámenes de seguimiento técnico. En suma, si este
cálculo se extrapolara al total de Fondos Sectoriales existentes, realmente las cifras resultan
abrumadoras. No obstante lo crítico del sistema de evaluación de pares, es la piedra angular
para la recomendación del financiamiento público a la ciencia en México.
Los criterios de evaluación definidos por la autoridad son los que se especifican en la
convocatoria: la novedad de la propuesta, su pertinencia en torno a las demandas y viabilidad
financiera y académica. Los criterios definidos por los pares se enfocan a la calidad,
originalidad, experiencia del proponente, factibilidad técnica, impacto del proyecto. Los
criterios de la comisión de evaluación son los que definen el proceso. Aunque hay que señalar
que hay un punto crítico entre el trabajo de las comisiones de evaluación y el trabajo de los
evaluadores externos, ya que éstos no siempre satisfacen las necesidades que la comisión
requiere, por lo que en ocasiones éstas deben rehacer el trabajo que los evaluadores
realizaron sin profundidad y sin otorgar los argumentos necesarios para la recomendación
técnica o no de una solicitud.
Así, las comisiones de evaluación compensan la ausencia de evaluaciones bien justificadas.
Además han logrado equilibrar los intereses de los distintos sectores que demandan una
solución a un problema de investigación, desarrollo e innovación; también logran equilibrar las
propuestas de los actores. Se han convertido en un actor clave que da gobernanza y
continuidad a los programas. Empero, el rol central que tienen no siempre es bien percibido
por los proponentes, porque pueden considerar que el trabajo de la comisión es discrecional y
poco transparente sobre todo al carecer de una retroalimentación automática en la mayor
parte de los fondos.
Si bien existe un proceso estandarizado en las evaluaciones, hay aplicaciones diferenciadas de
acuerdo al fondo, a su vocación y enfoque. Los temas que se tratan de manera aislada son los
que corresponden a la calidad técnica de la propuesta. Dependiendo del fondo, se emite un
dictamen individual o por acuerdo de todos los evaluadores.
Los -fondos analizados han sistematizado de manera diferenciada su experiencia de los
procesos de evaluación. En la mayoría de los casos no hay una memoria o un aprovechamiento
60
sistemático de las experiencias; por ejemplo, los miembros de las comisiones no se acercan o
no tienen acceso a las actas existentes de los trabajos previos. Lo que mantiene la transmisión
de experiencias es la permanencia de algunas personas en las comisiones o comités. Los
evaluadores externos no pueden acceder a la memoria de los procesos de evaluación. Este
aspecto es un terreno de oportunidades, porque no se han diseñado procesos de memoria
para saber cómo se hace más ágil el proceso y cómo se pueden responder a situaciones sui
géneris. En esta memoria resultan valiosos los talleres de inducción y las evaluaciones
presenciales, donde los árbitros especializados intercambian experiencias y conocimiento
acumulado de distintos procesos.
En las evaluaciones, la trayectoria de los proponentes es un aspecto que se toma en cuenta,
aunque de manera diferenciada. En algunos casos es una ponderación muy importante, sobre
todo en fondos en los que se conocen los proponentes y pueden diferenciar entre aquellos
que tienen una amplia experiencia y los que inician en el proceso. Los antecedentes
académicos de los proponentes responsables, sus credenciales y trayectoria, son valorados
positivamente por los evaluadores en la medida en que ofrecen un indicador cercano de
liderazgo académico. La valoración es más integral que fragmentada.
No se percibe de manera abierta una distinción de criterios etarios, de género o contingencia
individuales. Los procesos son equitativos y se basan exclusivamente en pertinencia, calidad
técnica de la propuesta, fortaleza institucional y del grupo de trabajo, factibilidad y viabilidad.
Todos son aspectos de calidad pero no discrimina en función de condiciones que atenten de
manera discriminatoria contra los derechos de los proponentes.
Durante la evaluación se establecen en lo general los siguientes criterios para la formulación
de los dictámenes:
Pertinencia de la propuesta en el contexto de la convocatoria
Calidad técnica de la propuesta.
El Currículum Vitae Único (CVU) del proponente y del grupo de trabajo.
Experiencia en el área de investigación al que pertenece la propuesta.
Experiencia según la orientación (aplicada, de transferencia) de las propuestas.
Experiencia en desarrollos tecnológicos, patentes, prototipos, etc.
La relación que guardan estos indicadores con los criterios de selección es garantizar
no solo la viabilidad técnica del proyecto, sino su factibilidad en manos del grupo de
investigación
No existen de manera explícita los mecanismos de control para evitar la simulación y la
duplicidad de apoyos. Sin embargo, todas las convocatorias del CONACYT se rigen por los
61
principios de ética y confianza de todos los actores que intervienen en el proceso, de los que
formulan la solución, los que hacen propuestas y los que evalúan. Como parte de los requisitos
para los postulantes, se firma de manera electrónica una carta de no duplicidad y de veracidad
de lo expuesto y se cuenta con el aval de las cartas institucionales, que dan fe de la propuesta.
En los casos excepcionales de proponentes con incumplimientos recurrentes o dolosos, estos
se “boletinan” y vetan entre los fondos CONACYT. Respecto a los evaluadores, generalmente
firman una carta de confidencialidad e imparcialidad en su labor.
Para los proponentes de los Fondos Mixtos y Fondos Sectoriales no existe un mecanismo
similar al aceptado internacionalmente para poder decir qué especialistas en el área no
quieren que evalúen sus propuestas, por considerar que hay conflictos de intereses u otros
motivos que los imposibilitan para ofrecer una evaluación objetiva.
En Yucatán la evaluación es presencial y tiene la oportunidad de réplica en tiempo real; se
discute y defiende en persona el proyecto ante los evaluadores. En Querétaro se hace algo
similar, pero conservando la confidencialidad entre evaluadores y proponentes. En otros
fondos se ha identificado la necesidad de establecer vías de comunicación anónimas (a través
de chats) entre proponentes, evaluadores externos y/o comisiones de evaluación para aclarar
dudas durante el proceso de evaluación. En algunos casos también se apunta a la posibilidad
de entrevistas presenciales ante el comité evaluador, de forma similar al proceso yucateco.
Los formatos de evaluación deben ser reformados en casi todos los fondos estudiados, para
que las evaluaciones externas puedan dar más ponderación a argumentos cualitativos. Todos
los formatos deben pasar a ser electrónicos para facilitar la labor de evaluadores, comisiones y
proponentes.
Es una opinión generalizada que se necesitan más y mejores evaluadores externos, incluyendo
evaluadores con experiencia empresarial y méritos fuera del RCEA. Se sugiere la creación de un
padrón de evaluadores y evaluaciones realizadas por los evaluadores en el RCEA, en el que se
califique su nivel de utilidad o acierto para facilitar la labor de asignaciones futuras, así como el
reconocimiento y recompensa a la labor de evaluación bien a través de pagos, puntaje en el
SNI u otros.
Análisis de efectos
Sobre el tiempo de evaluación, en el caso de Yucatán se tiene claro que para el evaluador el
tiempo que dedica a la evaluación ex ante es de 2 días. El tiempo dedicado en otras etapas es
62
variable, hay fondos que pueden tomar de dos a quince días. Los proponentes dedican tiempo
variable en la elaboración de sus propuestas, desde varios días hasta semanas; dependiendo
de la experiencia o de que existan áreas especializadas para presentar propuestas en el caso
de las empresas. El tiempo que dedican a la evaluación los evaluadores varía, puede ser de
cuatro a seis horas hasta dos días.
Entre los entrevistados de instituciones de educación superior, no se percibe que las
convocatorias estén sirviendo para orientar sus agendas de investigación, de desarrollo e
innovación. Se distraen de su trayectoria académica para participar en los programas para
obtener fondos que les permitan seguir investigando, en ramas cercanas a sus investigaciones
prioritarias. En los centros públicos de investigación, infiriéndolo por la cantidad de proyectos
apoyados, parece que hay una orientación de las líneas de investigación en respuesta a las
convocatorias. En el caso de los proponentes del sector empresarial los fondos permiten
ciertas orientaciones en el ámbito de las patentes, pero no en la orientación de las estrategias
y programas de investigación.
No existen criterios diferenciados para evaluar proyectos cuya institución de origen sea de
diferente tamaño. Se parte de la premisa de que los procesos son equitativos para todos los
participantes.
Para enfrentar la diversidad de composición de las comisiones de evaluación, se intenta
integrar personas de distintas instituciones. Por lo general están representados el sector
académico, el sector empresarial y distintos sectores del gobierno. En cuanto a los evaluadores
hay estados que privilegian evaluadores que sean especialistas en los problemas locales,
aunque no tengan su adscripción en la entidad. Por lo regular, se busca que los evaluadores
externos sean de distintas instituciones. Para evitar sesgo en la selección de propuestas con
base en la institución proponente, los evaluadores son seleccionados de diferentes
instituciones. Se excluye únicamente a la institución proponente, por el evidente conflicto de
interés que podría generarse.
La no recomendación de propuestas depende del resultado de su evaluación y existe un efecto
negativo por la forma en la que se los comunican. Cuando un proponente no recibe el apoyo
del fondo se genera una situación de escepticismo. En muchas ocasiones descartan volver a
aplicar al fondo y se convencen de que son procesos inequitativos, lo cual puede deberse a la
ausencia de una retroalimentación sistemática a los solicitantes.
No se evaluaron los efectos sobre la salud de los distintos individuos que participan en los
procesos de evaluación de los Fondos Mixtos y Fondos Sectoriales. Es un punto pendiente para
futuras investigaciones. Se habló de casos aislados de colegas que han enfermado debido al
estrés.
63
Recomendaciones para los Fondos Mixtos y Sectoriales
Para mejorar la emisión de convocatorias se requiere capacitar a los emisores –demandantes-,
para que no fallen al traducir el “problema que requiere solución” a un “problema de
investigación, desarrollo e innovación”, e incluso, ya que están fallando en la definición de los
límites de tiempo que el desarrollo de un proyecto requiere para entregar productos de
calidad. La falta de profesionales en el planteamiento de las demandas y en el cálculo de los
tiempos requeridos para entregar productos de calidad, así como en la formulación para
exhibirlas en las convocatorias podría quizá suplirse si los demandantes/emisores son más
incluyentes y consultan a los sectores que potencialmente solicitarán los fondos. En la
promoción de la ciencia, la tecnología e innovación se requiere la visión de todos. Es un
aspecto que se analiza más adelante, asociado al fenómeno CANA.
Cuando se habla de profesionalización se piensa en una consistencia en el trabajo de una
persona que puede entender las diferencias entre ciencia básica y ciencia aplicada y las formas
de evaluarlas. La profesionalización no significa una formación especializada para un grupo
selecto, sino la capacitación para que los evaluadores puedan trabajar en distintas propuestas
de acuerdo a criterios diferenciados y específicos.
Una de las formas de profesionalizar la evaluación, para construir y fortalecer una cultura de
evaluación es la realización de encuentros, en los que los evaluadores, a manera de seminario
o coloquio, puedan exponer sus experiencias, destacando los procesos en los que se tuvo que
innovar alguna solución en la evaluación, ya sea por el tipo de propuestas presentadas o por la
cantidad de proyectos a evaluar. Aquí también sería importante una participación de los
distintos agentes y actores que participan en los fondos aplicados, para aprender de las
experiencias e intercambiar las mejores prácticas de evaluación.
Respecto a los Fondos Sectoriales, se percibe que ha sido limitada la capacidad de respuesta a
las soluciones que el sector salud y medio ambiente han requerido. Los comentarios se
centraron en que estos fondos han sido valiosos para la formación de capital humano y la
producción de conocimiento relevante. Un factor crítico para los Sectoriales, más allá de los
aspectos de evaluación analizados, tiene que ver con su administración y gestión, a partir de la
coordinación entre las Secretarías Federal y el CONACYT. Será un factor fundamental en
futuros estudios, analizar los resultados e impactos generados, tanto por los Fondos
Sectoriales como los Mixtos, a más de una década de su creación.
Por su parte, los Fondos Mixtos CONACYT – Gobiernos de los Estados y Municipios, a 13 años
de su constitución, se han venido consolidando como instrumentos de financiamiento
64
estratégico de acciones encaminadas a fortalecer el desarrollo local a través de la Ciencia, la
Tecnología y la Innovación. Como todo instrumento de política pública para la
descentralización de la ciencia y la tecnología, tiene fortalezas y oportunidades de mejora para
garantizar su impacto. En el siguiente cuadro se sintetizan algunas fortalezas y oportunidades
de mejora a partir del análisis realizado, mismas que seguramente pueden extrapolarse a los
Fondos Sectoriales, aunque no se cuente con información suficiente a partir de este estudio.
Por supuesto que muchas no se concentran en el aspecto analizado, la evaluación de calidad
técnica de las propuestas (ex ante), porque una de las primeras conclusiones es que
difícilmente se pueden extrapolar los procesos que son integrales y que corresponden a un
todo: las características y objeto del fondo, sus principios orientadores, sus objetivos, la
determinación de las demandas, el diseño de las convocatorias, la pertinencia de las
solicitudes, la evaluación ex ante, la aprobación de proyectos, la formalización de los apoyos, el
seguimiento técnico y administrativo, la evaluación ex post, la evaluación del programa, la
difusión de resultados.
Resumen de Fortalezas y Oportunidades de Fondos Mixtos
FORTALEZAS OPORTUNIDADES DE MEJORA
Sus fines: atención de los problemas, necesidades u oportunidades del estado definidas por el gobierno local.
Incrementar las aportaciones al fideicomiso para atender de manera integral los problemas prioritarios del estado.
Es el mejor Instrumento de descentralización de la investigación en el país.
Mejorar la calidad e impacto de las demandas en las convocatorias: mantener el enfoque a la demanda.
Apropiación del instrumento por los Consejos Estatales de Ciencia y Tecnología: En un importante número de estados su actuar gira alrededor del FOMIX.
Mejorar la calidad y autonomía de las comisiones de evaluación y prevenir las interferencias de los representantes estatales en los procesos de evaluación.
Propicia la corresponsabilidad y coordinación entre los Gobiernos Federal, estatal y municipal para el desarrollo de la ciencia y la tecnología desde lo local.
Medición del impacto de los proyectos financiados.
En este instrumento existe una participación de concurrencia por parte del gobierno estatal, lo cual hace que el estado adquiera un compromiso directo en el proceso de descentralización de la investigación.
La existencia de las asimetrías por la diferencia de desarrollo económico de los estados.
Decisiones descentralizadas: los órganos de evaluación y decisión se integran en su gran mayoría por personas del estado.
Mejorar la difusión, divulgación y transferencia de resultados.
65
Flexibilidad del instrumento para atender con un enfoque integral los problemas y oportunidades de los sectores prioritarios para el desarrollo local.
Mejorar procesos de seguimiento técnico y financiero de proyectos en desarrollo.
Se resuelven problemas específicos y de prioridad para el estado.
Fortalecer los procesos de transferencia y adopción de los resultados, a partir de las soluciones generadas en los proyectos apoyados, así como la difusión de experiencias.
Se promueve la participación y la formación de recursos humanos en cada una de las entidades federativas de acuerdo a la vocación e intereses que cada estado está requiriendo
Difundir resultados en términos de capacidades obtenidas, como formación de capital humano, a través del financiamiento de FOMIX
Existe la posibilidad de dotar de infraestructura de investigación a los centros de Investigación y a las instituciones de educación superior, así como promover su ingreso al PNPC de los programas que ofrecen dichas instituciones.
Fortalecer los procesos de fortalecimiento y atracción de capacidades en las entidades, de manera diferenciada, para atenuar las brechas y asimetrías existentes en los estados.
El debate de la política de CTI mexicana
En un marco de referencia más amplio, pero sin duda asociado al tema de evaluación de la
evaluación, es importante retomar la discusión planteada por la Dra. Rosalba Casas (2013),
cuando apunta las siete premisas de la discusión sobre el presente y futuro de la política
pública de ciencia, tecnología e innovación en México: 1) sociedad basada en conocimiento; 2)
definir un paradigma de política; 3) conciliar concepciones en debate; 4) repensar las formas
de producción del conocimiento; 5) resolver el debate entre ciencia básica y aplicada; 6) el
modelo interactivo como eje de las políticas y 7) definir prioridades nacionales en CTI.
Respecto al primer paradigma, en la introducción se mencionó la innegable importancia del
conocimiento y de sus contribuciones per se al desarrollo de un país, sin embargo también
existen brechas y el desafío es pensar en una sociedad basada en conocimiento, en donde este
recurso impacte de manera equitativa a los diferentes grupos sociales y mejore la calidad de
vida de la población.
Definir un paradigma de política, como expresa Rosalba Casas, donde puedan conciliarse la
CTI como motor de progreso; como fuente de solución de problemas y como fuente de
oportunidades estratégicas. En la premisa 3, establecer las definiciones necesarias de cómo
conciliar los modelos académico, empresarial y social. El Modelo académico: basado en una
concepción “ofertista”, con énfasis en la investigación básica; Modelo empresarial: basado en
la satisfacción de las demandas de las empresas, con énfasis en la investigación aplicada y la
innovación y el Modelo social: atención a los problemas sociales que requieren del
66
conocimiento. Énfasis en la percepción de la necesidad de conocimiento y en una efectiva
transmisión de conocimiento que garantice la apropiación social del mismo.
La cuarta premisa significa repensar las formas de producción del conocimiento, con una
combinación o disyuntiva entre un modelo lineal o un modelo interactivo:
Fuente: Casas (2013) “Premisas básicas de las políticas de ciencia tecnología e innovación”, ponencia presentada en el Seminario de discusión sobre políticas de ciencia, tecnología e innovación en México. FCCyT.
Y la quinta premisa, sustancial para el análisis de Evaluación de la Evaluación, porque hablar de
ciencia aplicable no es sinónimo de ciencia aplicada. ¿Acaso los Fondos Mixtos y Sectoriales
han contribuido a estimular el fenómeno de Ciencia Aplicada no Aplicable? La pregunta invita a
estudios posteriores sobre el tema. Luego entonces, se deben replantear, repensar los fondos
para el cumplimiento de su propósito y filosofía: resolver problemas.
Fuente: Casas (2013) “Premisas básicas de las políticas de ciencia tecnología e innovación”, ponencia presentada en el Seminario de discusión sobre políticas de ciencia, tecnología e innovación en México. FCCyT.
67
Ante la complejidad de lo expuesto, la autora sugiere analizar como vías posibles para la
definición de una política de CTI la Sexta premisa: El modelo interactivo como eje de las
políticas. Es decir, promover un modelo interactivo que fomente:
a. Formación de redes de colaboración e intermediación entre los actores sociales que
intervienen en la producción y uso del conocimiento: universidades, centros públicos
de investigación, empresas, instituciones y organizaciones que demandan
conocimiento, sectores sociales, productores, etc.
b. Fortalezca la interacción entre disciplinas y campos del conocimiento para resolver
problemas económicos y sociales.
c. Favorezca la interacción y los cruces entre áreas del conocimiento, sectores y
problemas estatales y regionales.
En consecuencia, la séptima premisa, conllevaría a Definir prioridades nacionales en CTI9,
mediante:
a. Identificar a través de la investigación las demandas sociales de conocimiento.
b. Definir las contribuciones de los distintos campos del conocimiento para la resolución
de los problemas identificados y priorizados.
c. Definir el tipo de impactos que se pretende alcanzar en cada área priorizada:
incremento de exportaciones, sustitución de importaciones, eficiencia económica,
desarrollo de la sociedad, mejorar la calidad de vida, desarrollo del medio ambiente,
contribución al nuevo conocimiento.
Conocimiento Aplicado no Aplicable (CANA)
En este orden de ideas, muchos de los proyectos que han sido financiados por FOMIX y FOSEC
están destinados a la elaboración de productos académicos que aumentan el prestigio y la
visibilidad de los investigadores a nivel nacional e internacional, pero con mínimos procesos de
apropiación local. Der tal manera, que en general la percepción es que se financian iniciativas
que poco o nada contribuyen al mejoramiento de los contextos locales, ej.: las áreas llamadas
"portadoras de futuro" y que se colocan como prioritarias en nuestras políticas en el supuesto
de que algún día haremos el "catching up" para llegar a ser "players" globales, a la par de los
países que basan sus economías en el conocimiento y la técnica. El problema no han sido el
9 Sobre el particular, el Foro Consultivo realizó la identificación de temas y enfoques estratégicos para el diseño del
Programa Especial de Ciencia, Tecnología e Innovación 2012-2037 y un ejercicio de análisis prospectivo para la elaboración de 19 iniciativas/oportunidades estratégicas de CTI para la solución de problemas nacionales en México, con participación de la academia, gobierno y sector productivo.
68
área de los proyectos sino su orientación y alcance que no han contemplado el impacto local y
la apropiación social.
Con relación a la definición de problemas o necesidades en los fondos, resulta fundamental
apuntar la complejidad inherente. Definir cuáles son las necesidades sociales que pueden ser
objeto de “demandas de conocimiento” dista de ser un problema simple, puesto que implica
interrogarse sobre quiénes son los actores que tienen la legitimidad y la capacidad de formular
dichas demandas. Ello implica determinar cuáles son los mecanismos a través de los cuales se
traducen “problemas sociales” en “problemas de conocimiento”. Este aspecto, reviste una
especial importancia, en la medida en que los propios actores que padecen necesidades
sociales suelen ser, al mismo tiempo, quienes tienen mayores dificultades para realizar este
trabajo de traducción, de modo que, por lo general, existen “voceros” que hablan en nombre
de los que no tienen voz. Entre estos voceros, dos de ellos resultan particularmente
importantes: los propios científicos y el estado, a través de diferentes agencias (Kleimer, 2006).
Luego, como hemos visto en el análisis, se realiza una convocatoria en donde los
investigadores presentan proyectos asociados con esos problemas, por lo general en términos
muy amplios que pretenden conectar el conocimiento que ellos producen con el desarrollo de
soluciones al problema en cuestión. Así, los proyectos suelen ser aprobados y financiados, sin
que exista luego una evaluación ex post sobre la verdadera utilidad social de los conocimientos
producidos10.
El proceso, como se ha indicado, se caracteriza como el desarrollo de Conocimiento Aplicable
No Aplicado (CANA) (Kreimer y Thomas, 2005); los grupos de investigación más fuertes
presentan, por lo general, una alta y prestigiosa producción, pero su aporte al desarrollo de las
sociedades locales ha sido históricamente marginal. Asimismo, las evaluaciones en términos de
relevancia social de las investigaciones se limitan a un análisis formal, en vez de evaluar los
mecanismos que posibilitarían una utilización efectiva de los conocimientos producidos
localmente, para resolver, al menos en parte, la tensión inicial que lleva a la producción de
CANA.
Kleimer, al analizar el tema en el ámbito latinoamericano, subraya que no es posible evaluar
hacia dónde se orientará esta dinámica en el futuro, puesto que ello depende, en buena
medida, de las articulaciones que desplieguen los actores locales en cada uno de los países de
10 Sobre el particular, el propio CONACYT y como iniciativa de los Comités de los propios Fondos se han realizado
ejercicios de evaluación de resultados y de impacto, así como de difusión y transferencia de resultados. Entre ellos puede citarse el estudio de Evaluación de la satisfacción y percepción de impacto de los usuarios directos e indirectos del programa Fondos Mixtos (FOMIX) (2011); Análisis del impacto del fondo sectorial de innovación tecnológica Secretaría de Economía-CONACYT convocatorias 2007-2009; Análisis de Consistencia y Resultados de Programas y Fondos CONACTY realizadas por CONEVAL (2009-2013), disponible en http://www.conacyt.mx/index.php/el-conacyt/evaluacion-de-programas-conacyt .
69
la región. Resulta difícil saber si las instituciones de formación e investigación, junto con los
organismos de políticas de CTI, las agencias financiadoras, los propios investigadores
practicantes y otros actores sociales sensibles a la producción de conocimiento, serán capaces
de diseñar acciones para articular la visibilidad internacional de las investigaciones, sustentada
en la calidad, con instrumentos que permitan la apropiación local de los conocimientos para
producir más Conocimiento Aplicable Sí Aplicado (CASA) y menos CANA.
En síntesis, hay política pública derivada de la Ley de Ciencia y Tecnología respecto a los fondos
aplicado, hay un conocimiento valioso y una inversión financiera fundamental, así como casi
13 años de experiencia en los fondos Mixtos y Sectoriales, por tanto, una recomendación
importante es que se socialicen los resultados de manera amplia, realizar las evaluaciones de
impacto, la adopción y transferencia de resultados hacia sectores usuarios de la investigación,
para dimensionar con precisión hasta qué punto se ha generado el fenómeno Conocimiento
Aplicado No Aplicado (CANA) y en dónde si se ha dado el Conocimiento Aplicado Si Aplicable
(CASA).
Para concluir, es importante señalar que si bien en términos generales se valora como
favorable el cambio de paradigma que se dio con la constitución de los fondos, al sumar al
esquema de oferta de conocimiento, el modelo orientado a la demanda de conocimiento
(proyectos aplicados), son necesarios estudios a profundidad sobre las repercusiones y
efectos.
¿Cuál es línea de aprendizaje generado entre las necesidades planteadas versus las soluciones
generadas? Un proceso que se aprecia crítico es la planeación en el Proceso Estandarizado de
Operación (PEO) de Fondos al que se ha aludido en este trabajo. Se parte de la convocatoria
como elemento de inicio del proceso, sin embargo, existe un proceso de planeación previa del
sector o del gobierno estatal para definir las prioridades y demandas de conocimiento. Un
proceso de elevada complejidad, con intervención de diversos actores. ¿Qué lecciones
aprendidas existen entre los demandantes y los oferentes del conocimiento?
Falta reflexión acerca de la necesidad de transferencia y adopción de resultados de los
proyectos aplicados, que han contribuido con distintas variantes y magnitudes a los problemas
u oportunidades que les dieron origen. Una asignatura pendiente en esta reflexión es
socialización de resultados (exitosos y no exitosos) para tener una memoria de lo sucedido en
más de 12 años11. En un sentido muy amplio, hay que dar cuenta de los logros y desafíos,
11 Un punto de referencia para ello son la serie de libros que la CONACYT elaboró con el Foro Consultivo Científico y
Tecnológico entre 2010 y 2012 para la difusión de resultados de los Fondos Mixtos y del Fondo Regional (FORDECyT), disponibles en http://www.foroconsultivo.org.mx/home/index.php/libros-publicados/fomento-en-cti-e-impacto, así como las distintas iniciativas de difusión de los Fomix, como la Revista Fomix Campeche http://www.fomixcampeche.gob.mx/home/nuevo/fc_pagina_novedad14.html, también los talleres de difusión y
70
difundir y poner en perspectiva y por supuesto, rendir cuentas, aprovechando las experiencias
CANA y CASA.
transferencia de resultados que realizan de manera periódica los distintos Fondos, así como los foros de mejores prácticas con la participación de secretarios técnicos y administrativos, o publicaciones como Fomix CONACYT-YUCATAN: Logros, actualidad y perspectivas (2002-2012), por mencionar sólo algunos esfuerzos en este sentido.
71
5. REFERENCIAS
Casas, Rosalba, “Premisas básicas de las políticas de ciencia tecnología e innovación”, ponencia presentada en el Seminario de discusión sobre políticas de ciencia, tecnología e innovación en México, organizado por el Foro Consultivo Científico y Tecnológico, 2012. Documento electrónico: http://www.foroconsultivo.org.mx/eventos_realizados/permanente1/ponencias/casas.pdf (visitado el 20 de mayo de 2013).
CONACYT, Informe General del Estado de la Ciencia y Tecnología 2012, México, CONACYT-SIICyT, 2013. Versión electrónica: http://www.siicyt.gob.mx/siicyt/docs/Estadisticas3/Informe2012/INFORME_2012.pdf (visitado el 20 de mayo de 2013).
CONACYT, Estadísticas de Fondos Mixtos al cierre de marzo 2014, México, CONACYT, Dirección Adjunta de Desarrollo Regional, 2014. Versión electrónica:
http://www.conacyt.mx/images/conacyt/Fondos/mixtos/Fondo-Mixtos-Estadisticas-2014.pdf
Foro Consultivo Científico y Tecnológico, Evaluación de la Evaluación. Documento metodológico (documento interno de trabajo), 2013.
Foro Consultivo Científico y Tecnológico, Evaluación de proyectos multi/inter/transdiciplinarios. Reporte de Investigación, Natalia Carrillo y Daniel Inclán (Coords), México, marzo de 2014.
Jaso, Marco, et. al., Propuestas para contribuir el diseño del PECiTI 2012-2037. Metaevaluación del Programa Especial de Ciencia, Tecnología e Innovación (PECiTI 2008-2012), México, FCCyT, 2013. Documento electrónico: http://www.foroconsultivo.org.mx/documentos/peciti_2012_2037/peciti_7.pdf (visitado el 20 de mayo de 2013).
Klemer, Pablo. “¿Dependientes o integrados? La ciencia latinoamericana y la nueva división internacional del trabajo”. Revista Nómadas No. 24. Abril 2006. Universidad Central – Colombia
Kreimer, P. y H. Thomas, “What is CANA-AKNA? Social Utility of Scientific and technological Knowledge: challenges for Latin American Research Centers”, en: J.B. Meyer y M. Carton, Development through knowledge? A new look at the global knowledge based economy and society, Ginebra, IUED, 2005.
72
6. ANEXOS
Guías de entrevista
Análisis de los Procesos de Evaluación en los Fondos Mixtos
Guías de Preguntas para los Principales Actores
Introducción
Con el objetivo de fortalecer los diagnósticos de los procesos de evaluación de las propuestas
para financiamiento en los Fondos Mixtos, comprender su dinámica y emitir recomendaciones
para su mejor funcionamiento, a continuación se proponen una serie de preguntas dirigidas a
los principales actores involucrados en estos Fondos, particularmente a quienes se encuentran
más directamente involucrados con los procesos de evaluación:
1. Presidente del Comité Técnico y de Administración (CTA) del Fondo 2. Integrantes del CTA 3. Secretario Técnico del Fondo (Coordinador de la Comisión de Evaluación) Miembros de
la Comisión de Evaluación o equivalente en el estado 4. Evaluadores Externos 5. Proponentes de Proyectos
Estas preguntas buscan rescatar las inquietudes, objetivos y temas contenidos en el
Documento Metodológico, así como adaptarlas a las características de los procesos de
evaluación de este programa.
En particular, han sido planteadas para analizar el caso del Fondo Mixto de Yucatán, con el
propósito de ensayar este instrumento, derivar lecciones y poderlo aplicar a otros Fondos
Mixtos, entre los cuales se podrían encontrar los de Nuevo León y Jalisco, Querétaro.
En la preparación de las mismas, se tomó como referencia una muestra de las convocatorias y
sus anexos de demandas, los Términos de Referencia, la Metaevaluación de los Fondos Mixtos
contenida en la Meta evaluación del PECITI 2008-20012 (FCCyT, 2013)12 y el Reglamento de
Evaluación del Manual de Operación del Fondo de Chihuahua.13
La mejora del presente instrumento requerirá del estudio del Manual de Operación del Fondo
Mixto de cada estado, especialmente las secciones que reglamentan los procesos de
evaluación. Adicionalmente, será necesaria la revisión de otras evaluaciones de los Fondos
12 Evaluación de la Evaluación. Documento metodológico (documento interno de trabajo). 13 Se tomó como ejemplo el de Chihuahua porque por el momento fue el único que se encontró disponible en Internet en una primera exploración.
73
Mixtos disponibles en el portal web del FCCyT14, la discusión entre los miembros del subgrupo
de proyectos y la retroalimentación que podamos obtener de funcionarios y especialistas
conocedores del funcionamiento de los Fondos.
Es útil tener en cuenta que en el caso de los Fondos Mixtos los secretarios técnicos son los
Directores Regionales del CONACYT; mientras que los secretarios administrativos, en su gran
mayoría son los directores de los Consejos estatales de ciencia y tecnología de la entidad
correspondiente.
Las Comisiones de Evaluación son integradas a partir de las propuestas del CONACYT y del
Gobierno del Estado, de manera conjunta, y son ratificadas por el CTA de cada Fondo Mixto.
Guía 1
Dirigida al Presidente del CTA y al menos 3 integrantes de sus
integrantes
1. ¿Quiénes han integrado la Comisión de Evaluación del Fondo?
a) ¿Cuál es la adscripción de los integrantes de la Comisión?
b) ¿Qué procesos y criterios se han seguido para su selección?
c) ¿Con qué frecuencia se renuevan?
2. ¿Qué dependencias de gobierno, instituciones y organizaciones cuentan con representantes en el Comité Técnico y de Administración (CTA) del Fondo?
3. De acuerdo con los Términos de Referencia, el Grupo de Análisis de Pertinencia está integrado por representantes de: instancias estatales usuarias de los resultados del proyecto, miembros de la Comisión de Evaluación, y/o especialistas que el CONACYT o el Gobierno del Estado determinen. ¿Se cuenta con algún criterio para decidir cuántos integrantes deben provenir de cada grupo?
4. ¿Cuántas veces se reúne, en promedio, la Comisión de Evaluación por cada convocatoria, y cuál ha sido la duración aproximada de sus sesiones de trabajo?
5. ¿Considera que las diferentes modalidades de apoyo establecidas en las convocatorias genera algún tipo de reto en los procesos de evaluación (p. ej. identificación de evaluadores externos)? (Modalidades: Investigación Aplicada, Desarrollo Tecnológico, Fortalecimiento de Infraestructura, Difusión y Divulgación, Consolidación de Grupos y Proyectos Integrales).
6. ¿Qué factores han influido en la selección de las modalidades de apoyo en la redacción de las convocatorias? (P. ej., preferencia por Investigación Aplicada vs Desarrollo Tecnológico,
14 http://www.foroconsultivo.org.mx/home/index.php/about-foro/proyectos/1507-grupo-evaluacion-de-la-evaluacion
74
Fortalecimiento de Infraestructura, Difusión y Divulgación, Consolidación de Grupos o Proyectos Integrales).
7. ¿Cómo se vincula con el CTA en la gestión de los procesos de evaluación?
8. ¿Se han realizado ajustes en los procesos generales de evaluación? En caso afirmativo, ¿de qué necesidades se derivaron?
9. ¿Se han realizado cambios en el Manual de Operación del Fondo? En caso afirmativo, ¿podría indicarnos las razones y el tipo de ajuste?
10. ¿Identifica alguna(s) fortaleza (s) en los procesos de evaluación de solicitudes?, ¿cuál (es) considera que sea (n) la(s) principal (es)?
11. ¿Cuáles son las problemáticas en los procesos de evaluación de solicitudes?, ¿cuál (es) considera que sea (n) la(s) principal (es)?
12. En su opinión, ¿el Consejo Estatal de ciencia y tecnología cuenta con el personal, recursos materiales, técnicos y/o financieros idóneos para gestionar adecuadamente el proceso de evaluación? En caso negativo, por favor explique.
13. ¿Las convocatorias o términos de referencia han previsto la presentación de recursos de impugnación como un derecho de los solicitantes?
14. En caso afirmativo ¿Con qué frecuencia se presentan recursos de impugnación ante las decisiones de financiamiento? En caso de presentarse, ¿se han impugnado los dictámenes negativos o los montos aprobados?
15. ¿Podría indicar si se cuenta con mecanismos de retroalimentación a los proponentes y en qué consisten?
16. ¿El programa cuenta con algún mecanismo para garantizar la veracidad de la información de los participantes, durante las fases de evaluación?
17. ¿Qué mecanismos se han dispuesto para garantizar la imparcialidad y objetividad de la evaluación de los individuos y propuestas evaluadas?
18. ¿Se tienen implementadas medidas de protección de la confidencialidad de la evaluación durante el proceso de evaluación?
19. ¿En su opinión, los formatos de evaluación poseen los contenidos y diseño idóneos para verter su valoración de los proyectos?
20. Los términos de referencia establecen que el secretario técnico coordinará la evaluación técnica de los Informes Finales de los proyectos. ¿Cuál es el propósito de esta evaluación, qué evaluadores participan y cuáles son las posibles consecuencias de sus dictámenes?
21. ¿Considera que la implementación de nuevos sistemas digitales o la mejora de los existentes podrían contribuir a una gestión más efectiva y eficiente de los procesos de evaluación? En caso afirmativo, por favor explique.
22. ¿Prevé algún tipo riesgo u oportunidad en los procesos de evaluación en los siguientes cinco años?
75
23. ¿Se han llegado a recibir alguna vez observaciones por parte de la Contraloría del Ejecutivo o la Secretaría de la Función Pública a los procesos de evaluación y seguimiento de los proyectos?
24. ¿Cuenta el Comité Técnico y de Administración del Fondo con algún tipo de política para a apoyar más proyectos de presupuesto relativamente bajo en lugar de concentrar recursos en pocos proyectos de alto presupuesto?
25. ¿Tendría alguna propuesta o comentario con relación a cómo podríamos contar con procesos de evaluación de proyectos más eficientes y efectivos?
26. ¿Sería posible conocer una muestra aleatoria de las “Actas” de la Comisión de Evaluación en donde se anexan los dictámenes finales con las observaciones y recomendaciones que formula los evaluadores a los proyectos, como parte de la “respuesta razonada” prevista en los términos de referencia?
Guía 2
Dirigida al Coordinador de la Comisión de Evaluación
(Secretario Técnico del Fondo).
1. ¿Durante el proceso de selección de evaluadores, cómo se determina la cantidad de evaluadores que se invitará a dictaminar solicitudes?
2. ¿Se suele preferir que los evaluadores estén adscritos a alguna institución del estado o región?
3. ¿Qué elementos curriculares o de habilitación son de mayor importancia al momento de seleccionar a los evaluadores?
4. ¿Durante la última convocatoria, aproximadamente a cuántos evaluadores se invitó, cuántos declinaron, cuántos aceptaron y cuántos concluyeron la dictaminación?
5. ¿Se tiene alguna estimación histórica de la tasa de evaluadores invitados que concluye los procesos de dictaminación?
6. ¿El Fondo cuenta con mecanismos de inducción o capacitación para los evaluadores que aceptan participar en el proceso?
7. Cuando se presentan situaciones imprevistas ¿hasta qué punto los evaluadores pueden tomar decisiones?
8. Además de los lineamientos normativos establecidos por el Manual de Procedimientos del Fondo, ¿la Comisión de Evaluación cuenta con lineamientos propios más específicos? ¿Qué aspectos regula?
9. ¿La Comisión de Evaluación cuenta con algún tipo de documento que les permita recuperar la experiencia de trabajo de comisiones previas? (P. ej. informes o minutas)
76
10. ¿La Comisión de Evaluación cuenta con algún tipo de registro histórico del desempeño de los evaluadores externos que han sido invitados? Si es así ¿qué información contiene? (Quiénes aceptan y cuáles son los plazos de dictaminación, tasa de aceptación o rechazo, entre otros)
11. ¿Las evaluaciones de los resultados, auditorias o informes finales de proyectos previos son considerados al momento de evaluar nuevos proyectos del mismo Sujeto de Apoyo?
12. ¿Los evaluadores han realizado siempre la dictaminación de manera independiente y anónima o en algunas ocasiones se ha realizado la valoración colectiva y presencial entre los pares?
13. ¿La Comisión de Evaluación ha llegado a entrevistar a los proponentes de los proyectos? En caso afirmativo, ¿en qué casos ha sido necesario y qué tan frecuente ha sido esta práctica?
14. ¿En qué casos el CTA también tiene como práctica entrevistar a los proponentes cuyo proyecto fue recomendado por la Comisión de Evaluación para financiamiento?
15. ¿La participación de los evaluadores ha sido remunerada en alguna ocasión?
16. ¿Tendría alguna propuesta o comentario con relación a cómo podríamos contar con procesos de evaluación de proyectos más eficientes y efectivos?
Guía 3
Panel con 5 miembros de la Comisión de Evaluación o equivalente
1. ¿Durante el proceso de selección de evaluadores, cómo se determina la cantidad de evaluadores que se invitará a dictaminar solicitudes?
2. ¿Se suele preferir que los evaluadores estén adscritos a alguna institución del estado o región?
3. ¿Qué elementos curriculares o de habilitación son de mayor importancia al momento de seleccionar a los evaluadores?
4. ¿Durante la última convocatoria, aproximadamente a cuántos evaluadores se invitó, cuántos declinaron, cuántos aceptaron y cuántos concluyeron la dictaminación?
5. ¿Se tiene alguna estimación histórica de la tasa de evaluadores invitados que concluye los procesos de dictaminación?
6. ¿El Fondo cuenta con mecanismos de inducción o capacitación para los evaluadores que aceptan participar en el proceso?
7. Cuando se presentan situaciones imprevistas ¿hasta qué punto los evaluadores pueden tomar decisiones?
77
8. Además de los lineamientos normativos establecidos por el Manual de Procedimientos del Fondo, ¿la Comisión de Evaluación cuenta con lineamientos propios más específicos? ¿Qué aspectos regula?
9. ¿La Comisión de Evaluación cuenta con algún tipo de documento que les permita recuperar la experiencia de trabajo de comisiones previas? (P. ej. informes o minutas)
10. ¿La Comisión de Evaluación cuenta con algún tipo de registro histórico del desempeño de los evaluadores externos que han sido invitados? Si es así ¿qué información contiene? (Quiénes aceptan y cuáles son los plazos de dictaminación, tasa de aceptación o rechazo, entre otros)
11. ¿Las evaluaciones de los resultados, auditorias o informes finales de proyectos previos son considerados al momento de evaluar nuevos proyectos del mismo Sujeto de Apoyo?
12. ¿Los evaluadores han realizado siempre la dictaminación de manera independiente y anónima o en algunas ocasiones se ha realizado la valoración colectiva y presencial entre los pares?
13. ¿La Comisión de Evaluación ha llegado a entrevistar a los proponentes de los proyectos? En caso afirmativo, ¿en qué casos ha sido necesario y qué tan frecuente ha sido esta práctica?
14. ¿En qué casos el CTA también tiene como práctica entrevistar a los proponentes cuyo proyecto fue recomendado por la Comisión de Evaluación para financiamiento?
15. ¿La participación de los evaluadores ha sido remunerada en alguna ocasión?
16. ¿Tendrían alguna propuesta o comentario con relación a cómo podríamos contar con procesos de evaluación de proyectos más eficientes y efectivos?
Guía 4
Dirigidas a los Evaluadores Externos
1. De acuerdo con los Términos de Referencia, entre los criterios que deben valorarse se encuentran los siguientes
a) Dominio del tema b) Grado de novedad de la propuesta c) Capacidad científica y tecnológica del grupo de trabajo d) Capacidad administrativa del grupo de trabajo
¿Podría por favor indicar cuáles de ellos considera de mayor relevancia para la evaluación y
cómo los observa?
2. En su experiencia como evaluador, ¿le ha parecido necesario introducir otros criterios de dictaminación además de los establecidos en la convocatoria y términos de referencia?. En caso afirmativo ¿podría indicar cuáles?
78
3. Tomando como referencia su última experiencia como evaluador, ¿podría indicar cuántos proyectos evaluó y qué tiempo invirtió en esta actividad?
4. Considera que los lineamientos y criterios ofrecidos por el organismo que solicitó su participación como evaluador son suficientes para realizar su trabajo. Por favor explique su respuesta.
5. ¿Se le ha presentado la necesidad de aplicar criterios distintos en función de las diferencias institucionales de infraestructura o recursos de las instituciones solicitantes?
6. ¿En su opinión, los formatos de evaluación poseen los contenidos y diseño idóneo para verter su valoración de los proyectos? En caso de que su respuesta sea negativa, por favor explique.
7. Con relación a su última experiencia como evaluador, ¿cómo evalúa la afinidad entre su campo de expertise y la temática de los proyectos presentados? Por favor utilice una escala del 1 al 5 en donde la afinidad es mayor conforme se acerca al 5.
8. ¿Además de evaluador de proyectos del Fondo Mixto, ha participado como solicitante de apoyo de este programa?
9. ¿Posee alguna propuesta que pudiera facilitar y hacer más efectivo el trabajo de los evaluadores? (p. ej., capacitación, acompañamiento, logística, criterios, sistemas informáticos)
10. ¿Tendría alguna propuesta o comentario con relación a cómo podríamos contar con procesos de evaluación de proyectos más eficientes y efectivos?
Guía 5
Dirigidas a los Proponentes
Sección para proyectos aceptados:
1. ¿El participar en un proyecto FOMIX modifico el desarrollo tecnológico de su empresa? en caso de que sí ¿en qué sentido?
2. ¿En qué medida su proyecto sí impacto en lo que la convocatoria del FOMIX proponía? O ¿Cuáles considera que son los impactos potenciales y las contribuciones más importantes de su proyecto para el Fondo convocante?¿las convocatorias son claras o se prestan a ambigüedades?
3. ¿Cuál es su opinión con respecto a los procesos de evaluación y seguimiento de solicitudes de apoyo del Fondo Mixto? ¿Qué tanta retroalimentación hay en el proceso de evaluación del proyecto y/o de la evaluación del trabajo?
4. ¿Tendría alguna propuesta o comentario con relación a cómo podríamos contar con procesos de evaluación de proyectos más eficientes y efectivos?
79
Sección para proyectos no aceptados:
1. En caso de que su proyecto no haya sido aceptado, ¿podría indicar si recibió algún tipo de
retroalimentación sobre su propuesta?
2. Indique en una escala del 1 al 5 en qué medida usted considera que su propuesta se
ajustaba a las demandas y productos establecidos en la convocatoria. (1: Muy poco, 2: Poco, 3:
Medianamente, 4: Mucho, 5: Totalmente).
3. Indique en una escala del 1 al 5 en qué medida usted considera que su propuesta se
ajustaba a los requisitos establecidos en los Términos de Referencia la convocatoria. (1: Muy
poco, 2: Poco, 3: Medianamente, 4: Mucho, 5: Totalmente).
