• Imprimir

Reglamento del sistema de evaluación

Reglamento del sistema de evaluación aprobado por el Consejo de Dirección de la AGAUR el 30 de junio de 2016.

El objetivo de este documento es aportar una visión clara del desarrollo de las actividades de evaluación asociadas a la AGAUR y las convocatorias que gestiona con respecto tanto a las acciones competitivas de investigación, transferencia y valoración del conocimiento como a la mejora del sistema universitario, las cuales son financiadas principalmente por la Generalidad de Cataluña y, también, por otras instituciones de fomento de la investigación de Cataluña y de otras partes.

De acuerdo con las bases generales de la AGAUR, los principios generales que rigen las actividades de evaluación son los de objetividad, independencia y calidad de las evaluaciones, dentro de un marco de gestión rápida y eficaz de los fondos públicos que la Agencia quiere aportar en todas sus actuaciones.

Adicionalmente, se vela porque las solicitudes no contravenga a ningún fundamento ético, lo que podría ser, si ocurriera, motivo de exclusión del proceso de evaluación o selección. Asimismo, la AGAUR promueve evitar cualquier sesgo basado en diferencias de género en sus actividades de evaluación y selección siempre que sea posible. Entre otros aspectos, se procura que las comisiones de selección tengan una composición paritaria.

Las actividades de evaluación pueden desarrollarse en diferentes niveles y momentos para valorar si los recursos públicos se emplean adecuadamente a fin de cumplir los objetivos establecidos en la programación previa y las convocatorias específicas.

Las convocatorias de la AGAUR prevén, mediante sus bases de evaluación y selección, la participación de personas expertas que evalúen las solicitudes que se presenten y que aseguren que cumplan los requisitos para evitar que queden excluidas. Estas personas expertas o evaluadoras son seleccionadas considerando su trayectoria curricular científica reciente y el hecho de provenir de diferentes campos científicos, universitarios, industriales, etc., de tener experiencia y un alto nivel en su área de conocimiento, y de ser reconocidas como especialistas internacionales en su temática. Por otra parte, deben poder entender las solicitudes redactadas en lengua catalana si la convocatoria no indica lo contrario.

Las personas evaluadoras de las convocatorias de investigación que trabajan habitualmente en el entorno de las universidades públicas catalanas son seleccionadas teniendo en cuenta la obtención de tramos de investigación. En ese sentido, se valora principalmente el personal investigador que ha obtenido todos los tramos de investigación posibles.

En cambio, las personas que no están en las universidades públicas son seleccionadas básicamente a partir de unos criterios bibliométricos mínimos, establecidos por la AGAUR, que caracterizan cada área de conocimiento (número de documentos y citaciones).

La información y los detalles de todo el grupo de personas evaluadoras están recogidos en una base de datos, un fichero informático mantenido por la AGAUR que se actualiza con las nuevas incorporaciones y las posibles bajas. En la base de datos figura, como mínimo, un curriculum vitae completo de cada persona, la información del área de conocimiento a la que se asocia y varias palabras clave.

La AGAUR puede seleccionar como persona evaluadora, en su caso, cualquier persona con las capacidades y las aptitudes necesarias que no se haya incluido previamente en la base de datos descrita más arriba.

2.1 Asignación

En las convocatorias que requieren la participación de un número elevado de personas evaluadoras, estas personas son elegidas entre todas las posibles dentro de la base de datos de la misma área de conocimiento.

Esta elección tiene lugar mediante un proceso de selección aleatorio que, a su vez, asigna óptimamente los expedientes a cada persona evaluadora. Este proceso de asignación se basa en un procedimiento informático que garantiza la transparencia en todos los niveles en cuanto a la adjudicación, así como el equilibrio y la homogeneidad en la tarea de evaluación, incluyendo también la igualdad de género siempre que sea posible. Adicionalmente, el sistema vela por no sobrecargar a las personas y asigna como máximo diez expedientes a cada uno. En la asignación, una persona evaluadora de una determinada institución nunca evalúa el personal investigador de la misma institución. La asignación en sucesivos procesos de evaluación se regirá por un principio de rotación, siempre que sea posible.

Si el procedimiento informático aleatorio no asigna personas evaluadoras a todos los expedientes, estas personas son elegidas manualmente con la supervisión de personal asesor en evaluación.

2.2 Conflicto de intereses y confidencialidad

Todas las personas evaluadoras que han sido propuestas para actuar deben rellenar una hoja de declaraciones antes de su intervención, en la que expresen que no tienen ningún conflicto de intereses con las solicitudes que se han de evaluar y que se comprometen a mantener la confidencialidad de toda la información a su alcance durante el proceso de evaluación. Si no firman este documento, no se les permite el acceso a los expedientes asignados. Mediante este documento, las personas evaluadoras autorizan a la AGAUR a hacer pública, periódicamente, su identidad de manera agregada. Este documento es siempre válido mientras se trabaja para la AGAUR.

2.3 Retribuciones

La actividad de las personas evaluadoras es retribuida de acuerdo con lo que determine el Consejo de Dirección de la AGAUR, según el número de expedientes evaluados y la complejidad que presenten.

La tabla de retribuciones se publica en la página web de la AGAUR.

Las convocatorias de la Generalidad de Cataluña que gestiona la AGAUR se publican en el Diari Oficial de la Generalitat de Catalunya (DOGC).

Cada convocatoria debe concretar los criterios y mecanismos de evaluación y selección de solicitudes y, en su caso, la puntuación o valor que se otorga a cada criterio en la evaluación, así como los umbrales mínimos de superación.

Las convocatorias distinguen entre los requisitos mínimos necesarios para la presentación de la solicitud, que serán valorados por los gestores de la convocatoria, y los méritos, que serán valorados por los evaluadores.

Para todo lo no previsto dentro de la convocatoria específica, rigen las bases generales vigentes de la Agencia, también publicadas en el DOGC. Las convocatorias deberán especificar, siempre que sea posible, que el medio principal de presentación de solicitudes es el electrónico basado en internet, sin excluir cualquier otra vía de presentación de solicitudes, de acuerdo con la legalidad del procedimiento administrativo vigente. Si una solicitud fuera recibida completa en formato electrónico y en formato papel, la AGAUR solo gestionará la versión electrónica.

La AGAUR puede establecer en las convocatorias que sea necesario la posibilidad o la recomendación de presentar la solicitud en inglés. La introducción sistemática de la lengua inglesa a las solicitudes permite favorecer un proceso de evaluación más externalizado, con la participación de personas evaluadoras internacionales que se seleccionarán con los procedimientos mencionados anteriormente y que se incrementarán significativamente durante el próximo periodo. Este procedimiento es especialmente indicado para convocatorias que, además de los hitos científicos, también se orientan a la internacionalización del sistema de ciencia y tecnología de Cataluña.

Todas las aplicaciones informáticas y las instrucciones que se dirijan a las personas evaluadoras también estarán disponibles en lengua inglesa para facilitar su tarea.

La evaluación de las solicitudes siempre se lleva a cabo según el cumplimiento de los criterios y requisitos expresados en la convocatoria y no se inicia nunca antes de la finalización del plazo de presentación de solicitudes y de la reclamación de documentación.

En primer lugar, se lleva a cabo una revisión de la información contenida y del formato de la solicitud. Si no hay defectos administrativos que lleven a la exclusión de la propuesta, se prevé la posibilidad de solicitar información complementaria en caso necesario.

Todas las solicitudes son clasificadas por ámbito, a fin de que puedan ser enviadas a las personas evaluadoras correspondientes. Para cada ámbito se dispone de una persona coordinadora que determina la idoneidad temática en la selección del equipo evaluador.

La AGAUR trabaja para introducir palabras clave de forma estandarizada como mecanismo de clasificación de solicitudes y de asignación del equipo evaluador, siempre que sea posible. En ese sentido, hay un acuerdo con el TERMCAT y las universidades de Cataluña para generar un tesauro de palabras clave. Esta nueva clasificación podrá sustituir o complementar la clasificación por áreas de conocimiento en las convocatorias de investigación, principalmente, y permitirá afinar en la asignación del equipo evaluador.

5.1 Figuras principales

Los diferentes elementos y personas que se combinan en la evaluación son los siguientes:

  • Convocatoria. Conjunto de bases o normas reguladoras que define el procedimiento de otorgamiento de una subvención en procesos de concurrencia competitiva.
  • Personas candidatas o solicitantes. Personas físicas o jurídicas que concurren a una convocatoria de becas o ayudas.
  • Personal gestor. Personal encargado de recibir las solicitudes de las personas candidatas y tramitarlas adecuadamente entre los diferentes elementos del proceso de selección, de acuerdo con la convocatoria específica y la normativa de aplicación. El personal gestor del área de evaluación y análisis de la investigación es el encargado y responsable de tramitar y garantizar el proceso de evaluación tal como se define en este reglamento y de proponer y llevar a cabo todas las actuaciones pertinentes con el fin de mejorarlo.
  • Equipo de evaluación. Personas expertas independientes seleccionadas a partir de su trayectoria investigadora, sin conflicto de intereses y bajo compromiso de confidencialidad, para valorar la calidad de las personas candidatas y las solicitudes.
  • Persona coordinadora de ámbito. Persona experta de reconocido prestigio, designada principalmente por el presidente de la Comisión Ejecutiva de Ayudas a la Investigación para determinados ámbitos representativos, como pueden ser las ciencias, las ciencias de la vida, las ciencias médicas y de la salud, las ciencias sociales, la ingeniería y la arquitectura, las humanidades y la transferencia del conocimiento, que elevan a la Comisión de Selección junto con el personal gestor una propuesta de consenso de las valoraciones aportadas por el equipo evaluador ajustada a la disponibilidad presupuestaria de las convocatorias. Las principales tareas y funciones de esta figura son las siguientes:
  • Revisar y supervisar el proceso de evaluación específico de cada convocatoria.
  • Resolver o proponer soluciones ante evaluaciones discrepantes.
  • Valorar a las personas evaluadoras.
  • Aconsejar mejoras para las convocatorias y el procedimiento de evaluación.
  • Revisar el procedimiento previo frente a los recursos presentados.

La selección de las personas coordinadoras de ámbito la lleva a cabo el director general de Investigación a partir de una terna a propuesta del director ejecutivo de la AGAUR que garantice los criterios de calidad científica y conocimiento del sistema, necesarios para llevar a cabo esta tarea.Estas personas actúan como tales durante un periodo de dos años, que se puede ampliar hasta un máximo de 5 años. A partir de entonces son sustituidas por otras personas con las mismas características.

  • Comisión de Selección. Órgano colegiado cuya composición se define en la convocatoria que propone la concesión y la resolución de ayudas o becas al presidente de la Comisión Ejecutiva de Ayudas correspondiente, basándose en las evaluaciones, informes de las personas coordinadoras de ámbito, informes del equipo gestor, etc.

El procedimiento de la AGAUR desarrolla, siempre que sea posible, como mínimo, dos evaluaciones para cada solicitud, llevadas a cabo por una persona evaluadora profesionalmente vinculada a Cataluña y otra externa del sistema catalán de ciencia y tecnología, pero por regla general el equipo evaluador está formado por tres personas que valorarán cada expediente. Ningún miembro del equipo podrá pertenecer a la misma institución de la solicitud evaluada. En caso de evaluaciones significativamente divergentes (25% de diferencia mínima), la persona coordinadora de ámbito correspondiente, a partir de las consideraciones sobre el posible equipo evaluador hechas por el personal gestor de la AGAUR, podrá proponer a una tercera, que resolverá las dudas anteriores.

 

5.2 Escala de puntuación

El sistema de puntuación final de las evaluaciones se basa en la suma de los diferentes valores obtenidos en cada uno de los bloques evaluados. El total agregado se expresa con un valor comprendido entre 1 y 7 (con una décima), en la que cada valor tiene el siguiente significado:

1

Propuesta deficiente en todos los aspectos evaluados.

2

Propuesta no satisfactoria, con numerosas deficiencias en los diferentes criterios valorados que no garantizan su viabilidad.

3

Propuesta regular, con reservas respecto a algunos elementos o criterios importantes de la valoración que pueden dificultar su viabilidad.

4

Propuesta aceptable, aunque con alguna reserva. No destaca especialmente en ninguno de los aspectos evaluados, pero podría ser viable.

5

Propuesta buena y viable. Correcta en la mayoría de criterios valorados, competitiva en el ámbito nacional, pero sin aportaciones significativas.

6

Propuesta muy buena, competitiva internacionalmente y que aporta contribuciones significativas dentro de su ámbito, de primera línea nacional.

7

Propuesta excelente, a la vanguardia internacional y que garantiza un impacto destacado dentro de su ámbito.

Estas definiciones de base se concretan para cada convocatoria integrando los criterios de evaluación que se definan.

El equipo evaluador también llena, además de una valoración numérica de los diferentes bloques valorados, comentarios cualitativos que deben ser coherentes con la puntuación expresada. La valoración cualitativa es obligatoria y se puede emplear para justificar a los interesados las puntuaciones obtenidas, siempre que sea necesario.

La AGAUR debe facilitar, en su caso, una guía para la evaluación de la convocatoria en cuestión, con el objetivo de concretar al equipo evaluador el objeto y los criterios de la convocatoria y conseguir el máximo de coherencia entre las personas evaluadoras que actúan individualmente.

Las personas coordinadoras de ámbito se reúnen para lograr un consenso a partir de las notas del equipo evaluador y la disponibilidad presupuestaria y, junto con el personal gestor, preparan una propuesta que elevarán a la Comisión de Selección, la cual podrá variar el orden de la propuesta.

La Comisión de Selección, considerando la calidad y la oportunidad de las solicitudes y de acuerdo con los criterios explicitados en la convocatoria, adopta un acuerdo que incluye la propuesta final de resolución que se hace llegar al presidente de la Comisión Ejecutiva de Ayudas correspondiente.

En aquellas convocatorias en las que se explicite específicamente y de acuerdo con las bases generales de la AGAUR, la Comisión de Selección determinará los componentes de una lista de reserva priorizada de denegados, los cuales serán beneficiarios de la ayuda en caso de renuncia o sustitución de alguno de los beneficiarios originales.

Las acciones de investigación financiadas por la AGAUR deben cumplir los estándares éticos. Progresivamente, se implantarán sistemas de control para respetar la normativa europea Decisión 1982/20067EC, con respecto al artículo núm. 6.

La AGAUR externaliza, en organismos que ya han desarrollado una experiencia y un prestigio en estos requerimientos de la investigación, el control experto ético de las solicitudes y acata, asimismo, las decisiones de la Comisión de Experimentación Animal (CEA).

Ninguna solicitud que tenga alguna sospecha de incumplimiento de alguna norma ética será financiada.

Por defecto, las convocatorias deben seguir el esquema general del proceso de evaluación y selección mencionado anteriormente. Este esquema general prevé una serie de rasgos que se aplicarán a todas las solicitudes, pero la tipología de convocatorias que actualmente se definen desde la AGAUR puede permitir que el proceso de evaluación de cada una presente singularidades en el procedimiento. Los paneles de evaluación se desarrollan solo en las convocatorias que así lo requieren.

A partir de aquí, y siempre teniendo en cuenta qué procedimiento puede ser el mejor para la evaluación de cada una y también los criterios generales indicados hasta ahora, la evaluación de los expedientes se puede efectuar aplicando diferentes técnicas, tales como:

Peer review (evaluación de expertos, por pares):

Cada expediente es evaluado por tres personas expertas, y cada una hace su valoración. Esta técnica es la que se aplica en la mayoría de convocatorias.

Panel de personas evaluadoras:

Creación de un panel de personas evaluadoras que se encargue de valorar las diferentes solicitudes, sobre la base del consenso, o revisar el proceso de evaluación individual previo llevado a cabo, como apoyo a la labor de las personas coordinadoras. El panel de evaluación trabaja en diferentes sesiones conjuntamente. Se trata de una técnica que puede ser más aplicable en las convocatorias de temáticas concretas o que tratan solo un ámbito, o en aquellas en que el currículum del personal investigador o grupo de investigación tenga un peso específico muy relevante. También puede ser aplicable en convocatorias en las que hay una cifra muy baja de solicitudes o en convocatorias muy competitivas que conllevan una doble fase de evaluación. El panel de evaluación también puede complementar una peer review simple en aquellas convocatorias en las que convenga una visión comparada de todas las solicitudes.

El personal gestor de la AGAUR aportará a las personas evaluadoras toda la información complementaria y necesaria para llevar a cabo sus tareas en el momento de iniciar el proceso de evaluación. Las fichas de evaluación que se utilizan siguen una estructura genérica en la que constan los criterios de evaluación y las observaciones. Los criterios son específicos para cada línea y la persona evaluadora asigna un valor numérico a cada criterio evaluado. Adicionalmente, como ya se ha comentado, se deberán aportar comentarios cualitativos en cada punto.

Las evaluaciones se llevan a cabo mediante una aplicación informática por internet, a partir de unos parámetros de conexión personales. La persona evaluadora puede hacer su trabajo desde cualquier ordenador con acceso a internet. Desde una página web específica y a partir de un nombre de usuario y una contraseña, accede a la relación de convocatorias atribuidas. Cada convocatoria da acceso a los expedientes asignados a evaluar. La persona evaluadora puede acceder al expediente completo y a la ficha de evaluación que hay que rellenar para cada expediente, pero solo tiene acceso a los expedientes asignados.

Las personas coordinadoras de ámbito tienen la posibilidad de revisar todas las evaluaciones de su ámbito. También pueden disponer de las puntuaciones medias otorgadas por cada persona evaluadora, a fin de poder normalizar las puntuaciones de ese ámbito si es necesario y comenzar un proceso que deberá introducirse en diferentes fases en las convocatorias.

La AGAUR lleva a cabo actividades de inspección a las diferentes convocatorias para documentarse y valorar in itinere el desarrollo de los diferentes proyectos o acciones y, de este modo, corregir dinámicas inadecuadas, si se detectan.

La valoración de los resultados obtenidos individualmente en cada acción aporta información muy significativa para conocer cómo se ejecuta la investigación y cuál es su impacto. Así pues, también se introducen acciones de evaluación ex post de las propuestas y los proyectos financiados que tienen en cuenta diferentes aspectos de este proceso:

– La adecuación de los resultados obtenidos a lo exigido en la convocatoria.

– La evaluación científica de los resultados.

– El desarrollo de la metodología necesaria para valorar el impacto de los resultados en el ámbito socioeconómico, en el contexto de Cataluña.

Las especificidades de estos dos ámbitos de conocimiento y las demandas tanto de los colectivos que trabajan en ellos como de diferentes instituciones pueden conllevar la puesta en marcha de diferentes actuaciones con el objetivo de mejorar la evaluación en estas áreas y fomentar su internacionalización e impacto, respetando, al mismo tiempo, la tradición de investigación en las áreas de catalanística. Destaca aquí el proyecto CARHUS Plus+ (clasificación de revistas de humanidades y ciencias sociales), que actualiza sus datos cada dos años, como herramienta para la mejora de los procesos de valoración de revistas, y el proyecto de evaluación de libros y capítulos de libro, ambos con trayectoria previa y continuidad.

Los nombres de las personas evaluadoras de la AGAUR se publican de forma agregada en la web de la Agencia anualmente, después de que hayan dado su consentimiento, como medida de transparencia.

Asimismo, también se publica de forma sistemática en la web la identidad de las personas coordinadoras de ámbito, que actúan durante un periodo de dos años, y sus tareas.

La evaluación general de las personas evaluadoras que actúan para la AGAUR se lleva a cabo a través de mecanismos de revisión y seguimiento de su tarea, tanto desde el ámbito técnico como desde el científico. Para esta última revisión, se cuenta también con el asesoramiento y la evaluación que emiten las personas coordinadoras de ámbito, tanto con la valoración que pueden efectuar de cada persona evaluadora en la aplicación informática como con las valoraciones generales que pueden manifestar mediante los diferentes mecanismos que la AGAUR cree para alcanzar este objetivo.

Periódicamente, la AGAUR puede encargar evaluaciones externas de sus procedimientos de evaluación con el objetivo de someterlos al criterio de personal experto a fin de mejorarlos y adaptarlos al contexto del sistema de ciencia y tecnología de Cataluña.

La AGAUR, como agencia de gestión y evaluación, puede establecer contactos y trabajar en propuestas de colaboración con otras instituciones dedicadas a la evaluación universitaria y de la investigación, tanto estatales como internacionales. Esta colaboración debe servir para consensuar mecanismos, procedimientos o criterios, si conviene, o para colaborar en todas aquellas cuestiones que permitan mejorar el sistema de evaluación vigente (por ejemplo, compartir bases de datos de personas evaluadoras).

La colaboración o coordinación se podrá poner de manifiesto creando espacios de debate y participando en estos, estableciendo convenios entre instituciones, etc.

Por otra parte, la AGAUR se encarga de permitir esta interacción también con instituciones de Cataluña que participan habitualmente en las convocatorias y, por tanto, en los procesos de evaluación.

La AGAUR puede atender las necesidades de instituciones de dentro y fuera de Cataluña en materia de evaluación de la investigación, sobre una base de cobro de los gastos que esta actividad genere y de calidad en las evaluaciones de acuerdo con los principios expresados en este documento.

Los costes imputados a las evaluaciones se calcularán a partir de la tabla del anexo 1 de este documento.

Fecha de actualización:  18.01.2016

Información relacionada