El objetivo de este documento es aportar una visión clara y general del desarrollo de las actividades de evaluación asociadas a la AGAUR y las convocatorias que gestiona, tanto con respecto a las acciones competitivas de investigación, transferencia y valorización del conocimiento, como para la mejora del sistema universitario, que son financiadas principalmente por la Generalidad de Cataluña, así como para otras instituciones de fomento de la investigación de Cataluña y de otras partes.
Las actividades de evaluación que se llevan a cabo desde la AGAUR se refieren, principalmente, a la gestión de procesos que permitan una valoración, por parte de personas expertas e independientes, basada en criterios públicos. El personal de la AGAUR no evalúa directamente las propuestas sino que gestiona todo el procedimiento de evaluación.
Reglamento del sistema de evaluación aprobado por el Consejo de Dirección de la AGAUR el 28 de gener de 2020.
1. Principios
Dentro de un marco de gestión rápida y eficaz de los fondos públicos que la Agencia quiere aportar a todas sus actuaciones, los principios generales que rigen las actividades de evaluación son:
Transparencia. Los procesos de evaluación se basan en reglas y procedimientos claramente descritos que se publican previamente en las bases reguladoras correspondientes. El resultado de la evaluación de las propuestas se hará llegar a los interesados.
Excelencia. Compromiso con la búsqueda de acciones que permitan la mejora permanente en la gestión de los procesos de evaluación.
Imparcialidad. Los procesos de evaluación se basan exclusivamente en los aspectos técnicos y el rigor científico, independientemente del origen o la identidad de los solicitantes.
Proporcionalidad. Los procesos de evaluación deberán ajustarse en proporcionalidad y en inversión a la naturaleza de la convocatoria evaluada.
Confidencialidad. Se debe mantener una estricta confidencialidad sobre cualquier información relacionada con las propuestas.
2. Procedimiento estándar de evaluación
2.1 Principales figuras
-
Personas candidatas o solicitantes. Personas físicas o jurídicas que concurren a una convocatoria de becas o ayudas.
-
Personas evaluadoras. Personas expertas y externas seleccionadas por su trayectoria y experiencia, sin conflicto de intereses y bajo compromiso de confidencialidad, que valoran la calidad de las propuestas.
-
Personas coordinadoras de ámbito. Personas expertas de reconocido prestigio que revisan y supervisan los procesos de evaluación de cada convocatoria.
-
Equipo gestor. Personal de la AGAUR encargado de gestionar las propuestas y de tramitarlas adecuadamente entre los diferentes elementos del proceso de selección, de acuerdo con las bases reguladoras, la convocatoria específica y la normativa de aplicación. El personal gestor del Área de evaluación de la AGAUR es el encargado y responsable de tramitar y garantizar el buen funcionamiento del proceso de evaluación tal como se define en este reglamento, y de proponer y llevar a cabo todas las actuaciones pertinentes para mejorarlo.
2.2 Personas evaluadoras
Las personas evaluadoras son personas externas a la AGAUR, de reconocido prestigio internacional en sus ámbitos, que garantizan un conocimiento técnico especializado y general de los campos implicados en las propuestas.
La selección de estas personas evaluadoras se hace según su trayectoria curricular científica reciente. Provienen de diferentes campos científicos, universitarios, industriales, etc., con experiencia en relación con los temas y ámbitos que se deben evaluar y reconocidas como especialistas en su temática.
Las personas evaluadoras deben tener los conocimientos adecuados, un alto nivel de experiencia profesional en investigación científica y las habilidades lingüísticas necesarias. En su caso, otras habilidades como la transferencia de tecnología e innovación, la gestión o el asesoramiento también podrán ser solicitadas.
Se procura que en el equipo de personas evaluadoras haya una representación diversa en cuanto al género, la procedencia geográfica, el tipo de institución, la distribución por edades, etc.
La información y los detalles de todo el grupo de personas evaluadoras se encuentran en una base de datos propiedad de la AGAUR, cuya finalidad es su gestión para la realización de las evaluaciones de las propuestas presentadas en el marco de una convocatoria. Esta base de datos se actualiza con las nuevas incorporaciones o las posibles bajas. En la base de datos figura, como mínimo, un CV completo de cada persona y la información del área o ámbito científico al que se asocia, así como las palabras clave que ha proporcionado.
La AGAUR puede seleccionar como persona evaluadora, en su caso, a cualquier persona con las capacidades y las aptitudes necesarias, que no esté previamente incluida en la base de datos antes descrita, e incluirla posteriormente.
2.3 Personas coordinadoras de ámbito
Personas expertas de reconocido prestigio que revisan y supervisan los procesos de evaluación de cada convocatoria.
El nombramiento de las personas coordinadoras de ámbito lo realiza el director o directora general de Investigación a partir de una propuesta de la AGAUR que garantice los criterios de calidad científica y conocimiento del sistema necesarios para llevar a cabo esta tarea. Los candidatos a coordinar un ámbito deberán haber participado en procesos de evaluación en alguna entidad de ámbito internacional.
Las personas coordinadoras actúan como tales durante un período de dos años, que se puede ampliar hasta un máximo de cinco años.
Las principales tareas y funciones de esta figura son:
-
Revisar y supervisar el proceso de evaluación específico de cada convocatoria.
-
Resolver o proponer soluciones ante evaluaciones discrepantes.
-
Valorar a las personas evaluadoras.
-
Aconsejar mejoras para las convocatorias y el procedimiento de evaluación.
-
Revisar el procedimiento previo ante los recursos presentados.
Las personas coordinadoras de ámbito tienen la posibilidad de revisar todas las evaluaciones de su ámbito. También pueden disponer de las puntuaciones medias otorgadas por cada persona evaluadora.
2.4 Organización del proceso de evaluación
La evaluación de las propuestas siempre se lleva a cabo en función del cumplimiento de los criterios y requisitos expresados en las bases reguladoras y en la convocatoria correspondiente, y no se inicia nunca antes de la revisión y de la enmienda o mejora, en su caso, de la documentación necesaria para acceder a la fase de evaluación.
Todas las solicitudes que pasan a la fase de evaluación han sido revisadas y cumplen los criterios de elegibilidad establecidos en las convocatorias.
Todas las propuestas, en función de las áreas de conocimiento que señalen en su solicitud, se incluirán dentro de un ámbito específico para poder ser facilitados a las personas evaluadoras correspondientes.
La relación de ámbitos estándar y de áreas de conocimiento vinculadas a cada ámbito está disponible y se puede consultar en la web de la AGAUR.
Desde la AGAUR se podrán ajustar los procesos de evaluación a diferentes distribuciones de ámbitos y áreas de conocimiento si las convocatorias lo requieren. Para la evaluación de propuestas de transferencia y valorización también se pueden solicitar los ámbitos de aplicación y tenerse en cuenta a la hora de asignar y de hacer las clasificaciones correspondientes.
La AGAUR trabaja para introducir palabras clave de forma estandarizada como mecanismo de clasificación de las propuestas y de asignación del equipo evaluador, siempre que sea posible.
Se deben realizar un mínimo de dos evaluaciones para cada propuesta. En caso de evaluaciones divergentes (diferencia de un 15% o más entre las dos puntuaciones finales) se podrá hacer una tercera evaluación.
2.5 Proceso de asignación de las solicitudes
Las personas evaluadoras se eligen entre todas las posibles de la base de datos en función de su área de conocimiento o experiencia. La experiencia en procesos de valorización y transferencia y los ámbitos donde aplican las propuestas también se tendrá en cuenta en las convocatorias que lo requieran.
Esta elección tiene lugar mediante un proceso de selección aleatorio que, al mismo tiempo, asigna óptimamente los expedientes a cada persona evaluadora. Este proceso de asignación se basa en un procedimiento informático que garantiza la transparencia a todos los niveles en la asignación, y el equilibrio y la homogeneidad en la tarea de evaluación, y que incluye también la representatividad diversa.
Adicionalmente, el sistema tiene en cuenta los siguientes aspectos:
-
No sobrecargar a las personas y asignarles un máximo de 10 expedientes a cada una, pero procurando que tengan un número suficiente de expedientes para que puedan evaluar de forma más objetiva y comparada.
-
La asignación en sucesivos procesos de evaluación se regirá por un principio de rotación.
En la asignación, nunca una persona evaluadora de una determinada institución evalúa el personal investigador de la misma institución.
Si el procedimiento informático aleatorio no asigna personas evaluadoras a todos los expedientes, o si se requieren pocas personas evaluadoras, estas podrán ser elegidas de acuerdo con los criterios de independencia y experiencia, y con la supervisión de personal coordinador en evaluación.
El personal gestor de la AGAUR debe aportar a las personas evaluadoras toda la información complementaria y necesaria para llevar a cabo sus tareas, en el momento de iniciar el proceso de evaluación.
Las evaluaciones se realizan mediante una aplicación informática por internet que cumple los requerimientos de seguridad y la tramitación de las declaraciones correspondientes. La persona evaluadora puede acceder al expediente completo y a la ficha de evaluación que hay que rellenar para cada expediente, pero sólo tiene acceso a los expedientes asignados.
2.6 Conflicto de intereses y confidencialidad
Todas las personas evaluadoras propuestas para actuar han sido revisadas previamente para confirmar que no forman parte de ninguna solicitud presentada. Las personas evaluadoras deben aceptar una hoja de declaraciones previa a su intervención que expresa que, en caso de detectar algún conflicto de interés, lo notificarán a la AGAUR y renunciaran a evaluar esa propuesta, y que se comprometen a mantener la confidencialidad de toda la información a su alcance durante el proceso de evaluación. Si no firman este documento, no se les permite el acceso a los expedientes asignados. Mediante esta hoja de declaraciones las personas evaluadoras autorizan a la AGAUR a hacer pública, periódicamente, su identidad de forma agregada. Esta hoja de declaraciones es siempre válida mientras se está trabajando para la AGAUR.
Las personas solicitantes pueden pedir la exclusión de personas evaluadoras en relación con la evaluación de sus propuestas.
2.7 Criterios de evaluación
Los criterios de evaluación deben ser públicos y se establecen, previamente, en las bases reguladoras de las convocatorias o documentos oficiales que regulan la concesión de ayudas de cada institución convocante. En estos documentos se concretarán también las puntuaciones o valores para cada criterio.
Estos criterios se distinguen de los requisitos mínimos necesarios para la presentación de la solicitud (criterios de elegibilidad), que serán revisados por el personal gestor de las ayudas. El personal de evaluación sólo valora en función de los criterios de evaluación.
Los criterios de evaluación y el peso o valor de cada uno de ellos se reproducen en una ficha de evaluación, que deben cumplimentar las personas evaluadoras.
Para facilitar la comprensión del objeto de las ayudas y para conseguir el máximo de coherencia a la hora de aplicar los criterios por parte de los evaluadores y las evaluadoras que actúan individualmente, se podrán elaborar guías de evaluación específicas.
2.8 Evaluación remota y paneles de evaluación
El esquema general del procedimiento de evaluación de la AGAUR es el previsto en este Reglamento, y establece las características generales que se aplican. Sin embargo, en cada convocatoria de ayudas o bases reguladoras se pueden especificar algunas singularidades que requieran un proceso más o menos largo en función de las fases que se apliquen. Esto es:
-
Una única fase de evaluación remota de las solicitudes
-
Evaluación remota de cada solicitud y paneles de evaluación
-
Solo paneles de evaluación
Evaluación remota de las solicitudes
Cada solicitud será evaluada por un mínimo de dos personas expertas que hacen, cada una, su valoración. Esta modalidad es la que se aplica en la mayoría de convocatorias.
Estas personas expertas evalúan de forma remota los expedientes asignados. Lo hacen de forma individual, separadamente de otros expertos que pueden examinar las mismas propuestas. No discuten las propuestas colectivamente, y proporcionan sus evaluaciones al área de evaluación de la AGAUR utilizando los criterios y las puntuaciones descritas en la convocatoria. El resultado de cada evaluación es una ficha que queda recogida en la aplicación de evaluación, con una valoración cuantitativa y cualitativa de los criterios y una puntuación final, que tiene carácter de documento interno.
Panel de personas evaluadoras:
Creación de un panel de personas evaluadoras que se encargue de valorar las diferentes propuestas, sobre la base del consenso, como apoyo a la labor de las personas coordinadoras.
El panel de evaluación trabaja en diferentes sesiones conjuntamente. Se trata de una técnica que puede ser más aplicable en aquellas convocatorias de temáticas concretas, en convocatorias de proyectos pluridisciplinares, de valorización y transferencia o en aquellas en que el currículum del personal investigador o del grupo de investigación tenga un peso específico muy relevante. También en aquellas en las que hay un cifra muy baja de solicitudes o en convocatorias muy competitivas que requieren una doble fase de evaluación. El panel de evaluación también puede complementar una peer review simple en aquellas convocatorias en las que convenga una visión comparada de todas las solicitudes.
Cuando la convocatoria establece una modalidad doble (remota y panel), debe especificar cómo se establece la puntuación definitiva que, habitualmente será la que acuerde el panel de evaluación.
2.9 Escala de puntuación
El sistema de puntuación final de las evaluaciones se basa en la suma de los diferentes valores obtenidos en cada uno de los bloques evaluados.
El total agregado se expresa con un valor comprendido entre 0 y 7 (con una décima), en el que cada valor tiene el siguiente significado:
0 |
Propuesta no evaluable, no cumple requisitos o no responde a los criterios |
1 |
Propuesta deficiente en todos los aspectos evaluados |
2 |
Propuesta no satisfactoria, con numerosas deficiencias en los diferentes criterios valorados, que no garantizan su viabilidad |
3 |
Propuesta regular, con reservas respecto a algunos elementos o criterios importantes de la valoración y que pueden dificultar su viabilidad |
4 |
Propuesta aceptable, aunque con alguna reserva. No destaca especialmente en ninguno de los aspectos evaluados pero podría ser viable |
5 |
Propuesta buena y viable. Correcta en la mayoría de criterios valorados, competitiva a escala nacional pero sin aportaciones significativas |
6 |
Propuesta muy buena, competitiva internacionalmente y que aporta contribuciones significativas dentro de su ámbito, de primera línea nacional |
7 |
Propuesta excelente, a la vanguardia internacional y que garantiza un impacto destacado en su ámbito |
Estas definiciones se concretan para cada convocatoria integrando los criterios de evaluación que defina.
En su caso, se podrán utilizar otras escalas de puntuación. Las convocatorias deben concretar la escala de puntuación adoptada y han de definir sus valores.
El equipo evaluador llena también, además de una valoración numérica de los diferentes bloques valorados, comentarios cualitativos que deben ser coherentes con la puntuación expresada. La valoración cualitativa es obligatoria y se puede emplear para justificar a los interesados las puntuaciones obtenidas, siempre que convenga.
Las personas coordinadoras de ámbito revisan las evaluaciones y el proceso de evaluación realizado, y resuelven o proponen soluciones ante posibles incidencias en el proceso; finalmente asignan la puntuación final para cada expediente.
2.10 Resultados de la evaluación
Una vez finalizado el proceso de evaluación, el resultado de la evaluación científica se incorpora a un informe elaborado por la AGAUR a partir de los informes de los expertos independientes, que se podrá enviar mediante el correo electrónico facilitado por las personas solicitantes. Previamente, los equipos gestores de las ayudas podrán notificar individualmente la puntuación final de cada expediente.
Los comentarios y las puntuaciones específicas de cada persona evaluadora que ha participado en la fase de evaluación individual no deben ser necesariamente convergentes. La peer review implica que las personas evaluadoras son expertas, pero pueden haber desarrollado su carrera en entornos muy diferentes. Pueden hacer énfasis en aspectos diversos, destacar más o menos algunos aspectos, y hacer propuestas de mejora de acuerdo con su criterio experto. Esto no supone, necesariamente, la existencia de contradicciones que deban subsanarse ni se puede considerar un error del procedimiento.
2.11 Procedimiento de revisión de la evaluación
Las personas solicitantes podrán pedir la revisión de la evaluación si consideran que los procedimientos de evaluación pertinentes no se han aplicado correctamente a sus propuestas.
La revisión de la evaluación concierne únicamente a los aspectos de procedimiento de la evaluación, y no a las valoraciones de méritos que han hecho las personas evaluadoras expertas, siempre que no se detecte un error explícito en el tratamiento de la información evaluada. La revisión de la evaluación no conllevará el retraso del proceso de selección para las propuestas que no sean objeto de revisión.
Los datos generales referentes a los procesos de evaluación que se han desarrollado durante un año se publican en la página web de la AGAUR a principios del año siguiente.
2.12 Esquema general del proceso de evaluación
3. Retribuciones
La actividad de las personas evaluadoras y coordinadoras se retribuye de acuerdo con las tarifas que aprueba el Consejo de Dirección de la AGAUR.
La tabla de tarifas se publica en la página web de la AGAUR.
Cuando se requiere un proceso de evaluación que, por sus características y complejidad, implica un volumen más grande de lo habitual de dedicación, se podrá revisar la tarifa, de acuerdo con la tarea realizada, y a propuesta de la dirección de la AGAUR.
4. Idioma
El catalán es la lengua de uso normal de la institución.
La AGAUR puede establecer en las convocatorias que convenga la posibilidad o la recomendación de presentar también la propuesta en inglés. La introducción sistemática de la lengua inglesa a las solicitudes permite favorecer un proceso de evaluación más externalizado, que cuente con la participación de personas evaluadoras internacionales que se seleccionarán con los procedimientos mencionados anteriormente. Este procedimiento es especialmente indicado para convocatorias que, además de los hitos científicos, van también dirigidas a la internacionalización del sistema de ciencia y tecnología de Cataluña.
Todas las aplicaciones informáticas y las instrucciones que se dirijan a las personas evaluadoras estarán también disponibles en lengua inglesa para facilitar su tarea.
5. Control Ético
En la tipología de ayudas que lo requieran, se debe asegurar el cumplimiento de los estándares éticos, de acuerdo con las normativas establecidas.
La AGAUR externaliza en organismos que ya han desarrollado una experiencia y prestigio en estos requerimientos de la investigación, el control experto ético de las propuestas y asume las decisiones de la Comisión de experimentación animal (CEA).
6. Publicidad de las personas evaluadoras
Los nombres de las personas evaluadoras de la AGAUR se publicarán de manera agregada en la web de la Agencia anualmente, previo consentimiento de éstas, como medida de transparencia. En cuanto a los procesos de evaluación de convocatorias con un elevado número de solicitudes, el nombre de las personas evaluadoras de esta convocatoria se publicará de forma agregada.
No se harán públicos los nombres de las personas evaluadoras que se hayan asignado a cada propuesta individual. La evaluación es confidencial y anónima, y nunca se debe facilitar a las personas solicitantes el nombre de las personas que las han evaluado.
Asimismo, se publicará de manera sistemática en la web la identidad de las personas coordinadoras de ámbito, que actúan durante un período de entre dos y cinco años, y sus tareas.
7. Metaevaluación e inspección
La evaluación general de las personas evaluadoras que actúan por encargo de la AGAUR se lleva a cabo a través de mecanismos de revisión y seguimiento de su labor, tanto desde el ámbito técnico como desde el científico. Para esta última revisión, se cuenta también con el asesoramiento y la evaluación que las personas coordinadoras de ámbito emiten, tanto a través de la valoración que pueden efectuar de cada persona evaluadora en la aplicación informática, como con las valoraciones generales que pueden manifestar mediante los diferentes mecanismos que la AGAUR cree para alcanzar este objetivo.
Periódicamente, la AGAUR puede encargar evaluaciones externas de sus procedimientos de evaluación, o presentarlos a programas competitivos para que sean evaluados, con el objetivo de mejorar el proceso de evaluación y adaptarlo a los estándares internacionales.
Asimismo, cada año se efectúan auditorías internas y externas llevadas a cabo por una entidad certificadora independiente, a todo el sistema de evaluación y selección de personas evaluadoras, de acuerdo con los requisitos de la norma ISO 9001, relativa al sistema de gestión de la calidad.
8. Colaboración con otras instituciones
La AGAUR, como agencia de gestión y evaluación, puede establecer contactos y propuestas de colaboración con otras instituciones dedicadas a la evaluación universitaria, de la investigación y la innovación, tanto nacionales como internacionales. Esta colaboración debe servir para consensuar mecanismos, procedimientos o criterios, si conviene, o para colaborar en todas aquellas cuestiones que permitan mejorar el sistema de evaluación vigente.
La colaboración o coordinación se podrá hacer patente mediante la creación y participación en espacios de debate, el establecimiento de convenios entre instituciones, etc.
9. Encargos externos
La AGAUR puede atender las necesidades de instituciones de dentro y fuera de Cataluña en materia de evaluación de la investigación, la calidad docente y la innovación. Los encargos externos deberán cubrir los gastos que genere el proceso evaluado. Deberán seguir el procedimiento estándar de la AGAUR y, en caso de que se encargue alguna acción extra o que la evaluación comporte alguna dificultad no contemplada, se deberá prever en el presupuesto y acordarla con el director ejecutivo de la AGAUR.
10. Género
La AGAUR está comprometida con el objetivo de evitar cualquier sesgo de género en los procesos de evaluación.
La base de datos se revisará periódicamente para incorporar más mujeres evaluadoras. Asimismo, en los procesos de evaluación se vela por conseguir una participación equilibrada e intentar que nunca sea inferior al 40%.
La revisión de las posibles medidas, criterios o acciones que favorezcan la igualdad de género en el ámbito de la evaluación científica se trabaja constantemente, entre otras, con la participación de la AGAUR en la Comisión Mujeres y Ciencia del Consejo Interuniversitario de Cataluña.