• Imprimeix

Reglament del sistema d'avaluació

Reglament del sistema d'avaluació aprovat pel Consell de Direcció de l’AGAUR el 30 de juny de 2016.

L’objectiu d’aquest document és aportar una visió clara del desenvolupament de les activitats d’avaluació associades a l’AGAUR i a les convocatòries que gestiona tant pel que fa a les accions competitives de recerca, transferència i valorització del coneixement com per a la millora del sistema universitari, que són finançades principalment per la Generalitat de Catalunya, així com per altres institucions de foment de la recerca de Catalunya i d’arreu.

D’acord amb les bases generals de l’AGAUR, els principis generals que regeixen les activitats d’avaluació són els d’objectivitat, independència i qualitat de les avaluacions, dins un marc de gestió ràpida i eficaç dels fons públics que l’Agència vol aportar a totes les seves actuacions.

Addicionalment, es vetlla perquè qualsevol sol·licitud no contravingui cap fonament ètic i, donat el cas, aquest podria ser un motiu d’exclusió del procés d’avaluació o selecció. Així mateix, l’AGAUR promou evitar qualsevol biaix basat en diferències de gènere a les seves activitats d’avaluació i selecció, sempre que sigui possible. Entre d’altres, es procura que les comissions de selecció tinguin una composició paritària.

Les activitats d’avaluació es poden desenvolupar a diferents nivells i moments per tal de valorar si els recursos públics s’estan emprant adequadament per acomplir els objectius establerts a la programació prèvia i a les convocatòries específiques.

Les convocatòries de l’AGAUR contemplen, mitjançant les seves bases d’avaluació i selecció, la participació de persones expertes que avaluïn les sol·licituds que es presentin i assegurin que compleixin els requisits per a no ser excloses. La selecció d’aquestes persones expertes o avaluadores es fa en base a la seva trajectòria curricular científica recent i que provenen de diferents camps científics, universitaris, industrials, etc. amb experiència i alt nivell en la seva àrea de coneixement, reconegudes com a especialistes internacionals en la seva temàtica, i que poden entendre les sol·licituds redactades en llengua catalana, si la convocatòria no indica el contrari.

Les persones avaluadores de les convocatòries de recerca que treballen habitualment a l’entorn de les universitats públiques catalanes són seleccionats tenint en compte l’obtenció de trams de recerca. En aquest sentit, es considera principalment el personal investigador que ha obtingut tots els trams de recerca possibles.

En canvi, les que no estan a les universitats públiques són seleccionades bàsicament a partir d’uns criteris bibliomètrics mínims, establerts per l’AGAUR, que caracteritzen cada àrea de coneixement (núm. de documents i cites).

La informació i els detalls de tot el grup de persones avaluadores es troben en una base de dades, fitxer informàtic mantingut per l’AGAUR, que es va actualitzant amb les noves incorporacions o les possibles baixes. A la base de dades, hi figura, com a mínim, un CV complet de cada persona així com la informació de l’àrea de coneixement a la qual s’associa i unes paraules clau.

L’AGAUR pot seleccionar com a persona avaluadora, si escau, a qualsevol persona amb les capacitats i les aptituds necessàries que no estigui prèviament inclosa a la base de dades abans descrita. 

2.1 Assignació

A les convocatòries que requereixen la participació d’un elevat nombre de persones avaluadores, aquestes són triades entre totes les possibles dins la base de dades de la mateixa àrea de coneixement.

Aquesta tria té lloc mitjançant un procés de selecció aleatori que alhora assigna òptimament els expedients a cada persona avaluadora. Aquest procés d’assignació es basa en un procediment informàtic que garanteix la transparència a tots nivells en l’adjudicació, i l’equilibri i l’homogeneïtat en la tasca d’avaluació, incloent-hi també la igualtat de gènere sempre que sigui possible. Addicionalment, el sistema vetlla per no sobrecarregar les persones assignant no més de 10 expedients a cadascú. En l’assignació, mai una persona avaluadora d’una determinada institució avalua el personal investigador de la mateixa institució. L’assignació en successius processos d’avaluació es regirà per un principi de rotació, sempre que sigui possible.  

Si el procediment informàtic aleatori no assigna persones avaluadores a tots els expedients, aquestes són triades manualment amb la supervisió de personal assessor en avaluació.

2.2 Conflicte d’interessos i confidencialitat

Totes les persones avaluadores que han estat proposades per actuar cal que omplin un full de declaracions previ a la seva intervenció que expressa que no tenen cap conflicte d’interessos amb les sol·licituds a avaluar i que es comprometen a mantenir la confidencialitat de tota la informació al seu abast durant el procés d’avaluació. Si no signen aquest document, no es permet l’accés als expedients assignats. Mitjançant aquest document les persones avaluadores autoritzen l’AGAUR a fer pública, periòdicament, la seva identitat de manera agregada. Aquest document és sempre vàlid mentre s’està treballant per a l’AGAUR. 

2.3 Retribucions

L’activitat de les persones avaluadores és retribuïda d’acord amb el que determini el Consell de Direcció de l’AGAUR, en funció del nombre d’expedients avaluats i de la seva  complexitat.

La taula de retribucions es publica a la pàgina web de l’AGAUR.

Les convocatòries de la Generalitat de Catalunya que gestiona l’AGAUR es publiquen al Diari Oficial de la Generalitat de Catalunya (DOGC).

Cada convocatòria ha de concretar els criteris i mecanismes d’avaluació i selecció de sol·licituds i, si escau, la puntuació o valor que s’atorga a cada criteri en l’avaluació, així com els llindars mínims de superació.

Les convocatòries distingeixen entre els requisits mínims necessaris per a la presentació de la sol·licitud, que seran valorats pels gestors de la convocatòria, i els mèrits, que seran valorats pels avaluadors.

Per a tot allò no contemplat dins la convocatòria específica regeix les bases generals vigents de l’Agència, també publicades al DOGC. Les convocatòries han d’especificar, sempre que això sigui possible, que el mitjà principal de presentació de sol·licituds és l’electrònic basat en Internet, sense excloure qualsevol altra via de presentació de sol·licituds, d’acord amb la legalitat del procediment administratiu vigent. Si una sol·licitud fos rebuda completa en format electrònic i en format paper, l’AGAUR només tractarà la versió electrònica en la seva gestió.

L’AGAUR pot establir en les convocatòries que convingui la possibilitat o la recomanació de presentar la sol·licitud en anglès. La introducció sistemàtica de la llengua anglesa a les sol·licituds permet afavorir un procés d’avaluació més externalitzat, comptant amb la participació de persones avaluadores internacionals que se seleccionaran amb els procediments esmentats anteriorment i que s’incrementaran significativament durant el proper període.  Aquest procediment és especialment indicat per a convocatòries que, a més de les fites científiques, van també adreçades a la internacionalització del sistema de ciència i tecnologia de Catalunya.

Totes les aplicacions informàtiques i les instruccions que s’adrecin a les persones avaluadores estaran també disponibles en llengua anglesa per facilitar la seva tasca.

L’avaluació de les sol·licituds sempre es porta a terme en funció del compliment dels criteris i requisits expressats a la convocatòria i no s’inicia mai abans de l’acabament del termini de presentació de sol·licituds i de la reclamació de documentació.

En primer lloc, es procedeix a fer una revisió de la informació continguda i del format de la sol·licitud. Si no apareixen defectes administratius que portin a l’exclusió de la proposta, es contempla la possibilitat de sol·licitar informació complementària en cas que sigui necessari.

Totes les sol·licituds són classificades per àmbit, per poder ser enviades a les persones  avaluadores corresponents. Per a cada àmbit es disposa d’una persona coordinadora que determina la idoneïtat temàtica en la selecció de l’equip avaluador.

L’AGAUR treballa per introduir paraules clau de manera estandaritzada com a mecanisme de classificació de sol·licituds i d’assignació de l’equip avaluador, sempre que sigui possible. En aquest sentit, s’està portant a terme un acord amb el Termcat i les universitats de Catalunya per generar un tesaure de paraules clau. Aquesta nova classificació podrà substituir o complementar la classificació per àrees de coneixement en les convocatòries de recerca, principalment, i permetrà afinar en l’assignació de l’equip avaluador.

5.1 Principals figures

Els diferents elements i persones que es combinen en l’avaluació són:

Convocatòria. Conjunt de bases o normes reguladores que defineix el procediment d’atorgament d’una subvenció en processos de concurrència competitiva.

Persones candidates o sol·licitants. Persones físiques o jurídiques que concorren a una convocatòria de beques o ajuts

Personal gestor. Personal encarregat de rebre les sol·licituds de les persones candidates i tramitar-les adequadament entre els diferents elements del procés de selecció, d’acord amb la convocatòria específica i la normativa d’aplicació. El personal gestor de l’Àrea d’avaluació i anàlisi de la recerca és l’encarregat i responsable de tramitar i garantir el procés d’avaluació tal com es defineix en aquest reglament i de proposar i portar a terme totes les actuacions pertinents per a millorar-lo.

Equip d’avaluació. Persones expertes independents seleccionades en base a la seva trajectòria investigadora, sense conflicte d’interessos i sota compromís de confidencialitat que valoren la qualitat de les persones candidats i les sol·licituds.

Persona coordinadora d’àmbit. Persona experta de reconegut prestigi, designada principalment pel president de la Comissió Executiva d’Ajuts a la Recerca per a determinats àmbits representatius, com poden ser les ciències, les ciències de la vida, les ciències mèdiques i de la salut, les ciències socials, l’enginyeria i l’arquitectura, les humanitats i la transferència del coneixement, que eleven a la comissió de selecció juntament amb el personal gestor una proposta de consens de les valoracions aportades per l’equip avaluador ajustada a la disponibilitat pressupostària de les convocatòries. Les principals tasques i funcions d’aquesta figura són:

     - Revisar i supervisar el procés d’avaluació específic de cada convocatòria.

     - Resoldre o proposar solucions davant avaluacions discrepants.

     - Valorar les persones avaluadores.

     - Aconsellar millores per a les convocatòries i el procediment d’avaluació.

     - Revisar el procediment previ front als recursos presentats.

La selecció les persones coordinadores d’àmbit la realitza el director general de Recerca a partir d’una terna a proposta del director executiu de l’AGAUR que garanteixi els criteris de qualitat científica i coneixement del sistema necessaris per portar a terme aquesta tasca.Aquestes actuen com a tals durant un període de dos anys, que es pot ampliar fins a un màxim de cinc anys. A partir de llavors, són substituïdes per altres persones de les mateixes característiques.

 

Comissió de selecció. Òrgan col·legiat, la composició del qual ve definit a la convocatòria, que proposa la concessió i la resolució d’ajuts o beques al president de la Comissió executiva d’ajuts corresponent, basant-se en les avaluacions, informes de les persones coordinadores d’àmbit, informes de l’equip gestor, etc.

 

El procediment de l’AGAUR desenvolupa, sempre que sigui possible, com a mínim, dues avaluacions per a cada sol·licitud, portades a terme per una persona avaluadora professionalment vinculada a Catalunya i un altra d’externa al sistema català de ciència i tecnologia, però per regla general l’equip avaluador està format per dos persones  que valoraran cada expedient. Cap membre de l’equip podrà pertànyer a la mateixa institució de la sol·licitud avaluada. En cas d’avaluacions significativament divergents (25% de diferència mínima), la persona coordinadora d’àmbit corresponent, en base a les consideracions sobre el possible equip avaluador fetes pel personal gestor de l’AGAUR, podrà proposar a una tercera, que resoldrà els dubtes anteriors.


5.2 Escala de puntuació

El sistema de puntuació final de les avaluacions es basa en la suma dels diferents valors obtinguts a cada un dels blocs avaluats. El total agregat s’expressa amb un valor comprès entre 1 i 7 (amb una dècima), en què cada valor té el següent significat:

1

Proposta deficient en tots els aspectes avaluats

2

Proposta no satisfactòria, amb nombroses deficiències en els diferents criteris valorats que no garanteixen la seva viabilitat

3

Proposta regular, amb reserves respecte a alguns elements o criteris importants de la valoració i que poden dificultar la seva viabilitat

4

Proposta acceptable, tot i que amb alguna reserva. No destaca especialment en cap dels aspectes avaluats però podria ser viable

5

Proposta bona i viable. Correcte en la majoria de criteris valorats, competitiva a nivell nacional però sense aportacions significatives

6

Proposta molt bona, competitiva internacionalment i que aporta contribucions significatives dins els seu àmbit, de primera línia nacional

7

Proposta excel·lent, a l’avantguarda internacional i que garanteix un impacte destacat dins el seu àmbit

Aquestes definicions de base es concreten per a cada convocatòria integrant els criteris d’avaluació que defineixi.

L’equip avaluador omple també, apart d’una valoració numèrica dels diferents blocs valorats, comentaris qualitatius que han de ser coherents amb la puntuació expressada. La valoració qualitativa és obligatòria i es pot emprar per a justificar als interessats les puntuacions obtingudes, sempre que convingui.

L’AGAUR ha de facilitar, si escau, una guia per a l’avaluació de la convocatòria en qüestió, amb l’objectiu de concretar a l’equip avaluador l’objecte i els criteris d’aquella convocatòria i aconseguir el màxim de coherència entre les persones avaluadores que actuen individualment.

Les persones coordinadores d’àmbit es reuneixen per tal d’assolir un consens en base a les notes de l’equip avaluador i a la disponibilitat pressupostària, i juntament amb el personal gestor, preparar una proposta per elevar a la comissió de selecció. Aquesta darrera podrà variar l’ordre de la proposta.

La Comissió de selecció, atenent la qualitat i l’oportunitat de les sol·licituds i d’acord amb els criteris explicitats a la convocatòria, pren un acord que inclou la proposta final de resolució que es fa arribar al president de la Comissió executiva d’ajuts corresponent.

En aquelles convocatòries en què s’expliciti específicament i d’acord amb les bases generals de l’AGAUR, la Comissió de selecció determinarà els components d’una llista de reserva prioritzada de denegats, els quals esdevindran beneficiaris de l’ajut en cas de renúncia o substitució d’algun dels beneficiaris originals.

 

Les accions de recerca finançades per l’AGAUR han de complir els estàndards ètics. Progressivament, s’implantaran sistemes de control per respectar la normativa europea Decisió 1982/20067EC, en el seu article núm. 6.

L’AGAUR externalitza, en organismes que ja han desenvolupat una expertesa i prestigi en aquest requeriments de la recerca,  el control expert ètic de les sol·licituds i acata, així mateix, les decisions de la Comissió d’experimentació animal (CEA). 

Cap sol·licitud que tingui alguna sospita d’incompliment de cap norma ètica serà finançada.

Per defecte, les convocatòries han de seguir l’esquema general del procés d’avaluació i selecció esmentat anteriorment. Aquest esquema general contempla una sèrie de trets que s’aplicaran a totes les sol·licituds, però la tipologia de convocatòries que actualment es defineixen des de l’AGAUR pot permetre que el procés d’avaluació de cada una presenti singularitats en el procediment. Els panels d’avaluació es desenvolupen només en les convocatòries que així ho requereixen.

A partir d’aquí, i tenint sempre en compte quin procediment pot ser el millor per a l’avaluació de cadascuna així com els criteris generals indicats fins ara, l’avaluació dels expedients es pot efectuar aplicant diferents tècniques, com ara:

Peer review (per iguals):

Cada expedient és avaluat per dues persones expertes que fan cadascuna la seva valoració. Aquesta tècnica és la que s’aplica en la majoria de convocatòries.

Panel de  persones avaluadores:

Creació d’un panel de persones avaluadores que s’encarregui de valorar les diferents sol·licituds, sobre la base del consens, o de revisar el procés d’avaluació individual previ realitzat, com a suport a la tasca de les persones coordinadores. El panel d’avaluació treballa en diferents sessions conjuntament. És tracta d’una tècnica que pot ser més aplicable en aquelles convocatòries de temàtiques concretes o que tracten només un àmbit, o en aquelles en què el currículum del personal investigador o del grup de recerca tingui un pes específic molt rellevant. També en aquelles en què hi ha un xifra molt baixa de sol·licituds o en convocatòries molt competitives que requereixen una doble fase d’avaluació. El panel d’avaluació també pot complementar un peer review simple en aquelles convocatòries en què convingui una visió comparada de totes les sol·licituds.

El personal gestor de l’AGAUR aportarà a les persones avaluadores tota aquella informació complementària i necessària per portar a terme les seves tasques en el moment d’iniciar el procés d’avaluació. Les fitxes d'avaluació que s’hi utilitzen segueixen una estructura genèrica en què consten els criteris d'avaluació i les observacions. Els criteris són específics per a cada línia i la persona avaluadora assigna un valor numèric a cada criteri avaluat. Addicionalment, com ja s’ha comentar, caldrà aportar comentaris qualitatius a cada punt.

Les avaluacions es realitzen mitjançant una aplicació informàtica per internet, a partir d'uns paràmetres de connexió personals. La persona avaluadora pot realitzar la seva feina des de qualsevol ordinador amb accés a internet. Des d'una pàgina web específica i a partir d'un nom d'usuari i una paraula de pas, accedeix a la relació de convocatòries atribuïdes. Cada convocatòria dona accés als expedients assignats per avaluar. La persona avaluadora pot accedir a l'expedient complet i a la fitxa d'avaluació que cal emplenar per a cada expedient, però només té accés als expedients assignats.

Les persones coordinadores d’àmbit tenen la possibilitat de revisar totes les avaluacions del seu àmbit. També poden disposar de les puntuacions mitjanes atorgades per cada persona avaluadora, per tal de poder normalitzar les puntuacions d’aquell àmbit si convé i iniciar un procés que s’haurà d’anar introduint en diferents fases a les convocatòries.

L’AGAUR porta a  terme activitats d’inspecció a les diferents convocatòries per tal de documentar-se i valorar in itinere el desenvolupament dels diferents projectes o accions i així corregir dinàmiques inadequades, si es detecten.

La valoració dels resultats obtinguts individualment a cada acció aporta informació molt significativa per conèixer com es porta a terme l’execució de la recerca i l’impacte d’aquesta. Així doncs, s’introdueixen també accions d’avaluació ex-post de les propostes i els projectes finançades que tenen en compte diferents aspectes d’aquest procés:

- L’adequació dels resultats obtinguts a allò que exigeix la convocatòria.

- L’avaluació científica dels resultats.

- El desenvolupament de la metodologia necessària per valorar l’impacte dels resultats a nivell socioeconòmic, en el context de Catalunya.

Les especificitats d’aquests dos àmbits de coneixement i les demandes tant dels col·lectius que hi treballen com de diferents institucions poden comportar la posada en marxa de diferents actuacions amb l’objectiu de millorar l’avaluació en aquestes àrees i fomentar-ne la internacionalització i l’impacte, alhora que respecta la tradició de recerca en les àrees de catalanística. Destaca aquí el projecte CARHUS Plus+ (classificació de revistes en humanitats i ciències socials), que actualitza les seves dades cada dos anys, com a eina per a la millora dels processos de valoració de revistes i el projecte d’avaluació de llibres i capítols de llibre, ambdós amb trajectòria prèvia i continuïtat.

Els noms de les persones avaluadores de l’AGAUR són publicats de manera agregada al web de l’Agència anualment, previ consentiment d’aquests, com a mesura de transparència.

Així mateix, també es publica de manera sistemàtica al web la identitat de les persones coordinadores d’àmbit, que actuen durant un període de dos anys, i les seves tasques.

L’avaluació general de les persones avaluadores que actuen per l’AGAUR es porta a terme a través de mecanismes de revisió i seguiment de la seva tasca, tant des de l’àmbit tècnic com des del científic. Per aquesta darrera revisió, es compta també amb l’assessorament i l’avaluació que les persones coordinadores d’àmbit emeten, tant a través de la valoració que poden efectuar de cada persona avaluadora a l’aplicació informàtica com amb les valoracions generals que poden manifestar mitjançant els diferents mecanismes que l’AGAUR creï per assolir aquest objectiu.

Periòdicament, l’AGAUR pot encarregar avaluacions externes dels seus procediments d’avaluació amb l’objectiu de sotmetre’ls al criteri de personal expert per a la seva millora i adaptació al context del sistema de ciència i tecnologia de Catalunya.

L’AGAUR, com a agència de gestió i avaluació, pot establir contactes i propostes de col·laboració amb altres institucions dedicades a l’avaluació universitària i de la recerca, tant estatals com internacionals. Aquesta col·laboració ha de servir per consensuar mecanismes, procediments o criteris, si convé, o per col·laborar en totes aquelles qüestions que permetin millorar el sistema d’avaluació vigent (per exemple, compartir bases de dades de persones avaluadores).

La col·laboració o coordinació es podrà fer palesa mitjançant la creació i participació en espais de debat, l’establiment de convenis entre institucions, etc.

D’altra banda, l’AGAUR s’encarrega de permetre aquesta interacció també amb institucions de Catalunya que participen habitualment en les convocatòries i per tant en els processos d’avaluació.

L’AGAUR pot atendre les necessitats d’institucions de dins i fora de Catalunya en matèria d’avaluació de la recerca, sobre una base de cobrament de les despeses que aquesta activitat generi i de qualitat en les avaluacions d’acord amb els principis expressats en aquest document.

Els costos imputats a les avaluacions es calcularan en base a la taula de l’annex 1 d’aquest document.

Data d'actualització:  18.01.2016

Informació relacionada