¿Quién es capaz de poner nota a la ciencia?
Los Gobiernos y muchas empresas recurren a la revisión por pares para decidir qué investigación financian
Aunque puede haber conflictos de interés, los expertos coinciden en que es el mejor sistema
La gran complejidad de la ciencia exige que sean los propios científicos quienes determinen su calidad e interés. / Hans-guenther oed (getty)
Solo los propios científicos pueden determinar con rigor qué investigación científica es relevante, de alto nivel y merecedora de recibir financiación. Tan alto es el conocimiento que hay que tener para valorar un proyecto de investigación, tan especializada es ya la ciencia, que solo los propios expertos están capacitados para ponerle nota. No valen ni sabios universales (que no los hay), ni ministros, ni instituciones aisladas. En esto están de acuerdo los expertos y todos los países que tienen —o aspiran a tener— un sistema de I+D desarrollado, y que hacen recaer el peso de la selección de la investigación sobre un sistema de evaluación dentro de la propia comunidad científica, con matices y variaciones aquí o allá, pero siempre con lo que se denomina revisión por pares, o peer review —en inglés, que es el idioma de la ciencia—. Y es que si uno trabaja en la frontera del conocimiento, solo quien también esté en esa avanzadilla puede entender y valorar el interés de lo que se investiga, si se está haciendo bien y si realmente es algo nuevo y desconocido. Por supuesto, toda persona puede emprender la búsqueda, pero si pretende que se la financien, tendrá que pasar algún tipo de evaluación que determine que merece la pena.
“Nadie puede garantizar la perfección al 100%, pero el sistema de peer review es bueno y no se aprecia ninguna deficiencia obvia”, señala Francisco del Águila, catedrático de la Universidad de Granada y gestor del Programa de Física de Partículas y Aceleradores del Plan Nacional de I+D. Parece que el sistema de evaluación de la ciencia es un poco como el Estado de derecho, que no es perfecto, que precisa siempre atención para mantenerlo saludable y para superar sus tensiones intrínsecas, pero no se conoce un sistema alternativo mejor.
“No hay, probablemente, una actividad que sea tan frecuentemente evaluada como la científica”, señala Pere Puigdomenech, investigador del CSIC y experto en biología de plantas. “La revisión entre pares es un proceso de separación del polvo de la paja y de asignar recursos financieros escasos a los proyectos científicos que lo merecen”, añade Luis Sanz, investigador del CSIC y director del Instituto de Políticas y Bienes Públicos (IPP).
Más formalmente lo explica la OCDE: “La revisión por pares es una evaluación técnica que, tradicionalmente, desempeña un papel central en la investigación científica y forma parte de los procedimientos de decisión para la asignación de recursos y la formulación estratégica de programas. Lo utilizan todos los actores de la investigación, incluyendo los Gobiernos y las empresas”.
Algunos ejemplos: el Consejo Europeo de Investigación (ERC) recibe cada año unas 10.000 propuestas de otros tantos investigadores de todo el mundo para recibir financiación en sus tres programas dedicados a ciencia en la frontera del conocimiento. Al final recibe luz verde —y dinero— solo un 10% de los investigadores que lo solicitan. El proceso de selección (revisión por pares) dura varios meses, es complejo y se gasta en él aproximadamente el 0,6% del total del dinero invertido en financiar las investigaciones aprobadas. “Pero el mayor desperdicio o despilfarro sería invertir el dinero en proyectos subóptimos o de segundo nivel, eso sí que sería tirar el dinero del contribuyente”, comenta, desde Bruselas, Alejandro Martin Hobdey, jefe de coordinación de convocatorias del ERC.
¿Quién puede determinar si es interesante y factible ahondar en un determinado análisis de genómica, o la viabilidad de un experimento para conocer las características de una partícula elemental, o la técnica más adecuada para buscar planetas extrasolares sino los genetistas, físicos o astrónomos especialistas en esas cuestiones concretas? “Cuando se quiere elegir, por ejemplo, entre distintas ofertas para construir una vía de tren entre dos ciudades”, argumenta Martin Hobdey. “La Administración misma puede definir muy claramente el problema a resolver, con un sinfín de detalles como el trayecto que debe seguir la vía, la pendiente máxima, la curvatura máxima, las estaciones, etcétera”. Pero en ciencia, “puede haber solo unas pocas personas en el mundo capaces de juzgar un problema científico o si el problema está bien formulado”.
En España, desde el primer Plan Nacional de I+D, de 1986, los proyectos que tienen financiación del Estado —o de comunidades autónomas— pasan por un sistema de evaluación por pares, que también se aplica, por ejemplo, a los candidatos de contratos Ramón y Cajal y Juan de la Cierva. “Evaluamos cada año unos 25.000 expedientes, entre contratos y proyectos, y participan en los procesos unos 33.000 evaluadores”, explica Julio Bravo, director de la Agencia Nacional de Evaluación y Prospectiva (ANEP). La suma total del dinero distribuido entre los 3.100 proyectos del Plan Nacional de I+D+i seleccionados en 2012 fue de 309 millones de euros y el coste de la evaluación, señala Bravo, fue el 0,5% de esa cantidad. “El sistema de evaluación ha permitido 30 años de financiación rigurosa de la ciencia”, señala Jacobo Santamaría, catedrático de la Universidad Complutense y gestor del área de materiales. “Antes el mecanismo no estaba estructurado y era un poco... un desbarajuste”.
La Fundación Nacional de la Ciencia (NSF, una de las dos grandes agencias federales estadounidenses de financiación de la investigación fundamental, junto con los institutos nacionales de salud) evalúa cada año 48.600 propuestas de investigación “y unos 36.000 científicos están involucrados en el proceso, siempre basada en el sistema de peer review”, explica Dana Topousis desde la sede de la NSF en Arlington (Virginia). En cuanto al coste, el presupuesto anual total de la NSF es de 5.350 millones de euros, de los que se gasta el 6% en gestión, operación y evaluación. “Absolutamente todas las solicitudes se someten al proceso de peer review con dos criterios: mérito intelectual e impacto”, añade.
“La revisión por pares facilita la estabilidad necesaria en ciencia y representa la tensión esencial entre la tradición y la innovación porque desafía a las ideas novedosas para que sean nuevas de verdad, insistiendo en la conexión con la tradición, con el conocimiento científico establecido”, apunta Sanz. Con variaciones en la forma de organizar la evaluación por pares, cuyo origen se remonta al siglo XVIII en la Royal Society británica, en todos los países desarrollados se recurre a ella a la hora de distribuir con eficacia la financiación de la I+D en las Administraciones públicas y, cada vez más, en entidades privadas.
Bravo explica el proceso que sigue la ANEP con los proyectos del Plan Nacional de I+D+i. Más de 7.000 investigadores presentan su solicitud cada año (los proyectos son trienales) y, tras verificar la documentación, se envían a los coordinadores de área (hay 26) “que son siempre del máximo prestigio”, recalca. Los coordinadores forman los paneles necesarios. Cada solicitud de proyecto se remite a dos científicos especialistas del tema para que hagan una evaluación individual (teniendo en cuenta las incompatibilidades en todo el proceso) y, si las notas de los dos discrepan en más de un 30%, se envía a un tercero o a un cuarto. Los criterios son: calidad del proyecto, planteamiento adecuado, novedad, capacidad del investigador principal para realizarlo, calidad del grupo y viabilidad.
Todos los evaluadores son voluntarios y asumen la responsabilidad por considerar que es una de sus obligaciones como investigadores (reciben unos 100 euros de remuneración por evaluación, que puede exigir horas de trabajo). Luego, el panel conjunto, con las evaluaciones individuales, confecciona una lista calificando cada proyecto. El Ministerio de Economía y Competitividad, por su parte, sigue su evaluación, sobre oportunidad e interés de cada propuesta y, al final, se integran las dos patas del proceso general para dar una valoración a cada solicitud y confeccionar la lista que permita seleccionar y asignar la financiación a los buenos. El proceso de evaluación dura, como mínimo, tres meses y las mayores dudas no se plantean entre los muy buenos o los malos, sino en las zonas grises, los intermedios. Al final es una decisión de política científica, sobre todo, cuando hay escasez de fondos, si se financia plenamente a los mejores o se reparten un poco el dinero para alcanzar a científicos que no están en cabeza.
“El sistema español quizás es demasiado garantista, tal vez porque es joven aún, en comparación con otros países, donde es más fluido”, apunta Del Águila. “El sistema de peer review permite seleccionar la ciencia de alta calidad, pero hay que tener en cuenta también que hay un criterio previo, de oportunidad, la política científica, que puede orientar la selección”. Y cuanto más se compartimenta la ciencia para plasmar decisiones de política científica, más se desvirtúan los resultados del peer review: si se asignan a priori recursos a objetivos diferenciados, es normal que en uno especialmente potente se queden fuera científicos o propuestas de muy alto nivel, mientras que en otro se rellene el cupo con algo de mediocridad.
En el ERC el enfoque es puramente de abajo arriba, es decir, “son los científicos los que definen el problema concreto que quieren investigar y las posibles vías o soluciones que quieren encontrar”, apunta Martin Hobdey.
De vez en cuando la evaluación comete errores graves rechazando investigaciones que resultan ser muy importantes, pero antes o después el sistema acaba reparándolos en otra convocatoria.
El peer review tiene sus defectos, recuerda Puigdomenech, “el mayor de los cuales es el conflicto de intereses, porque el evaluador puede tener interés en el proyecto que evalúa, o amistad con el investigador, o todo lo contrario. La solución está en la transparencia del proceso, en utilizar el mayor número posible de evaluadores y en la mayor lejanía geográfica posible de estos respecto a quienes presentan los proyectos”.
Aboga por la participación de científicos extranjeros en todo el proceso, lo que exige recursos. “Acaba siendo más caro financiar proyectos mediocres o contratar a gente poco calificada que pagar el avión a un investigador extranjero”, apunta Puigdomenech. En el sistema de la ANEP son extranjeros el 9% de los evaluadores, y hay áreas, como física de partículas, que siempre cuenta con expertos de otros países.
En Cataluña lo tienen muy claro con la Institución Catalana de Investigación y Estudios Avanzados (ICREA) que selecciona científicos de muy alto nivel. Para el proceso de evaluación se eligen “personas de reconocido prestigio académico y obligatoriamente tienen que estar trabajando fuera de Cataluña (con una proporción importante de extranjeros)”, señala Jaume Bertran Petit, director de ICREA. “Los criterios son de excelencia investigadora y proyección del candidato”. La institución recibe cada año unas 200 solicitudes y se hacen unos 15 contratos. “¿Que si es cara la evaluación? El total de los sueldos de los contratados (235) ascendió, en 2012, a 20 millones de euros, pero esos investigadores captaron 60 millones en proyectos competitivos”, zanja Bertran Petit.
“Nadie puede garantizar la perfección al 100%, pero el sistema de peer review es bueno y no se aprecia ninguna deficiencia obvia”, señala Francisco del Águila, catedrático de la Universidad de Granada y gestor del Programa de Física de Partículas y Aceleradores del Plan Nacional de I+D. Parece que el sistema de evaluación de la ciencia es un poco como el Estado de derecho, que no es perfecto, que precisa siempre atención para mantenerlo saludable y para superar sus tensiones intrínsecas, pero no se conoce un sistema alternativo mejor.
“No hay, probablemente, una actividad que sea tan frecuentemente evaluada como la científica”, señala Pere Puigdomenech, investigador del CSIC y experto en biología de plantas. “La revisión entre pares es un proceso de separación del polvo de la paja y de asignar recursos financieros escasos a los proyectos científicos que lo merecen”, añade Luis Sanz, investigador del CSIC y director del Instituto de Políticas y Bienes Públicos (IPP).
Más formalmente lo explica la OCDE: “La revisión por pares es una evaluación técnica que, tradicionalmente, desempeña un papel central en la investigación científica y forma parte de los procedimientos de decisión para la asignación de recursos y la formulación estratégica de programas. Lo utilizan todos los actores de la investigación, incluyendo los Gobiernos y las empresas”.
Algunos ejemplos: el Consejo Europeo de Investigación (ERC) recibe cada año unas 10.000 propuestas de otros tantos investigadores de todo el mundo para recibir financiación en sus tres programas dedicados a ciencia en la frontera del conocimiento. Al final recibe luz verde —y dinero— solo un 10% de los investigadores que lo solicitan. El proceso de selección (revisión por pares) dura varios meses, es complejo y se gasta en él aproximadamente el 0,6% del total del dinero invertido en financiar las investigaciones aprobadas. “Pero el mayor desperdicio o despilfarro sería invertir el dinero en proyectos subóptimos o de segundo nivel, eso sí que sería tirar el dinero del contribuyente”, comenta, desde Bruselas, Alejandro Martin Hobdey, jefe de coordinación de convocatorias del ERC.
¿Quién puede determinar si es interesante y factible ahondar en un determinado análisis de genómica, o la viabilidad de un experimento para conocer las características de una partícula elemental, o la técnica más adecuada para buscar planetas extrasolares sino los genetistas, físicos o astrónomos especialistas en esas cuestiones concretas? “Cuando se quiere elegir, por ejemplo, entre distintas ofertas para construir una vía de tren entre dos ciudades”, argumenta Martin Hobdey. “La Administración misma puede definir muy claramente el problema a resolver, con un sinfín de detalles como el trayecto que debe seguir la vía, la pendiente máxima, la curvatura máxima, las estaciones, etcétera”. Pero en ciencia, “puede haber solo unas pocas personas en el mundo capaces de juzgar un problema científico o si el problema está bien formulado”.
En España, desde el primer Plan Nacional de I+D, de 1986, los proyectos que tienen financiación del Estado —o de comunidades autónomas— pasan por un sistema de evaluación por pares, que también se aplica, por ejemplo, a los candidatos de contratos Ramón y Cajal y Juan de la Cierva. “Evaluamos cada año unos 25.000 expedientes, entre contratos y proyectos, y participan en los procesos unos 33.000 evaluadores”, explica Julio Bravo, director de la Agencia Nacional de Evaluación y Prospectiva (ANEP). La suma total del dinero distribuido entre los 3.100 proyectos del Plan Nacional de I+D+i seleccionados en 2012 fue de 309 millones de euros y el coste de la evaluación, señala Bravo, fue el 0,5% de esa cantidad. “El sistema de evaluación ha permitido 30 años de financiación rigurosa de la ciencia”, señala Jacobo Santamaría, catedrático de la Universidad Complutense y gestor del área de materiales. “Antes el mecanismo no estaba estructurado y era un poco... un desbarajuste”.
La Fundación Nacional de la Ciencia (NSF, una de las dos grandes agencias federales estadounidenses de financiación de la investigación fundamental, junto con los institutos nacionales de salud) evalúa cada año 48.600 propuestas de investigación “y unos 36.000 científicos están involucrados en el proceso, siempre basada en el sistema de peer review”, explica Dana Topousis desde la sede de la NSF en Arlington (Virginia). En cuanto al coste, el presupuesto anual total de la NSF es de 5.350 millones de euros, de los que se gasta el 6% en gestión, operación y evaluación. “Absolutamente todas las solicitudes se someten al proceso de peer review con dos criterios: mérito intelectual e impacto”, añade.
“La revisión por pares facilita la estabilidad necesaria en ciencia y representa la tensión esencial entre la tradición y la innovación porque desafía a las ideas novedosas para que sean nuevas de verdad, insistiendo en la conexión con la tradición, con el conocimiento científico establecido”, apunta Sanz. Con variaciones en la forma de organizar la evaluación por pares, cuyo origen se remonta al siglo XVIII en la Royal Society británica, en todos los países desarrollados se recurre a ella a la hora de distribuir con eficacia la financiación de la I+D en las Administraciones públicas y, cada vez más, en entidades privadas.
Bravo explica el proceso que sigue la ANEP con los proyectos del Plan Nacional de I+D+i. Más de 7.000 investigadores presentan su solicitud cada año (los proyectos son trienales) y, tras verificar la documentación, se envían a los coordinadores de área (hay 26) “que son siempre del máximo prestigio”, recalca. Los coordinadores forman los paneles necesarios. Cada solicitud de proyecto se remite a dos científicos especialistas del tema para que hagan una evaluación individual (teniendo en cuenta las incompatibilidades en todo el proceso) y, si las notas de los dos discrepan en más de un 30%, se envía a un tercero o a un cuarto. Los criterios son: calidad del proyecto, planteamiento adecuado, novedad, capacidad del investigador principal para realizarlo, calidad del grupo y viabilidad.
Todos los evaluadores son voluntarios y asumen la responsabilidad por considerar que es una de sus obligaciones como investigadores (reciben unos 100 euros de remuneración por evaluación, que puede exigir horas de trabajo). Luego, el panel conjunto, con las evaluaciones individuales, confecciona una lista calificando cada proyecto. El Ministerio de Economía y Competitividad, por su parte, sigue su evaluación, sobre oportunidad e interés de cada propuesta y, al final, se integran las dos patas del proceso general para dar una valoración a cada solicitud y confeccionar la lista que permita seleccionar y asignar la financiación a los buenos. El proceso de evaluación dura, como mínimo, tres meses y las mayores dudas no se plantean entre los muy buenos o los malos, sino en las zonas grises, los intermedios. Al final es una decisión de política científica, sobre todo, cuando hay escasez de fondos, si se financia plenamente a los mejores o se reparten un poco el dinero para alcanzar a científicos que no están en cabeza.
“El sistema español quizás es demasiado garantista, tal vez porque es joven aún, en comparación con otros países, donde es más fluido”, apunta Del Águila. “El sistema de peer review permite seleccionar la ciencia de alta calidad, pero hay que tener en cuenta también que hay un criterio previo, de oportunidad, la política científica, que puede orientar la selección”. Y cuanto más se compartimenta la ciencia para plasmar decisiones de política científica, más se desvirtúan los resultados del peer review: si se asignan a priori recursos a objetivos diferenciados, es normal que en uno especialmente potente se queden fuera científicos o propuestas de muy alto nivel, mientras que en otro se rellene el cupo con algo de mediocridad.
En el ERC el enfoque es puramente de abajo arriba, es decir, “son los científicos los que definen el problema concreto que quieren investigar y las posibles vías o soluciones que quieren encontrar”, apunta Martin Hobdey.
De vez en cuando la evaluación comete errores graves rechazando investigaciones que resultan ser muy importantes, pero antes o después el sistema acaba reparándolos en otra convocatoria.
El peer review tiene sus defectos, recuerda Puigdomenech, “el mayor de los cuales es el conflicto de intereses, porque el evaluador puede tener interés en el proyecto que evalúa, o amistad con el investigador, o todo lo contrario. La solución está en la transparencia del proceso, en utilizar el mayor número posible de evaluadores y en la mayor lejanía geográfica posible de estos respecto a quienes presentan los proyectos”.
Aboga por la participación de científicos extranjeros en todo el proceso, lo que exige recursos. “Acaba siendo más caro financiar proyectos mediocres o contratar a gente poco calificada que pagar el avión a un investigador extranjero”, apunta Puigdomenech. En el sistema de la ANEP son extranjeros el 9% de los evaluadores, y hay áreas, como física de partículas, que siempre cuenta con expertos de otros países.
En Cataluña lo tienen muy claro con la Institución Catalana de Investigación y Estudios Avanzados (ICREA) que selecciona científicos de muy alto nivel. Para el proceso de evaluación se eligen “personas de reconocido prestigio académico y obligatoriamente tienen que estar trabajando fuera de Cataluña (con una proporción importante de extranjeros)”, señala Jaume Bertran Petit, director de ICREA. “Los criterios son de excelencia investigadora y proyección del candidato”. La institución recibe cada año unas 200 solicitudes y se hacen unos 15 contratos. “¿Que si es cara la evaluación? El total de los sueldos de los contratados (235) ascendió, en 2012, a 20 millones de euros, pero esos investigadores captaron 60 millones en proyectos competitivos”, zanja Bertran Petit.
.png)
No hay comentarios:
Publicar un comentario