Hacia un nuevo sistema de evaluación de subsidios en FONCYT

Contactar con el autor de la petición

Este tema de discusión ha sido creado automáticamente para la petición Hacia un nuevo sistema de evaluación de subsidios en FONCYT.


Huésped

#51

2012-06-28 22:01

Felicitaciones por la iniciativa.
LJFL #391

#52 Intento de aporte a la propuesta

2012-06-28 23:45

Hola. Gracias Mónica por iniciar la discusión y permitirnos participar y opinar. La verdad es que empecé un par de veces a escribir el comentario para dar mi opinión… pero me di cuenta que necesitaba reflexionar un poco más antes de dejar mi impresión. Primero quisiera decir que estoy de acuerdo con casi todas las cosas que se proponen en el la petitorio. Lo único que no me convence, es el tema de la revisión por referees anónimos cuando uno firma sus formularios de pedido de subsidio con nombre y apellido. Por más neutro y objetivo que uno quiera ser, no se deja de ser humano. Me parece que es casi imposible ser completamente objetivo si uno es referee desde las sombras. Uno podría proponer que las evaluaciones estén firmadas por quién las revisa… pero no creo que realmente eso solucione el problema. Si uno quiere evitar favoritismos o evaluaciones demasiado duras de proyectos de investigadores que NO son “amigos” o son competencia (consiente o involuntariamente), no se puede hacer una lista interminable de evaluadores vetados… Lista que se alargaría cada año cuando a uno no le otorgan los subsidios que pidió el año anterior. Por otro lado, es imposible evaluar los antecedentes del grupo de trabajo en forma anónima, por obvias razones. Creo que la mejor manera sería que, como ya se sugirió en otros comentarios, dividir la evaluación en dos segmentos… cosa que podría estar a cargo incluso de “comisiones” distintas.

Por un lado, se podría evaluar el plan de trabajo en detalle por pares con experiencia en la temática y/o técnicas sugeridas. Los proyectos deberían ser presentados en forma anónima, y poniendo una fuerte vigilancia sobre la inclusión de autoreferencias que permitan entrever la autoría de los mismos. Cómo presenta entonces uno su experiencia en el tema que demuestre la factibilidad del proyecto? Bueno, esas son evaluaciones personales… NO del proyecto en sí y, por lo tanto, deberían ser incluidas en la evaluación del grupo de trabajo. Frases como “… tal y como hemos demostrado en previos trabajos... (ref. 4-9)” deberían ser filtradas, e incluso, quizás, sancionadas con la “No-Admisibilidad” de la presentación si no se corrigen dentro de un plazo inmediato. Las mismas referencias pueden mantenerse sin hacer referencia a que pertenecen a trabajos propios. Por otro lado, los datos previos pueden presentarse sin necesidad de mencionar exposiciones en congresos. De este modo la factibilidad del proyecto se limitaría al hecho de que el proyecto está bien armado, organizado y con referencias metodológicas y de datos previos bien presentados. Este modo de evaluación creo que sería mucho más crítica y realista por parte de los referees. Uno no sabe a quién está evaluando y debe concentrarse solo en el mérito académico/científico del proyecto. Ahora estaríamos en condiciones de introducir la oportunidad de un “rebutal” al estilo NIH. Esto incluso podría ayudar a desenredar la maraña de la “nube”.

Una segunda etapa de evaluación se enfocaría, ahora sí, en los grupos de trabajo. Aquí se evalúan personas, por lo que habría que ser extremadamente preciso en los criterios de evaluación de forma de ser lo más objetivos posibles. Esto quiere decir, que las reglas deberían estar predefinidas, al menos dentro de cada área, antes de la convocatoria. Esta evaluación además debería ser posterior a haber fijado ya los puntajes de los planes de trabajo y los datos del grupo de trabajo deberían mantenerse desvinculados al proyecto, para evitar que se filtre información que pueda afectar la primera etapa de la evaluación. La evaluación de CVs ya se ha implementado en varias UUNN con ayuda de planillas de puntajes con criterios bien definidos. Se puede pensar en usar, como base, por ejemplo, los requisitos de CONICET para que un investigador avance en la carrera como para definir los antecedentes mínimos que se deberían reunir como para obtener el puntaje máximo. Un ejemplo, en las promociones o concurso para entrada a carrera de CONICET se solicitan (solicitaban al menos hace un par de años, no sé si los criterios se han mantenido…) 5 papers para la categoría de Asistente, 10 para Adjunto, 15 para Independiente más alguna tesis defendida bajo su dirección, etc… Esto podría usarse como referencia, a fin de poder evaluar y comparar CVs de investigadores con distintos años en el sistema. Podrían asignarse un puntaje definido en función de haber alcanzado, superado o no los logros “esperados” por CONICET para cada categoría. La Evaluación total, no debe ser un único parámetro, sino la combinación de varios. Otro ítem podría ser un puntaje por total de papers publicados en la carrera (normalizado, si se desea, por la cantidad de años desde la entrada como investigador o desde la obtención del doctorado). Independientemente, se podría asignar un puntaje por las publicaciones de los últimos 5/10 años, teniendo en cuenta los “tercios” a los que pertenecen las revistas (digamos: 3puntos. para el 1er tercio, 2 para el 2do, y 1 para el 3ro), y saturando con 15puntos/5años para el puntaje máximo de este ítem. Esto no sólo daría cuenta de la claidad de las publicaciones sino también de la regularidad en la producción del grupo de trabajo. Otro criterio a evaluar serían los antecedentes (papers aceptados y publicados) en la temática y/o en las técnicas a emplear en el nuevo proyecto, y en este caso sí se necesitaría cotejar con un resumen del proyecto a evaluar. Incluso se puede pedir que se llene un casillero indicando los papers del grupo de trabajo vinculados al nuevo proyecto. [Claro, que uno no tenga demasiados antecedentes en tema en particular no quiere decir que no pueda idear un proyecto de investigación innovador, bien fundado y que merezca ser financiado, no? NIH, pro ejemplo, abre líneas de financiamiento diferentes apra proyectos “seguros” y para proyectos “arriesgados”… no estoy seguro que eso sea también factible con los limitados fondos de los que dispone la ANPCyT] Un casillero distinto podría asignar un puntaje basado en el índice h que útlimamente se ha venido contemplando tanto (con sus fallas y bondades…). Puesto de este modo, no se necesitaría de un referee “formado” para asignar estos puntajes. Se podrían llenar los formularios por personal de la ANPCyT/FONCyT que no sean investigadores (o contratados a tal fin) y de este modo liberar a los referees de este deber y permitir que se concentren en la parte académica. Aún más, podrían ser asignados en forma automática pro el sistema informático empleado para realizar las presentaciones online. Incluso cada uno podría saber qué puntaje tendría cada grupo en forma automática luego de haber submitido su presentación.

De este modo los puntajes sólo se sumarían una vez completadas ambas evaluaciones en forma independiente y generando el orden de mérito (final?).

El último punto que quería comentar, también ya fue mencionado en algunso comentarios, y es el tema del círculo vicioso que se genera cuando un grupo de trabajo tiene la mala suerte de tener una seguidilla de 3 o más años con proyectos rechazados (PIP, PICT o lo que sea…). Y me pregunto, estaría mal incluir un financiamiento automático por parte del CONICET para financiar a sus investigadores que no tienen subsidios activos de la ANPCyT o del mismo CONCIET. Claro, habría que encontrar la forma de desestimular que los investigadores se queden cómodos con esos fondos automáticos de por vida. Pero yo pensaba más en cerrar un poco el bache cuando se pierden todas las posibles fuentes de financiamiento por un año y hay que esperar a la próxima convocatoria. Por ejemplo, Investigadores que se acaban de quedar sin ningún tipo de subsidio podrían recibir USD3000 (por poner un número nomás) el 1er año posterior la finalización del último subsidio activo. Si no se renuevan al año siguiente sólo se darían USD2000. Si no se vuelve a renovar, bajaría a USD1000 el siguiente… y ya después… bueno se verá. Aclaro que pongo un monto en dólares, a pesar de lo que les gustaría ver a los ministros de economía, porque lamentablemente no hay industria nacional que pueda proveer de los insumos y equipos que se requieren para “hacer ciencia” (al menos dentro del área de Cs. Biológicas, Química, etc…), la asistencia a congresos internacionales siempre es en moneda extranjera, y así siguiendo… Pero, sin embargo, los montos de los subsidios PICT no se han actualizado ni al ritmo de la inflación nacional ni al de la del dólar. Cuantos nos hemos llevado la sorpresa que cuando pedimos un presupuesto para comprar un equipo, en un año y medio el dólar creció un >10% (se obtiene >10% menos en Pesos Argentinos del precio del equipo presupuestado), y, encima, el precio en dólares subió un 5-10%? Y ahora a hacer malabares para poder juntar la plata que falta y llegar a comprar el equipo necesario para el proyecto… Sería mucho pedir, además de una recomposición de los montos de los PICTs y PIPs, que la parte de los PICT destinado a equipos sea asignada, si se quiere en pesos, pero al cambio del momento y no al de hace 1,5 años atrás cuando se presupuestó?

Lamento que me haya extendido tanto… espero no haber sido tan confuso. Saludos,

Huésped

#53

2012-06-29 18:42

No tengo dudas sobre la necesidad de mejorar el sistema de evaluación de los PICT, pero creo que nos estammos olvidando (memoria selectiva de nuestra corporación científica) que los PICT son una de las herramientas del sistema científico.tecnológico argentino. Nos estamos olvidando que la AGENCIA se creó con la intención de fijar políticas de CyT y que otras instituciones como INTI, INTA, CONICET, etc. las ejecutaran y no que el CONICET inviertiera estos criterios. Nos estamos olvidando que la mejor forma de llevar adelante esta políticas es justamente orientar el trabajo de los científicos y tecnólogos a través de estas herramientas. Por supuesto que es necesario mas presupuesto, por supuesto que cuando se decidió incrementar y juvenilizar el número de investigadores e intentar expatriar a otros, nos olvidamos (nuevamente) de hacer una sencilla y modesta prospección de las necesidades a no mas de 10 años de tomada esa iniciativa. Sabemos como se utilizan el resto de los fondos (no PICT) disponibles en FONCYT y FONTAR? Hemos intentado ver como podemos participar en estos fondos?. El doble discurso de quienes gestionan en diferentes niveles las instituciones de CyT es realmente pavoroso. Como se decide entre publicaciones con alto impacto y transferncia de conocimientos al sector productivo? Como se forman grupos de investigación que respondan a estos requerimientos? Como se compatibiliza intereses de Universidades Nacionales con unidades ejecutoras de CONICET?. Y la tecnología, donde está? Y podría seguir con muchos mas interrogantes. TODOS fuimos parte del sistema de evaluación de los PICT y si bién es cierto que se puede mejorar, en el transfondo de este pedido solamente nos interesa que TENER FINANCIAMIENTO PARA MI, ya que es evidente que estamos en crisis financiera.
Todo este esfuerzo debería canalizarse a fijar estrategias en CyT para los próximos 25 años que sean políticas de estado y que no sufran los vaivenes de los iluminados de turno.

Huésped

#54 Re:

2012-06-29 19:17

#53: -

Afortunadamente, creo que hay muchos que tienen presentes todos los cambios necesarios a los que hacés referencia. No veo nada antagónico entre lo que decís y esta propuesta. Solo hay que ponerse a trabajar y elaborar propuestas consensuadas para cada uno de los planteos de la comunidad científica. Todo lo que planteás es tan abarcativo que si no lo ordenás en "objetivos específicos" es imposible desarrollar el proyecto de modo factible y obtener resultados.

Todos los objetivos ordenados hacen la estrategia y planificación de la que hablás. Eso es canalizar bien el esfuerzo.

Como en nuestro trabajo cotidiano, los objetivos, de a uno, de modo organizado y en equipo: se plantea el problema, se investiga acerca de todos los documentos y datos reales de situación, se elabora una propuesta con posibles soluciones, se somete a evaluación por la comunidad y adelante!

Mónica A. Costas


Huésped

#55 Pregunta

2012-06-29 21:34

Cuando se entrega el Petitorio?

Huésped

#56

2012-06-29 21:34

Apoyo todo lo que se dice en la propuesta. Me parece que una mejora completa del sistema de subsidios requeriría tambien una reformulación del modo en que se rinden los gastos. Varios puntos desordenados que me vienen a la mente son:

1- La limitación de los montos relativos de los diferentes rubros: el tope del gasto para viajes de un 30% sobre el monto total del subsidio parece implicar que si uno no usa equipamiento caro en su investigación no merece viajar para presentarla en una conferencia. Quienes hacemos investigación de carácter teórico nos vemos obligados a inventar gastos en equipamiento, a MALGASTAR el 70% del dinero, para poder viajar al menos una vez al año con el 30% restante.

2- La limitación respecto del tipo de gastos en equipamiento que se pueden hacer: un PICT aprobado cuyo presupuesto contenía el amoblamiento de varias oficinas, no pudo ser utilizado para ese fin porque según los contadores eso no está permitido. Si los pares que lo evaluaron lo consideraron pertinente ¿por qué debería un contador, usando correcta o incorrectamente un reglamento, contradecir ese punto?

3- Algunas de las absurdas reglas de rendición de gastos conspiran contra un uso eficiente del dinero. Por ejemplo, para poder hacer algún gasto en un bien de tipo A (silla, digamos), uno debe comprar en un negocio que pueda hacer una boleta por un monto similar pero consignando un bien de tipo B (toner, digamos). Sucede que los negocios que venden ambos bienes A y B no suelen tener los mejores precios para el bien A, comparados con quienes venden sólo A.

En fin, son puntos sueltos, seguro que hay muchos mas. El punto central es que transparentar como se gasta un subsidio no significa someterlo a reglas rígidas sino a reglas transparentes.

Huésped

#57 Re: comentario

2012-06-30 00:02

#19: - comentario

No, no la comisión ad-hoc sino los coordinadores.


Huésped

#58

2012-07-01 02:21

No es posible que este sistema funcione con el sistema de "la bolilla negra": dos evaluaciones sobresalientes y una buena conduce inexorablemente al rechazo del proyecto y no a una investigación por pares que permita dilucidar si la evaluación "buena" no está determinada por una cuestión personal (no evidente)o sencillamente por un sentimiento negativo por parte del eventual evaluador.

Huésped

#59 FIRMA DE AUTORIDADES DE ENTIDADES CIENTÍFICAS??

2012-07-01 05:20

A mi entender el Sr. Ministro Barañao se reunirá con representantes de las Sociedades Científicas Argentinas. Que bueno estaría que los PRESIDENTES y VICES reciban este petitorio y atiendan que muchos integrantes de sus sociedades han firmado el mismo. LA SAIB por ejemplo difundió el petitorio entre sus miembros (aunque no se sabe si lo firmaron las autoridades de la misma). QUE BUENO ESTARÍA QUE LOS INTEGRANTES DE LOS DIRECTORIOS DE todos los CCTs (CONICET) también esten enterados. POR FAVOR DIFUNDAN NO PUEDE SER QUE APENAS 440 CIENTÍFICOS ESTEN APOYANDO ESTO, ESTO REFLEJA LO CONFLICTIVO Y DESUNIDOS que somos!!! SI no dice EXACTAMENTE lo que nosotros opinamos o pensamos NO LO FIRMAMOS, aunque en términos GENERALES ESTEMOS DE ACUERDO.

Huésped

#60 Re: FIRMA DE AUTORIDADES DE ENTIDADES CIENTÍFICAS??

2012-07-01 08:12

#59: - FIRMA DE AUTORIDADES DE ENTIDADES CIENTÍFICAS??

Las autoridades de Sociedades Científicas han sido informadas, así como coordinadores y ex-coordiadores y al menos algunos miembros de Directorio de CONICET, que seguramente podrán difundirlo entre ellos.

Algunas personas recibieron no menos de 15 mails míos (según mi lista de correos conocidos), desde borradores hasta la versión final y la invitación a firmar y a difundir.

Realmente no creo que no se hayan enterado, pero sería bueno, quienes cuenten con las direcciones de correo de algunas de estas personas cuya firma no aparece, le hagan llegar el mail con el link. Gracias!

Mónica A. Costas


Huésped

#61 Re: Intento de aporte a la propuesta

2012-07-01 09:02

#52: LJFL #391 - Intento de aporte a la propuesta

Te respondo breve respecto de uno de los conceptos y porque fué discutido con otros investigadores (que de ningún modo invalidan tu opinión!!!). Me refiero a lo que más o menos fue expresado en mails o en persona y algo que es base de la normativa de evaluaciones de Agencia, que por supuesto habrá que ver, qué opinan las autoridades y el ministro.

La evaluación anónima para evitar conflictos y de hecho, así funciona también en CONICET. Nosotros agregamos el tema de la firma, pero no para el evaluado, sino para la comisión y coordinadores! Yo sugerí en un pricipio que no fuera anónima incluso para el evaluado, pero fué algo en gral rechazado por mucha gente (veremos si alguien más lo propone aquí). La idea es que al firmar la evaluación, el evaluador ya asume una responsabilidad superior a la actual, porque sabe que sus comentarios pueden ser refutados por el evaluado y una comisión va a revisar absolutamente todo. No es realista pensar que el sistema será perfecto, pero, se supone que si hubiera errores, cuestiones personales o rivalidades, podrían ser facilmente detectadas.

Creo que la evaluación en etapas (pero solo es mi opinión) tal vez aumenta la complejidad del proceso, pero tego dudas acerca de cuánto suma...Hay líneas temáticas facilmente identificables...y por otro lado, la producción del grupo es importante en cuanto a los antecedentes para la elaboración de hipótesis, noción de factibilidad....habrá que ver...

Mónica A. Costas


Huésped

#62 Re: FIRMA DE AUTORIDADES DE ENTIDADES CIENTÍFICAS??

2012-07-02 02:24

#59: - FIRMA DE AUTORIDADES DE ENTIDADES CIENTÍFICAS??

Por lo que he oido, las sociedades no solamente estaban enteradas sino que algunas de ellas se apropiaron de la propuesta y la elevaron como propia entre gallos y medianoche sin consultar a los miembros de la sociedad. Ya sea por motivos de mera figuracion o por simple mediocridad, lo importante es que aun con ese proceder individualista al que vos indirectamente aludis, de alguna manera el tema se pone sobre la mesa. No fue la metodologia ideal, fundamentalmente desde el punto de vista etico, pero....asi somos y asi seremos. Es lo que hay y peor es nada. Al menos se va a hablar del tema y ojala que sea para bien. Solo espero que es gente, motivada por los mismos instintos que la llevaron a tener un comportamiento reñido con la etica, no se comporte como el perro del hortelano y termine hundiendo una iniciativa espontanea y honesta de la gran mayoria de la comunidad cientifica.


Huésped

#63

2012-07-02 02:49

es mas, yo se fehacientemente que uno de los miembros del directorio del la ANPCyT esta enterado de este movimiento y apoyaria el cambio

Huésped

#64

2012-07-02 15:37

No comments

Huésped

#65

2012-07-02 22:10

Faltaría incluir alguna cláusula que permita una revisión en caso de un rechazo en la etapa administrativa, por ejemplo la objeción a algún miembro del grupo responsable

Huésped

#66 Un comentario sobre las evaluaciones

2012-07-02 23:50

Ante todo coincido en que debe hacerse lo posible para eliminar las evaluaciones en las que deliberadamente se favorece o se desfavorece a un proyecto.
Sin embargo, aún así creo que no se va a poder resolver el problema del orden de mérito de los que están en la "nube", ya que sólo un 5% de diferencia en los criterios de distintos evaluadores implican que un proyecto sea financiado y otro no, incluso si los evaluadores realizan su evaluación con toda la buena fe.
Una primera aproximación sería evaluar los proyectos como "financiables" o "no financiables". Eventualmente los "financiables" podrían clasificarse en clase 1, 2 ó 3 según su calidad, y de allí el monto de dinero que reciben.
Una segunda instancia, que requiere más trabajo por parte de los evaluadores, es que se nos envíen 5 trabajos de la misma clase, por ejemplo los "financiables clase 1", y hagamos un orden de mérito. Esto mismo puede hacerse con tres o cuatro evaluadores y luego cruzar los órdenes de mérito pare determinar los mejores proyectos.
Por último podría hacerse como en algunas competencias deportivas en las que se eliminan los puntajes de los extremos, de modo de evitar el posible amiguismo o encono.

Alejandro Butera
guest

#67

2012-07-04 21:44

Alguien sabe qué puntajes (o tiene ejemplos) puso cada "comision" de coordinador, co-coordinador y otro más en la convocatoria 2011? Hasta donde yo supe de un par de casos nomas, esta "comision" bajó más de 2 puntos el promedio de las notas que habian puesto tres pares evaluadores específicos. No se para que mandan a evaluar si ellos despues discrecionalmente le ponen lo que quieren....

Huésped

#68 66

2012-07-05 23:49

Según mi experiencia en comisión asesora de ciencias médicas en CONICET, el sistema allí empleado es muy superior al de PICTs en calidad, transparencia y sobre todo, en SENSIBILIDAD DISCRIMINATORIA. Para los que no lo conocen, desde el inicio del proceso de designación de miembros informantes, elección de pares, hasta el orden de mérito final, todo se realiza en PLENARIO. Al realizar el ordenamiento final, con puntajes descendientes desde 100, se establece un corte "financiable". Siempre queda una "nube" (un "cluster" con puntajes muy similares alrededor del límite financiable) que se revisa minuciosamente para afinar el ranking final. Este "100" se compone de puntajes asignados a los bloques habituales (proyecto, director, lugar de trabajo, etc. En el bloque "proyecto o plan" se toma en cuenta y se respeta (aunque algunos, los menos, son lamentables) la opinión de pares. Pero jamás he visto que un 30-35% de proyectos queden por encima de 92/100!!!!
La propuesta actual es una versión mejorada, inclusive, por la incorporación de "rebuttal", y las exigencias a los pares, entre otras. El sistema implementado y tozudamente repetido para los PICTs ha ido y seguirá perdiendo capacidad de discriminación, acumulando proyectos en grandes nubes con diferencias de DECIMALES (por ahora son dos, quién sabe a cuántos podrán llegar). Las comisiones ad-hoc (y sobre todo sin tener "poder alguno" sobre los puntajes de los pares), reinventarán el universo para tratar de establecer un orden de mérito. Pero no podrán hacer más justicia que utilizando un bolillero, lo cual ahorraría mucho tiempo y trabajo.
Por último, es llamativa la similitud entre la evaluación de PICTs y la evaluación de un "paper" que se envía para publicación. Desafortunadamente, en el caso de PICTs es mucho peor, ya que no hay posibilidad de "rebuttal". Y la confusión conceptual al evaluar un subsidio para investigación (y nada menos que con fondos públicos)como si fuera un "paper" es, por lo menos, muy preocupante.
Eduardo M. Castaño
Leonardo Waisman

#69

2012-07-06 00:34

Me da la impresión que la difusión previa ha descuidado a las Ciencias Sociales, y Humanas. Soy Investigador Principal de CONICET, y nunca lo recibí. ¿No hay una lista de mails de CONICET, por ejemplo?
Firmé porque me parece necesario poner el tema a debate, especialmente lo de los "rebuttals". En nuestro terreno, al menos, la anonimidad es una quimera--todos sabemos lo que hace cada uno y podemos reconocer de quién viene un proyecto.

Huésped

#70 Re:

2012-07-06 02:28

#69: Leonardo Waisman -

Leonardo, realmente lamento si se difundió poco en sociales. Todo ésto fué muy a pulmón y tratamos por todos los medios de que la gente difunda los mails. Yo en lo personal intenté en sociales vía mi hermana que es alumna allí, pero hice lo que pude. Tomé direcciones de correo de todos los institutos y facultades de todas las ramas de la ciencia de la pag web de CONICET (solo accedo a directivos o secretarías) y pedí difusión. Te pido si por favor podés hacer circular el mail con el link de adhesión a todos tus contactos.

Muchas gracias!

Mónica A. Costas


Huésped

#71

2012-07-11 14:29

Estimo muy oportunas y acertadas las observaciones que se efectuan en la Petición. Sin lugar a dudas, al menos de mi parte, el sistema de evaluación de la ANPCyT DEBE ser revisado.

Huésped

#72

2012-07-26 18:48

Después de algún tiempo sin novedades, hoy se me ocurrió ver si había alguna noticia adicional respecto del petitorio y para mi enorme sorpresa, me encuentro con algunas firmas de último minuto de quienes estuvieron mirando otra película durante todo este tiempo. Pareciera ser que al notar que esta otra película fue de alguna manera taquillera y mereció alguna consideración, se hubieran querido subir al carro de la hipocresía. Más allá del oportunismo de siempre y que no sorprende a nadie, bienvenidas las nuevas firmas de último minuto si es que quienes adhirieron realmente lo hicieron porque creen en lo que están firmando y no es sólo para cubrir apariencias. Tengan claro que nadie los ve de otra manera aún firmando el petitorio ¡Qué falta de ética!¡Una vergüenza!
Laura Morelli

#73 Minuta oficial del la reunión del 11 de julio

2012-08-07 17:52

BUENOS AIRES, 23 de julio de 2012
Asunto: Minuta del la reunión del 11 de julio sobre temas relacionados con el financiamiento y evaluación de proyectos en el área de las ciencias biomédicas.

Por solicitud de la Sociedad Argentina de Investigación en Neurociencias (SAN) y de la Sociedad Argentina de Inmunología (SAI), el día 11 de julio tuvo lugar una reunión de intercambio de ideas sobre temas relacionados con el financiamiento y evaluación de proyectos en el área de las ciencias biomédicas. De la reunión participó el Ministro de Ciencia, Tecnología e Innovación Productiva, Dr. Lino Barañao, el Presidente de la Agencia Nacional de Promoción Científica y Tecnológica, Dr. Armando Bertranou, el Director del FONCyT, Lic. Carlos Cassanello, el Jefe de Gabinete del MINCyT, Dr. Alejandro Mentaberry, el coordinador del área Ciencias Médicas, Dr. Hector Targovnik y, en representación de las asociaciones arriba mencionadas y de los firmantes de la solicitada "Hacia un nuevo sistema de evaluación de subsidios en FONCYT", los Dres. Diego Golombek, Lorena Rela, Francisco Urbano, Alfredo Cáceres, Laura Morelli, Mónica Costas, Marina Palermo, Ana María Eijan, Liliana Marina Cancela y Alejandro Schinder. La reunión se prolongó por aproximadamente dos horas y transcurrió en un clima constructivo y cordial en el que todos los presentes pudieron exponer abiertamente sus opiniones y propuestas.

Los tres temas principales considerados en la reunión fueron: a) el financiamiento de los proyectos de investigación en el área biomédica; b) los problemas detectados en los procesos de evaluación y c) la participación de la comunidad investigativa en el proceso de evaluación.

El Dr. Schinder (SAN) y la Dra. Palermo (SAI) expusieron las propuestas de sus respectivas asociaciones en relación a estos puntos. Los puntos centrales contenidos en ambas presentaciones pueden resumirse así: a) los montos de los subsidios destinados a investigación se hallarían considerablemente desactualizados en valores reales; b) el crecimiento de la financiación de proyectos no ha evolucionado en relación al creciente número de investigadores; c) el sistema de evaluación de proyectos no es satisfactorio y ello se traduce en situaciones injustas para muchos grupos de investigación de calidad comprobada; d) esta situación podría mejorar si se introducen cambios en el sistema de evaluación de proyectos. Los investigadores pueden jugar un rol activo en la discusión e implementación de esto cambios. Por su parte, la Dra. Mónica Costas habló a título personal, remarcando que muchos de los puntos presentados coinciden con los expuestos en la solicitada presentada por 514 investigadores del CONICET. En particular, recalcó problemas que surgen de las propias características de la comunidad de investigación que afectan el resultado del proceso de investigación e hizo hincapié en la transparencia del proceso de evaluación y en la necesidad de mejorar el seguimiento de gestión de los proyectos. El documento elaborado por la SAN y el texto de la solicitada se adjuntan como Anexos a este memorandum.

A continuación, cada uno de los presentes formuló sus opiniones y propuestas sobre los ejes temáticos suscitados por las asociaciones. En general, se registró consenso sobre los mismos y los problemas detectados fueron explicitados apelando a ejemplos de casos particulares. Las intervenciones de los presentes pusieron fuerte énfasis en modificar los mecanismos de evaluación complementando la evaluación por pares con la participación de comisiones ad hoc y en la necesidad de prever mecanismos adecuados de revisión en el caso de los subsidios no aprobados. Un listado tentativo de las propuestas realizadas se presenta al final de este memorando.

El Lic. Cassanello reconoció la existencia de problemas en el proceso de evaluación de proyectos y recapituló las acciones que se habían emprendido para tratar de solucionarlos. En particular, recalcó los problemas asociados con los sistemas de evaluación basadas exclusivamente en pares o en comisiones de trabajo, e insistió en que el criterio del FONCyT era combinar armónicamente ambos componentes. Asimismo, brindó explicaciones sobre los criterios con que se convocó a evaluadores externos y las experiencias resultantes de esta modalidad, los roles asignados a los Coordinadores y Sub-coordinadores de área y las medidas tomadas para informar a los pares los dictámenes de sus respectivos colegas. Insistió asimismo en que el FONCyT no forja compromisos individuales con ningún investigador y está dispuesto a escuchar todas las sugerencias que permitan mejorar el proceso de evaluación y a hacerlo más transparente.

El Dr. Targovnik describió en detalles los criterios utilizados en el proceso de evaluación en el área de Ciencias Médicas. En particular, mencionó tres grandes dificultades que atentan contra el logro de un procedimiento satisfactorio: a) el pobre compromiso de los evaluadores convocados (en la convocatoria PICT 2011 aproximadamente la mitad de los investigadores convocados a evaluar no respondió o no aceptó); b) las gruesas contradicciones surgidas entre pares evaluadores de un mismo proyecto, lo cual obliga a pedir evaluaciones adicionales; c) la notable distorsión de la escala de evaluación (promedio inusualmente alto de “excelentes”), lo cual dificulta establecer la línea de corte y genera una zona de aleatoriedad alrededor de la misma. Explicó asimismo las medidas que se tomaron para intentar solucionar estos problemas, remarcando que éstas debieron respetar el marco reglamentario previo establecido por el FONCyT. Enfatizó además que es necesario desarrollar un sistema informático de soporte que se adecue a los cambios a implementar, lo que supone introducir cambios en las planillas de evaluación. Las mismas deberían discriminar más detalladamente los temas a evaluar y poner límites mínimos y máximos a la extensión de los textos.

El Dr. Barañao intervino observando que muchos de los problemas mencionados venían siendo detectados y respondían a más de una causa. Coincidió en que es necesario ajustar los montos de los proyectos PICTs y explicó que se han iniciado tratativas en esta dirección. Respecto del número de subsidios, dijo que existe incertidumbre al respecto y que se está analizando la información del CONICET y de la ANPCyT para establecer cual es el número real de investigadores no subsidiados en cada una de las áreas. En particular, dijo que se estaba pensando en establecer una línea PICT de cinco años de duración para grupos consolidados, lo que permitiría simplificar la evaluación y hacer coincidir los proyectos con la duración de las becas doctorales. Asimismo, explicó el criterio con el que se establecieron los subsidios planos de mantenimiento para los investigadores CONICET no financiados y con informe reglamentario aprobado. Informó también que se está considerando la creación de una línea de subsidios “PID-Clínica” cuyo objetivo es vincular más estrechamente la investigación biomédica con la práctica clínica en los hospitales. Acordó asimismo que es necesario revisar los procedimientos de evaluación de proyectos en forma concordante con las sugerencias realizadas por los presentes y en función de los lineamientos de política establecidos desde el MINCyT en el Plan Nacional 2012-2020. En consecuencia, apoyó la necesidad de abrir un período de consultas para introducir cambios en el sistema, aunque aclaró que muchos de los mismos recién podrían implementarse en 2013.

El Dr. Mentaberry insistió en contemplar las dificultades como parte de un proceso de crecimiento del sistema de CyT que requiere ajustar desfasajes y procedimientos. Recalcó que esto requiere comprensión y participación activa, remarcando que la naturaleza de las tareas científicas hace impensable el logro de soluciones satisfactorias sin un alto grado de compromiso de los propios investigadores. El Dr. Bertranou, expresó su acuerdo con este concepto y comprometió su aporte para vehiculizar constructivamente el intercambio de ideas sobre los temas planteados en la reunión.

A modo de resumen, el siguiente es un listado de las propuestas más relevantes sobre las que se acordó avanzar en la discusión y adopción de medidas:

1. Financiación de proyectos: El MINCyT analizará comparativamente los montos históricos y gestionará una actualización de los montos para subsidios PICT. Se considerará además la creación de subsidios PICTs de cinco años de duración con el fin de simplificar las tareas de evaluación y seguimiento. A estos proyectos se asignaría un Becario doctoral. Los grupos de investigación podrían disponer de un solo subsidio correspondiente a esta línea, pero podrían competir por otros instrumentos del FONCyT o FONTAR.
2. Evaluación de proyectos: El Coordinador y los tres Co-coordinadores de área administrarán las etapas de acreditación y evaluación, incluyendo la asignación de pares. En una segunda etapa, el Coordinador y los tres Co-coordinadores se integrarán a una Comisión Ad-hoc ampliada, constituida por un total de dieciséis miembros, que se encargará de la evaluación final de los proyectos presentados y elaborará el orden de méritos de acuerdo con criterios predefinidos de pertinencia y excelencia. La actividad de la Comisión Ad-hoc deberá comprender un mínimo de cinco reuniones plenarias.
3. Planillas de evaluación: Se perfeccionará el sistema informático de soporte para adaptarlo a los cambios a implementar. Las planillas de evaluación contendrán pautas claras y detalladas para los evaluadores, explicitadas mediante un instructivo específico. Estas pautas incluirán los criterios e pertinencia y excelencia científica. Se establecerán requerimientos de texto mínimo y máximo para cada sector de la planilla de evaluación.
4. Evaluadores: Se establecerán mecanismos para incentivar el proceso de evaluación mediante un adecuado reconocimiento de esta tarea. Las propuestas incluyen desde la retribución económica al reconocimiento formal en el informe reglamentario de los investigadores. Al mismo tiempo, se explorarán mecanismos para incentivar la obligatoriedad de las evaluaciones por parte de los investigadores de carrera. Se establecerán mecanismos de evaluación y seguimiento de los evaluadores.
5. Propuestas adicionales: Independientemente de estas propuestas, la SAN ha propuesto tres adicionales: a) educar a los investigadores en la presentación de subsidios de investigación; b) educar a los evaluadores mediante seminarios educativos e informativos; c) proveer evaluaciones en distintas categorías. Estas propuestas se detallan en el documento de la SAN (ver Anexos).

Saluda a Ud. muy atentamente,

Dr. Alejandro Mentaberry
Coordinador Ejecutivo del Gabinete
Científico y Tecnológico

Huésped

#74 Re: opinión

2014-07-24 15:59

#14: Del Piero - opinión

adhiero fuertemente. Eso en la actualida no se hace.

Norberto Iusem, UBA-CONICET